Gemini предлагают огромное контекстное окно

Компания Google объявила о ряде улучшений в Gemini, а также о выпуске Gemma 2. Первое улучшение - доступ к окну с 2 миллионами контекстов для Gemini 1.5 Pro, подкрепленный кэшированием контекста для снижения накладных расходов. Также было объявлено о поддержке возможностей выполнения кода в API Gemini и добавлении Gemma 2 в Google AI Studio. Google использует название Gemini как для своего разговорного чатбота, ранее известного как Bard, так и для его мультимодальной большой языковой модели (LLM), разработанной Google DeepMind. Gemini Pro относится к LLM.

Впервые о более длинных контекстных окнах стало известно на Google I/O, где Google объявила о самом длинном в истории контекстном окне в 2 миллиона токенов в Gemini 1.5 Pro, для которого был создан список ожидания. Теперь контекстное окно на 2 миллиона токенов в Gemini 1.5 Pro открыто для всех разработчиков.Токены - это мельчайшие строительные блоки, такие как часть слова, изображение или видео, которые модель может обработать за один раз. Более длинные контекстные окна важны, поскольку помогают моделям ИИ вспомнить информацию во время сеанса. Однако с ростом контекстного окна растет и потенциал затрат на ввод, поэтому в Gemini API для Gemini 1.5 Pro и 1.5 Flash была добавлена поддержка кэширования контекста. Кэширование контекста снижает затраты на выполнение задач, в которых используются одни и те же маркеры в нескольких подсказках. В типичном рабочем процессе ИИ вы можете передавать одни и те же входные маркеры модели несколько раз. Контекстное кэширование означает, что вы можете передать модели некоторое содержимое один раз, кэшировать входные маркеры, а затем обращаться к кэшированным маркерам при последующих запросах.

Потенциально более интересным дополнением для разработчиков является новая поддержка выполнения кода. С ее помощью можно генерировать и запускать код на Python и итеративно обучаться на основе полученных результатов, пока не будет достигнут желаемый конечный результат. Песочница выполнения не подключена к интернету, в стандартную комплектацию входит несколько числовых библиотек, а разработчики просто выставляют счета на основе выходных маркеров модели. Эта функция была добавлена для улучшения решения задач, требующих математического анализа или анализа данных. Google также объявила, что Gemini 1.5 Flash запущен в производство. Gemini 1.5 Flash отличается скоростью и доступностью. Последней частью анонса стало добавление открытой модели Gemma 2 для экспериментов в Google AI Studio. Gemma - это семейство легких открытых моделей Google, которые были созданы на основе тех же исследований и технологий, которые использовались для создания моделей Gemini Google. Модели Gemma - это модели для работы с текстом, декодирующие только большие языки, доступные на английском языке, с открытыми весами, предварительно обученными вариантами и вариантами, настроенными по инструкции. Gemini 1.5 Pro и Gemma 2 уже доступны в Google AI Studio и Gemini Advanced, доступ к которым вы можете получить с помощью плана Google One AI Premium, который предоставляется бесплатно на 2 месяца и стоит 19,99 доллара после этого.