Google выпускает Gemini 2 и кодового агента Jules

Компания Google анонсировала обновленную версию Gemini, заявив, что Gemini 2.0 Flash Experimental «позволит создавать еще более захватывающие и интерактивные приложения», а также новые агенты кодирования, которые могут выполнять действия от имени разработчика.

Google использовала название Gemini как для своего разговорного чатбота, ранее известного как Bard, так и для мультимодальной большой языковой модели (LLM), разработанной Google DeepMind. Gemini Pro относится к LLM.

По словам Google, обновленная версия Gemini работает в два раза быстрее предыдущей, а также включает новые мультимодальные результаты и поставляется с нативными инструментами. Google также объявила о появлении API Multimodal Live для создания динамических приложений с потоковым аудио и видео в реальном времени.

Gemini 2.0 Flash доступен через Gemini API в Google AI Studio и Vertex AI на экспериментальной стадии, а общая доступность наступит в начале следующего года.

Наряду с улучшенной производительностью, Gemini 2.0 Flash обладает улучшенными мультимодальными функциями, функциями работы с текстом, кодом, видео, пространственным пониманием и рассуждениями. Улучшенное пространственное понимание позволяет более точно генерировать ограничительные рамки для мелких объектов на загроможденных изображениях, а также лучше идентифицировать объекты и создавать надписи.

Также были расширены возможности вывода, и разработчики смогут использовать Gemini 2.0 Flash для создания интегрированных ответов, включающих текст, аудио и изображения, с помощью одного вызова API.

В этой версии также доступен многоязычный нативный аудиовыход с возможностью выбора из восьми голосов и различных языков и акцентов.

Еще одним улучшением стало использование нативных инструментов: теперь можно вызывать такие инструменты, как Google Search и выполнение кода, а также пользовательские функции сторонних разработчиков с помощью вызова функций.

Новый мультимодальный живой API означает, что разработчики теперь могут создавать мультимодальные приложения в реальном времени с аудио- и видеосигналами, поступающими с камер или экранов. Поддерживаются естественные разговорные шаблоны, такие как прерывания и обнаружение голосовой активности.

Наряду с улучшениями в Gemini, Google также анонсировала новый инструмент для разработчиков. Jules описывается как кодовый агент на базе ИИ, который может решать задачи кодирования на Python и JavaScript. Jules использует Gemini 2.0 и будет заниматься исправлением ошибок и другими трудоемкими задачами. Jules создает комплексные многоэтапные планы по устранению проблем, эффективно изменяет несколько файлов и даже готовит запросы на исправление.

Разработчики могут просматривать планы, созданные Джулсом, оставлять отзывы или запрашивать корректировки, прежде чем принять решение о слиянии кода, написанного Джулсом, в свои проекты.

По словам Google, Jules доступен для «избранной группы доверенных тестеров», а для других заинтересованных разработчиков он станет доступен в начале 2025 года.

Gemini 2 уже доступен в Google AI Studio.