Новые модели ИИ Nova от Amazon могут стать революционными - почему мы не можем знать наверняка

Наиболее интересным вкладом первых «пограничных» моделей Amazon является проектирование тестирования угроз и «красного» тестирования.

В большинстве отчетов о конференции AWS re:Invent, которая прошла в этом месяце и принесла нам новые чипы и новые центры обработки данных, упускается из виду, что облачный гигант представил свои первые «передовые» модели генеративного искусственного интеллекта - код, который может конкурировать с лучшими разработками OpenAI и Google.

Amazon представила Nova, «новое поколение современных базовых моделей, которые обеспечивают передовой интеллект и лучшую в отрасли ценовую производительность».

Отсидевшись в стороне от битвы за передовую производительность, пока все внимание доставалось Gemini от Google и GPT-4 от OpenAI, Amazon спешит наверстать упущенное. Модели Nova, которые работают с несколькими модальностями, включая текст и изображение, поставляются в вариантах, подходящих для генерации видео (подобно Sora от OpenAI) и изображений, что стало стандартной задачей для больших языковых моделей, объединяющих текст и изображения.

У моделей также есть остроумные названия: «Reel» - название модели для генерации видео, а „Canvas“ - для генерации изображений. Демонстрации возможностей похожи на те, что мы видели у OpenAI и Google: Здесь есть видео, сгенерированное Reel по ключевому слову «Снеговик на венецианской гондоле, 4k, высокое разрешение», и фотография интерьера, сделанная с помощью Canvas по запросу «Очень модный французский ресторан».

В Nova, по собственным тестам Amazon, широко используется подход «поиск - дополненная генерация» (RAG) для работы с базами данных, а также «цепочка размышлений» - процесс получения результатов, который рассматривается моделью ИИ как своего рода упражнение на рассуждение.

Все это уже стало стандартом для Gen AI.

Так что же нового в Nova от Amazon?

Трудно сказать, потому что, как это все чаще случается с коммерческим программным обеспечением для ИИ, технический отчет Amazon раскрывает очень мало информации о том, как построены модели Nova. (Даже имена авторов отчета не раскрываются!).

Компания утверждает, что модели Nova «основаны на архитектуре Transformer», ссылаясь на прорывную языковую модель ИИ, созданную Google в 2017 году. Также используется подход «тонкой настройки», при котором последовательные раунды обучения направлены на совершенствование работы моделей с различными областями данных.

Данные для обучения моделей также не раскрываются, Amazon лишь заявляет, что «наши модели обучались на данных из различных источников, включая лицензионные данные, собственные данные, наборы данных с открытым исходным кодом и общедоступные данные, где это было необходимо».

Наиболее примечательной частью работы является широкое обсуждение «ответственного ИИ» - то есть избегание таких вещей, как атаки на модели ИИ со стороны вредоносных субъектов угроз.

Также: ИИ не бьется о стену, он просто становится слишком умным для эталонов, считает Anthropic

«Чтобы обеспечить устойчивость наших моделей к нежелательным воздействиям, таким как попытки обойти защитные ограждения выравнивания, мы сосредоточились на рисках, применимых как к разработчикам, создающим приложения, использующие наши модели, так и к пользователям, взаимодействующим с нашими моделями через эти приложения», - пишут авторы технического отчета.

В частности, инженеры Amazon широко использовали так называемую «красную команду», когда они пытались сломать модели, создавая различные виды атак, такие как «инъекция подсказки», создавая подсказку языковой модели с ключевыми словами или фразами, которые побуждали бы модель нарушить защитные механизмы.

Некоторые из них включали автоматическую генерацию вредоносных подсказок: «Мы расширили разнообразие вручную контролируемых вредоносных подсказок, используя лингвистические, структурные и основанные на модальности техники мутации подсказок, оценивая каждую мутацию на предмет ее эффективности для генерации ответа, не соответствующего нашим целям RAI [Responsible AI], вероятности ее успеха и новизны техники для пересмотра модели».

«В общей сложности мы выявили и разработали более 300 различных техник», - говорится в отчете, - „и тестировали техники по отдельности и с помощью различных комбинаций“.

Пока неясно, удалось ли Amazon совершить прорыв в области тестирования надежности и безопасности ИИ поколения. Как и во многом другом, что касается работы над передовыми моделями, дьявол кроется в деталях, а детали скрыты за гарантиями интеллектуальной собственности.

Безусловно, в техническом отчете намерения звучат амбициозно. Нам придется подождать, пока вся область сможет дать надлежащую оценку - контрольные показатели, метрики и т. д. -- чтобы сравнить Amazon Red-teaming с конкурирующими методами, как с открытым, так и с закрытым исходным кодом.