AWS добавляет поддержку Llama2 и Mistral в SageMaker Canvas

В рамках усилий по предоставлению своим клиентам возможности использовать генеративный ИИ для решения таких задач, как создание и обобщение контента, компания Amazon добавила эти современные LLM в SageMaker Canvas.

Amazon, IBM и Microsoft начали внедрять LLM в свои продукты, чтобы дать своим клиентам преимущество.

В феврале этого года IBM объявила о доступности Mixtral-8x7B на своей платформе Watsonx. Mixtral является разновидностью Mistral и был построен с использованием комбинации разреженного моделирования и техники Mixture-of-Experts, которая объединяет различные модели, специализирующиеся на решении разных частей проблемы.

Модель Mixtral-8x7B широко известна своей способностью быстро обрабатывать и анализировать огромные объемы данных для получения релевантных контексту выводов. По результатам бенчмарков она превосходит Llama 2 70B и обеспечивает более высокую скорость вывода.

Microsoft также объявила о партнерстве с Mistral AI, в рамках которого она предоставляет Mistral доступ к своей платформе Azure, чтобы обучать свои передовые большие языковые модели с использованием инфраструктуры Microsoft. Разумеется, модели Mistral будут доступны через Azure AI Studio и Azure Machine Learning's Models as a Service.

В настоящее время Mistral LLM выпускается в трех вариантах - Tiny, Small и Medium. Размеры указывают на экономичность по отношению к возможностям моделей.

Что касается другой модели, Llama, то Meta выпустила начальную версию в феврале 2023 года, а Llama версии 2 - в июле того же года. Llama2 состоит из трех моделей - 7B, 13B и 70B, и для исторической точности важно отметить, что Гийом Лампл и Тимоте Лакруа, два разработчика из команды авторов оригинальной Llama, впоследствии основали Mistral AI.

Резюме таково: безумие GenAI захлестнуло крупные корпорации. Далее - Amazon...

Amazon объявила, что SageMaker Canvas теперь поддерживает три варианта модели Llama2 и два варианта Mistral 7B:

• Llama-2-13B-chat и Llama-2-70B-chat, работающие на базе Amazon Bedrock.
• Llama-2-7b-Chat на базе Amazon SageMaker Canvas JumpStart
• Mistral-7B и Mistral-7B-Chat, на базе Amazon SageMaker Canvas JumpStart

Они дополняют доступ SageMaker Canvas к готовым к использованию моделям фундамента (FM), таким как Claude 2, Amazon Titan и Jurassic-2 (на базе Amazon Bedrock), а также к общедоступным FM, таким как Falcon и MPT (на базе SageMaker Canvas JumpStart).

Разница в том, что клиентам Amazon, использующим SageMaker Canvas, не нужно писать код или быть технически подкованным, чтобы использовать эти модели в своей работе. Amazon SageMaker Canvas предоставляет визуальный интерфейс, позволяющий бизнес-аналитикам решать с помощью ML такие бизнес-задачи, как прогнозирование оттока клиентов, выявление мошенничества, прогнозирование финансовых показателей и продаж, оптимизация запасов, создание контента и другие без написания какого-либо кода.

Чтобы определить, какая модель работает лучше, в SageMaker Canvas предусмотрена возможность сравнения моделей. Вы можете выбрать до трех различных моделей и отправить один и тот же запрос всем им одновременно. SageMaker Canvas получит ответы от каждой из моделей и покажет их в чате бок о бок. В целом, Mistral, вероятно, будет работать лучше, чем Llama, но в любом случае вам следует оценить их конкретно для вашего случая использования.

Таким образом, Amazon SageMaker Canvas позволил бизнес-аналитикам строить, развертывать и использовать различные ML-модели без написания строк кода там, где раньше требовался глубокий уровень технических навыков и умения кодировать. Эта тенденция будет усиливаться в самом ближайшем будущем.