Nvidia анонсирует множество «NIM» для ускорения работы приложений Gen AI

Чиповый гигант также объявил о партнерстве с компанией Hugging Face в области разработки выводов как услуги.

В понедельник на открытии ежегодной конференции по компьютерной графике SIGGRAPH чип-гигант Nvidia анонсировал целый ряд предложений для своего контейнерного программного обеспечения «NIM», предназначенного для решения различных задач и отраслей, а также облачный сервис для запуска программ под названием «Inference-as-a-service» в партнерстве с сайтом инструментов для разработчиков Hugging Face.

Новые NIM включают в себя готовое программное обеспечение для запуска моделей ИИ, оптимизированное для использования в качестве «второго пилота» и взаимодействия с инфраструктурой поиска-дополнения, или «RAG», - все более популярным способом подключения больших языковых моделей к внешним базам данных и приложениям.

По словам Кари Бриски (Kari Briski), вице-президента Nvidia по управлению программными продуктами для генеративного ИИ, на пресс-брифинге, с пары десятков NIM год назад список расширился до более чем сотни NIM для различных отраслей и сфер применения.

В NIMs собраны «лучшие курируемые модели от партнеров по моделированию», включая Google, Meta, Microsoft и Snowflake, а также модели с открытым исходным кодом «с соответствующими лицензиями для коммерческого производства».

(Модель ИИ - это часть программы ИИ, содержащая многочисленные параметры нейронной сети и функции активации, которые являются ключевыми элементами для работы программы ИИ).

Новые NIM от Nvidia включают в себя те, на которых работают модели ИИ с открытым исходным кодом, такие как языковая модель Meta Llama 3.1, представленная на прошлой неделе, и Mistral NeMo 12B, разработанная совместно Nvidia и французской компанией Mistral AI. Есть также новый NIM, предназначенный для «оживления» чат-ботов путем добавления речи и созданный для модели Parakeet для автоматического распознавания речи, разработанной Nvidia и ИИ-стартапом Suno.ai.

Другие NIM посвящены робототехнике и цифровой биологии. У Nvidia также есть новые NIM, ориентированные на разработку 3D-продуктов, для использования с «открытым универсальным описанием сцены», или Open USD, стандартом для перевода между различными средами 3D-моделирования. Nvidia создавала Open USD совместно с другими гигантами индустрии, включая Apple.

Nvidia также обновила NIM, ориентированный на рендеринг графики, - Edify NIM - совместно с поставщиком стоковых фотографий Getty Images. Это обновление значительно повышает скорость рендеринга изображений, созданных с помощью генеративного искусственного интеллекта Getty.

В связи с этим компания Nvidia объявила о доступности первой версии SDK Omniverse для гарнитуры Vision Pro от Apple. Omniverse - это версия метавселенной от Nvidia, ориентированная на продуктивные задачи, такие как обмен большими 3D-моделями между командами, создающими продукты.

NIM, сокращение от Nvidia Inference Microservices, - это программная инфраструктура, входящая в состав программного обеспечения Nvidia AI Enterprise, впервые представленного в январе 2023 года. NIM - это модель искусственного интеллекта в контейнере приложения, который запускается с помощью менеджера контейнеров, например Kubernetes, и к которому разработчики получают доступ через API. Являясь микросервисной версией моделей ИИ, она предназначена для легкого «встраивания» в приложения.

По словам Бриски, служба выводов Hugging Face, работающая на инфраструктурном сервисе Nvidia DGX Cloud, обеспечивает значительный прирост производительности. Например, новая модель Llama 3.1 70B, представленная на прошлой неделе компанией Meta, может выполнять операции вывода в пять раз быстрее, чем при работе на «готовом» оборудовании, говорят в Nvidia.

По словам Бриски, хотя Hugging Face предлагает около 750 000 моделей, на данный момент услуга «выводы как сервис» ограничена теми моделями, которые Nvidia «NIM-ified», как выражается компания, то есть превратила в NIM.

По словам Бриски, NIM можно запускать вне сервиса Hugging Face, в любой среде по желанию клиента, включая локальную, если у него есть доступ к графическим процессорам и если он подписался на подписку Nvidia Enterprise. Стоимость подписки Nvidia Enterprise составляет 4500 долларов за GPU в год.