Microsoft выпускает Azure AI Inference SDK для .NET

Компания Microsoft представила Azure AI Inference SDK для .NET. SDK можно использовать для доступа и использования моделей искусственного интеллекта из каталога моделей Azure AI для задач вывода, таких как чат, в приложениях .NET.

SDK присоединился к другим недавним дополнениям Microsoft, включая библиотеку OpenAI для .NET и набор инструментов AI Toolkit для Visual Studio Code.

Каталог моделей в Azure AI Studio можно использовать для просмотра моделей ИИ и их развертывания либо на управляемых вычислениях, либо в качестве бессерверного API. Впервые каталог моделей был представлен в начале 2023 года и содержал «курируемую подборку моделей с открытым исходным кодом». Последняя версия каталога включает модели от целого ряда поставщиков, включая Azure OpenAI Service, Mistral, Meta, Cohere, NVIDIA и Hugging Face. Помимо развертывания существующих моделей, пользователи могут запрашивать новые.

По словам Microsoft, преимущество каталога заключается в том, что развертывание с помощью бессерверного API избавляет от необходимости размещать и предоставлять аппаратное обеспечение для работы моделей. При развертывании моделей с помощью бессерверного API вам не нужна квота для их размещения, а счет выставляется за токен.

Языковые модели из каталога поставляются с настройками по умолчанию фильтров модерации Azure AI Content Safety, которые выявляют вредоносный контент.

Модели в каталоге организованы в три коллекции: Curated by Azure AI, Azure OpenAI Models и Open Models from Hugging Face Hub.

Коллекция Curated by Azure AI - это коллекция моделей не Microsoft, оптимизированных для платформы Azure. Azure OpenAI Models - это специфические для Microsoft модели, доступные исключительно через сервис Azure OpenAI. Последняя группа - это открытые модели от Hugging Face Hub. Эта обширная коллекция состоит из сотен моделей от Hugging Face, которые можно использовать для выводов в режиме реального времени.

Если вы не можете найти нужную модель, вы можете запросить новую модель через онлайн-форму и надеяться, что она будет достаточно популярна, чтобы ее разработали.

Azure AI Inference SDK для .NET доступен уже сейчас.