Microsoft делает все возможное для развития генеративного искусственного интеллекта

За последние дни Microsoft анонсировала как официальную библиотеку OpenAI для .NET, так и набор инструментов AI Toolkit для Visual Studio Code.

От самостоятельных курсов, описанных в статье "Генеративный ИИ от Microsoft для начинающих", до добавления расширений для превращения PostgreSQL в векторное хранилище или интеграции с сервисами OpenAI в Azure, а также партнерства с производителями LLM, такими как Mistral AI, - Microsoft повышает свой уровень игры в GenAI. Продолжая эту тенденцию, мы получили сообщение об общедоступности библиотеки OpenAI для .NET и инструментария AI Toolkit для Visual Studio Code.

Библиотека OpenAI .NET расширяет экосистему ИИ для разработчиков .NET, позволяя им интегрировать в свой код сервисы OpenAI и Azure OpenAI через соответствующие REST API. Новая версия - 2.0.0-beta, и в ней реализованы следующие новые возможности:

• Поддержка всего API OpenAI, включая Assistants v2 и Chat Completions
• Поддержка GPT-4o, последней флагманской модели OpenAI
• Расширяемость, позволяющая сообществу создавать библиотеки поверх
• API синхронизации и асинхронизации для простоты использования и эффективности
• Доступ к потоковым завершениям через IAsyncEnumerable<T>.

Библиотека организована в несколько пространств имен, соответствующих областям возможностей OpenAI. Каждое пространство имен содержит соответствующий клиентский класс.

Для вызова OpenAI REST API вам понадобится API-ключ. Чтобы получить его, сначала создайте новую учетную запись OpenAI или войдите в систему. Затем перейдите на страницу API-ключа и выберите "Создать новый секретный ключ", по желанию назвав ключ.

Добавьте клиентскую библиотеку в ваш проект .NET с помощью NuGet, используя IDE или dotnet CLI:

dotnet add package OpenAI --prerelease

В следующем фрагменте показано, как использовать API завершения чата:

При этом интересно, что эта библиотека выпущена параллельно с другим SDK - Semantic Kernel, который служит для

аналогичной цели доступа к LLM из вашего кода. Основное отличие заключается в том, что в Semantic вы получаете доступ к нескольким моделям, а не только к модели OpenAI, плюс вы можете выбрать между версиями на C#, Java, Python и Javascript. Лучше всего изучить оба варианта, прежде чем бросаться писать код. Для обзора обязательно ознакомьтесь с нашей статьей "Access LLMs From Java code With Semantic Kernel".

Теперь давайте обратимся к новому расширению VSCode под названием AI Toolkit. Инструментарий AI Toolkit позволяет загружать, тестировать, настраивать и развертывать модели ИИ из Azure AI Studio и HuggingFace локально или в облаке.

Чтобы получить доступ к моделям, вы вызываете меню открытия каталога моделей расширения, которое включает модели, работающие как под Windows, так и под Linux на CPU и GPU.

Далее находится Playground, где вы можете поэкспериментировать и опробовать модели, чтобы проверить, подходят ли они для ваших целей.
Другие меню - Fine-tune model (локально или удаленно) и Deploy fine-tuned models, оба из которых не требуют пояснений.

В комплект поставки AI Toolkit входит локальный веб-сервер REST API, который использует формат завершений чата OpenAI. Это позволяет тестировать приложение локально, не прибегая к облачному сервису моделей ИИ, используя конечную точку:

http://127.0.0.1:5272/v1/chat/completions.

Используйте эту опцию, если вы планируете перейти на облачную конечную точку в производстве.

Он также поставляется вместе с ONNX Runtime. Используйте этот вариант, если вы планируете поставлять модель вместе с приложением с выводом на устройство.

В целом, инструментарий AI Toolkit позволяет легко находить и оценивать модели, не выходя из IDE. Заметьте, однако, что это не помощник в написании кода, как Visual Studio IntelliCode, который предоставляет помощь в написании кода.

Суть в том, что такие крупные игроки, как Amazon, IBM и Microsoft, начали внедрять LLM в свои продукты, чтобы дать своим клиентам преимущество. Когда различия между этими продуктами слишком малы, решающим фактором становится степень удобства интерфейса, который они предоставляют своим пользователям. И Microsoft, похоже, выигрывает в этой игре.

Переведено с помощью DeepL.com (бесплатная версия)