GitHub запускает песочницу моделей искусственного интеллекта

GitHub запустил игровую площадку для разработчиков, на которой они могут опробовать модели искусственного интеллекта. GitHub Models можно использовать для тестирования и сравнения различных моделей.

По словам GitHub, инструмент был разработан потому, что

"огромный сегмент разработчиков до сих пор не имеет свободного доступа к открытым и закрытым моделям".

В песочнице доступны такие модели, как Llama 3.1, GPT-4o и GPT-4o mini, Phi 3 и Mistral Large 2. Инструмент позволяет разработчикам бесплатно тестировать различные подсказки и параметры моделей на GitHub. Затем существует "скользящий путь" для внедрения моделей в среды разработчиков в Codespaces и VS Code, с конечным маршрутом через Azure AI для производства, где разработчики могут переключиться с бесплатного токена GitHub на токен из платной учетной записи Azure.

Опция Codespaces включает в себя примеры кода для различных языков и фреймворков, что позволяет разработчикам опробовать различные сценарии. Затем их можно использовать для создания прототипа или доказательства концепции в собственных приложениях разработчиков.

Модели доступны на GitHub Marketplace, где разработчики могут настраивать параметры модели и отправлять запросы, чтобы посмотреть, как модель реагирует, а также увидеть код, соответствующий выбранным параметрам. Игровая площадка ограничена по скорости.

Кроме того, разработчики могут запускать проверки по подсказкам в GitHub Actions с помощью серии JSON-файлов, подключив команду GitHub Models в GitHub CLI.

Песочница также предлагает бесплатное использование API, чтобы разработчики могли экспериментировать с моделями ИИ в своих собственных приложениях, выбирая язык, который они хотят использовать, и SDK, который они хотят использовать. Все модели можно использовать с Azure AI Inference SDK, а некоторые модели поддерживают дополнительные SDK. Использование бесплатного API также ограничено.

Использование игрового и бесплатного API ограничено по количеству запросов в минуту, запросов в день, токенов за запрос и одновременных запросов. Если вы получили ограничение по скорости, вам придется подождать, пока ограничение, которое вы достигли, не будет сброшено, прежде чем вы сможете делать больше запросов. Низкие, высокие и встраиваемые модели имеют разные ограничения по скорости.