Начните работу с библиотеками Ollama для Python и Javascript

Новые библиотеки позволяют интегрировать новые и существующие приложения с Ollama всего за несколько строк кода. Здесь мы покажем вам, как использовать ollama-python и ollama-javascript, чтобы вы могли интегрировать функциональность Ollama из ваших программ на Python или Javascript.

Но прежде всего. Что такое Ollama? Ollama - это инструмент с открытым исходным кодом для локального запуска больших языковых моделей (LLM), и, несмотря на название, он не предназначен для запуска только модели LLama. Она также может работать со многими другими моделями, например, с Mistral.

Ключевое слово здесь - «локально», то есть на вашем собственном оборудовании, а не на каком-то удаленном сервере. Это означает, что вы можете загружать модели и использовать их для выполнения любых задач генеративного ИИ, например:

Генерация контента: Создание текста и изображений.
Чат-боты: Разговорные агенты.
Генерация/завершение кода
Анализ текста: например, анализ настроения текста.
Ollama - это инструмент CLI, доступный для Linux, Windows и MacOS, а в последнее время он также доступен в виде образа Docker для максимальной переносимости.

Поэтому перейдите на сайт ollama.ai, чтобы загрузить пакет для вашей операционной системы. После установки проверьте, работает ли он:

ollama --help

Теперь вы можете получить модель для игры. В этом случае мы возьмем llama2.

ollama run llama2

Это загрузит модель и запустит сервер на localhost.

Хорошо, а теперь что? Как нам действовать дальше?

Ollama предлагает REST API, который делает ее доступной для библиотек различных языков программирования, таких как, например, Java's LangChain4j.

Теперь были выпущены две новые библиотеки ollama-python и ollama-javascript, чтобы вы могли интегрировать функциональность Ollama из ваших программ на Python или Javascript. Библиотеки абстрагируют запросы REST API, такие как POSTing на сервер, оборачивая их в вызовы методов.

Чтобы ответить на вопрос «как нам действовать?», вот как общаться с базовой моделью из Python и с той же моделью из Javascript:

Это могут быть тривиальные примеры, но обе библиотеки поддерживают полный набор функций Ollama, чтобы вы могли выполнять продвинутые задачи gen ai, такие как завершение кода.

Обе библиотеки легко установить, выполнив команду «pip install ollama» для Python и «npm install ollama» для Javascript. Более подробную информацию и примеры кода можно найти в их репозиториях на Github.

Дайте волю своему воображению в генеративном ИИ. Небо - это предел!