Anthropic запускает API-интерфейс Message Batches для Claude

Компания Anthropic запустила API Message Batches, который предлагает разработчикам экономически эффективное решение для асинхронной обработки больших объемов запросов Claude.

С помощью API Message Batches разработчики теперь могут отправлять пакеты до 10 000 запросов. Такие пакеты обрабатываются менее чем за 24 часа, а их стоимость снижается на 50 % по сравнению со стандартными вызовами API, что представляет собой значительный прогресс в повышении эффективности обработки задач, не зависящих от времени.

В настоящее время API доступен в публичной бета-версии и поддерживает Claude 3.5 Sonnet, Claude 3 Opus и Claude 3 Haiku на Anthropic API. Кроме того, клиенты, использующие Claude в Amazon Bedrock, уже могут использовать пакетный вывод, а поддержка Vertex AI в Google Cloud не за горами.

Необходимость в высокой пропускной способности критически важна для разработчиков, использующих Claude для таких задач, как анализ отзывов клиентов и языковой перевод, где немедленная реакция не имеет первостепенного значения.

Вместо того чтобы управлять сложными системами очередей или беспокоиться об ограничениях скорости, API позволяет разработчикам отправлять до 10 000 запросов одновременно, обеспечивая бесперебойную обработку со скидкой 50 %. Важно отметить, что часто партии обрабатываются гораздо быстрее, чем за 24 часа.

Этот API обладает повышенной пропускной способностью и более высокими ограничениями по скорости, что позволяет обрабатывать большие объемы запросов без ущерба для стандартного использования API. Более того, он обеспечивает масштабируемость для обработки больших объемов данных, позволяя решать такие задачи, как анализ наборов данных и оценка моделей, без проблем с инфраструктурой.

API открывает возможности для масштабной обработки данных, которые раньше были либо непрактичными, либо слишком дорогими. Используя скидку на пакетную обработку, анализ обширных корпоративных хранилищ документов, потенциально состоящих из миллионов файлов, становится экономически оправданным мероприятием.

Структура ценообразования API Claude Message Batches
API Message Batches позволяет пользователям получить выгоду от экономии на инфраструктуре благодаря 50-процентной скидке на входные и выходные токены. Ниже приведена структура ценообразования:

Claude 3.5 Sonnet

• Вход: $1,50 / MTok
• Выход: $7,50 / MTok

Клод 3 Опус

• Вход: $7.50 / MTok
• Выход: $37.50 / MTok

Клод 3 Хайку

• Вход: $0.125 / MTok
• Выход: $0,625 / MTok

Пользовательская платформа вопросов и ответов Quora использует все преимущества API Batches от Anthropic для таких задач, как подведение итогов и извлечение ярких моментов, тем самым расширяя возможности конечного пользователя.

Энди Эдмондс, менеджер по продуктам Quora, сказал: «API Batches от Anthropic обеспечивает экономию средств, а также снижает сложность выполнения большого количества запросов, которые не нужно обрабатывать в режиме реального времени».

«Очень удобно отправить пакет и загрузить результаты в течение 24 часов, вместо того чтобы заниматься сложностями, связанными с параллельным выполнением множества запросов в реальном времени для получения одного и того же результата. Это высвобождает время наших инженеров для работы над более интересными проблемами».