← Cloudflare Workers AI / workers-ai / features

Асинхронный Batch API

Асинхронная пакетная обработка позволяет отправить набор (batch) запросов на инференс одним вызовом. Вместо немедленных ответов на каждый запрос система ставит их в очередь на обработку и возвращает результаты позже.

Пакетная обработка полезна для больших нагрузок, например суммаризации или получения эмбеддингов, когда участие человека не требуется. Batch API гарантирует, что ваши запросы будут выполнены, а не завершатся ошибкой, если у Cloudflare в какой-то момент не хватит мощности.

Когда вы отправляете пакетный запрос, API сразу подтверждает его получение статусом вроде queued и предоставляет уникальный request_id. Этот ID используется позже для опроса окончательных ответов после завершения обработки.

Использовать Batch API можно, либо создав и развернув Cloudflare Worker, который задействует Batch API с привязкой AI, с помощью REST API напрямую или начав с шаблон ↗.

Если вы хотите быстро начать, нажмите на кнопку ниже:

Это создаст репозиторий в вашем аккаунте GitHub и развернёт готовый к использованию Worker, демонстрирующий работу с Асинхронным Batch API Cloudflare. Шаблон включает предварительно настроенные привязки AI, а также примеры отправки и получения пакетных запросов с внешними ссылками и без них. После развёртывания вы можете открыть работающий Worker и сразу начать экспериментировать с Batch API.

См. наш каталог моделей список поддерживаемых моделей.