← Cloudflare Workers AI / workers-ai / features

Asynchronní Batch API

Asynchronní dávkové zpracování umožňuje odeslat kolekci (dávku) požadavků na inferenci v jediném volání. Systém pak jednotlivé požadavky nezpracovává okamžitě, ale zařadí je do fronty a výsledky vrátí později.

Dávkové zpracování se hodí pro rozsáhlé úlohy, jako je shrnování nebo generování embeddingů, kde není potřeba lidská interakce. Použití Batch API zaručí, že vaše požadavky budou nakonec splněny, místo aby v okamžiku nedostatečné kapacity Cloudflare skončily chybou.

Po odeslání dávkového požadavku API okamžitě potvrdí jeho přijetí stavem jako queued a poskytuje jedinečné request_id. Toto ID se později používá ke zjišťování konečných odpovědí, jakmile je zpracování dokončeno.

Batch API můžete použít tak, že vytvoříte a nasadíte Cloudflare Worker využívající Batch API s vazbou AI, pomocí REST API přímo nebo tak, že začnete od šablona ↗.

Pokud chcete začít rychle, klikněte na tlačítko níže:

Tím se ve vašem účtu GitHub vytvoří repozitář a nasadí připravený Worker demonstrující použití Cloudflare Asynchronous Batch API. Šablona obsahuje předkonfigurované vazby AI a příklady odesílání a načítání dávkových požadavků s externími odkazy i bez nich. Po nasazení si můžete prohlédnout živý Worker a rovnou začít experimentovat s Batch API.

Viz naše katalog modelů s podporovanými modely.