← Cloudflare Workers AI / workers-ai / features / batch-api

Workers Binding

K interakci s Batch API můžete použít Workers Bindings.

Odeslat dávkový požadavek

Odešlete svůj počáteční dávkový inferenční požadavek sestavením JSON payloadu obsahujícího pole jednotlivých inferenčních požadavků a queueRequest: true vlastnost (ta určuje chování řazení do fronty).

src/index.ts

export interface Env {
	AI: Ai;
}
export default {
	async fetch(request, env): Promise<Response> {
		const embeddings = await env.AI.run(
			"@cf/baai/bge-m3",
			{
				requests: [
					{
						query: "This is a story about Cloudflare",
						contexts: [
							{
								text: "This is a story about an orange cloud",
							},
							{
								text: "This is a story about a llama",
							},
							{
								text: "This is a story about a hugging emoji",
							},
						],
					},
				],
			},
			{ queueRequest: true },
		);

		return Response.json(embeddings);
	},
} satisfies ExportedHandler<Env>;

{
	"status": "queued",
	"model": "@cf/baai/bge-m3",
	"request_id": "000-000-000"
}

Získáte odpověď s následujícími hodnotami:

status: Znamená, že váš požadavek čeká ve frontě.
request_id: Jedinečný identifikátor dávkového požadavku.
model: Model použitý pro dávkovou inferenci.

Z nich je request_id je důležité, když potřebujete zjistit stav dávky.

Zjištění stavu dávky

Jakmile je váš dávkový požadavek zařazen do fronty, použijte request_id a zjišťovat tak jeho stav. Během zpracování API vrací stav queued nebo running což znamená, že požadavek stále čeká ve frontě nebo se zpracovává.

export interface Env {
	AI: Ai;
}

export default {
	async fetch(request, env): Promise<Response> {
		const status = await env.AI.run("@cf/baai/bge-m3", {
			request_id: "000-000-000",
		});

		return Response.json(status);
	},
} satisfies ExportedHandler<Env>;

{
	"responses": [
		{
			"id": 0,
			"result": {
				"response": [
					{ "id": 0, "score": 0.73974609375 },
					{ "id": 1, "score": 0.642578125 },
					{ "id": 2, "score": 0.6220703125 }
				]
			},
			"success": true,
			"external_reference": "reference-1"
		}
	],
	"usage": { "prompt_tokens": 12, "completion_tokens": 0, "total_tokens": 12 }
}

Po dokončení inference vrátí API konečný HTTP stavový kód 200 spolu s polem odpovědí. Každý objekt odpovědi odpovídá jednomu vstupnímu promptu a je identifikován pomocí id která odpovídá indexu promptu v původním požadavku.