INTEGRITY Dokumentace

← Cloudflare AI Gateway / ai-gateway / usage / providers

Workers AI

Používejte AI Gateway jako jednotnou kontrolní vrstvu pro Workers AI požadavky, včetně analytiky, logování, ukládání do mezipaměti, zabezpečení a předplacené fakturace. Pro použití předplacené Kredity AI Gateway, nastavte u brány Nastavení fakturace Workers AI na Jednotné účtování. Požadavky na špičkové modely účtované z předplacených kreditů získávají vyšší limity počtu požadavků.

REST API

Použijte REST API pro volání modelů Workers AI. Modely Workers AI používají @cf/ prefix v názvu modelu a vyžadovat cf-aig-gateway-id hlavičku k určení brány, přes kterou se má požadavek směrovat.

Požadavek na model Kimi od Workers AI
# Run `wrangler whoami` to get your account ID to replace $CLOUDFLARE_ACCOUNT_ID,
# and `wrangler auth token` to get an auth token to replace $CLOUDFLARE_API_TOKEN.
curl -X POST "https://api.cloudflare.com/client/v4/accounts/$CLOUDFLARE_ACCOUNT_ID/ai/v1/chat/completions" \
  --header "Authorization: Bearer $CLOUDFLARE_API_TOKEN" \
  --header "cf-aig-gateway-id: default" \
  --header "Content-Type: application/json" \
  --data '{
    "model": "@cf/moonshotai/kimi-k2.6",
    "messages": [
      {
        "role": "user",
        "content": "What is Cloudflare?"
      }
    ]
  }'

Workers binding

Workers AI můžete s AI Gateway propojit pomocí bindingu prostředí. Chcete-li AI Gateway zahrnout do svého Workeru, přidejte gateway jako objekt do požadavku Workers AI.

export default {
	async fetch(request, env) {
		const response = await env.AI.run(
			"@cf/meta/llama-3.1-8b-instruct",
			{
				prompt: "Why should you use Cloudflare for your AI inference?",
			},
			{
				gateway: {
					id: "{gateway_id}",
					skipCache: false,
					cacheTtl: 3360,
				},
			},
		);
		return new Response(JSON.stringify(response));
	},
};
export interface Env {
	AI: Ai;
}

export default {
	async fetch(request: Request, env: Env): Promise<Response> {
		const response = await env.AI.run(
			"@cf/meta/llama-3.1-8b-instruct",
			{
				prompt: "Why should you use Cloudflare for your AI inference?",
			},
			{
				gateway: {
					id: "{gateway_id}",
					skipCache: false,
					cacheTtl: 3360,
				},
			},
		);
		return new Response(JSON.stringify(response));
	},
} satisfies ExportedHandler<Env>;

Podrobný postup krok za krokem pro integraci Workers AI s AI Gateway pomocí binding najdete v Integrace v AI Gateway.

Workers AI podporuje následující parametry pro AI gateways: