INTEGRITY Документация

← Cloudflare AI Gateway / ai-gateway / usage / providers

Workers AI

Используйте AI Gateway как единый уровень управления для Workers AI запросы с аналитикой, журналированием, кешированием, безопасностью и предоплаченным биллингом. Чтобы использовать предоплаченные Кредиты AI Gateway, задайте для шлюза настройка биллинга Workers AI к Единый биллинг. Запросы к передовым моделям, оплачиваемые предоплаченными кредитами, получают более высокие лимиты количества запросов.

REST API

Используйте REST API для вызова моделей Workers AI. Модели Workers AI используют @cf/ префикс в имени модели и требуют cf-aig-gateway-id заголовок, чтобы указать, через какой шлюз направлять запрос.

Запрос к модели Kimi в Workers AI
# Run `wrangler whoami` to get your account ID to replace $CLOUDFLARE_ACCOUNT_ID,
# and `wrangler auth token` to get an auth token to replace $CLOUDFLARE_API_TOKEN.
curl -X POST "https://api.cloudflare.com/client/v4/accounts/$CLOUDFLARE_ACCOUNT_ID/ai/v1/chat/completions" \
  --header "Authorization: Bearer $CLOUDFLARE_API_TOKEN" \
  --header "cf-aig-gateway-id: default" \
  --header "Content-Type: application/json" \
  --data '{
    "model": "@cf/moonshotai/kimi-k2.6",
    "messages": [
      {
        "role": "user",
        "content": "What is Cloudflare?"
      }
    ]
  }'

привязка Workers

Вы можете интегрировать Workers AI с AI Gateway с помощью привязки в окружении. Чтобы включить AI Gateway в свой Worker, добавьте шлюз как объект в запрос Workers AI.

export default {
	async fetch(request, env) {
		const response = await env.AI.run(
			"@cf/meta/llama-3.1-8b-instruct",
			{
				prompt: "Why should you use Cloudflare for your AI inference?",
			},
			{
				gateway: {
					id: "{gateway_id}",
					skipCache: false,
					cacheTtl: 3360,
				},
			},
		);
		return new Response(JSON.stringify(response));
	},
};
export interface Env {
	AI: Ai;
}

export default {
	async fetch(request: Request, env: Env): Promise<Response> {
		const response = await env.AI.run(
			"@cf/meta/llama-3.1-8b-instruct",
			{
				prompt: "Why should you use Cloudflare for your AI inference?",
			},
			{
				gateway: {
					id: "{gateway_id}",
					skipCache: false,
					cacheTtl: 3360,
				},
			},
		);
		return new Response(JSON.stringify(response));
	},
} satisfies ExportedHandler<Env>;

Подробное пошаговое руководство по интеграции Workers AI с AI Gateway с помощью binding см. в Интеграции в AI Gateway.

Workers AI поддерживает следующие параметры для шлюзов AI Gateway: