← Cloudflare AI Gateway / ai-gateway

Začínáme

V tomto průvodci se naučíte, jak nastavit a používat svůj první AI Gateway.

Než začnete odesílat požadavky, budete potřebovat dvě věci:

1. Váš ID účtu : najdete je v Cloudflare dashboard.
2. A Token Cloudflare API, vytvořte API token hodnotou AI Gateway - Read, AI Gateway - Edit, a Workers AI - Read oprávnění.

Spusťte následující příkaz a odešlete svůj první požadavek přes AI Gateway. Tento příklad volá model Workers AI, který vyžaduje @cf/ prefix modelu a cf-aig-gateway-id hlavička.

# Run `wrangler auth token` to get an auth token to replace $CLOUDFLARE_API_TOKEN,
# and `wrangler whoami` to replace $CLOUDFLARE_ACCOUNT_ID.
curl -X POST "https://api.cloudflare.com/client/v4/accounts/$CLOUDFLARE_ACCOUNT_ID/ai/v1/chat/completions" \
  --header "Authorization: Bearer $CLOUDFLARE_API_TOKEN" \
  --header "cf-aig-gateway-id: default" \
  --header "Content-Type: application/json" \
  --data '{
    "model": "@cf/moonshotai/kimi-k2.6",
    "messages": [
      {
        "role": "user",
        "content": "What is Cloudflare?"
      }
    ]
  }'

cf-aig-gateway-id: default hlavička směruje tento požadavek Workers AI přes výchozí bránu vašeho účtu. Pokud brána neexistuje, AI Gateway ji vytvoří při prvním ověřeném požadavku. Směrování přes bránu poskytuje jednotné protokolování, analýzu, ukládání do mezipaměti, omezování rychlosti a zabezpečení. Automaticky vytvořená brána používá Standardní fakturace jako výchozí. Chcete-li platit předplacenými kredity AI Gateway, nastavit fakturační nastavení Workers AI na Jednotné účtování.

Ověřte se u svého upstream poskytovatele AI pomocí jedné z následujících možností:

• Unified Billing: Použijte předplacené kredity AI Gateway pro Workers AI a podporované poskytovatele modelů třetích stran. Více informací najdete v Unified Billing.
• BYOK (ukládání klíčů): Uložte si vlastní API klíče poskytovatelů u Cloudflare a AI Gateway je za běhu automaticky doplní. Více informací najdete v BYOK.
• Hlavičky požadavku: Zahrňte API klíč svého poskytovatele do hlaviček požadavku, jak jste zvyklí (například Authorization: Bearer <OPENAI_API_KEY>).

Prostřednictvím stejného rozhraní Cloudflare API můžete volat libovolný model, ať už běží na Cloudflare, nebo u externího poskytovatele. Nepotřebujete žádné SDK ani API klíče poskytovatele: ověřování i fakturace probíhají přes váš účet Cloudflare. K dispozici jsou tři koncové body: /ai/run pro všechny modality, /ai/v1/chat/completions pro kompatibilitu s OpenAI SDK a /ai/v1/responses pro agentní workflow.

# Run `wrangler whoami` to get your account ID to replace $CLOUDFLARE_ACCOUNT_ID,
# and `wrangler auth token` to get an auth token to replace $CLOUDFLARE_API_TOKEN.
curl -X POST "https://api.cloudflare.com/client/v4/accounts/$CLOUDFLARE_ACCOUNT_ID/ai/v1/chat/completions" \
  --header "Authorization: Bearer $CLOUDFLARE_API_TOKEN" \
  --header "Content-Type: application/json" \
  --data '{
    "model": "openai/gpt-4.1-mini",
    "messages": [{"role": "user", "content": "What is Cloudflare?"}]
  }'

Viz REST API pro podrobnosti a příklady.

Pro přímou integraci s konkrétními poskytovateli AI použijte vyhrazené koncové body, které zachovávají původní schéma API poskytovatele a zároveň přidávají funkce AI Gateway.

https://gateway.ai.cloudflare.com/v1/{account_id}/{gateway_id}/{provider}

Dostupní poskytovatelé:

• OpenAI - Modely GPT a embeddings
• Anthropic - Modely Claude
• Google AI Studio - Modely Gemini
• Workers AI - Inferenční platforma Cloudflare
• AWS Bedrock - Spravovaná AI služba od Amazonu
• Azure OpenAI - Služba OpenAI od Microsoftu
• a další...

• Další informace o ukládání do mezipaměti pro rychlejší požadavky a úsporu nákladů a rate limiting k řízení škálování vaší aplikace.
• Zjistěte, jak zadat model nebo poskytovatele fallbacky, ratelimity, A/B testy pro odolnost.
• Zjistěte, jak používat levné open source modely na Workers AI - naše služba pro AI inferenci.