← Cloudflare AI Gateway / ai-gateway / configuration

Zpracování požadavků

Vaše AI gateway podporuje různé strategie zpracování požadavků vůči poskytovatelům, což vám umožňuje efektivně řídit AI interakce a zajistit, aby vaše aplikace zůstaly responzivní a spolehlivé.

Časový limit požadavku umožňuje vrátit chybu nebo spustit nový pokus, pokud poskytovatel odpovídá příliš dlouho.

Tyto timeouty pomáhají:

• Zlepšete uživatelský dojem tím, že uživatelé nebudou muset na odpověď čekat příliš dlouho
• Proaktivně řešte chyby díky detekci neresponzivních poskytovatelů

Časový limit se nastavuje v milisekundách a vychází z okamžiku, kdy se vrátí první část odpovědi. Pokud se první část odpovědi vrátí ve stanoveném čase, například při streamování odpovědi, vaše gateway na odpověď počká.

U koncového bodu specifického pro poskytovatele nakonfigurujte hodnotu timeoutu přidáním hlavičky cf-aig-request-timeout hlavička.

# Run `wrangler whoami` to get your account ID to replace $CLOUDFLARE_ACCOUNT_ID,
# and `wrangler auth token` to get an auth token to replace $CLOUDFLARE_API_TOKEN.
curl -X POST "https://api.cloudflare.com/client/v4/accounts/$CLOUDFLARE_ACCOUNT_ID/ai/v1/chat/completions" \
  --header "Authorization: Bearer $CLOUDFLARE_API_TOKEN" \
  --header "Content-Type: application/json" \
  --header "cf-aig-request-timeout: 5000" \
  --data '{
    "model": "openai/gpt-4.1-mini",
    "messages": [{"role": "user", "content": "What is Cloudflare?"}]
  }'

AI Gateway podporuje automatické opakování neúspěšných požadavků, maximálně pětkrát.

Tato funkce zvyšuje odolnost vaší aplikace a zajišťuje, že se dokážete zotavit z dočasných problémů bez nutnosti ručního zásahu.

U opakovaných požadavků můžete upravit kombinaci tří vlastností:

• Počet pokusů (maximálně 5 pokusů)
• Jak dlouho čekat před opakováním (v milisekundách, maximálně 5 sekund)
• Metoda backoffu (konstantní, lineární nebo exponenciální)

Při posledním pokusu o opakování počká váš gateway na dokončení požadavku bez ohledu na to, jak dlouho to trvá.

U koncového bodu specifického pro poskytovatele nakonfigurujte nastavení opakování přidáním různých hodnot hlaviček:

• cf-aig-max-attempts (number)
• cf-aig-retry-delay (number)
• cf-aig-backoff ("constant" | "linear" | "exponential)