INTEGRITY Dokumentace

← Cloudflare AI Gateway / ai-gateway / configuration

Fallbacks

Zadejte fallbacks pro modely nebo poskytovatele pomocí svého Universal Endpoint pro zpracování selhání požadavků a zajištění spolehlivosti.

Cloudflare může aktivovat vašeho záložního poskytovatele v reakci na chyby požadavků nebo předem stanovené časové limity požadavků. hlavička odpovědi cf-aig-step udává, který krok požadavek úspěšně zpracoval.

Selhání požadavků

Cloudflare ve výchozím nastavení spustí váš fallback, pokud požadavek na model vrátí chybu.

Příklad

V následujícím příkladu požadavek nejprve jde na Workers AI Inference API. Pokud požadavek selže, dojde k přepnutí na OpenAI. Hlavička odpovědi cf-aig-step udává, který poskytovatel požadavek úspěšně zpracoval.

  1. Odesílá požadavek na Workers AI Inference API.
  2. Pokud tento požadavek selže, přejde se na OpenAI.
graph TD
    A[AI Gateway] --> B[Request to Workers AI Inference API]
    B -->|Success| C[Return Response]
    B -->|Failure| D[Request to OpenAI API]
    D --> E[Return Response]

Fallbacks můžete přidat, kolik jich potřebujete, stačí přidat další objekt do pole.

Požadavek
curl https://gateway.ai.cloudflare.com/v1/{account_id}/{gateway_id} \
  --header 'Content-Type: application/json' \
  --data '[
  {
    "provider": "workers-ai",
    "endpoint": "@cf/meta/llama-3.1-8b-instruct",
    "headers": {
      "Authorization": "Bearer {cloudflare_token}",
      "Content-Type": "application/json"
    },
    "query": {
      "messages": [
        {
          "role": "system",
          "content": "You are a friendly assistant"
        },
        {
          "role": "user",
          "content": "What is Cloudflare?"
        }
      ]
    }
  },
  {
    "provider": "openai",
    "endpoint": "chat/completions",
    "headers": {
      "Authorization": "Bearer {open_ai_token}",
      "Content-Type": "application/json"
    },
    "query": {
      "model": "gpt-4o-mini",
      "stream": true,
      "messages": [
        {
          "role": "user",
          "content": "What is Cloudflare?"
        }
      ]
    }
  }
]'

Hlavička odpovědi(cf-aig-step)

Při použití Universal Endpoint se záložními modely hlavička odpovědi cf-aig-step udává, který model požadavek úspěšně zpracoval, a to vrácením čísla kroku. Tato hlavička ukazuje, zda došlo k fallbacku a který model nakonec odpověď zpracoval.