INTEGRITY Документация

← Cloudflare AI Gateway / ai-gateway / configuration

Fallbacks

Укажите резервные модели или провайдеров с помощью Universal endpoint для обработки сбоев запросов и обеспечения надежности.

Cloudflare может переключиться на резервного поставщика в ответ на ошибки запросов или заранее заданные тайм-ауты запросов. заголовок ответа cf-aig-step показывает, на каком шаге запрос был успешно обработан.

Сбои запросов

По умолчанию Cloudflare запускает fallback, если запрос к модели возвращает ошибку.

Пример

В следующем примере запрос сначала направляется в Workers AI Inference API. Если запрос завершается ошибкой, происходит переключение на OpenAI. Заголовок ответа cf-aig-step показывает, какой поставщик успешно обработал запрос.

  1. Отправляет запрос в Workers AI Inference API.
  2. Если этот запрос завершается ошибкой, выполняется переход к OpenAI.
graph TD
    A[AI Gateway] --> B[Request to Workers AI Inference API]
    B -->|Success| C[Return Response]
    B -->|Failure| D[Request to OpenAI API]
    D --> E[Return Response]

Вы можете добавить сколько угодно резервных вариантов, просто добавив в массив ещё один объект.

Запрос
curl https://gateway.ai.cloudflare.com/v1/{account_id}/{gateway_id} \
  --header 'Content-Type: application/json' \
  --data '[
  {
    "provider": "workers-ai",
    "endpoint": "@cf/meta/llama-3.1-8b-instruct",
    "headers": {
      "Authorization": "Bearer {cloudflare_token}",
      "Content-Type": "application/json"
    },
    "query": {
      "messages": [
        {
          "role": "system",
          "content": "You are a friendly assistant"
        },
        {
          "role": "user",
          "content": "What is Cloudflare?"
        }
      ]
    }
  },
  {
    "provider": "openai",
    "endpoint": "chat/completions",
    "headers": {
      "Authorization": "Bearer {open_ai_token}",
      "Content-Type": "application/json"
    },
    "query": {
      "model": "gpt-4o-mini",
      "stream": true,
      "messages": [
        {
          "role": "user",
          "content": "What is Cloudflare?"
        }
      ]
    }
  }
]'

Заголовок ответа(cf-aig-step)

При использовании Universal endpoint с резервными переходами заголовок ответа cf-aig-step показывает, какая модель успешно обработала запрос, возвращая номер шага. Этот заголовок позволяет увидеть, сработал ли резервный вариант и какая модель в итоге сформировала ответ.