← Cloudflare AI Gateway / ai-gateway / configuration

Обработка запросов

Ваш AI Gateway поддерживает разные стратегии обработки запросов к провайдерам, что позволяет эффективно управлять взаимодействием с ИИ и обеспечивать отзывчивость и надежность приложений.

Тайм-аут запроса позволяет вернуть ошибку или инициировать повторную попытку, если провайдер отвечает слишком долго.

Эти тайм-ауты помогают:

• Улучшайте пользовательский опыт, не позволяя пользователям слишком долго ждать ответа
• Проактивно обрабатывайте ошибки, выявляя провайдеров, которые не отвечают

Тайм-аут задаётся в миллисекундах. Он отсчитывается от момента получения первой части ответа. Пока первая часть ответа возвращается в течение заданного времени (например, при потоковой передаче ответа), ваш шлюз продолжает ожидать ответ.

Для эндпойнта конкретного провайдера настройте значение тайм-аута, добавив cf-aig-request-timeout заголовок.

# Run `wrangler whoami` to get your account ID to replace $CLOUDFLARE_ACCOUNT_ID,
# and `wrangler auth token` to get an auth token to replace $CLOUDFLARE_API_TOKEN.
curl -X POST "https://api.cloudflare.com/client/v4/accounts/$CLOUDFLARE_ACCOUNT_ID/ai/v1/chat/completions" \
  --header "Authorization: Bearer $CLOUDFLARE_API_TOKEN" \
  --header "Content-Type: application/json" \
  --header "cf-aig-request-timeout: 5000" \
  --data '{
    "model": "openai/gpt-4.1-mini",
    "messages": [{"role": "user", "content": "What is Cloudflare?"}]
  }'

AI Gateway поддерживает автоматические повторные попытки для неудачных запросов, максимум пять попыток.

Эта функция повышает отказоустойчивость вашего приложения и позволяет восстанавливаться после временных сбоев без вмешательства человека.

С помощью повторных попыток запроса можно настроить сочетание трёх параметров:

• Количество попыток (максимум 5)
• Через какое время повторять попытку (в миллисекундах, максимум 5 секунд)
• Метод задержки (постоянный, линейный или экспоненциальный)

При последней попытке повторной отправки шлюз будет ждать завершения запроса, независимо от того, сколько времени это займёт.

Для эндпойнта конкретного провайдера настройте параметры повторных попыток, добавив разные значения заголовков:

• cf-aig-max-attempts (number)
• cf-aig-retry-delay (number)
• cf-aig-backoff ("constant" | "linear" | "exponential)