← Cloudflare AI Gateway / ai-gateway

Начало работы

В этом руководстве вы узнаете, как настроить и использовать свой первый AI Gateway.

Прежде чем отправлять запросы, вам потребуются две вещи:

1. Ваш Account ID, найдите его в Панель управления Cloudflare.
2. A API-токен Cloudflare, создайте API token с AI Gateway - Read, AI Gateway - Edit, а также Workers AI - Read разрешения.

Выполните следующую команду, чтобы отправить свой первый запрос через AI Gateway. В этом примере вызывается модель Workers AI, для чего требуется @cf/ префикс модели и cf-aig-gateway-id заголовок.

# Run `wrangler auth token` to get an auth token to replace $CLOUDFLARE_API_TOKEN,
# and `wrangler whoami` to replace $CLOUDFLARE_ACCOUNT_ID.
curl -X POST "https://api.cloudflare.com/client/v4/accounts/$CLOUDFLARE_ACCOUNT_ID/ai/v1/chat/completions" \
  --header "Authorization: Bearer $CLOUDFLARE_API_TOKEN" \
  --header "cf-aig-gateway-id: default" \
  --header "Content-Type: application/json" \
  --data '{
    "model": "@cf/moonshotai/kimi-k2.6",
    "messages": [
      {
        "role": "user",
        "content": "What is Cloudflare?"
      }
    ]
  }'

cf-aig-gateway-id: default заголовок направляет этот запрос Workers AI через шлюз вашего аккаунта по умолчанию. Если такого шлюза не существует, AI Gateway создаёт его при первом аутентифицированном запросе. Маршрутизация через шлюз обеспечивает единое ведение журналов, аналитику, кеширование, ограничение частоты запросов и меры безопасности. Автоматически созданный шлюз использует Стандартный биллинг по умолчанию. Чтобы платить предоплаченными кредитами AI Gateway, настроить для него параметр биллинга Workers AI на Единый биллинг.

Аутентифицируйтесь у вашего вышестоящего поставщика ИИ, используя один из следующих вариантов:

• Unified Billing: Используйте предоплаченные кредиты AI Gateway для Workers AI и поддерживаемых сторонних провайдеров моделей. См. Unified Billing.
• BYOK (Store Keys): Храните собственные API-ключи провайдеров в Cloudflare, а AI Gateway будет подставлять их во время выполнения. См. BYOK.
• Заголовки запроса: Включите ваш API-ключ провайдера в заголовки запроса как обычно (например, Authorization: Bearer <OPENAI_API_KEY>).

Вызывайте любую модель, независимо от того, размещена она на Cloudflare или у стороннего поставщика, через один и тот же API Cloudflare. SDK и ключи API поставщиков не нужны: аутентификация и оплата выполняются через ваш аккаунт Cloudflare. Доступны три эндпойнта: /ai/run для всех модальностей, /ai/v1/chat/completions для совместимости с OpenAI SDK, а также /ai/v1/responses для агентных рабочих процессов.

# Run `wrangler whoami` to get your account ID to replace $CLOUDFLARE_ACCOUNT_ID,
# and `wrangler auth token` to get an auth token to replace $CLOUDFLARE_API_TOKEN.
curl -X POST "https://api.cloudflare.com/client/v4/accounts/$CLOUDFLARE_ACCOUNT_ID/ai/v1/chat/completions" \
  --header "Authorization: Bearer $CLOUDFLARE_API_TOKEN" \
  --header "Content-Type: application/json" \
  --data '{
    "model": "openai/gpt-4.1-mini",
    "messages": [{"role": "user", "content": "What is Cloudflare?"}]
  }'

См. REST API для сведений и примеров.

Для прямой интеграции с конкретными провайдерами ИИ используйте выделенные эндпойнты, которые сохраняют исходную схему API провайдера и одновременно добавляют возможности AI Gateway.

https://gateway.ai.cloudflare.com/v1/{account_id}/{gateway_id}/{provider}

Доступные провайдеры:

• OpenAI - модели GPT и эмбеддинги
• Anthropic - модели Claude
• Google AI Studio - модели Gemini
• Workers AI - платформа инференса Cloudflare
• AWS Bedrock - управляемый AI-сервис Amazon
• Azure OpenAI - сервис OpenAI от Microsoft
• и другое...

• Подробнее о кэширование для более быстрых запросов и экономии средств, а также ограничение частоты запросов чтобы контролировать масштабирование вашего приложения.
• Узнайте, как указать модель или провайдера fallbacks, ratelimits, A/B-тесты для отказоустойчивости.
• Узнайте, как использовать недорогие модели с открытым исходным кодом на Workers AI - наш сервис AI-инференса.