INTEGRITY Документация

← Cloudflare AI Gateway / ai-gateway / features

Ограничение скорости запросов

Ограничение скорости запросов управляет трафиком, поступающим в ваше приложение, что предотвращает избыточные счета и подозрительную активность.

Параметры

Вы можете задать лимиты скорости запросов как количество запросов, отправляемых за определённый промежуток времени. Например, можно ограничить приложение до 100 запросов за 60 секунд.

Вы также можете выбрать, нужен ли вам фиксированный или скользящий техника ограничения скорости запросов. При ограничении скорости запросов разрешается определённое количество запросов в течение временного окна. Например, при фиксированной скорости окно основано на времени, поэтому будет не более x запросов за десятиминутное окно. При скользящей скорости будет не более x запросов за последние десять минут.

Чтобы проиллюстрировать это, предположим, что у вас установлен лимит в десять запросов за десять минут, начиная с 12:00. Тогда фиксированное окно будет 12:00-12:10, 12:10-12:20 и так далее. Если вы отправите десять запросов в 12:09 и десять запросов в 12:11, все 20 запросов будут успешными при стратегии фиксированного окна. Однако при стратегии скользящего окна они завершатся ошибкой, так как за последние десять минут было отправлено больше десяти запросов.

Обработка лимитов скорости запросов

Когда количество ваших запросов превышает разрешённую скорость, срабатывает ограничение скорости запросов. Это означает, что сервер ответит 429 Too Many Requests код состояния, и ваш запрос не будет обработан.

Конфигурация по умолчанию

Чтобы задать конфигурацию ограничения скорости запросов по умолчанию в панели управления:

  1. Войдите в Панель управления Cloudflare ↗ и выберите свой аккаунт.
  2. Перейдите в AI > AI Gateway.
  3. Перейдите в Настройки.
  4. Включить Ограничение скорости запросов.
  5. Настройте частоту, период времени и метод ограничения скорости запросов по своему усмотрению.

Чтобы задать конфигурацию ограничения скорости запросов по умолчанию через API:

  1. Создание API-токена со следующими разрешениями:
  • AI Gateway - Read
  • AI Gateway - Edit
  1. Получите ваш Account ID.
  2. Используя этот API-токен и Account ID, отправьте POST запрос чтобы создать новый шлюз и указать значение для rate_limiting_interval, rate_limiting_limit, а также rate_limiting_technique.

Такое поведение ограничения скорости запросов будет одинаково применяться ко всем запросам этого шлюза.