← Cloudflare AI Gateway / ai-gateway / features / dynamic-routing

JSON Configuration

Вместо использования интерфейс редактора в панели управления чтобы определить граф Routes, это можно сделать через REST API. Внутренне Routes представлены в виде простой JSON структуры:

{
  "id": "<route id>",
  "name": "<route name>",
  "elements": [<array of elements>]
}

Dynamic routing поддерживает несколько типов элементов, которые можно объединять для создания сложных потоков маршрутизации. У каждого элемента есть свои входы, выходы и параметры настройки.

Обозначает начало маршрута. Каждый маршрут должен начинаться с элемента Start.

• Входные данные: Нет
• Выходные данные:
  • next: Передает запрос без изменений следующему элементу

{
	"id": "<id>",
	"type": "start",
	"outputs": {
		"next": { "elementId": "<id>" }
	}
}

Оценивает условие на основе параметров запроса и соответствующим образом маршрутизирует его.

• Входные данные: Запрос
• Выходные данные:
  • true: Перенаправляет запрос указанному элементу, если условие принимает значение true
  • false: Перенаправляет запрос указанному элементу, если условие принимает значение false

conditions поддерживает операторы в стиле MongoDB, такие как $eq, $ne, $in, $and, а также $or.

{
	"id": "<id>",
	"type": "conditional",
	"properties": {
		"conditions": {
			"metadata.plan": { "$eq": "free" }
		}
	},
	"outputs": {
		"true": { "elementId": "<id>" },
		"false": { "elementId": "<id>" }
	}
}

Распределяет запросы вероятностным образом между несколькими выходами, что полезно для A/B-тестирования и постепенного развёртывания.

• Входные данные: Запрос
• Выходные данные: До 5 именованных процентных выходов
  • Каждый выходной ключ (например, "10%"), это вероятность для данной ветви, и сумма ключей должна составлять 100%

{
	"id": "<id>",
	"type": "percentage",
	"outputs": {
		"10%": { "elementId": "<id>" },
		"40%": { "elementId": "<id>" },
		"50%": { "elementId": "<id>" }
	}
}

Применяйте лимиты на основе метаданных запроса. Поддерживаются лимиты как по количеству, так и по стоимости.

• Входные данные: Запрос
• Выходные данные:
  • success: Перенаправляет запрос указанному элементу, если для запроса не действует ограничение скорости
  • fallback: Необязательный выход для запросов с ограничением скорости (при отсутствии маршрут завершается)

Свойства:

• limitType: "count" или "cost"
• key: Поле запроса, используемое для ограничения скорости (например, "metadata.user_id")
• limit: Максимально допустимое количество запросов/стоимость
• window: Временное окно в секундах

{
	"id": "<id>",
	"type": "rate",
	"properties": {
		"limitType": "count",
		"key": "metadata.user_id",
		"limit": 100,
		"window": 3600
	},
	"outputs": {
		"success": { "elementId": "node_model_workers_ai" },
		"fallback": { "elementId": "node_model_openai_mini" }
	}
}

Выполняет инференс с использованием указанной модели и провайдера с настраиваемыми параметрами тайм-аута и повторных попыток.

• Входные данные: Запрос
• Выходные данные:
  • success: Перенаправляет запрос указанному элементу, если модель успешно начинает передавать ответ потоком
  • fallback: Необязательный выход на случай сбоя модели после всех попыток повтора или истечения времени ожидания

Свойства:

• provider: AI-провайдер (например, "openai", "anthropic")
• model: Конкретное название модели
• timeout: Тайм-аут запроса в миллисекундах
• retries: Количество попыток повтора

{
	"id": "<id>",
	"type": "model",
	"properties": {
		"provider": "openai",
		"model": "gpt-4o-mini",
		"timeout": 60000,
		"retries": 4
	},
	"outputs": {
		"success": { "elementId": "<id>" },
		"fallback": { "elementId": "<id>" }
	}
}

Обозначает конец маршрута. Возвращает последний успешный ответ модели или ошибку, если ни один ответ модели не был сгенерирован.

• Входные данные: Запрос
• Выходные данные: Нет (укажите пустой outputs объект)

{
	"id": "<id>",
	"type": "end",
	"outputs": {}
}