INTEGRITY Документация

← Cloudflare AI Gateway / ai-gateway

Cloudflare AI Gateway

Отслеживайте и управляйте своими ИИ-приложениями.

Доступно на всех тарифах

AI Gateway от Cloudflare даёт вам видимость и контроль над вашими ИИ-приложениями. Подключив приложения к AI Gateway, вы получаете аналитику и логирование того, как люди используют ваше приложение, а затем можете управлять его масштабированием с помощью таких функций, как кэширование, ограничение скорости запросов, повторные попытки запросов, переключение на резервную модель и другие. При этом для начала работы достаточно одной строки кода.

Ознакомьтесь с Руководство по началу работы чтобы узнать, как настроить свои приложения для работы с AI Gateway.

Возможности

Модели

Ознакомьтесь со всеми моделями ИИ, доступными через AI Gateway, включая OpenAI, Anthropic, Google и другие.

Аналитика

Просматривайте метрики, такие как количество запросов, токенов и расходы на работу вашего приложения.

Логирование

Получайте информацию о запросах и ошибках.

Кеширование

Обслуживайте запросы прямо из кэша Cloudflare вместо исходного провайдера модели, чтобы ускорить обработку запросов и сократить расходы.

Ограничение скорости запросов

Управляйте масштабированием приложения, ограничивая количество запросов, которые оно получает.

Повтор запроса и fallback

Повышайте отказоустойчивость за счёт настройки повторных попыток запроса и fallback-моделей на случай ошибки.

Избранные провайдеры

Workers AI, Anthropic, Google Gemini, OpenAI, Replicate и другие провайдеры работают с AI Gateway.

Workers AI

Запускайте модели машинного обучения на базе бессерверных GPU в глобальной сети Cloudflare.

Vectorize

Создавайте full-stack приложения ИИ с Vectorize, векторной базой данных Cloudflare. Добавление Vectorize позволяет выполнять такие задачи, как семантический поиск, рекомендации, обнаружение аномалий, а также может использоваться для предоставления контекста и памяти для LLM.

Дополнительные ресурсы

Discord для разработчиков

Присоединяйтесь к сообществу Workers в Discord, чтобы задавать вопросы, делиться тем, что вы разрабатываете, и обсуждать платформу с другими разработчиками.

@CloudflareDev

Подпишитесь на @CloudflareDev в Twitter, чтобы узнавать об анонсах продуктов и новостях Cloudflare Workers.

Содержание

95 страниц, зеркалированных из документации Cloudflare для ai-gateway.

Pages

Конфигурация

Evaluations

Возможности

Интеграции

Observability

Платформа

Руководства

Использование AI Gateway