Возможности

Обслуживайте идентичные запросы прямо из глобального кэша Cloudflare, снижая задержку до 90% и существенно сокращая расходы за счёт исключения повторных обращений к API провайдеров ИИ.

Ключевые преимущества:

• Меньшее время отклика при повторных запросах
• Снижение затрат на API за счёт попаданий в кэш
• Настраиваемый TTL и управление кэшированием на уровне запроса
• Работает со всеми поддерживаемыми провайдерами ИИ

Настройте бюджеты на основе затрат, которые отслеживают совокупные расходы в долларах по всем запросам. Ограничивайте лимиты по модели, провайдеру или пользовательским измерениям метаданных, таким как пользователь, команда или приложение.

Ключевые преимущества:

• Бюджеты на провайдера или на модель
• Бюджеты на пользователя или на команду с использованием пользовательские метаданные
• Настраиваемые временные окна (ежедневно, еженедельно, ежемесячно)
• Автоматическая блокировка запросов при превышении бюджета

Управляйте масштабированием приложения и защищайтесь от злоупотреблений с помощью гибких настроек ограничения скорости запросов. Задавайте лимиты на основе количества запросов за период времени, используя скользящее или фиксированное окно.

Ключевые преимущества:

• Предотвращайте исчерпание квоты API
• Контролируйте расходы и характер использования
• Настраивается для каждого шлюза или каждого запроса
• Доступно несколько методов ограничения скорости запросов

Создавайте сложные схемы маршрутизации запросов без изменения кода. Направляйте запросы на основе сегментов пользователей, географии, анализа содержимого или требований A/B-тестирования через визуальный интерфейс.

Ключевые преимущества:

• Визуальная настройка на основе потоков
• Маршрутизация по пользователям и географии
• A/B-тестирование и дробное распределение трафика
• Контекстно-зависимая маршрутизация на основе содержимого запроса
• Динамическое ограничение скорости запросов с автоматическими резервными вариантами

Развёртывайте приложения ИИ безопасно благодаря модерации контента в реальном времени. Автоматически выявляйте и блокируйте вредоносный контент как в пользовательских промптах, так и в ответах моделей у всех провайдеров.

Ключевые преимущества:

• Единообразная модерация для всех провайдеров ИИ
• Оценка промптов и ответов в реальном времени
• Настраиваемые категории контента и действия
• Возможности для соответствия требованиям и аудита
• Повышенная безопасность и доверие пользователей

Защитите свою организацию от непреднамеренного раскрытия конфиденциальных данных через взаимодействие с ИИ. Сканируйте промпты и ответы на наличие PII, финансовых данных и другой конфиденциальной информации.

Ключевые преимущества:

• Сканирование промптов и ответов ИИ в реальном времени
• Обнаружение PII, финансовых, медицинских и пользовательских шаблонов данных
• Настраиваемые действия: пометка или блокировка конфиденциального контента
• Интеграция с корпоративным решением Cloudflare для DLP
• Поддержка соответствия требованиям GDPR, HIPAA и PCI DSS

Защитите свой AI Gateway с помощью аутентификации на основе токенов. Управляйте доступом к своим шлюзам и предотвращайте несанкционированное использование.

Ключевые преимущества:

• Контроль доступа на основе токенов
• Настраивается для каждого шлюза
• Интеграция с инфраструктурой безопасности Cloudflare
• Журнал аудита попыток доступа

Надёжно храните и управляйте API-ключами провайдеров ИИ в зашифрованной инфраструктуре Cloudflare. Уберите жёстко прописанные ключи из своих приложений, сохранив при этом полный контроль.

Ключевые преимущества:

• Шифрованное хранение ключей в состоянии покоя и при передаче
• Централизованное управление ключами для всех поставщиков
• Простая ротация ключей без изменений в коде
• Поддержка более чем 20 провайдеров ИИ
• Повышенная безопасность и соответствие требованиям

Получайте полное представление об использовании вашего AI-приложения благодаря комплексной аналитике. Отслеживайте запросы, токены, затраты, ошибки и производительность по всем провайдерам.

Ключевые преимущества:

• Метрики использования и тренды в реальном времени
• Отслеживание и оценка затрат по всем провайдерам
• Мониторинг ошибок и устранение неполадок
• Частота попаданий в кэш и аналитика производительности
• GraphQL API для пользовательских панелей управления

Собирайте подробные журналы всех запросов и ответов ИИ для отладки, соответствия требованиям и анализа. Настраивайте параметры хранения и экспорта журналов.

Ключевые преимущества:

• Полное логирование запросов и ответов
• Настраиваемые политики хранения журналов
• Возможности экспорта через Logpush
• Поддержка пользовательских метаданных
• Поддержка соответствия требованиям и аудита

Обогащайте свои логи и аналитику с помощью custom metadata. Помечайте запросы идентификаторами пользователей, информацией о команде или любыми произвольными данными для более точной фильтрации и анализа.

Ключевые преимущества:

• Расширенное отслеживание и фильтрация запросов
• Аналитика по пользователям и командам
• Интеграция пользовательской бизнес-логики
• Улучшенная отладка и устранение неполадок

Переопределяйте стандартные цены собственными согласованными тарифами или моделями Custom Cost. Применяйте Custom Costs на уровне запроса для точного отслеживания расходов.

Ключевые преимущества:

• Точное отслеживание затрат с учётом согласованных тарифов
• Настройка стоимости для каждого запроса
• Более эффективное планирование и прогнозирование бюджета
• Поддержка корпоративных ценовых соглашений