← Cloudflare AI Gateway / ai-gateway / usage
WebSockets API
WebSockets API AI Gateway предоставляет постоянное соединение для взаимодействий с ИИ, устраняя необходимость в повторных хендшейках и снижая задержку. Этот API делится на две категории:
- Realtime APIs - предназначено для AI-провайдеров, предлагающих мультимодальное взаимодействие с низкой задержкой через WebSockets.
- Non-Realtime APIs - поддерживает стандартное взаимодействие через WebSocket для AI-провайдеров, включая те, что изначально не поддерживают WebSockets.
Когда использовать WebSockets
WebSockets представляют собой долгоживущие TCP-соединения, обеспечивающие двунаправленную связь между клиентом и сервером как в режиме реального времени, так и без него. В отличие от HTTP-соединений, которые требуют повторного хендшейка для каждого запроса, WebSockets поддерживают постоянное соединение, обеспечивая непрерывный обмен данными с меньшими накладными расходами. WebSockets идеально подходят для приложений, которым нужны низкая задержка и данные в реальном времени, например для голосовых ассистентов.
Ключевые преимущества
- Меньшие издержки: избегайте накладных расходов на повторные хендшейки и согласование TLS, поддерживая одно постоянное соединение.
- Совместимость провайдера: Работает со всеми AI-провайдерами в AI Gateway. Даже если выбранный вами провайдер не поддерживает WebSockets, Cloudflare берет это на себя и управляет запросами к вашему предпочитаемому AI-провайдеру.
Ключевые отличия
| Возможность | Realtime APIs | Non-Realtime APIs |
|---|---|---|
| Назначение | Обеспечивает мультимодальное взаимодействие с ИИ в реальном времени для провайдеров с выделенными WebSocket-эндпойнтами. | Поддерживает взаимодействие с ИИ на основе WebSocket с провайдерами, которые не поддерживают WebSockets нативно. |
| Вариант использования | Потоковые ответы для голоса, видео и взаимодействий в реальном времени. | Текстовые запросы и ответы, например запросы к LLM. |
| Поддержка AI-провайдеров | Доступно только для провайдеров, которые предлагают WebSocket API в реальном времени. | Все поставщики ИИ в AI Gateway. |
| Поддержка потоковой передачи | Провайдеры изначально поддерживают потоковую передачу данных в реальном времени. | AI Gateway обрабатывает потоковую передачу через WebSockets. |
Подробности реализации см. в следующих разделах: