← Cloudflare AI Gateway / ai-gateway / usage

WebSockets API

AI Gateway WebSockets API poskytuje trvalé připojení pro AI interakce, eliminuje opakované handshaky a snižuje latenci. Toto API se dělí do dvou kategorií:

rozhraní Realtime API - Určeno pro poskytovatele AI, kteří nabízejí multimodální interakce s nízkou latencí přes WebSockets.
Non-Realtime API - Podporuje standardní komunikaci přes WebSocket pro poskytovatele AI, včetně těch, kteří WebSockets nativně nepodporují.

Kdy použít WebSockets

WebSockets jsou dlouhotrvající TCP spojení, která umožňují obousměrnou komunikaci mezi klientem a serverem, ať už v reálném čase, nebo mimo něj. Na rozdíl od HTTP spojení, která vyžadují opakované handshaky pro každý požadavek, WebSockets spojení udržují, což umožňuje nepřetržitou výměnu dat s nižší režií. WebSockets se tak hodí pro aplikace vyžadující data s nízkou latencí v reálném čase, například pro hlasové asistenty.

Klíčové výhody

Snížená režie: Udržováním jediného trvalého připojení se vyhnete režii opakovaných handshaků a vyjednávání TLS.
Kompatibilita poskytovatelů: Funguje se všemi poskytovateli AI v AI Gateway. I pokud váš zvolený poskytovatel nepodporuje WebSockets, Cloudflare to za vás zajistí a spravuje požadavky na vašeho preferovaného poskytovatele AI.

Klíčové rozdíly

Funkce	rozhraní Realtime API	Non-Realtime API
Účel	Umožňuje multimodální AI interakce v reálném čase u poskytovatelů, kteří nabízejí vyhrazené WebSocket koncové body.	Podporuje AI interakce založené na WebSocket s poskytovateli, kteří nativně nepodporují WebSockets.
Případ použití	Streamované odpovědi pro hlas, video a interakce v reálném čase.	Textové dotazy a odpovědi, například požadavky LLM.
Podpora poskytovatelů AI	Omezeno na poskytovatele nabízející WebSocket API v reálném čase.	Všichni poskytovatelé AI v AI Gateway.
Podpora streamování	Poskytovatelé nativně podporují streamování dat v reálném čase.	AI Gateway zajišťuje streamování přes WebSockets.

Podrobnosti o implementaci najdete v následujících částech: