Funkce

Obsluhujte identické požadavky přímo z globální mezipaměti Cloudflare, snižte latenci až o 90 % a výrazně omezte náklady tím, že se vyhnete opakovaným voláním API u poskytovatelů AI.

Klíčové výhody:

• Kratší doby odezvy u opakovaných dotazů
• Nižší náklady na API díky zásahům do mezipaměti
• Konfigurovatelné TTL a řízení mezipaměti pro jednotlivé požadavky
• Funguje se všemi podporovanými poskytovateli AI

Nastavte rozpočty založené na nákladech, které sledují kumulativní útratu v dolarech napříč požadavky. Vymezte limity podle modelu, poskytovatele nebo vlastních dimenzí metadat, jako je uživatel, tým nebo aplikace.

Klíčové výhody:

• Rozpočty na poskytovatele nebo na model
• Rozpočty na uživatele nebo na tým pomocí vlastní metadata
• Konfigurovatelná časová okna (denní, týdenní, měsíční)
• Automatické blokování požadavků při překročení rozpočtu

Řiďte škálování aplikace a chraňte se před zneužitím pomocí flexibilních možností omezení počtu požadavků. Nastavte limity podle počtu požadavků za časové okno pomocí technik s pohyblivým nebo pevným oknem.

Klíčové výhody:

• Zabraňte vyčerpání kvóty API
• Řiďte náklady a vzorce využití
• Konfigurovatelné pro jednotlivé gateway nebo požadavky
• K dispozici je více technik omezení počtu požadavků

Vytvářejte sofistikované toky směrování požadavků bez nutnosti měnit kód. Směrujte požadavky podle segmentů uživatelů, geografické polohy, analýzy obsahu nebo požadavků A/B testování prostřednictvím vizuálního rozhraní.

Klíčové výhody:

• Vizuální konfigurace založená na toku
• Směrování podle uživatele a geografické polohy
• A/B testování a částečné rozdělení provozu
• Směrování zohledňující kontext na základě obsahu požadavku
• Dynamické omezování frekvence požadavků se záložními možnostmi

Nasazujte AI aplikace bezpečně díky moderování obsahu v reálném čase. Automaticky detekujte a blokujte škodlivý obsah v uživatelských promptech i odpovědích modelů u všech poskytovatelů.

Klíčové výhody:

• Konzistentní moderování napříč všemi poskytovateli AI
• Vyhodnocování promptů a odpovědí v reálném čase
• Konfigurovatelné kategorie obsahu a akce
• Možnosti compliance a auditu
• Vyšší bezpečnost uživatelů a jejich důvěra

Chraňte svou organizaci před neúmyslným únikem citlivých dat při interakcích s AI. Kontrolujte prompty a odpovědi na osobní údaje (PII), finanční údaje a další citlivé informace.

Klíčové výhody:

• Kontrola promptů a odpovědí AI v reálném čase
• Detekce PII a finančních, zdravotnických a vlastních vzorů dat
• Konfigurovatelné akce: označit nebo blokovat citlivý obsah
• Integrace s podnikovým řešením DLP od Cloudflare
• Podpora compliance pro GDPR, HIPAA a PCI DSS

Zabezpečte AI Gateway pomocí autentizace založené na tokenech. Řiďte přístup ke svým gateway a chraňte je před neoprávněným použitím.

Klíčové výhody:

• Řízení přístupu na základě tokenů
• Konfigurovatelné pro jednotlivé gateway
• Integrace s bezpečnostní infrastrukturou Cloudflare
• Auditní stopa pokusů o přístup

Bezpečně ukládejte a spravujte API klíče poskytovatelů AI v šifrované infrastruktuře Cloudflare. Odstraňte pevně zakódované klíče ze svých aplikací a zároveň si zachovejte plnou kontrolu.

Klíčové výhody:

• Šifrované úložiště klíčů v klidovém stavu i při přenosu
• Centralizovaná správa klíčů napříč poskytovateli
• Snadná rotace klíčů bez nutnosti měnit kód
• Podpora více než 20 poskytovatelů AI
• Vyšší zabezpečení a soulad s předpisy

Získejte hluboký přehled o využití své AI aplikace díky komplexní analytice. Sledujte požadavky, tokeny, náklady, chyby a výkon napříč všemi poskytovateli.

Klíčové výhody:

• Metriky a trendy využití v reálném čase
• Sledování a odhad nákladů napříč poskytovateli
• Monitorování chyb a řešení problémů
• Míra úspěšnosti mezipaměti a přehledy výkonu
• GraphQL API pro vlastní dashboardy

Zaznamenávejte podrobné protokoly všech požadavků a odpovědí AI pro účely ladění, compliance a analýzy. Nastavte dobu uchovávání protokolů a možnosti exportu.

Klíčové výhody:

• Úplné protokolování požadavků a odpovědí
• Konfigurovatelné zásady uchovávání protokolů
• Možnosti exportu prostřednictvím Logpush
• Podpora vlastních metadat
• Podpora compliance a auditu

Obohaťte své protokoly a analytiku o vlastní metadata. Označte požadavky ID uživatelů, informacemi o týmu nebo libovolnými vlastními daty a získejte tak lepší možnosti filtrování a analýzy.

Klíčové výhody:

• Rozšířené sledování a filtrování požadavků
• Analytika na úrovni uživatelů a týmů
• Integrace vlastní obchodní logiky
• Lepší ladění a řešení problémů

Přepište výchozí ceny vlastními sjednanými sazbami nebo vlastními cenovými modely. Pro přesné sledování nákladů uplatněte custom costs na úrovni požadavku.

Klíčové výhody:

• Přesné sledování nákladů při sjednaných sazbách
• Přizpůsobení nákladů na požadavek
• Lepší plánování a prognózování rozpočtu
• Podpora podnikových cenových dohod