← Cloudflare AI Gateway / ai-gateway / features

Dynamické směrování

Dynamické směrování vám umožňuje vytvářet toky směrování požadavků pomocí vizuální rozhraní nebo Konfigurace založená na JSON. Místo pevného nastavení jediného modelu si pomocí Dynamic Routing sestavíte malý postup, který vyhodnocuje podmínky, vynucuje kvóty a vybírá modely včetně záložních možností. Můžete ho upravovat bez zásahu do kódu aplikace: stačí publikovat novou verzi trasy a je hotovo. Díky dynamickému směrování snadno implementujete pokročilé případy použití, jako například:

• Směrování různých segmentů (platících/neplatících uživatelů) na různé modely
• Omezení jednotlivých uživatelů, projektů a týmů pomocí rozpočtu nebo limitů počtu požadavků
• A/B testování a postupné nasazování

a zároveň ho zpřístupňuje jak vývojářům, tak členům týmu bez technických znalostí.

• Trasa: Pojmenovaný a verzovaný flow (například dynamic/support), který můžete použít místo názvu modelu ve svých požadavcích.
• Nodes
  • Spustit: Vstupní bod trasy.
  • Podmíněný: Větev If/Else založená na výrazech odkazujících na tělo požadavku, hlavičky nebo metadata (například user_plan == "paid").
  • Procento: Směruje požadavky pravděpodobnostně mezi více výstupy, což je užitečné pro A/B testování a postupné zavádění.
  • Model: Volá poskytovatele/model s parametry požadavku
  • Rate Limit: Vynucuje kvóty počtu požadavků (podle klíče a období) a po jejich překročení přepne na fallback.
  • Limit rozpočtu: Vynucuje kvóty nákladů (podle klíče a období) a po jejich překročení přepne na fallback.
  • Konec: Ukončí tok a vrátí konečnou odpověď modelu.
• Metadata: Libovolný kontext ve formátu klíč-hodnota připojený k požadavku (například userId, orgId, plan). Můžete jej předat ze své aplikace, aby na něj mohla odkazovat pravidla.
• Verze: Každá změna vytvoří nový draft. Nasazením ho zveřejníte s možností okamžitého rollbacku.

1. Vytvořte route.
   • Přejděte na (Vyberte svou gateway) > Dynamic Routes > Add Route, a pojmenujte ho (například support).
   • Otevřete Editor.
2. Definujte podmínky, limity a další nastavení.
   • Můžete použít Custom Metadata ve svých podmínkách.
3. Nakonfigurujte uzly modelu.
   • Příklad:
     • Node A: poskytovatel OpenAI, model o4-mini-high
     • Node B: poskytovatel OpenAI, model gpt-4.1
4. Uložit verzi.
   • Klikněte na Save pro uložení stavu. Ke starším verzím se vždy můžete vrátit z Verze.
   • Nasaďte verzi, aby byla aktivní.
5. Zavolejte tuto trasu ve svém kódu.
   • Použijte Kompatibilní s OpenAI koncový bod (/compat/chat/completions), a použijte název trasy místo modelu, například dynamic/support. Viz Používání dynamické route příklady.