← Cloudflare AI Gateway / ai-gateway / features
Limity útrat
Limity útrat vám umožňují nastavit v AI Gateway rozpočty založené na nákladech. Jakmile kumulativní útrata v daném časovém okně dosáhne limitu, AI Gateway zablokuje další požadavky s 429 odpověď, dokud se okno neresetuje.
Na rozdíl od rate limiting, který omezuje počet požadavků, limity útraty sledují skutečné náklady v dolarech na požadavek na základě ceníku modelu. Limity můžete vymezit na libovolnou kombinaci modelu, poskytovatele nebo vlastní metadata dimenze jako ID uživatele, tým nebo aplikace.
Limity útrat platí pro obě Unified Billing požadavky a BYOK požadavky u modelů se známým ceníkem.
Jak to funguje
Každé pravidlo limitu výdajů definuje rozpočet (v dolarech) pro klouzavé nebo pevné časové okno. AI Gateway vypočítá náklady na každý požadavek na základě využití tokenů a cen modelu a poté v reálném čase sleduje kumulativní výdaje vůči limitu.
Než AI Gateway odešle požadavek poskytovateli, najednou vyhodnotí všechna platná pravidla limitu útraty. Pokud je u kteréhokoli jednotlivého pravidla překročen rozpočet, požadavek je zablokován s 429 odpověď.
Limity útrat jsou eventuálně konzistentní. Náklady aktuálního požadavku se zaznamenají až po jeho dokončení, takže nápor souběžných požadavků může limit krátce překročit, než se vynucení limitu uplatní.
Vymezení rozsahu pomocí dimenzí
Rozsah každého pravidla lze vymezit jednou nebo více dimenzemi:
- Omezit podle poskytovatele : poskytovatel použitý pro požadavek.
- Omezit podle modelu : model použitý pro požadavek.
- Omezit podle metadat : vlastní metadata klíč, který připojujete k požadavkům. Zadejte název klíče metadat (například
agent_idneboenvironment).
Každou dimenzi lze nakonfigurovat jedním ze dvou způsobů:
| Režim | Chování | Příklad |
|---|---|---|
| Rozdělit podle hodnoty | Každá odlišná hodnota má vlastní nezávislou rozpočtovou skupinu. | Pokud například předáte agent_id, rozdělené podle agent_id dává každému agentovi vlastní rozpočet. |
| Filtrovat podle hodnoty | Pravidlo platí pouze tehdy, když dimension odpovídá konkrétní hodnotě. | Pokud například předáte agent_id, filtrování agent_id na agent_42 omezuje pouze požadavky daného agenta. |
Pokud u pravidla není nakonfigurována dimenze, všechny hodnoty sdílejí jeden budget bucket. Například pravidlo bez provider dimenze sleduje útraty napříč všemi poskytovateli dohromady.
Příklady dimenzí
U požadavku s modelem openai/gpt-5.5 a agent_id hodnotu metadat agent_42:
| Scénář | Dimenze | Rozpočtový segment |
|---|---|---|
| Globální rozpočet pro všechny | Žádné | Jeden sdílený bucket |
| Rozpočet na agenta | agent_id metadata: rozdělit podle hodnoty |
Samostatný bucket pro každého agenta |
| Na poskytovatele, na agenta | agent_id metadata: rozdělit podle hodnoty, provider: rozdělit podle hodnoty |
Samostatný bucket pro každou kombinaci agent+poskytovatel |
| Pouze konkrétní model | model: filtrovat podle hodnoty openai/gpt-5.5 |
Platí pouze pro openai/gpt-5.5 požadavky |
| Na agenta, na model | agent_id metadata: rozdělit podle hodnoty, model: rozdělit podle hodnoty |
Samostatný bucket pro každou kombinaci agent+model |
Nakonfigurovat limity výdajů
Limity útrat se konfigurují na gateway prostřednictvím dashboardu nebo API. Pro jeden gateway můžete definovat až 20 pravidel.
Chcete-li omezit limity útraty podle vlastních dimenzí, jako je ID uživatele nebo tým, připojte vlastní metadata na vaše požadavky.
Nastavit limity výdajů podle uživatele
Každému uživateli můžete přidělit vlastní rozpočet tak, že pravidlo omezíte na identifikátor uživatele. Způsob získání tohoto identifikátoru závisí na tom, jak je váš gateway ověřen.
S Cloudflare Access
Pokud je váš gateway chráněn Cloudflare Access, AI Gateway automaticky přidá ID ověřeného uživatele Access ke každému požadavku jako rezervovaný cf.user_id klíč metadat. ID uživatelů z vaší klientské aplikace předávat nemusíte.
Chcete-li nastavit rozpočet na uživatele:
- V Cloudflare dashboard ↗, přejděte na AI > AI Gateway a vyberte svou gateway.
- Přejděte do nastavení limitů výdajů a přidejte pravidlo.
- V části Omezit podle metadat, vyberte Přidat dimenzi metadat a zadejte
cf.user_idjako klíč. - Nastavte dimenzi na Rozdělit podle hodnoty.
- Nastavte výši rozpočtu a časové okno a poté uložte.
Každý ověřený uživatel Access nyní získává nezávislý rozpočet. Chcete-li místo toho omezit jednoho uživatele, nastavte dimenzi na Filtrovat podle hodnoty a zadejte Access JWT daného uživatele sub claim.
Bez Cloudflare Access
Pokud váš gateway není za Access, předejte svůj vlastní identifikátor uživatele jako vlastní metadata (například user_id klíč). Poté v části Omezit podle metadat, přidejte dimenzi s klíčem user_id a nastavte ji na Rozdělit podle hodnoty.
Chování při dosažení limitu
Když dojde k překročení limitu útrat, AI Gateway vrátí 429 Too Many Requests odpověď. Máte dvě možnosti:
- Blokovat požadavky (výchozí) - Požadavek je odmítán, dokud se rozpočtové okno nezresetuje.
- Přejít na levnější model - Vytvořte Dynamic Route s primárním modelem a záložním modelem (například
anthropic/claude-opus-4.7se záložním modelem@cf/moonshotai/kimi-k2.6). Poté pomocí této funkce nastavte limit útraty pro primární model. Když je rozpočet primárního modelu vyčerpán, AI Gateway automaticky přesměruje požadavky na záložní model, místo aby je blokovala.
Sledování výdajů
Své výdaje můžete sledovat podle modelu, poskytovatele nebo libovolného atributu custom metadata u Dashboard Analytics. Použijte to k pochopení vzorců využití a nastavení informovaných rozpočtů.
Omezení
- Sledování nákladů je odhad založený na počtu tokenů a cenách modelu, prováděný v rámci možností. Přesné částky fakturace najdete v dashboardu svého poskytovatele.
- Na jednu bránu lze nakonfigurovat maximálně 20 pravidel limitu útraty.