← Dokumentace WAF / detections / ai-security-for-apps

Počítání tokenů

AI Security for Apps (dříve Firewall for AI) u každého vstupního promptu LLM uvádí odhadovaný počet tokenů. Díky tomu můžete sledovat velikost promptů, nastavovat limity pro příliš dlouhé prompty a sledovat využití tokenů napříč vašimi AI endpointy.

Když AI Security for Apps zpracovává požadavek na cf-llm endpoint s tímto štítkem vypočítá přibližný počet tokenů pro obsah promptu. Výsledek je dostupný v LLM Token count (cf.llm.prompt.token_count), na které se můžete odkazovat ve výrazech pravidel a zobrazit je v analytice.

Nastavte pevnou prahovou hodnotu pro blokování promptů, které překročí zadaný odhadovaný počet tokenů. Zabráníte tak tomu, aby se k vašemu modelu dostaly neočekávaně velké vstupy.

• Když příchozí požadavky odpovídají:

  Do editoru zadejte následující výraz:
  (cf.llm.prompt.token_count gt 4000)

• Akce: Block

Vytvořte pravidlo pro omezení frekvence které omezuje počet velkých promptů, jež může jeden klient odeslat v rámci časového okna. To pomáhá předcházet zneužití, při kterém útočníci odesílají nadměrně dlouhé prompty s cílem vyčerpat prostředky modelu.

Do editoru zadejte následující výraz pravidla:
(cf.llm.prompt.token_count gt 2000)

Nastavte frekvenci například na 10 požadavků za minutu na IP adresu s akcí Block nebo Managed Challenge.

Cílí na velké prompty, které navíc vykazují známky prompt injection: jde o běžný vzor, kdy útočníci prodlužují pokusy o injektáž dlouhým kontextem.

Příklad výrazu pravidla:
(cf.llm.prompt.token_count gt 3000 and cf.llm.prompt.injection_score lt 50)

• Pouze odhad. Počet tokenů je jen orientační odhad. Skutečná spotřeba tokenů u vašeho modelu se může lišit podle tokenizéru daného modelu.
• Pouze vstupní tokeny. Počet tokenů odpovídá příchozímu promptu. Neodhaduje výstupní tokeny ani tokeny odpovědi.
• Pouze extrahovaný prompt. Počet tokenů se počítá z textu promptu extrahovaného z těla požadavku. Cloudflare prompt extrahuje pomocí sady známých cest JSON pro hlavní poskytovatele LLM. Pokud prompt nelze extrahovat, použije Cloudflare jako záložní variantu celé tělo požadavku. V takových situacích počet tokenů odpovídá celému tělu požadavku.