← Dokumentace WAF / detections / ai-security-for-apps

Detekce nebezpečných a vlastních témat

AI Security for Apps dokáže rozpoznat, že se prompt LLM dotýká nebezpečných nebo nežádoucích témat. Detekce témat probíhá ve dvou vrstvách:

• Výchozí nebezpečná témata: Předdefinovaná sada bezpečnostních kategorií, které detekují škodlivý obsah, jako jsou násilné trestné činy, nenávistné projevy nebo sexuální obsah.
• Vlastní témata: Témata, která definujete tak, aby odpovídala konkrétním zásadám vaší organizace, například „competitors“ nebo „financial-advice“.

Když je AI Security for Apps povolena, automaticky vyhodnocuje prompty podle sady výchozích kategorií nebezpečných témat a vyplní dvě pole:

• LLM Unsafe topic detected (cf.llm.prompt.unsafe_topic_detected): true pokud bylo zjištěno jakékoli nebezpečné téma.
• LLM Unsafe topic categories (cf.llm.prompt.unsafe_topic_categories): pole s konkrétními zjištěnými kategoriemi.

Detekce vlastních témat vám umožňuje definovat vlastní témata, podle kterých AI Security for Apps ohodnotí každý prompt. Tato skóre pak můžete použít v vlastní pravidla nebo pravidla rate limitingu k blokování, vyzývání k ověření nebo zaznamenávání požadavků na základě skóre relevance, které definujete.

Tato funkce používá klasifikační model zero-shot které vyhodnocuje prompty za běhu. Není vyžadováno žádné trénování modelu.

1. Definujete seznam až 20 vlastních témat. Každé téma se skládá z:
   • Popisek: Krátký identifikátor s pomlčkami používaný ve výrazech pravidel a v analytice (například financial-advice).
   • Popis tématu: Popisný text, který model používá ke klasifikaci promptů (například seeking financial advice).
2. Když požadavek dorazí na cf-llm endpoint s tímto štítkem model vyhodnotí prompt vůči všem definovaným popisům témat a pro každé z nich vrátí skóre relevance.
3. Skóre se zapisují do cf.llm.prompt.custom_topic_categories mapové pole indexované podle štítku. V rule expressions a analytice se používají štítky, nikoli popisy témat.

Vlastní témata můžete spravovat ze dvou míst v dashboardu:

1. stránka Security Settings: Přejděte na Security > Nastavení a vyhledejte AI Security for Apps část. V části Vlastní témata, vyberte Správa témat k přidávání, úpravě nebo odebírání témat.
2. Postranní panel Expression Builder: Při vytváření nebo úpravě vlastní pravidlo, vyberte LLM Custom topic pole. Poté vyberte Správa vlastních témat, abyste otevřeli postranní panel, kde můžete spravovat témata bez opuštění stránky pro vytvoření pravidla.

Obě metody aktualizují stejný podkladový seznam témat. Změny provedené v jedné z nich se okamžitě projeví i ve druhé.

curl "https://api.cloudflare.com/client/v4/zones/$ZONE_ID/ai-security/custom-topics" \
  --request PUT \
  --header "Authorization: Bearer $CLOUDFLARE_API_TOKEN" \
  --json '{
    "topics": [
      {
        "label": "competitors",
        "topic": "seeking info on competitors"
      },
      {
        "label": "financial-advice",
        "topic": "seeking financial advice"
      },
      {
        "label": "hr-internal",
        "topic": "asking about internal HR policies"
      }
    ]
  }'

curl "https://api.cloudflare.com/client/v4/zones/$ZONE_ID/ai-security/custom-topics" \
  --header "Authorization: Bearer $CLOUDFLARE_API_TOKEN"

Kvalita detekce vlastních témat závisí na tom, jak formulujete popisy témat. Použitý model je klasifikátor zero-shot, který porovnává sémantický význam promptu s popisem vašeho tématu.

Nejdůležitější je popsat záměr uživatele, nikoli jen téma.

Model provádí sémantickou klasifikaci, nikoli porovnávání klíčových slov. Popisy témat, které vystihují, co se uživatel snažíte se udělat jsou výrazně přesnější než popisy, které pouze pojmenovávají tematickou oblast. Krátké slovesné spojení (3 až 6 slov) obvykle představuje nejlepší kompromis mezi přesností a pokrytím.

Porovnejte, jak si stejné dva popisy témat vedou u dvou promptů, které oba zmiňují finance, ale mají velmi odlišný záměr:

• Buďte konkrétní. Příliš obecná témata způsobují falešně pozitivní výsledky; příliš úzká témata způsobují falešně negativní výsledky.
• Vyhněte se sémantickému překrývání. Pokud dvě témata znamenají téměř totéž (například seeking financial advice a asking for investment guidance), budou mít u stejných promptů podobné skóre a zbytečně vyčerpají váš limit 20 témat.
• Otestujte a iterujte. Odešlete testovací prompty a projděte skóre v Security Analytics. Doladit to můžete úpravou popisu tématu (více či méně konkrétního) nebo prahové hodnoty skóre ve svém pravidle (lt 20 je striktní, lt 50 je permisivní).
• Neuvádějte více hodnot v jednom popisu tématu. Model vyhodnocuje jen podle první položky v seznamu odděleném čárkami. Například Toyota, Ford, Audi, BMW bude odpovídat pouze promptům týkajícím se Toyota, zbývající položky se ignorují. Odstranění čárek výsledky nezlepší. Použijte jedinou frázi vyjadřující záměr, například seeking info on competitors, nebo vytvořte samostatná témata pro každou hodnotu.