← Документация WAF / detections / ai-security-for-apps

Обнаружение небезопасных и пользовательских тем

AI Security for Apps умеет определять, когда промпт LLM затрагивает небезопасные или нежелательные темы. Здесь используются два уровня обнаружения тем:

• Небезопасные темы по умолчанию: Встроенный набор категорий безопасности, которые обнаруживают вредоносный контент, например преступления с применением насилия, разжигание ненависти и контент сексуального характера.
• Пользовательские темы: Темы, которые вы определяете в соответствии со специфическими политиками вашей организации, например "competitors" или "financial-advice".

Когда AI Security for Apps включена, она автоматически проверяет промпты на соответствие набору стандартных категорий небезопасных тем и заполняет два поля:

• LLM Unsafe topic detected (cf.llm.prompt.unsafe_topic_detected): true если была обнаружена какая-либо небезопасная тема.
• LLM Unsafe topic categories (cf.llm.prompt.unsafe_topic_categories): массив конкретных обнаруженных категорий.

Обнаружение пользовательских тем позволяет задать собственные темы, по которым AI Security for Apps будет оценивать каждый промпт. Эти показатели затем можно использовать в пользовательские правила или правила ограничения частоты запросов чтобы блокировать запросы, запрашивать их проверку или журналировать их на основании заданной вами оценки релевантности.

Эта возможность использует модель zero-shot классификации который оценивает промпты во время выполнения. Обучение модели не требуется.

1. Вы определяете список из не более чем 20 пользовательских тем. Каждая тема состоит из:
   • Метка: Короткий идентификатор через дефис, который используется в выражениях правил и аналитике (например, financial-advice).
   • описание темы: Описательный текст, который модель использует для классификации промптов (например, seeking financial advice).
2. Когда запрос поступает на cf-llm конечной точки с этой меткой, модель сравнивает промпт со всеми заданными описаниями тем и возвращает оценку релевантности для каждой из них.
3. Оценки записываются в cf.llm.prompt.custom_topic_categories поле map с ключами по меткам. В выражениях правил и аналитике используются именно метки, а не описания тем.

Пользовательскими темами можно управлять из двух мест в дашборде:

1. страница Security Settings: Перейдите в Безопасность > Настройки и найдите Безопасность ИИ для приложений раздел. В Пользовательские темы, выберите Управление темами чтобы добавлять, изменять или удалять темы.
2. Боковая панель Expression Builder: При создании или редактировании пользовательское правило, выберите LLM Custom topic поле. Затем выберите Управление пользовательскими темами чтобы открыть боковую панель, где можно управлять темами, не покидая страницу создания правила.

Оба метода обновляют один и тот же базовый список тем. Изменения, внесённые в одном из них, сразу отражаются в другом.

curl "https://api.cloudflare.com/client/v4/zones/$ZONE_ID/ai-security/custom-topics" \
  --request PUT \
  --header "Authorization: Bearer $CLOUDFLARE_API_TOKEN" \
  --json '{
    "topics": [
      {
        "label": "competitors",
        "topic": "seeking info on competitors"
      },
      {
        "label": "financial-advice",
        "topic": "seeking financial advice"
      },
      {
        "label": "hr-internal",
        "topic": "asking about internal HR policies"
      }
    ]
  }'

curl "https://api.cloudflare.com/client/v4/zones/$ZONE_ID/ai-security/custom-topics" \
  --header "Authorization: Bearer $CLOUDFLARE_API_TOKEN"

Качество обнаружения пользовательских тем зависит от того, как вы формулируете их описания. Используемая модель представляет собой zero-shot-классификатор, который сравнивает смысловое значение промпта с описанием вашей темы.

Важнее всего описать намерение пользователя, а не просто тему.

Модель выполняет семантическую классификацию, а не сопоставление по ключевым словам. Описания тем, которые отражают, что пользователь пытаетесь сделать значительно точнее, чем описания, которые просто называют тематическую область. Короткая глагольная фраза (от 3 до 6 слов) обычно даёт наилучший баланс между точностью и охватом.

Сравните, как одни и те же два описания тем работают с двумя промптами, которые упоминают финансы, но преследуют совершенно разные намерения:

• Будьте точны. Слишком широкие темы приводят к ложным срабатываниям, слишком узкие темы приводят к пропускам обнаружения.
• Избегайте смыслового пересечения. Если две темы означают почти одно и то же (например, seeking financial advice и asking for investment guidance), они будут получать схожие показатели на одних и тех же промптах и впустую расходовать ваш бюджет из 20 тем.
• Тестируйте и дорабатывайте. Отправляйте тестовые запросы и просматривайте показатели в Security Analytics. Настроить это можно, изменив описание темы (сделав его более или менее конкретным) или пороговое значение оценки в вашем правиле (lt 20 является строгим, lt 50 является разрешающим).
• Не указывайте несколько значений в одном описании темы. Модель проверяет только первый элемент списка, разделенного запятыми. Например, Toyota, Ford, Audi, BMW будет соответствовать только промптам о Toyota, остальные элементы игнорируются. Удаление запятых не улучшает результат. Используйте одну фразу, отражающую конкретное намерение, например seeking info on competitors, или создайте отдельные темы для каждого значения.