← Решения Cloudflare по борьбе с ботами / bots / additional-configurations

Block AI Bots

15 сентября 2026 года Cloudflare начнёт применять к новым доменам обновлённые настройки по умолчанию: боты, отнесённые к категориям Training и Agent, будут блокироваться на страницах с рекламой, а категория Search останется разрешённой. Краулеры смешанного назначения, сочетающие Search и Training, также будут блокироваться всеми конфигурациями, запрещающими обучение ИИ, включая устаревшую опцию «Block AI bots». До 15 сентября все клиенты могут отказаться от этих новых настроек по умолчанию ↗.

Все клиенты Cloudflare могут блокировать AI-ботов и агентов на основе их поведения. Cloudflare предлагает предустановки для наиболее распространённых типов поведения AI, позволяя клиентам по-разному обрабатывать разные сценарии использования AI:

• Поиск: краулеры, которые собирают или индексируют ваш контент, чтобы впоследствии отвечать на вопросы по нему.
• Agent: автоматизированная активность, которая в реальном времени действует от имени человека, например чат-боты для получения контента и агенты, использующие браузер.
• Training: краулеры, которые забирают ваш контент для обучения или дообучения модели, включая краулеры смешанного назначения, использующиеся как для категории Training, так и для категории Search.

Каждый вариант блокировки блокирует проверенных ботов, классифицированных с таким поведением, а также дополнительных непроверенных ботов, подпадающих под эти классификации.

Каждый параметр включает три варианта противодействия:

• Block (on all pages) - Применяет блокировку по всей зоне.
• Блокировать на страницах с рекламой - Использует автоматическое обнаружение Cloudflare на страницах, где в вашей зоне показывается реклама, и блокирует только эти страницы.
• Allow (do not block) - Не добавляет никакой блокировки.

Чтобы настроить эти политики, клиенты могут перейти в Security Settings > Настройка политик для ботов ИИ.

Этот параметр блокирует верифицированных ботов, классифицированных как выполняющих сканирование в целях обучения ИИ, а также ряд неверифицированных ботов со схожим поведением.

Чтобы настроить этот параметр и указать предпочтения по блокировке ботов смешанного назначения, клиенты могут перейти в Security Settings > Block AI bots.