← Документация WAF / troubleshooting

Обнаружение поддельных ботов блокирует легитимные запросы

Cloudflare Managed Ruleset включает правила, которые обнаруживают запросы, выдающие себя за известных ботов, таких как Googlebot и Bingbot. Эти правила сравнивают User-Agent заголовок на соответствие известным шаблонам ботов, а затем проверьте источник такими методами, как обратный поиск DNS или проверка IP-адреса. Если User-Agent соответствует известному боту, но источник не может быть проверен, правило помечает запрос как поддельного бота (fake bot).

Следующая таблица перечисляет правила обнаружения поддельных ботов в Cloudflare Managed Ruleset:

Правила для поддельных ботов могут вызывать ложные срабатывания для легитимных сервисов, которые используют общую инфраструктуру или паттерны user agent с известными ботами, но при этом используют другие диапазоны IP-адресов. Типичные примеры:

• сервисы Google Cloud: Такие сервисы, как Google Cloud Workflows или Cloud Functions, могут отправлять запросы со связанным с Google User-Agent заголовок с IP-адресов, не входящих в стандартный диапазон Googlebot. Такие запросы не проходят проверку IP-адреса и помечаются как поддельные боты Google.
• Bing Webmaster Tools Site Scan: Site Scan использует не тот же диапазон IP-адресов, что и Bingbot, из-за чего срабатывает правило для поддельного бота Bing. Конкретные рекомендации для этого случая см. в Site Scan от Bing заблокирован управляемым правилом.
• Инструменты мониторинга и тестирования: Сторонние сервисы мониторинга доступности или автоматизированные инструменты тестирования, которые устанавливают похожий на бота User-Agent заголовок также может быть помечен.

Если правило для поддельных ботов блокирует легитимный трафик, создайте исключение чтобы пропустить конкретное управляемое правило для затронутых запросов.

При определении выражения исключения используйте свойства запроса, которые идентифицируют легитимный трафик, не отключая правило полностью. Например:

• Отфильтруйте по исходному IP-адресу или диапазону IP-адресов, если сервис использует известный набор адресов.
• Отфильтруйте по конкретному пути URI, если сервис обращается только к определённым конечным точкам.
• Отфильтруйте по ASN, если сервис исходит из определённой сети.

Исключение должно располагаться в списке правил перед правилом, которое выполняет Cloudflare Managed Ruleset, иначе оно не будет иметь эффекта.

Инструкции по созданию исключений см. в Создание исключений.