← Cloudflare Fundamentals / fundamentals / reference

Краулеры Cloudflare

Cloudflare может сканировать ваш сайт или отправлять к нему HTTP-запросы, чтобы убедиться, что он защищён и работает исправно.

Cloudflare будет сканировать ваш сайт, если у вас включены определенные продукты:

• Always Online
  • User-Agent: Mozilla/5.0 (compatible; CloudFlare-AlwaysOnline/1.0; +http://www.cloudflare.com/always-online)
• Проверки работоспособности
  • User-Agent: Mozilla/5.0 (compatible; Cloudflare-Healthchecks/1.0; +https://www.cloudflare.com/; healthcheck-id: <HEALTHCHECK_ID>)
  • HEALTHCHECK_ID это строка из 16 символов, связанная с ID проверки работоспособности.
• Мониторы балансировки нагрузки
  • User-Agent: Mozilla/5.0 (compatible; Cloudflare-Traffic-Manager/1.0; +https://www.cloudflare.com/traffic-manager/; pool-id: <POOL_ID>)
  • POOL_ID это строка из 16 символов, связанная с ID отслеживаемого пула балансировки нагрузки.
• URL-адреса для предзагрузки
  • User-Agent: Mozilla/5.0 (compatible; CloudFlare-Prefetch/0.1; +http://www.cloudflare.com/)
• SSL/TLS Recommender
  • User-Agent: Cloudflare-SSLDetector
  • Этот краулер игнорирует ваш robots.txt файл, если только нет правил, явно нацеленных на user agent.
• Security Insights
  • User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.107 Safari/537.36 (compatible; +https://developers.cloudflare.com/security-center/)

Cloudflare также сканирует ваш сайт в других, особых случаях:

• Тесты скорости
  • User-Agent: Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36 PTST/190628.140653
  • Срабатывает, когда: Вы запускаете тест скорости из панель управления Cloudflare.
• Диагностика поддержки:
  • User-Agent: Cloudflare-diagnostics
  • Срабатывает, когда: Инженеры поддержки Cloudflare выполняют проверки ошибок, а непрерывный мониторинг используется для формирования интеллектуальных оповещений в панели управления Cloudflare.
• Валидация Custom Hostname:
  • User-Agent: Cloudflare Custom Hostname Verification
  • Срабатывает, когда: Вы выбираете проверку пользовательского имени хоста с помощью HTTP-токен подтверждения владения.

Browser Run это продукт Cloudflare для разработчиков, который может сканировать сторонние веб-сайты от имени клиентов Cloudflare. В отличие от краулеров из раздела Crawling situations, он не сканирует ваш сайт в рамках включённого вами сервиса Cloudflare. Его используют разработчики, создающие приложения на платформе Cloudflare.

Browser Run: эндпоинт /crawl использует User-Agent CloudflareBrowserRenderingCrawler/1.0. Сведения о ненастраиваемых заголовках, идентификаторах обнаружения ботов и методах криптографической проверки, которые можно использовать для выявления или блокировки трафика Browser Run, см. в Автоматические заголовки запросов.

AI Search это продукт Cloudflare для разработчиков, который индексирует содержимое вашего веб-сайта, чтобы по нему можно было выполнять поиск. Краулер AI Search сканирует только принадлежащий вам веб-сайт (домен должен находиться в том же аккаунте Cloudflare), который вы выбрали в качестве источника данных в AI Search.

Краулер использует User-Agent Cloudflare-AI-Search. Вы можете разрешить или заблокировать это с помощью правил WAF, используя его идентификатор обнаружения ботов.