← Решения Cloudflare по борьбе с ботами / bots / reference / bot-verification

Проверка IP-адресов

Метод проверки IP направлен на выявление всех IP-адресов, которые бот может использовать для отправки запросов. Проверка IP применяется только как метод верификации для проверенные боты.

Cloudflare может добиться этого двумя способами:

• Использование списка IP-адресов, предоставленного владельцем бота: Владелец бота может опубликовать список диапазонов IP-адресов (например, список Googlebot ↗). Cloudflare напрямую загружает этот список и использует его для проверки.
• Использование обратного DNS на основе домена: Владелец бота может указать домен (или набор доменов), с которых поступают запросы его бота. Cloudflare собирает IP-адреса, замеченные в запросах с user agent этого бота, и выполняет обратный DNS-поиск. Если обратный DNS для IP-адреса указывает на один из заданных доменов, Cloudflare считает его действительным и сохраняет.

Чтобы верифицировать бота с помощью публичного списка IP-адресов, необходимо предоставить:

• Фиксированный и ограниченный набор IP-адресов, который можно проверить через общедоступный текстовый файл, JSON, или CSV.
• IP-адреса, используемые исключительно владельцем бота.
• Шаблон соответствия user agent.

Чтобы верифицировать бота с помощью обратного DNS, необходимо предоставить:

• Список суффиксов доменов для проверки DNS-записей.
• IP-адреса должны иметь корректно настроенные PTR-записи.
• Шаблон соответствия user agent.

Паттерны user-agent, совпадающие с общими user-agent, будут отклонены Verified Bots API. Если вы добавите в форму Verified Bot паттерн user-agent, который считается слишком распространенным, может появиться сообщение об ошибке с предложением исправить user-agent перед повторной отправкой формы.

К универсальным user-agent относятся:

• Dart
• Go-http-client
• GuzzleHttp
• Google Chrome
• Mozilla Firefox
• Safari
• Nessus
• Websocket++
• cloudflare-go
• fasthttp
• got
• nginx-ssl early hints
• node
• node-fetch
• okhttp
• python-requests
• uTorrent