← Решения Cloudflare по борьбе с ботами / bots / concepts / bot
Проверенные боты
Проверенный бот это бот или агент, в отношении которого Cloudflare подтвердил, что он является открыто указывает, кем является и что делает: он честно представляет себя и не злоупотребляет доступом, который эта честность дает. В качестве примеров можно привести краулеры поисковых систем, сервисы мониторинга и агентов, управляемых пользователем.
Наличие статуса Verified означает, что бот или агент соответствует двум критериям:
- Честная самоидентификация он детерминированно заявляет, кто он есть, посредством криптографической Web Bot Auth подпись, опубликованный список IP-адресов со стабильным user-agent или обратный DNS.
- Поведение без злоупотреблений он подчиняется
robots.txtи директивы сканирования, поддерживает разумную частоту запросов и не был замечен в обходе предпочтений владельца сайта или в атаках на сайты.
Классификация
Cloudflare классифицирует каждого отслеживаемого бота по поведению: по тому, что бот может делать на вашем сайте. У одного бота может быть один или несколько следующих типов поведения:
| Поведение | Описание |
|---|---|
| Поиск | Сканирование для построения поисковых индексов или баз данных RAG. |
| Agent | Агенты, которых направляет пользователь и которые посещают страницу от имени человека. |
| Training | Сканирование для обучения или дообучения моделей. |
| Transact | Оформление заказа и другие транзакционные действия от имени пользователей. |
| Сбор данных | Скрапинг цен, сбор конкурентной информации и сторонняя аналитика. |
| Security Testing | Сканирование уязвимостей и тестирование на проникновение. |
| SEO | Сканирование для SEO, аудит сайта и проверки доступности. |
| Ads Verification | Проверка размещения рекламы и обнаружение рекламного мошенничества. |
| Social / Link Preview | Предпросмотр ссылок для социальных платформ и мессенджеров. |
| Feed Fetching | RSS-ридеры, агрегаторы подкастов и боты для новостных лент. |
| Мониторинг и эксплуатация | Мониторинг доступности, вебхуки и проверки работоспособности. |
Search, Agent и Training также доступны в виде управляемых пресетов, которые можно применять на всех тарифных планах. Дополнительную информацию см. в ИИ-боты.
Cloudflare также указывает для каждого проверенного бота или агента способ его эксплуатации.
| Метка | Описание |
|---|---|
| Прямой | Управляется одним конкретным оператором, как правило, на собственной инфраструктуре этого оператора. Только этот оператор может отправлять запросы, которые идентифицируют себя как этот бот. |
| Посредник | Агентный сервис, которым может пользоваться широкий круг конечных пользователей. Оператор запускает программное обеспечение, но каждое действие инициируется отдельным конечным пользователем. |
Поскольку посредник действует от имени множества разных конечных пользователей, оператор и конечный пользователь не являются одной и той же стороной. Это создаёт транзитивное доверие: вы можете доверять оператору-посреднику, но не обязательно каждому конечному пользователю, который им управляет. Cloudflare тестирует передачу информации о конечном пользователе (с помощью Forwarded заголовок, определённый в RFC 7239 ↗) чтобы владельцы сайтов могли применять свои настройки к стороне, которая в конечном итоге несёт ответственность за запрос.
Как получить статус Verified bot
Вы можете подать заявку на добавление вашего бота или агента в каталог ботов и агентов Cloudflare, заполнив онлайн-приложение ↗ в Cloudflare dashboard.
После того как Cloudflare одобрит Verified bot, он должен появиться в BotBase, распространяемый через Каталог ботов и агентов Cloudflare Radar ↗.
Бот должен получить статус Verified с помощью одного из указанных ниже методов проверки:
Нарушение политики
Если какие-либо из требований проверки будут нарушены, сервис будет удалён из глобального allowlist.
Ниже приведены примеры нарушений политики:
- Добавление набора IP-адресов, которые используются не только сервисом Verified.
- IP-адреса сервиса скомпрометированы злоумышленником.
- Сервис имеет уязвимости, которые не были устранены.
- В список добавляется блок IP-адресов, не проверенный в рамках онбординга.
- Заявленное назначение сервиса не соответствует характеру трафика.
- AI Crawler, который не соблюдает директиву crawl-delay в robots.txt.
Устаревшие категории
Академические исследования
Строковое значение: Academic Research
Определение: Собирает данные для научных исследований или в академических целях.
Пример: Library of Congress, TurnItInBot, Bibliothèque nationale de France
Доступность
Строковое значение: Accessibility
Определение: Сканирует сайты, чтобы оценить их доступность.
Пример: Accessible Web Bot
Advertising or marketing
Строковое значение: Advertising & Marketing
Определение: Автоматизирует маркетинговые задачи, включая, среди прочего, размещение рекламы и отслеживание ее эффективности.
Пример: Google Adsbot
Aggregators
Строковое значение: Aggregator
Определение: Собирает контент из разных источников в интернете и объединяет его в одном месте.
Пример: Pinterest, Indeed Jobsbot
AI Assistant
Строковое значение: AI Assistant
Определение: Автоматизированный ИИ-бот, который запускается действием пользователя.
Пример: Perplexity-User, DuckAssistBot
AI Crawler
Строковое значение: AI Crawler
Определение: Сканирует сайты в поисках контента, который используется для обучения ИИ-моделей.
Пример: Google Bard, ChatGPT bot
AI Search
Строковое значение: AI Search
Определение: Обеспечивает работу поисковых сервисов на основе ИИ.
Пример: OAI-SearchBot
Archiver
Строковое значение: Archiver
Определение: Сохраняет снимки сайтов, чтобы архивировать цифровой контент для истории.
Пример: Internet Archive, CommonCrawl
Feed fetcher
Строковое значение: Feed Fetcher
Определение: Получает обновления из лент для работы ридеров и других приложений.
Пример: инструменты обновления RSS- и подкаст-лент
Мониторинг или аналитика
Строковое значение: Monitoring & Analytics
Определение: Отслеживает время безотказной работы сайта, производительность и трафик пользователей, чтобы собирать ключевые метрики мониторинга.
Пример: средства мониторинга доступности
Предпросмотр страницы
Строковое значение: Page Preview
Определение: Формирует превью для ссылок, которыми делятся в соцсетях или мессенджерах.
Пример: инструменты предпросмотра ссылок Facebook, Slack, Twitter или Discord
Краулер поисковой системы
Строковое значение: Search Engine Crawler
Определение: Бот, который сканирует и индексирует веб-страницы для результатов поиска.
Пример: Googlebot, Bingbot, Yandexbot, Baidubot
Поисковая оптимизация
Строковое значение: Search Engine Optimization
Определение: Анализирует сайты, чтобы повысить их позиции в результатах поиска.
Пример: Google Lighthouse, GT Metrix, Pingdom, AddThis
Безопасность
Строковое значение: Security
Определение: Сканирует сайты для выявления уязвимостей и потенциальных угроз.
Пример: сканеры уязвимостей, инструменты проверки SSL Domain Control Validation (DCV)
Маркетинг в социальных сетях
Строковое значение: Social Media Marketing
Определение: Управляет активностью в социальных сетях и автоматизирует ее.
Пример: Brandwatch
Webhooks
Строковое значение: Webhooks
Определение: Автоматизированный передатчик, который при наступлении определенных событий пересылает данные из одного приложения в другое.
Пример: платежные системы, инструменты интеграции с WordPress
Прочее
Строковое значение: Other
Определение: Отдельная категория для ботов, которые не подходят ни под одну из остальных классификаций.
Cloudflare оставляет за собой право переназначить категорию проверенного бота, если публичная документация бота и его фактическое поведение отличаются от категории, указанной в форме заявки на добавление бота.
Доступность
Исторически проверенные боты исключались из конфигураций ботов по умолчанию на всех тарифных планах. Теперь все клиенты могут настроить политики для ботов ИИ чтобы определить, что должно блокироваться, а что разрешаться.