Bot Management
Cloudflare Bot Management оценивает каждый запрос на вероятность того, что его отправила автоматизация. Это позволяет блокировать скрейперов, перебор учётных данных и скупку товарных остатков, не мешая полезным ботам и живым пользователям.
Обзор
Примерно от трети до половины интернет-трафика создают автоматизированные клиенты. Часть этого трафика полезна: краулеры поисковых систем, мониторинг доступности, платёжные вебхуки. Но значительная доля приходится на скрейпинг контента и цен, проверку краденых учётных данных на формах входа, скупку дефицитных товаров, карточное мошенничество, а всё чаще и на сбор контента для обучения ИИ без разрешения.
Cloudflare Bot Management распознаёт автоматизацию в каждом запросе и не заставляет людей разгадывать головоломки. Он опирается на сигналы с десятков миллионов ресурсов, которые работают через Cloudflare, поэтому операторам ботов трудно массово обходить его классификацию.
Ключевые возможности
- Bot score для каждого запроса: от 1 (почти наверняка автоматизация) до 99 (почти наверняка человек); оценку можно использовать в WAF и собственных правилах
- Модели машинного обучения на трафике глобальной сети Cloudflare, которые переобучаются по мере того, как меняются боты
- Эвристическое и поведенческое обнаружение плюс TLS-отпечатки JA3/JA4, выявляющие инструментарий независимо от заявленного user agent
- Каталог верифицированных ботов: поисковые системы, сервисы мониторинга и другие полезные боты распознаются, чтобы их не заблокировали по ошибке
- Отдельное управление AI-краулерами: их можно пропускать, блокировать или обрабатывать по особым правилам отдельно от остального трафика
- Гибкое применение мер: блокировка, управляемый челлендж, ограничение частоты или выдача альтернативного контента по порогу score
- Аналитика ботов: распределение оценок, самые атакуемые автоматизацией пути и эффект от ваших правил
- Упрощённые варианты для младших тарифов: Bot Fight Mode и Super Bot Fight Mode
Как это работает
Оценку каждому запросу на границе сети вычисляют несколько взаимодополняющих систем: ML-модели, обученные с учителем на размеченном атакующем трафике со всей сети; эвристики, которые отсекают заведомо вредную автоматизацию; слой обнаружения аномалий, который изучает, как выглядит нормальный трафик именно вашего сайта. Среди сигналов есть отпечатки TLS и HTTP, порядок заголовков, репутация IP и поведенческие паттерны, а не только легко подделываемая строка user-agent.
Оценка доступна в правилах как поле. Типичная политика блокирует запросы со score ниже 2 на всех путях, выдаёт челлендж при score ниже 30 на страницах входа и оформления заказа и не проверяет верифицированных ботов и известных партнёров. Меры задаются обычными правилами, поэтому действовать можно точечно: защищать именно те эндпоинты, которыми боты злоупотребляют, и не добавлять трения в других местах.
Если челлендж всё же нужен, управляемый челлендж Cloudflare обычно проходит в браузере незаметно для пользователя, без головоломки.
Тарифные планы и лицензирование
Bot Fight Mode (базовая защита в режиме «вкл/выкл») доступен на тарифе Free; Super Bot Fight Mode с расширенным управлением входит в Pro и Business. Полноценный продукт Bot Management (оценка каждого запроса, интеграция с правилами, гранулярная работа с верифицированными ботами и аналитика) доступен как дополнение уровня Enterprise.
Внедрение с Integrity
Integrity, сертифицированный партнёр Cloudflare, поставляет этот продукт вместе с бесплатным пилотом: вы увидите результат на собственном трафике до того, как возьмёте на себя какие-либо обязательства.
Готовы начать? Свяжитесь с нами, чтобы договориться о бесплатном пилоте.
Частые вопросы
Не будут ли настоящие клиенты блокироваться или получать CAPTCHA?
Правильно настроенная конфигурация выдаёт челлендж только трафику с низким score, а управляемый челлендж Cloudflare обычно проходит незаметно, без картинок-головоломок. Кроме того, правила сначала запускаются в режиме наблюдения, а метрики конверсии при этом отслеживаются.
Можно ли блокировать AI-краулеров, не навредив позициям в Google?
Да. Верифицированные поисковые краулеры распознаются отдельно от краулеров, собирающих данные для обучения ИИ, поэтому можно пропускать Googlebot и Bingbot и при этом блокировать или ограничивать сборщиков данных для ИИ. Cloudflare поддерживает такую политику штатно.
Продвинутые боты используют резидентные прокси и настоящие браузеры. Работает ли оценка против них?
В основном да. Резидентные прокси помогают обойти репутацию IP, но не поведенческие сигналы, TLS-отпечатки и ML-модели, обученные на трафике всей сети. Ни одна система не остановит всех упорных атакующих, но обходить защиту становится намного дороже, и на практике цель именно в этом.
