← Cloudflare Cache / cache / advanced-configuration

Crawler Hints

Crawler Hints использует сигналы кеша Cloudflare, чтобы сообщать поисковым системам о вероятном изменении вашего контента, поэтому они сканируют сайт в нужный момент, а не наугад.

Контекст

Поисковые системы и аналогичные сервисы используют огромные сети ботов, которые сканируют интернет, чтобы найти контент, наиболее релевантный запросу пользователя. При этом содержимое веба постоянно меняется, поэтому поисковым краулерам приходится непрерывно обходить интернет и определять, как часто нужно проверять сайт на предмет обновлений.

Crawler Hints позволяет Cloudflare заранее сообщать краулеру о лучшем времени для индексации или об изменениях контента. Кроме того, Crawler Hints поддерживает IndexNow ↗, что позволяет сайтам уведомлять поисковые системы о создании, обновлении или удалении контента на сайте. Crawler Hints использует cache-status MISS чтобы определить, когда контент, вероятно, обновился, и передаёт это сведение краулеру IndexNow. Если ответ для ресурса содержит HTTP-код состояния выше 4xx, Crawler Hints не передаёт эти сведения в IndexNow ↗.

Преимущества

Crawler Hints помогает поисковым системам и другим сервисам на основе ботов показывать самую свежую версию вашего контента, что может улучшить позиции в поиске.

Crawler Hints также снижает избыточный трафик сканирования на ваш источник, уменьшая расход ресурсов и повышая производительность сайта.

Доступность

	Free	Pro	Business	Enterprise
Доступность	Да	Да	Да	Да

Включите Crawler Hints

На панели управления Cloudflare перейдите к разделу Конфигурация страницу.
Перейдите в Конфигурация ↗
Включите Crawler Hints.

После включения Crawler Hints Cloudflare начнёт отправлять поисковым системам подсказки о том, когда им следует сканировать отдельные разделы вашего сайта.

Запретите индексирование для конкретной страницы

После включения Crawler Hints становится глобальной настройкой для всего сайта. Запретить индексацию отдельной страницы можно одним из способов:

Настройка отправки исходным сервером заголовка X-Robots-Tag: noindex на всех страницах, которые не должны индексироваться.
Включая <meta name="robots" content="noindex, nofollow" /> в HTML любых страниц, которые не должны индексироваться.
Создание Response header Transform Rule в Cloudflare, чтобы добавить X-Robots-Tag: noindex заголовок, вместо того чтобы делать это на исходном сервере.