← Cloudflare Cache / cache / advanced-configuration
Crawler Hints
Crawler Hints využívá signály z mezipaměti Cloudflare, aby vyhledávačům sdělil, kdy se váš obsah pravděpodobně změnil, takže váš web procházejí ve správný čas místo pouhého odhadování.
Kontext
Vyhledávače a podobné služby provozují rozsáhlé sítě botů, které procházejí internet a hledají obsah nejrelevantnější pro daný dotaz uživatele. Obsah na webu se ale neustále mění, a prohledávače vyhledávačů proto musí internet stále znovu procházet a odhadovat, jak často mají daný web kontrolovat kvůli aktualizacím obsahu.
Díky Crawler Hints může Cloudflare aktivně sdělovat vyhledávacím robotům nejvhodnější čas k indexaci nebo informaci o změně obsahu. Crawler Hints navíc podporuje IndexNow ↗, což webům umožňuje upozornit vyhledávače pokaždé, když je na jejich webu obsah vytvořen, aktualizován nebo odstraněn. Crawler Hints používá cache-status MISS určit, kdy byl obsah pravděpodobně aktualizován, a odeslat tuto informaci crawleru IndexNow. Pokud má odpověď assetu HTTP stavový kód vyšší než 4xx, Crawler hints to IndexNow ↗.
Přínosy
Crawler Hints pomáhá vyhledávačům a dalším službám založeným na robotech zobrazovat nejaktuálnější verzi vašeho obsahu, což může zlepšit umístění ve výsledcích vyhledávání.
Crawler Hints navíc snižuje zbytečný provoz vyhledávacích robotů směrem k vašemu originu, čímž omezuje spotřebu prostředků a zlepšuje výkon webu.
Dostupnost
| Free | Pro | Business | Enterprise | |
|---|---|---|---|---|
| Dostupnost | Ano | Ano | Ano | Ano |
Zapnutí Crawler Hints
-
V dashboardu Cloudflare přejděte na Konfigurace stránce.
Přejděte na Konfigurace ↗ -
Zapněte Crawler Hints.
Po zapnutí Crawler Hints začne Cloudflare posílat vyhledávačům pokyny, kdy mají procházet jednotlivé části vašeho webu.
Zabraňte indexování konkrétní stránky
Po zapnutí platí Crawler Hints jako globální nastavení pro celý váš web. Indexování konkrétní stránky můžete zastavit dvěma způsoby:
- Origin server odesílá hlavičku
X-Robots-Tag: noindexna všech stránkách, které by neměly být indexovány. - Včetně
<meta name="robots" content="noindex, nofollow" />v HTML kódu všech stránek, které by se neměly indexovat. - Vytvoření Transform Rule pro hlavičky odpovědi v Cloudflare, abyste přidali
X-Robots-Tag: noindexhlavičku, místo aby to dělal origin server.