INTEGRITY Dokumentace

prohledávače Cloudflare

Cloudflare může váš web procházet nebo na něj odesílat HTTP požadavky, aby ověřil, že je chráněný a funguje správně.

Situace při procházení

Konkrétní produkty

Cloudflare bude procházet váš web, pokud máte povoleny konkrétní produkty:

Další situace

Cloudflare bude procházet váš web i v dalších konkrétních situacích:

Crawlery vývojářských produktů

Browser Run je vývojářský produkt Cloudflare, který dokáže procházet weby třetích stran jménem zákazníků Cloudflare. Na rozdíl od robotů v sekci Crawling situations neprochází váš web v rámci žádné aktivované služby Cloudflare. Používají ho vývojáři, kteří vytvářejí aplikace na platformě Cloudflare.

Koncový bod /crawl služby Browser Run používá User-Agent z CloudflareBrowserRenderingCrawler/1.0. Informace o nekonfigurovatelných hlavičkách, ID pro detekci botů a kryptografických metodách ověřování, které můžete použít k identifikaci nebo blokování provozu Browser Run, najdete v Automatické hlavičky požadavků.

AI Search je vývojářský produkt Cloudflare, který indexuje obsah vašeho webu, aby v něm bylo možné vyhledávat. Robot AI Search prochází pouze web, který vlastníte (doména musí existovat ve stejném účtu Cloudflare) a který jste jako zdroj dat vybrali v AI Search.

Crawler používá User-Agent z Cloudflare-AI-Search. Můžete jej povolit nebo blokovat pomocí pravidel WAF s využitím jeho ID detekce botů.