← Řešení Cloudflare pro boty / bots / concepts / bot
Ověření roboti
Ověřený robot je bot nebo agent, u kterého Cloudflare potvrdil, že je transparentní v tom, kým je a co dělá: vystupuje pod svou pravou identitou a nezneužívá přístup, který mu tato otevřenost umožňuje. Patří sem například crawlery vyhledávačů, monitorovací služby a agenti řízení uživatelem.
Status Verified znamená, že bot nebo agent splňuje dvě podmínky:
- Čestná sebeidentifikace, deklaruje, kdo skutečně je, a to deterministicky, prostřednictvím kryptografického Web Bot Auth podpisu, zveřejněného seznamu IP adres se stálým user-agentem, nebo reverzního DNS.
- Chování nepředstavující zneužití, řídí se
robots.txta direktivy pro procházení, udržuje přiměřenou rychlost požadavků a nebylo u něj pozorováno obcházení preferencí provozovatele webu ani útoky na weby.
Klasifikace
Cloudflare klasifikuje každého sledovaného bota podle jeho chování, tedy podle toho, co může na vašem webu dělat. Jeden bot může mít jedno nebo více z následujících chování:
| Chování | Popis |
|---|---|
| Hledat | Prohledávání za účelem budování vyhledávacích indexů nebo databází RAG. |
| Agent | Agenti řízení uživatelem, kteří navštěvují stránku jménem člověka. |
| Training | Prohledávání za účelem trénování nebo doladění modelů. |
| Transact | Dokončení nákupu nebo jiné transakční akce jménem uživatelů. |
| Shromažďování dat | Scraping cen, shromažďování konkurenčního zpravodajství a analytika třetích stran. |
| Security Testing | Skenování zranitelností a penetrační testování. |
| SEO | Procházení pro SEO, audit webu a kontroly přístupnosti. |
| Ads Verification | Ověřování umístění reklam a detekce podvodů s reklamou. |
| Social / Link Preview | Náhledy odkazů pro sociální platformy a messagingové aplikace. |
| Feed Fetching | Čtečky RSS, agregátory podcastů a boti pro zpravodajské kanály. |
| Monitorování a provoz | Monitorování dostupnosti, webhooky a kontroly stavu. |
Search, Agent a Training jsou také k dispozici jako spravované předvolby, se kterými můžete pracovat ve všech plánech. Další informace najdete v AI boti.
Cloudflare navíc u každého ověřeného bota nebo agenta uvádí, kým je provozován.
| Popisek | Popis |
|---|---|
| Přímý | Provozuje jej jediný, úzce vymezený provozovatel, obvykle na vlastní infrastruktuře provozovatele. Požadavky vydávající se za tohoto bota může odesílat pouze tento provozovatel. |
| Zprostředkovatel | Agentní služba, kterou může provozovat široká škála koncových uživatelů. Provozovatel spouští software, ale každou akci iniciuje jiný koncový uživatel. |
Protože zprostředkovatel jedná jménem mnoha různých koncových uživatelů, provozovatel a koncový uživatel nejsou stejná strana. To přináší tranzitivní důvěra: můžete důvěřovat zprostředkujícímu provozovateli, ale ne nutně každému koncovému uživateli, který jej ovládá. Cloudflare experimentuje s předáváním informací o koncovém uživateli (pomocí Forwarded hlavičku definovanou v RFC 7239 ↗) tak, aby provozovatelé webu mohli uplatnit své preference vůči straně, která za požadavek v konečném důsledku odpovídá.
Jak se stát verifikovaným botem
O přidání svého robota nebo agenta do adresáře robotů a agentů Cloudflare můžete požádat vyplněním online aplikace ↗ na Cloudflare dashboardu.
Jakmile Cloudflare schválí ověřeného bota, měl by se zobrazit v BotBase, sdílené prostřednictvím Adresář botů a agentů Cloudflare Radar ↗.
Bot musí být ověřen (Verified) jednou z těchto metod ověření:
Porušení zásad
Pokud dojde k porušení některého z požadavků na ověření, bude služba odebrána z globálního allowlistu.
Následují příklady porušení zásad:
- Přidání sady IP adres, které nejsou používány výhradně službou Verified.
- IP adresy služby jsou kompromitovány útočníkem.
- Služba obsahuje zranitelnosti, které nebyly opraveny.
- Do seznamu je přidán blok IP adres, který nebyl při onboardingu prověřen.
- Deklarovaný účel služby neodpovídá skutečnému provozu.
- AI Crawler, který nerespektuje direktivu crawl-delay v souboru robots.txt.
Starší kategorie
Akademický výzkum
Řetězcová hodnota: Academic Research
Definice: Shromažďuje data pro vědecký výzkum nebo akademické účely.
Příklad: Library of Congress, TurnItInBot, Bibliothèque nationale de France
Přístupnost
Řetězcová hodnota: Accessibility
Definice: Prověřuje weby a posuzuje jejich přístupnost.
Příklad: Accessible Web Bot
Advertising or marketing
Řetězcová hodnota: Advertising & Marketing
Definice: Automatizuje marketingové úkoly, mimo jiné umísťování reklam a sledování jejich výkonu.
Příklad: Google Adsbot
Aggregators
Řetězcová hodnota: Aggregator
Definice: Shromažďuje obsah z různých online zdrojů a soustřeďuje jej na jednom místě.
Příklad: Pinterest, Indeed Jobsbot
AI Assistant
Řetězcová hodnota: AI Assistant
Definice: Automatizovaný bot s umělou inteligencí, který reaguje na akci uživatele.
Příklad: Perplexity-User, DuckAssistBot
AI Crawler
Řetězcová hodnota: AI Crawler
Definice: Prochází weby a shromažďuje obsah, který se používá k trénování AI modelů.
Příklad: Google Bard, ChatGPT bot
AI Search
Řetězcová hodnota: AI Search
Definice: Pohání vyhledávací funkce založené na umělé inteligenci.
Příklad: OAI-SearchBot
Archiver
Řetězcová hodnota: Archiver
Definice: Ukládá snímky webových stránek, aby digitální obsah zůstal zachován pro historické účely.
Příklad: Internet Archive, CommonCrawl
Feed fetcher
Řetězcová hodnota: Feed Fetcher
Definice: Načítá aktualizace z kanálů pro čtečky nebo jiné aplikace.
Příklad: nástroje pro aktualizaci RSS nebo podcastových kanálů
Monitorování nebo analytika
Řetězcová hodnota: Monitoring & Analytics
Definice: Sleduje dostupnost webu, jeho výkon a návštěvnost, a získává tak klíčové metriky pro monitoring.
Příklad: nástroje pro monitorování dostupnosti
Náhled stránky
Řetězcová hodnota: Page Preview
Definice: Vytváří náhledy odkazů sdílených na sociálních sítích nebo v aplikacích pro zasílání zpráv.
Příklad: nástroje pro náhled odkazů ve Facebooku, Slacku, Twitteru nebo Discordu
Search engine crawler
Řetězcová hodnota: Search Engine Crawler
Definice: Bot, který prochází a indexuje webové stránky pro účely vyhledávání.
Příklad: Googlebot, Bingbot, Yandexbot, Baidubot
Search engine optimization
Řetězcová hodnota: Search Engine Optimization
Definice: Analyzuje weby s cílem zlepšit jejich pozici ve výsledcích vyhledávání.
Příklad: Google Lighthouse, GT Metrix, Pingdom, AddThis
Security
Řetězcová hodnota: Security
Definice: Prověřuje weby a odhaluje bezpečnostní zranitelnosti a potenciální hrozby.
Příklad: skenery zranitelností, nástroje pro kontrolu SSL Domain Control Validation (DCV)
Social media marketing
Řetězcová hodnota: Social Media Marketing
Definice: Spravuje a automatizuje činnosti na sociálních platformách.
Příklad: Brandwatch
Webhooks
Řetězcová hodnota: Webhooks
Definice: Automatizovaný nástroj, který při určitých událostech přenáší data z jedné aplikace do druhé.
Příklad: platební brány, nástroje pro integraci s WordPressem
Ostatní
Řetězcová hodnota: Other
Definice: Samostatná kategorie pro boty, kteří nespadají do žádné z ostatních klasifikací.
Cloudflare si vyhrazuje právo přeřadit kategorie ověřených botů, pokud se veřejná dokumentace a pozorované chování bota liší od kategorie uvedené ve formuláři pro zařazení bota.
Dostupnost
Ověření boti byli historicky ve výchozích konfiguracích botů vyloučeni napříč všemi plány. Nyní mají všichni zákazníci možnost nakonfigurovat zásady pro AI boty k definování očekávání ohledně blokování a povolování.