Dopad Cloudflare’s AI Bot Block

Cloudflare, jeden z největších poskytovatelů internetové infrastruktury, spustil novou funkci AI Bot Block, která je považována za potenciální “hrač” pro tvůrce obsahu a širší web. Tento inovativní systém má za cíl automatizovat detekci a zmírnění nežádoucích umělých inteligencí (AI) crawlerů, což fundamentálně mění vztah mezi vlastníky webů a společnostmi AI.

Cloudflare je nyní prvním poskytovatelem internetové infrastruktury, který blokuje AI crawlerům přístup k obsahu bez povolení nebo náhrady, ve výchozím nastavení. Tento článek bude zkoumat, jak funguje Cloudflare’s nový blokační mechanismus, prozkoumá jeho hluboké důsledky pro weby, které pokrývá, a prozkoumá potenciální dopad na web ekosystém, zejména pro vydavatele novin, e-commerce platformy a možnost podobných systémů od rivalů Cloudflare.

Jak funguje Cloudflare’s AI Bot Block

Core Funkce a Výchozí Blokování

Cloudflare již viděl více než 1 milion zákazníků aktivovat podobnou funkci, když se stala volitelnou v červenci 2024. Ale společnost oznámila, že bude ve výchozím nastavení blokovat AI boty z návštěvy webů, které hostuje. Nová nabídka umožňuje majitelům webů rozhodnout, zda mohou AI crawlerům přístup k jejich obsahu a jak mohou AI firmy používat. To mění odstraňování obsahu z opt-out na opt-in model, a stávající zákazníci mohou tuto funkci povolit jedním kliknutím v Cloudflare dashboardu.

Funkce je dostupná všem zákazníkům, včetně těch na bezplatných plánech, což ji činí dostupnou pro weby všech velikostí.

‘Pay Per Crawl’ Model

Hlavní funkcí Cloudflare’s nového bot blokování je zajistit, aby vydavatelé byli placeni za svůj obsah, který je získán a použit AI společnostmi. Tento ‘Pay Per Crawl’ model je zaměřen na vytvoření nového trhu, kde vydavatelé mohou požadovat náhradu od AI společností za každý přístup k jejich stránkám.

Majitelé webů v experimentu mohou zvolit, zda umožní AI crawlerům, jednotlivě, získat přístup k jejich webu za stanovenou sazbu, mikroplatbu za každý jednotlivý ‘crawl’. Vydavatelé mají plnou kontrolu, s třemi rozdílnými možnostmi pro každého crawléru: povolit bezplatný přístup, požadovat platbu za stanovenou sazbu nebo zcela zakázat přístup. Ceny budou určeny oběma stranami, vydavateli, kteří mohou stanovit sazby, a AI společnostmi, které mohou zvolit, zda budou mít přístup k webům za tyto sazby.

Systém se integruje s existující webovou infrastrukturou, využívající HTTP status kód 402 (‘Placení požadováno’). Když AI crawler požaduje obsah, buď poskytuje záměr platby prostřednictvím požadavkových hlaviček nebo obdrží odpověď 402, která označuje, že platba je požadována.

Pokročilé Nástroje pro Správu Botů

Cloudflare nyní nabízí vytvořit a spravovat soubor robots.txt pro zákazníky, automaticky zahrnující direktivy, které signalizují populárním AI bot operátorům, aby nepoužívali obsah pro školení AI modelů. To je zásadní, protože robots.txt je “čestný systém”, který mnoho webů nedůsledně využívá. Mezi top 10 000 domén, kde byl nalezen soubor robots.txt, pouze asi 14% mělo ‘allow’ nebo ‘disallow’ direktivy zaměřené na AI boty.

Nová možnost umožňuje majitelům webů zablokovat AI boty specificky na částech jejich webu, které jsou monetizovány prostřednictvím reklam. Aktivace této funkce zablokuje ověřené boty, které jsou klasifikovány v AI souvisejících kategoriích, jako je AI asistent, AI crawler nebo archivátor, a také řadu neověřených botů, které se chovají podobně. Tato komplexní funkce je dostupná všem zákazníkům Cloudflare, včetně těch na bezplatných plánech.

Dopad na Weby Pokryté Cloudflare

Získání Kontroly a Oceňování Obsahu

Cloudflare’s nové nástroje jsou považovány za poskytování vydavatelům “kontroly, kterou si zaslouží” nad svým obsahem, což je zásadní pro “přežití internetu ve věku AI.” Tradiční internetový model, kde vyhledávače poháněly provoz a reklamní výnosy, je považován za “rozbitý” některými, protože scrapery, které umožňují indexování vyhledávačů, jsou také tím, co umožňuje AI crawlerům shromažďovat obsah, jako je text, články a obrázky, aby generovaly odpovědi, aniž by odeslaly návštěvníky na původní zdroj, čímž zbavují tvůrce výnosů a uznání.

Vydavatelé oslavili Cloudflare’s nový program jako vzácné, rozhodné vítězství a “hrač” v prevenci jejich obsahu od být volně využíván miliony neznámých AI botů. Lídři průmyslu jej popisují jako zásadní první krok k obnově životaschopné internetové ekonomiky, zdůrazňující, že tvůrci obsahu si zaslouží náhradu za svou práci.

Řešení Finančních a Operačních Výzev

Široké odstraňování obsahu AI boty má značné finanční důsledky, podkopávající značné investice, které společnosti činí do vytváření a publikování webového obsahu. Nekontrolovaná činnost botů může mít také záporné účinky na výkon webu, vedoucí k přetížení serverů, zpomalení webů, zkreslení analytických dat a zvýšení operačních nákladů.

Vydavatelé hlásili problémy s “neplatným provozem”, které mohou vést k tomu, že hlavní dodavatelé blokuje domény, výsledkem čehož je významné ztráty poptávky a tlaku na ceny. Cloudflare’s řešení řeší tuto otázku efektivním zablokováním neoprávněných crawlerů, což je významné zlepšení oproti nedostatečnému systému robots.txt.

Důkaz Dopadu a Široké Přijetí Vydavatelů

Několik velkých vydavatelů, včetně Conde Nast, TIME, The Associated Press, The Atlantic, ADWEEK a Fortune, podepsalo s Cloudflare dohodu o blokování AI crawlerů ve výchozím nastavení. Okamžitý dopad byl podstatný, s některými vydavateli, kteří zablokovali miliony AI požadavků od neoprávněných společností během několika hodin od aktivace funkce. 

Pro mnoho vydavatelů byla potřeba této funkce jasná kvůli využívání jejich duševního vlastnictví a pokračujícímu zhoršování negativních dopadů AI poháněného vyhledávání na provoz webu. Na počátku roku 2025 vrátili crawleři Open AI jeden návštěvník za každých 250 stránek, zatímco v červnu vrátili jeden návštěvník za každých 1 500 stránek.

Širší Dopad na Web Ekosystém a Budoucnost

Dopady na Vývojáře AI a Školení Modelů

Rozhodnutí zablokovat umělou inteligenci crawlerům přístup k obsahu bez povolení nebo náhrady ve výchozím nastavení by mohlo mít významný dopad na schopnost vývojářů AI školení svých modelů. To může mít krátkodobý dopad na školení modelů AI a může mít dlouhodobý dopad na životaschopnost některých modelů.

OpenAI odmítl účast, když Cloudflare ukázal svůj plán zablokovat AI crawlerům ve výchozím nastavení s odůvodněním, že síť doručování obsahu přidává prostředníka do systému.

Dopady na Optimalizaci Pro Vyhledávače a Rozlišení Vyhledávačů

Kritická otázka pro majitele webů, kteří implementují Cloudflare’s AI bot blokování, je pochopení rozdílu mezi AI crawlerům a tradičními vyhledávači. Google (GOOGL ) nese nezájem, zda blokujete ostatní crawleři, a AI crawleři slouží zcela jinému účelu: shromažďují informace pro školení nebo aktualizaci jazykových modelů, na rozdíl od vyhledávačů, které indexují obsah pro hodnocení. To znamená, že blokování AI crawlerů prostřednictvím Cloudflare’s systému by nemělo mít negativní dopad na optimalizaci pro vyhledávače nebo hodnocení, což znamená, že strategie optimalizace pro vyhledávače, jako je backlinking, budou stále důležité.

Nicméně, širší krajina optimalizace pro vyhledávače se vyvíjí, protože vyhledávače integrují AI schopnosti do svých výsledků. Blokování specifických botů může ovlivnit viditelnost webů ve vyhledávacích výsledcích, potenciálně ovlivňující objevitelnost, zejména když vyhledávače vyvíjejí AI poháněné funkce. Klíčová výhoda Cloudflare’s přístupu je jeho jemná kontrola, umožňující vydavatelům udržet výhody optimalizace pro vyhledávače z tradičních vyhledávačů, zatímco selektivně blokují AI crawleři, kteří neposkytují přímý provoz nebo výhody hodnocení.

Odvětvové Dopady

Vydavatelé Novin

Tento systém nabízí potenciální a potřebný trvalý systém pro vydavatele novin, kteří se potýkají s existenčními otázkami, protože provoz z vyhledávače Google klesá a AI chatboty získávají popularitu. Poskytuje mechanismus pro ně, aby mohli monetizovat svůj obsah bez uzavírání jednorázových licenčních dohod, které obvykle prospívají pouze velkým vydavatelům.

E-commerce Platformy

Obecné výhody Cloudflare’s systému, jako je snížení zátěže serveru, prevence zkreslení analytických dat a zmírnění krádeže obsahu, jsou univerzálně aplikovatelné na jakýkoli web, včetně e-commerce platforem. Tyto platformy silně závisí na konzistentním výkonu, přesných uživatelských datech a ochraně proti neoprávněnému odstraňování dat.

API Služby

Základní princip kontrolovaného přístupu a monetizace digitálních aktiv, i když je nyní zaměřen na webový obsah, by mohl konceptuálně rozšířit ochranu a monetizaci dat přístupných přes API v budoucích iteracích nebo souvisejících službách.

Konkurenční Krajina a Výhled do Budoucna

Cloudflare je používán 20% webu, a odhaduje se, že kolem 16% globálního internetového provozu prochází přímo přes Cloudflare, což jej jedinečně позиcionuje pro implementaci takového velkého systému. Vize trhu pro obsah čelí výzvám, protože přesvědčit AI firmy, aby platily za obsah, který目前 získávají zdarma, by mohlo být obtížné.

Zatímco je vítán mnoha, Cloudflare’s nástroj může být viděn jako částečné řešení, nikoli úplné, a zaměřením by mělo být na pokračující potřebě silnějších právních ochran pro prevenci krádeže obsahu AI společnostmi napříč celým internetem.

Závěr

Cloudflare’s AI Bot Block představuje vícesměrný přístup k posílení tvůrců obsahu a změně dynamiky mezi webovými vydavateli a AI. Poskytováním robustních kontrolních mechanismů a nového ekonomického modelu, jako je Pay per Crawl, snaží se vytvořit více spravedlivý internet pro tvůrce a AI společnosti. Zatímco čelí výzvám a potřebě širší průmyslové adaptace, tato iniciativa představuje významný krok k zajištění budoucnosti tvorby obsahu na webu. Cloudflare’s AI Bot Block a nové ekonomické modely, jako je Pay per Crawl, usilují o vytvoření více spravedlivého internetu pro tvůrce a AI společnosti. Zatímco čelí výzvám a potřebě širší průmyslové adaptace, tato iniciativa představuje významný krok k zajištění budoucnosti tvorby obsahu na webu.