De Impact van Cloudflare’s AI Bot Block

Cloudflare, een van de grootste internetinfrastructuurproviders, heeft een nieuwe functie gelanceerd genaamd AI Bot Block, die wordt beschouwd als een potentieel ‘game-changer’ voor contentcreators en het bredere web. Dit innovatieve systeem heeft als doel het automatiseren van de detectie en mitigatie van ongewenste kunstmatige intelligentie (AI) crawlers, en herdefinieert fundamenteel de relatie tussen website-eigenaren en AI-bedrijven.

Cloudflare is nu de eerste internetinfrastructuurprovider die AI-crawlers blokkeert die toegang hebben tot content zonder toestemming of compensatie, standaard. Dit artikel zal onderzoeken hoe Cloudflare’s nieuwe blokkeringsmechanismen werken, de diepgaande implicaties voor de websites die ze bedekken, en de potentiële gevolgen voor het web ecosysteem, met name voor nieuwsuitgevers, e-commerceplatforms en de mogelijkheid van soortgelijke systemen die ontstaan bij Cloudflare’s concurrenten.

Hoe Cloudflare’s AI Bot Block Werkt

Kernfunctionaliteit en Standaardblokkering

Cloudflare heeft al meer dan 1 miljoen klanten geactiveerd die een soortgelijke functie toen het een optie werd in juli 2024. Maar het bedrijf heeft aangekondigd dat het nu standaard AI-bots zal blokkeren van het bezoeken van websites die het host. De nieuwe functionaliteit stelt site-eigenaren in staat om te beslissen of AI-crawlers toegang hebben tot hun content en hoe AI-bedrijven deze kunnen gebruiken. Dit verandert content scraping van een opt-out naar een opt-in model, en bestaande klanten kunnen deze functie inschakelen met één klik in hun Cloudflare-dashboard.

De functie is beschikbaar voor alle klanten, inclusief die met gratis abonnementen, waardoor het toegankelijk is voor websites van alle maten.

Het ‘Pay Per Crawl’ Model

Een belangrijke functie van Cloudflare’s nieuwe botblokker is om ervoor te zorgen dat uitgevers worden betaald voor hun content die wordt gescraped en gebruikt door AI-bedrijven. Dit ‘Pay Per Crawl’ model is gericht op het creëren van een nieuwe markt waar uitgevers compensatie kunnen vragen van AI-bedrijven voor elke pagina die wordt gescraped.

Website-eigenaren in het experiment kunnen kiezen om AI-crawlers, op individuele basis, toegang te geven tot hun site tegen een vast tarief, een micropayment voor elke enkele ‘crawl’. Uitgevers hebben volledige controle, met drie verschillende opties voor elke crawler: gratis toegang toestaan, betaling vereisen tegen een geconfigureerd tarief, of toegang volledig weigeren. De prijs wordt bepaald door zowel uitgevers, die tarieven kunnen instellen, als AI-bedrijven, die kunnen kiezen of ze webpagina’s tegen die tarieven willen toegang geven.

Het systeem integreert met bestaande webinfrastructuur, met behulp van HTTP-statuscode 402 (‘Betaling vereist’). Wanneer een AI-crawler content aanvraagt, verstrekt het ofwel betalingsintentie via aanvraagheaders of ontvangt het een 402-reactie die aangeeft dat betaling vereist is.

Geavanceerde Botbeheertools

Cloudflare biedt nu de mogelijkheid om een robots.txt-bestand te maken en te beheren voor klanten, waarin automatisch richtlijnen worden opgenomen die populaire AI-botoperatoren signaleren om content niet te gebruiken voor AI-modeltraining. Dit is cruciaal omdat robots.txt een ‘erecode’ is die veel websites niet effectief gebruiken. Onder de top 10.000 domeinen waar een robots.txt-bestand werd gevonden, had slechts ongeveer 14% ‘allow’ of ‘disallow’ richtlijnen die specifiek waren gericht op AI-bots.

Een nieuwe optie stelt website-eigenaren in staat om AI-bots specifiek te blokkeren op delen van hun site die worden gemonetariseerd via advertenties. Het inschakelen van deze instelling zal geverifieerde bots blokkeren die zijn geclassificeerd in AI-gerelateerde categorieën zoals AI-assistent, AI-crawler of archiver, evenals een aantal niet-geverifieerde bots die zich vergelijkbaar gedragen. Deze uitgebreide functie is beschikbaar voor alle Cloudflare-klanten, inclusief die met gratis abonnementen.

Impact op Sites die door Cloudflare worden Gedekt

Herwinnen van Controle en Waardering van Content

Cloudflare’s nieuwe tools worden gezien als een manier om uitgevers de ‘controle te geven die ze verdienen’ over hun content, essentieel voor het ‘internet om te overleven in de leeftijd van AI.’ Het traditionele internetmodel, waarbij zoekmachines verkeer en advertentie-inkomsten aandreven, wordt beschouwd als ‘kapot’ door sommigen omdat de scrapers die zoekmachine-indexering mogelijk maakten, zijn wat AI-crawlers in staat stelt om content te verzamelen zoals tekst, artikelen en afbeeldingen om antwoorden te genereren, zonder bezoekers naar de oorspronkelijke bron te sturen, waardoor creators van inhoud worden beroofd van inkomsten en erkenning.

Uitgevers hebben Cloudflare’s nieuwe programma gevierd als een zeldzame, beslissende overwinning en een game-changer in het voorkomen dat hun content wordt geplunderd door miljoenen ongeïdentificeerde AI-bots. Brancheleiders beschrijven het als de cruciale eerste stap naar het opbouwen van een levensvatbare internet economie, waarbij wordt benadrukt dat content creators compensatie verdienen voor hun werk.

Financiële en Operationele Uitdagingen Aanpakken

De wijdverbreide content scraping door AI-bots heeft aanzienlijke financiële implicaties, waardoor de zware investeringen die bedrijven doen in het creëren en publiceren van webcontent ondermijnd worden. Ongecontroleerde botactiviteit kan ook nadelige effecten hebben op websiteprestaties, waardoor servers overbelast raken, websites vertragen, gegevens van analytics worden vertekend en operationele kosten toenemen.

Uitgevers hebben problemen gemeld met ‘ongeldige verkeer’ vlaggen, die kunnen leiden tot grote supply-side platforms die domeinen blokkeren, waardoor er aanzienlijke verliezen in vraag en prijsdruk ontstaan. Cloudflare’s oplossing lost dit op door effectief de deur te sluiten voor ongeautoriseerde crawlers, een aanzienlijke verbetering ten opzichte van het onvoldoende robots.txt ere-systeem.

Bewijs van Impact en Brede Uitgeversadoptie

Meerdere grote uitgevers, waaronder Conde Nast, TIME, The Associated Press, The Atlantic, ADWEEK en Fortune, hebben zich aangesloten bij Cloudflare om AI-crawlers standaard te blokkeren. De onmiddellijke impact was aanzienlijk, met sommige uitgevers die miljoenen AI-aanvragen van niet-geautoriseerde bedrijven binnen enkele uren na het activeren van de functie blokkeerden. 

Voor veel uitgevers was de noodzaak hiervoor duidelijk vanwege de exploitatie van hun intellectueel eigendom, en de voortdurende escalatie van de negatieve gevolgen van AI-gedreven zoekopdrachten voor siteverkeer. Aan het begin van 2025 retourneerde Open AI’s crawlers één bezoeker voor elke 250 pagina’s die het scraapte, terwijl tegen juni één bezoeker voor elke 1.500 pagina’s scraapte.

Broader Web Ecosysteem Ripple Effecten en de Toekomst

Implicaties voor AI-ontwikkelaars en Modeltraining

De beslissing om kunstmatige intelligentie-crawlers te blokkeren van het toegang krijgen tot content zonder toestemming of compensatie van website-eigenaren kan een aanzienlijke impact hebben op de mogelijkheid van AI-ontwikkelaars om hun modellen te trainen. Dit kan een korte-termijnimpact hebben op AI-modeltraining en kan op lange termijn de levensvatbaarheid van sommige modellen beïnvloeden.

OpenAI weigerde deel te nemen toen Cloudflare zijn plan voorstelde om AI-crawlers standaard te blokkeren, op basis van het feit dat het content delivery netwerk een tussenpersoon toevoegt aan het systeem.

SEO-implicaties en Zoekmachine Differentiatie

Een kritische overweging voor website-eigenaren die Cloudflare’s AI-botblokkering implementeren, is het begrijpen van het onderscheid tussen AI-crawlers en traditionele zoekmachinebots. Google heeft het niet nodig om andere crawlers te blokkeren, en AI-crawlers dienen een heel ander doel: ze verzamelen informatie om taalmodellen te trainen of bij te werken, in tegenstelling tot zoekmachinebots die content indexeren voor rankings. Dit betekent dat het blokkeren van AI-crawlers via Cloudflare’s systeem geen negatieve invloed zou moeten hebben op SEO of rankings, wat betekent dat SEO-strategieën zoals backlinken nog steeds belangrijk zullen zijn.

Echter, het bredere SEO-landschap evolueert naarmate zoekmachines AI-mogelijkheden integreren in hun resultaten. Het blokkeren van specifieke bots kan de zichtbaarheid van websites beïnvloeden in zoekresultaten, wat potentieel de vindbaarheid kan beïnvloeden, met name naarmate zoekmachines AI-geactiveerde functies ontwikkelen. Het belangrijkste voordeel van Cloudflare’s aanpak is de granulaire controle, waardoor uitgevers SEO-voordelen van traditionele zoekmachines kunnen behouden, terwijl ze selectief AI-crawlers blokkeren die geen direct verkeer of rankingvoordelen bieden.

Sector-specifieke Implicaties

Nieuwsuitgevers

Dit systeem biedt een potentieel en veel nodig duurzaam systeem voor nieuwsuitgevers die worstelen met existentiële vragen, aangezien Google Search-verkeer daalt en AI-chatbots in populariteit toenemen. Het biedt een mechanisme voor hen om hun content te monitoren zonder eenmalige licentieovereenkomsten te sluiten die typisch alleen grote uitgevers ten goede komen.

E-commerce Platforms

De algemene voordelen van Cloudflare’s systeem, zoals vermindering van serverbelasting, voorkoming van vertekende gegevens van analytics en mitigatie van contentdiefstal, zijn universeel toepasbaar op elke website, inclusief e-commerceplatforms. Deze platforms zijn afhankelijk van consistente prestaties, accurate gebruikersgegevens en bescherming tegen ongeautoriseerde datascraping.

API-diensten

Het kernprincipe van gecontroleerde toegang en monitoren van digitale activa, hoewel momenteel gefocust op webcontent, kan conceptueel worden uitgebreid naar het beschermen en monitoren van gegevens die via API’s worden geaccedeerd in toekomstige iteraties of gerelateerde diensten.

Concurrentielandschap en Toekomstperspectief

Cloudflare wordt gebruikt door 20% van het web, en het wordt geschat dat ongeveer 16% van het wereldwijde internetverkeer rechtstreeks via Cloudflare gaat, waardoor het uniek is om een dergelijk groot systeem te implementeren. De visie van een markt voor content staat voor uitdagingen, aangezien het overtuigen van AI-bedrijven om te betalen voor content die ze momenteel gratis scrapen, moeilijk kan zijn.

Terwijl het door velen wordt verwelkomd, kan Cloudflare’s tool worden gezien als een gedeeltelijke oplossing in plaats van een complete, en de focus zou moeten liggen op de voortdurende noodzaak voor sterkere wettelijke bescherming om contentdiefstal door AI-bedrijven te voorkomen op het hele internet.

Conclusie

Cloudflare’s AI Bot Block vertegenwoordigt een multifacetteerde aanpak om contentcreators te empoweren en de dynamiek tussen webuitgevers en AI te herschikken. Door robuuste controlemechanismen en een nieuw economisch model zoals Pay per Crawl te bieden, probeert het een meer eerlijk internet te vestigen voor creators en AI-bedrijven. Ondanks uitdagingen en de noodzaak voor bredere industrieaanpassing, markeert deze initiatief een aanzienlijke stap naar het beschermen van de toekomst van contentcreatie op het web.