20 procent af alle webresponser med »OK«, som AI får, er ikke OK

Mine seneste eksperimenter med AI-assisteret webskrabning har gjort det tydeligt for mig, hvor meget nettet i stigende grad bliver »lukket af«. Den udløsende faktor for denne indskrænkning er naturligvis den eksplosive vækst i AI-webskrabning, hvis utæmmelige efterspørgsel efter nye data kan ende med at lægge domæner ned.

Det giver domænerne en god anledning til at gøre det, mange af dem længe har ønsket: kun at gøre deres indhold tilgængeligt, når brugeren er logget ind (selvom Googlebot typisk slipper gratis igennem). Facebook gennemførte den gradvise indførelse af denne politik i 2023, og Twitter/X gjorde det samme samme år. Reddit indfører den senere på måneden.

På den måde bliver det lidt lettere for domænet at overholde landespecifik håndhævelse af aldersbegrænsninger, eftersom brugeren allerede er registreret. Endnu vigtigere er det, at brugerens data kan gemmes, udnyttes til lokale analyser og – hvis den lokale lovgivning tillader det – sælges til datamæglere og AI-virksomheder.

Andre steder er tiltag, der specifikt skal beskytte mod botter (i stedet for at registrere brugere), steget med mere end 58 % fra år til år, ifølge Cloudflare. Den tiltagende botaktivitet får naturligvis også websites til at granske VPN- og proxyadresser, hvilket potentielt kan nægte legitime brugere adgang sammen med enhver »ondsindet« trafik.

Den anekdotiske side af sagen er, at jeg synes, jeg oftere og oftere støder på »blokeringsbeskeder« eller udfordringer, i en sådan grad at jeg måske endda opgiver et website, når det begynder at indlæse dem. Og eftersom CAPTCHA-vægge har vist sig at afskrække brugere og potentielle kunder, kan man forestille sig det pres, der får domæneejere til at indføre dem trods denne ulempe.

En CAPTCHA fra archive.is, et af de mange websites, der har indført udfordringer, ofte som reaktion på et stort antal automatiserede (snarere end menneskelige) forespørgsler.

Al denne nye og øgede friktion skyldes til dels praktiske hensyn (fordi ikke alle domæner kan modstå presset), men er også ofte en slags forhandlingstaktik, der skal afklare, om AI-virksomheder vil tilbyde en enkeltstående eller kollektiv form for betaling for alle de data, de så desperat efterspørger, og som har været gratis så længe – lige indtil nu.

Da AI-crawlere skal arbejde i stor skala, bruger de ofte »headless« Chrome-instanser under Playwright-rammeværket. I dag vil det på et stigende antal domæner give en 403-fejl (»forbudt«) (dvs. værten ved, at du er automatiseret trafik, og beder dig skride):

En lokal installation af changedetection.io forsøger at sende gentagne forespørgsler til et website, men websitet bryder sig ikke om den registrerede browser, som rammeværket bruger, og svarer med 403 (»Forbudt«).

Det, man ønsker, er klientresponset »200« (»OK«), selv hvis man må betale en formue til en farm af private proxyer og kombinere det med andre forskellige, snedige tricks, der ikke involverer mennesker, for at få det.

Der findes ikke noget bedre end et 200-svar; det vil sige, at ingen klientresponkode har et stærkere positivt signal. Det er heller ikke et tvetydigt svar; det er aldrig »næsten okay«, »bliver okay senere« eller »bliver mere okay«; det er »okay!«. Hvis det ikke er okay, er svaret ikke 200.

Hej! Gå væk

Men ifølge en ny artikel kan denne mangel på nuancer føre til betydelige skævheder i AI-datasæt, statistiske estimater og rapportering af »god« status, når det ikke er tilfældet.

Undersøgelsen* anslår, at omkring en femtedel af svarene i 200-kategorien slet ikke indeholder noget brugbart sideindhold, men i stedet viser tomme websiteskaller, CAPTCHA-udfordringer, adgangsbegrænsninger eller erstatningssider.

Artiklen fastslår:

»20,9 % af de sider, en statisk klient modtager med status 200, indeholder ikke sidens hovedindhold: app-skaller, botudfordringer, blokeringssider, fejl- og pladsholdersider samt delvist indhold.«

Her bliver utålmodige automatiserede systemer fanget af deres egen mangel på detaljer, fordi »200«-svaret må sidestilles med en vellykket hentning, selv når hentningen blot fører til en CAPTCHA-væg, en betalingsmur eller en anden forhindring.

Artiklen beskriver de syv indholdstyper, der ofte komplicerer et 200-svar:

De syv indholdskategorier, der bestemt ikke er »okay« i et 200-svar. Kilde

I undersøgelsen blev der over tre dage testet 10.307 webadresser med både et grundlæggende program til hentning af webindhold og en browser, der kunne indlæse JavaScript, og svarene blev klassificeret efter det indhold, der blev hentet, snarere end deres HTTP-statuskoder.

De største kategorier af »ubrugelige« 202-svar var tomme hjemmesideskaller og fejl- eller erstatningssider, som tilsammen udgjorde mere end to tredjedele af fejlene.

Når det gælder de tomme hjemmesideskaller, kan et websted vise sine menuer og navigationsfunktioner, mens den ønskede artikel eller produktoversigt står tom; i sidstnævnte tilfælde kan en uvedkommende side eller forsiden blive vist i stedet for det ønskede indhold – men begge dele kan få samme HTTP 200-status som en vellykket hentning, der leverer brugbart og nyttigt indhold.

Som en løsning anbefaler artiklen, at værktøjer til hentning af webindhold rapporterer hvad der faktisk blev hentet, i stedet for at basere sig på HTTP-statuskoder, eftersom simple kontroller for usædvanligt korte sider, mistænkelige omdirigeringer og indhold, der minder om sider, som ikke findes, kunne identificere de fleste fejl.

Mere ressourcekrævende browserværktøjer kunne derefter kun bruges, når det ser ud til, at en side ikke er blevet indlæst korrekt. Derudover kunne AI-evalueringer kontrollere, om de citerede kilder rent faktisk indeholder de forventede oplysninger, i stedet for at antage, at et HTTP 200-svar betyder, at indholdet blev hentet korrekt.

Forfatteren til det nye arbejde bemærker også, at »billige heuristikker« nemt kan identificere omkring 86 % af de ubrugelige svar ved hjælp af grundlæggende kontroller af sidernes længde, omdirigeringer og ligheder med sider, der ikke findes:

Sammenligning af strategier til hentning af webindhold: Ved kun at indlæse sider, der var markeret som mistænkelige, blev der hentet en anelse mere brugbart indhold (81,4 %) end ved at indlæse alle sider (80,3 %), samtidig med at den gennemsnitlige hentningstid blev reduceret fra 20,6 til 5,8 sekunder pr. side. 

Hvorfor er der så mange fejlagtige 200-svar?

Der har i årenes løb været en vis debat i udviklermiljøer om, hvorvidt 202-fejlen (»Accepteret«) (»Anmodningen er accepteret, men endnu ikke fuldført«) kunne fjerne tvetydigheden ved disse »mislykkede« anmodninger med status 200; men 202 kan reelt ikke dække alle de tilfælde, der beskrives i den nye artikel, og der findes ingen eksisterende statuskode, der kan.

Selvom artiklen ikke behandler spørgsmålet indgående, kan det være værd at undersøge nærmere i fremtidige beslægtede arbejder, hvorfor domæneejere tillader 200-fejl.

En årsag kan være, at alt andet end 200 i bund og grund er en form for fejlside eller hindring, herunder de mest almindelige 404-fejl (»ikke fundet«) – hvor det ønskede indhold ganske enkelt mangler. Nogle brugere tror, at et stort antal sådanne fejl vil føre til sanktioner i SEO (og formentlig også GEO), men Google afviser dette.

Google betragter faktisk fejlagtige 200-svar som »bløde« 404-fejl, og de vil tydeligvis sandsynligvis blive opfattet som et større problem end almindelige 404-fejl, fordi de i bund og grund er »vildledende« resultater, uanset om det er tilsigtet eller ej.

Citatglidning

Hvis alt dette virker som pedanteri, bør man overveje petabyte-skalaen af de data, der rutinemæssigt indsamles (eller forsøges indsamlet) med henblik på AI-træning. Hvis en hel femtedel af disse data er upålidelige eller direkte vildledende, er det svært at affeje de efterfølgende konsekvenser som en form for »utilsigtet unøjagtighed«; sådanne falske svar kan i stedet påvirke fordelingen i datasæt og resultaterne af at træne AI-modeller på sådanne data betydeligt og negativt.

Et eksempel på et bemærkelsesværdigt problem med fejlagtige 200-svar er »citatglidning«, hvor et AI-genereret svar ikke længere understøttes af den webside, der oprindeligt blev citeret som belæg; siden kan altså være blevet ændret, den relevante tekst kan være blevet fjernet, eller linket kan nu føre et andet sted hen.

Den nye undersøgelse viste, at den tilsyneladende citatglidning steg fra 5,8 % til 21,9 %, når alle HTTP 200-svar blev accepteret som vellykkede hentninger, uanset hvad de indeholdt.

Det betyder, at en kilde fejlagtigt kan blive vurderet til at være ændret, forsvundet eller ikke længere at understøtte en AI-genereret påstand, blot fordi der blev hentet en CAPTCHA, en tom side eller en anden hindring i stedet for det oprindelige materiale.

Bare sig, at det er sådan!

Problemet blev også påvist i tests med bevidst ikke-eksisterende webadresser. Når der blev anmodet om tilfældige, opdigtede stier på websteder, returnerede 13,1 % af de websteder, der svarede, en 200-status (»OK«), selvom de ønskede sider ikke fandtes^†.

»13,1 % af de websteder, der svarede på testen med tilfældige stier, returnerede 200 (S1 10,5 %, S2 13,3 %, S3 17,3 %, S4 13,7 %, S5 13,1 %). Alle sådanne svar er pr. definition bløde 404-fejl, men ikke alle giver udtryk for det.

»I en sonderende gennemgang af de 172 soft 404-svar kategoriserede annotatoren 98 som en fejl- eller erstatningsside, 32 som en skal og 28 som indhold: En startside eller oversigt, der vises på en tilfældig sti, ligner en normal side.«

Konklusion

Hvis problemet blev erkendt på et højere niveau, kunne IANA muligvis oprette en ny og mere passende HTTP-statuskode, f.eks. [X] (»Anmodningen lykkedes, men det ønskede indhold blev ikke leveret«). Selvom dette faktisk ville beskrive, hvad der sker, ville det naturligvis kræve en usandsynligt høj grad af indsigt i transaktionen fra værtens side.

Der findes allerede lignende koder, men ingen af dem passer rigtig: 451 (»Utilgængelig af juridiske årsager«) er tvetydig og temmelig alarmerende (!); 206 (»Delvist indhold«) passer teknisk set, men er beregnet til ufuldstændige data (hentninger); og den overraskende nok eksisterende 203 (»Ikke-autoritativ information«), som blev oprettet i 1997, og kun er perifert relevant for den aktuelle anvendelse.

Måske er den nærmeste kandidat faktisk den kontraintuitivt navngivne 103 (»Tidlige hints«), som angiver, at ikke alle URL’ens ressourcer er indlæst endnu (selvom dette tydeligvis ville være en grov misfortolkning af kodens hensigt).

* Med titlen »Når 200 OK ikke er et svar: lydløse hentningsfejl ved agentbaseret indhentning af webindhold.‘ Bemærk, at artiklen tilsyneladende først og fremmest er skrevet, så den kan læses af maskiner, måske for at kunne forespørges af AI, og at den ikke er let at læse i sig selv.

^† Jeg beklager det mekaniske citat, men hele artiklen er, som jeg bemærker ovenfor, skrevet på denne måde for at være »maskinlæsbar« snarere end menneskeligt fortolkelig, selvom den ikke helt går så langt som til at blive præsenteret i JSON-format.

Først udgivet onsdag den 4. november 2026