Andersons vinkel
Kanariefuglen, der afslører AI-trafik

NøglepunkterKun DuckDuckGos bot respekterede robots.txt, mens Kimi roterede falske browser-ID'er…
Vis mere
- Kun DuckDuckGos bot respekterede robots.txt, mens Kimi roterede falske browser-ID'er for at undgå opdagelse.
- Mange AI-systemer som Claude og Grok brugte i hemmelighed tredjeparts søgemaskineskrabere uden offentlig offentliggørelse.
- Fjernelse af kildesider stoppede ikke chatbots fra at reproducere plantede data på grund af vedvarende caching.
I et nyt studie har forskere gemt unikke fraser på hjemmesider og fanget AI-chatbots i at gentage dem, hvilket afslører skjulte scrape-pipelines og tilsyneladende bedrageriske praksisser fra nogle af de største AI-virksomheder.
AI-virksomheder kæmper for at få en fordel i et kapløb, der forventes at være brutalt reducerende; derfor ønsker de virkelig, virkelig at scrape dine hjemmesider for træningsdata til at føde deres AI-modeller. Nogle gange konstant; ofte i strid med dine udtrykte ønsker; og hyppigt under forklædning som almindelige menneskelige læsere eller som ‘venligere’ bots såsom GoogleBot, snarere end at afsløre deres sande identitet som AI-data-scrapere.
Det estimeres for nuværende at automatiserede AI-scrapere, der er designet til at suge op nye træningsdata og at reagere på brugernes øjeblikkelige krav om de seneste nyheder via RAG, vil overstige antallet af mennesker inden for et år.
Dette hektiske, uafbrudte og gentagne data-grab sker delvist på grund af behovet for, at hver AI-enhed har sin egen aktuelle kopi af internettet, snarere end stadig mere forældede lagre som Common Crawl; og måske fordi virksomhederne frygter kommende juridiske begrænsninger og har brug for at gå i gang med hvidvask af immaterielle rettigheder så tidligt som muligt.
Dertil kommer, at AI-virksomheder ved konstant at undersøge så mange (potentielt frugtbare) sites som muligt, måske håber at forbedre deres nuværende ikke-så-gode evne til at reagere informativt og præcist på aktuelle begivenheder og situationer under udvikling.
På den ene eller den anden måde synes der at være en vis grund til påstanden om, at disse praksisser har været uden kontrol og uregerlige i lang tid.
Problemet er, at det ikke er så let at bevise, hvor langt AI-virksomheder går for at slukke deres tørst efter de seneste data.
Følg data
Et forslag i en ny artikel fra USA tilbyder en variation af en gammel metode til at opdage spioner, informanter og andre formodede misgernere: at give dem særligt tilpassede oplysninger, som ingen andre kender til, og se, om og hvor disse oplysninger dukker op. Hvis ingen andre kendte til disse oplysninger, så er kilden til lækagen bevist:

Forskerne har i deres nye artikel beskrevet en idé, hvor de giver hver besøgende bot en lidt anderledes version af den samme side, og derefter spørger chatbots om denne side og ser, hvilken version der kommer tilbage, hvilket gør det muligt at spore, hvilke skjulte web-opkald forsynede svaret. Kilde
Denne populære tilgang er måske bedst kendt gennem anti-piracy-foranstaltninger, der er indført af Academy Awards-komiteen i 2000’erne, hvor screener-DVD’er, der blev uddelt til stemmeberettigede medlemmer, begyndte at blive digitalt forsynet med unikke ID’er, der angiveligt kunne spores tilbage til den oprindelige modtager, hvis den pågældende film nogensinde blev lækket til internettet. I spionage er teknikken kendt som barium-måltid, efter praksis med at bruge en radioaktiv isotop-væske til at belyse blodkar i en medicinsk scanning og identificere blokeringer.
(Ironisk nok er den valgte ‘kanariefugl’-metafor ikke særlig passende til det scenarie, som artiklen beskriver, selvom det er mere genkendeligt end nogen af de ovennævnte metaforer)
I tilfældet af den nye forskning skabte forfatterne tyve ‘honeypot’-webdomæner og serverede unikke tokens for hver unik besøgende, så hver ville få serveret forskellige fakta (se anden kolonne fra venstre i billedet ovenfor).
Målet var at afsløre den sande identitet og adfærd af LLM (AI)-scrapere. På tværs af 22 produktions-LLM-systemer var teknikken i stand til pålideligt at identificere, hvilke scrapere der fødede hvilke LLM, da – med lidt tålmodighed efter ‘plantning’ af de unikke data-tegn – blot at stille de rette spørgsmål til AI’en en måned eller to senere ville give de unikke tokens.
Uredeligt spil
Selvfølgelig ville intet af dette være nødvendigt, hvis vi ikke stadig var i ‘wild west’-fasen af AI V3, og hvis virksomheder faktisk overholdt små tekstfiler, som domæner kan bruge til at fortælle AI-virksomhederne, at de ikke må scrape deres data.
Som forskernes tests viste, syntes kun én AI-virksomhed at respektere sin egen erklærede adfærd og principper: DuckDuckGo’s DuckDuckbot var den eneste agent, der repræsenterede sig selv nøjagtigt, og standsede med at rapportere ‘hemmelige data’, så snart mål-domænet blev slået fra (andre AI-virksomheder gik til cachede versioner og andre tricks) eller domænets robots.txt-fil blev ændret til at afvise AI-scraping.
Mange af de største spillere forfalskede i stedet generiske browser-ID’er (det samme, som en hjemmeside ville se, hvis du eller jeg besøgte dem), og – i overensstemmelse med Perplexity’s eksempel fra 2025 på denne praksis – forfalskede GoogleBot, som har haft et ‘gyldent adgangskort’ til hjemmeside-data, fordi den returnerede (bemærk den fortidige tid, fordi det ændrer sig) trafik i bytte for data.
Den værste overtræder, ifølge artiklen, var scraperen, der fødede Kimi AI-økosystemet:
‘Kimi synes at være det mest ekstreme tilfælde af denne adfærd: mange bruger-agenter syntes at være korrelerede med data, der blev leveret af Kimi. Vi udleder, at Kimi roterer gennem en lang liste af User-Agent-strenge, mens den scraper, muligvis for at undgå bot-detection.’
Hvad der gør dette problem til en stor udfordring, er, at når ChatGPT eller lignende værktøjer ‘finder noget’, er processen stort set usynlig, med virksomheder, der kun tilbyder delvise eller selvrapporterende beretninger om, hvordan deres systemer indsamler live-oplysninger. Dette efterlader hjemmeside-ejere med ingen klar måde at vide, hvilke bots der faktisk besøger deres sider, om disse besøg er direkte eller ruteret gennem søgemaskiner, eller hvordan disse data ender i en endelig besvarelse.
Forskningsresultaterne fra det nye studie tyder på, at LLM’er måske bruger deres egne cachede poster fra et domæne, deres egne interne SEO-lignende lister, og at de ofte bruger oplysninger fra søgemaskinernes resultater fra virksomheder, med hvilke de i mange tilfælde ikke har nogen offentlig tilknytning eller åbenlyse brugsaftaler.
Forfatterne mener, at dette er den første gang, at en artikel har behandlet uønsket indtrængen fra RAG-systemer (live-kald på inferenstidspunktet fra LLM’er, som måske eller måske ikke har en menneskelig bruger, der arbejder med dem), snarere end data-scraping-bots, der søger efter friske materialer til træningsdata.
Den nye artikel har titlen Identificering af AI-web-scrapere ved hjælp af kanariefugl-tegn og kommer fra seks forskere på Duke University, University of Pittsburgh og Carnegie Mellon.
Metode
Forskerne oprettede tyve .com-domæner med bredt lignende hjemmesider under fælles skabeloner, såsom en kunstnerisk portfolio eller en virksomheds-hjemmeside. Hver skabelon indeholdt 10 pladsholdere, der ville blive befolket med tokens, der var unikke for den opfattede profil af hver besøgende (baseret på faktorer som IP-adresse, canvas-fingeravtryk og forskellige andre ‘sniffing-metoder):

Et eksempel på skabelonen og variabel-pladsholderne, der blev brugt i eksperimentet. Hver opfattet unik besøgende ville modtage persistente, individualiserede brugerdefinerede variabler.
Hver opfattet unik besøgende ville modtage brugerdefinerede variabler. I tilfældet, hvor systemet opdagede returneringen af en tidligere besøgende, ville de samme variabler som før blive præsenteret igen. Variabler blev genereret med brug af Python Faker-biblioteket samt (uspecificerede) tilfældighedstalsgeneratorer.
Honeypot-domænerne blev derefter indsendt til forskellige indeks som Google og Bing, og var også linket til fra andre eksisterende domæner, som forfatterne kontrollerede.
Forskerne ventede to måneder for at give plads til de forskellige besøgsfrekvenser hos mange slags søgemaskinebots og lignende bots samt mulige naturlige besøg. På dette tidspunkt var forskerne nu i stand til at spørge de målrettede AI-chatbots (nævnt nedenfor):
|
|
Der blev lavet scripts til at forespørge hvert system via API, hvor det var muligt. Når dette ikke var muligt, og hvor automatiserede løsninger såsom Selenium blev blokeret af AI-portalens detektionsrutiner, blev manuelle interaktioner via LLM’ernes officielle GUI’er udført.
Efter den initielle skabelon-udveksling (se billedet ovenfor) fulgte forfatterne op med en sekundær prompt designet til at fremkalde navnet på et selskab eller en person i en tilhørende token.
Eksperimenterne blev udført under en af tre betingelser: en fuldt tilgængelig hjemmeside; hjemmesiden taget offline; og hjemmesiden med en robots.txt-begrænsning, der afviste scraping. Disse eksperimenter blev udført i denne præcise rækkefølge, en efter en, da de senere faser var afhængige af de tidligere.
Til sidst, med alle sites genåbnet, ville den sidste fase gen-teste LLM-udgangen med intervaller på en uge.
Resultater
Fire af de målrettede LLM’er viste sig at være fuldstændigt resistente over for forskernes metoder, og der kunne derfor ikke opnås resultater for DeepSeek, Hunyuan, GLM og Liquid.
I forhold til tendensen hos mange AI-bots til at forfalske ikke-AI-trafik, skriver forfatterne:
‘Foruden første-parts-erklærede agenter returnerede flere AI-systemer indhold, der var tilknyttet generiske browser-User-Agent-strenge. Vi observerede denne adfærd for seks af de 18 AI-systemer, for hvilke vi fik User-Agent-oplysninger.
‘Dette resultat tyder på, at nogle AI-systemer kan få adgang til hjemmesideindhold via anmodninger, der ligner almindelig browser-trafik, hvilket gør User-Agent-baseret blokeringsfunktion svær.’
ERNIE returnerede både Baiduspider og en Chrome-identitet; Grok kombinerede Googlebot med to browser-agenter; Solar brugte kun browser-identiteter; Qwen kombinerede Googlebot med Chrome; og Kimi var tilknyttet multiple browser-lignende agenter.
Mange systemer syntes at afhænge af tredjeparts-søgemaskine-scrapere i forhold, der ikke altid var offentliggjort. Indhold tilknyttet Googlebot, Bingbot og Bravebot blev returneret af ti af de 18 systemer, der blev analyseret, ofte i tilfælde, hvor der ikke eksisterede nogen offentlig tilknytning mellem AI-udbyderen og søgemaskinen – selvom nogle forbindelser, såsom Claudes brug af Brave, er dokumenteret.
Forfatterne påstår, at dette afspejler indtagelse af søgemaskine-resultater snarere end direkte scraping, da ASN-tjek indikerede, at trafikken stammede fra de forventede søgemaskine-netværk, snarere end forfalskede identiteter.
Dette antyder, påstår artiklen, et yderligere lag af uigennemsigtighed i web-til-AI-pipeline, hvor blokeringsfunktioner for kendte AI-crawlers måske ikke kan forhindre data-brug, og undgåelse af inklusion måske kræver helt at fravælge indeksering i søgemaskiner – et uønsket valg, mens spændingen mellem traditionel SEO og LLM-baseret søgning stadig er langt fra løst.
Kun cache
Forfatterne testede derefter, om fjernelse af en kilde ville påvirke chatbots’ udgang, ved at tage test-sites offline og spørge systemerne igen efter en uges interval. Ifølge artiklen fortsatte mange chatbots med at gensende det ‘plantede’ indhold, selv efter en uges nedtid, hvilket tydede på, at svarene blev trukket fra cachede data, snarere end live-hentning.
Dette var mest tydeligt i systemer tilknyttet søgemaskine-crawlers, hvor tidligere indekseret indhold forblev tilgængeligt, på trods af at kilde-siderne ikke længere var tilgængelige – selvom lignende adfærd også blev observeret i systemer tilknyttet browser-lignende agenter, hvilket indikerer, at caching kan strække sig ud over søgemaskine-baserede pipelines.
Artiklen foreslår, at når indhold kommer ind i en cache, uanset om cachen vedligeholdes af chatbotten eller tilgås via søgeindekser, bliver indholdet ikke pålideligt fjernet fra senere svar, blot fordi den oprindelige side fjernes.
Konklusion
Forfatterne indrømmer, at en vis ‘lækage’ vil ske fra denne klassiske ‘siloede’ tilgang, da de unikke tokens, der er rettet mod en LLM, nogle gange kan ende i søgemaskine-resultater (genereret af tokens’ ægte ejer), som derefter indtages af en anden LLM. I sådanne skemaer er diffusion af denne type uundgåelig, og vagtsomhed for første forekomst er det kritiske og afgørende øjeblik.
Hvad der endnu skal ses, er, i hvilken udstrækning et sådant skema kunne implementeres i stor skala, især da forfatterne bemærker, at man ville løbe tør for kontekstligt korrekte tokens meget hurtigt.
Dette overser dog pointen: Måske er der endda en grænse for, hvor frækt AI-virksomheder kan forsøge at ignorere klare beviser på deres egne løgne om deres scrapingpolitikker. Desuden, medmindre disse virksomheder er villige til at gå den potentielt dyre vej af at skifte mellem IP-adresser fra private husstande for at maskere deres identitet, vil det kun kræve, at én organisation identificerer og offentliggør en SpamHaus-lignende sortliste over bedrageriske AI-bot-IP’er eller ASN’er; processen behøver ikke at være industrialiseret for at være effektiv.
Først offentliggjort torsdag, 14. maj 2026












