Den Kanariefugl, der afslører AI-Trafik

I en ny studie har forskere gemt unikke fraser på hjemmesider og fanget AI-chatbots i at gentage dem, hvilket afslører skjulte scrape-pipelines og åbenbart bedrageriske praksisser fra nogle af de største AI-virksomheder.

AI-virksomheder kæmper for at få en fordel i en kapløb, der forventes at være brutalt reducerende; derfor ønsker de virkelig, virkelig at scrape din hjemmeside(r) for træningsdata til at føde deres AI-modeller. Nogle gange konstant; ofte i strid med dine udtrykte ønsker; og hyppigt under forklædning som almindelige menneskelige læsere eller som ‘venligere’ bots såsom GoogleBot, snarere end at afsløre deres sande identitet som AI-data-scrapere.

Det estimeres for nuværende at automatiserede AI-scrapere, der er designet til at suge op nye træningsdata og at reagere på brugernes øjeblikkelige krav om de seneste nyheder via RAG, vil overstige antallet af mennesker inden for et år.

Dette hektiske, uafbrudte og gentagne data-grab sker delvist på grund af behovet for, at hver AI-enhed har sin egen aktuelle kopi af internettet, snarere end stadig mere forældede lagre som Common Crawl; og måske fordi virksomhederne frygter kommande lovgivningsbegrænsninger og har brug for at gå i gang med IP-washing så tidligt som muligt.

Dertil kommer, at AI-virksomheder ved at konstant afhøre så mange (potentielt frugtbare) sites som muligt, måske håber at forbedre deres nuværende ikke-så-gode evne til at reagere informativt og præcist på opståede situationer.

På den ene eller den anden måde synes der at være en vis grund til påstanden om, at disse praksisser har været uden kontrol og uregerlige i lang tid.

Problemet er, at det ikke er så let at bevise, hvilke længder AI-virksomheder går til for at slække deres tørst efter de seneste data.

Følg Data

En forslag, der er foreslået i en ny artikel fra USA, tilbyder en variation af en gammel metode til at opdage spioner, informanter og andre formodede misgernere: at afsløre dem for tilpassede oplysninger, som ingen andre kender til, og se, om og hvor disse oplysninger dukker op. Hvis ingen andre kendte til disse oplysninger, så er kilden til lækagen bevist:

Forskerne har i deres nye artikel beskrevet en idé, hvor de giver hver besøgende bot en lidt anderledes version af den samme side, og derefter spørger chatbots om denne side og ser, hvilken version kommer tilbage, hvilket gør det muligt at spore, hvilke skjulte web-opkald forsynede svaret. Kilde

Dette populære tilgang er måske bedst kendt gennem anti-piracy-foranstaltninger, der er indført af Academy Awards-komiteen i 2000’erne, hvor screener-DVD’er, der blev uddelt til stemmeberettigede medlemmer, begyndte at blive digitalt forsynet med unikke ID’er, der kunne tilskrives den oprindelige modtager, hvis filmen i spørgsmål nogensinde blev lækket til internettet. I spionage er teknikken kendt som barium-måltid, efter praksis med at bruge en radioaktiv isotop-væske til at belyse blodkar i en medicinsk scanning og identificere blokeringer.

(Ironisk nok er den valgte ‘kanariefugl’-metafor ikke særlig passende for den scenario, som artiklen beskriver, selvom det er mere genkendeligt end nogen af de ovennævnte tropier)

I tilfældet af den nye forskning skabte forfatterne tyve ‘honeypot’-webdomæner og serverede unikke tokens for hver unik besøgende, så hver ville få serveret forskellige fakta (se anden kolonne fra venstre i billedet ovenfor).

Målet var at afsløre den sande identitet og adfærd af LLM (AI)-scrapere. På tværs af 22 produktions-LLM-systemer var teknikken i stand til pålideligt at identificere, hvilke scrapere der fødede hvilke LLM, da – med lidt tålmodighed efter ‘plantning’ af de unikke data-tegn – blot at stille de rette spørgsmål til AI’en et par måneder senere ville give de unikke tokens.

Ulovlig Spil

Selvfølgelig ville ingen af dette være nødvendigt, hvis vi ikke stadig var i ‘wild west’-fasen af AI V3, og hvis virksomheder faktisk overholdt små tekstfiler, som domæner kan bruge til at fortælle AI-virksomhederne, at de ikke må scrape deres data.

Som det skete i forskernes tests, sådan at kun én AI-virksomhed syntes at respektere sin egen erklærede adfærd og principper: DuckDuckGo’s DuckDuckbot var den eneste agent, der repræsenterede sig selv nøjagtigt, og standsede med at rapportere ‘hemmelige data’, så snart mål-domænet blev slået fra (andre AI-virksomheder gik til cachede versioner og andre tricks) eller domænets robots.txt-fil blev ændret til at afvise AI-scraping.

Mange af de største spillere i stedet forfalskede generiske browser-ID’er (det samme, som en hjemmeside ville se, hvis du eller jeg besøgte dem), og – i overensstemmelse med Perplexity’s ledelse fra 2025 på denne praksis – forfalskede GoogleBot, som har haft en ‘gylden pas’ til hjemmeside-data, fordi den returnerede (bemærk den fortidige tid, fordi det ændrer sig) trafik i bytte for data.

Den værste overtræder, ifølge artiklen, var scraperen, der fødede Kimi AI-økosystemet:

‘Kimi synes at være det mest ekstreme tilfælde af denne adfærd: mange bruger-agenter syntes at være korrelerede med data, der blev udgangen af Kimi. Vi sluttede, at Kimi roterer gennem en stor liste af bruger-agent-streng, mens den scraper, muligvis for at undgå bot-detection.’

Hvad der gør dette problem til en stor udfordring, er, at når ChatGPT eller lignende værktøjer ‘finder noget’, er processen stort set usynlig, med virksomheder, der kun tilbyder delvise eller selvrapporterende beretninger om, hvordan deres systemer indsamler live-oplysninger. Dette efterlader hjemmeside-ejere med ingen klar måde at vide, hvilke bots der faktisk besøger deres sider, om disse besøg er direkte eller ruteret gennem søgemaskiner, eller hvordan disse data ender i en endelig besvarelse.

Forskningsresultaterne fra den nye studie tyder på, at LLM’er måske bruger deres egne cachede poster fra et domæne, deres egne interne SEO-lignende lister, og at de ofte bruger oplysninger fra søgemaskinernes resultater fra virksomheder, med hvilke de i mange tilfælde ikke har nogen offentlig tilknytning eller åbenlyse brugsaftaler.

Forfatterne mener, at dette er den første gang, at en artikel har behandlet uønsket indtrængen fra RAG-systemer (live-opkald ved slutningstidspunktet fra LLM’er, som måske eller måske ikke har en menneskelig bruger, der arbejder med dem), snarere end data-scraping-bots, der søger efter friske materialer til træningsdata.

Den nye artikel har titlen Identificering af AI-web-scrapere ved hjælp af kanariefugl-tegn og kommer fra seks forskere på Duke University, University of Pittsburgh og Carnegie Mellon.

Metode

Forskerne satte op tyve.com-domæner med bredt lignende hjemmesider under fælles skabeloner, såsom en kunstnerisk portfolio eller en virksomheds-hjemmeside. Hver skabelon indeholdt 10 pladsholdere, der ville blive befolket med tokens, der var unikke for den opfattede profil af hver besøgende (baseret på faktorer som IP-adresse, canvas-fingeravtryk og forskellige andre ‘sniffing-metoder):

Et eksempel på skabelonen og variabel-pladsholderne, der blev brugt i eksperimentet. Hver opfattet unik besøgende ville modtage persistente, individualiserede brugerdefinerede variabler.

Hver opfattet unik besøgende ville modtage brugerdefinerede variabler. I tilfældet, hvor systemet opdagede returneringen af en tidligere besøgende, ville de samme variabler som før blive præsenteret igen. Variabler blev genereret med brug af Python Faker-biblioteket samt (uspecificerede) tilfældige nummertegn.

Honeypot-domænerne blev derefter indsendt til forskellige indeks som Google og Bing, og var også linket til fra andre eksisterende domæner, som forfatterne kontrollerede.

To måneder blev tilladt at passere, som en påkrævet interval til at tillade scanning af en bred vifte af søgemaskine- og lignende bots, samt (muligvis) organiske besøg. På dette tidspunkt var forskerne nu i stand til at spørge de målrettede AI-chatbots (nævnt nedenfor):

Manuskripter blev bygget til at spørge hver system via API, hvor det var muligt. Når dette ikke var muligt, og hvor automatiserede løsninger såsom Selenium blev blokeret af AI-portallens detektionsroutiner, blev manuelle interaktioner via LLM’ernes officielle GUI’er udført.

Efter den initielle skabelon-udveksling (se billedet ovenfor) fulgte forfatterne op med en sekundær prompt designet til at fremkalde navnet på et selskab eller en person i en tilhørende token.

Eksperimenterne blev udført under en af tre betingelser: en fuldt tilgængelig hjemmeside; hjemmesiden taget offline; og hjemmesiden med en robots.txt-begrænsning, der afviste scraping. Disse eksperimenter blev udført i denne præcise rækkefølge, en efter en, da de sidste faser afhængige af de tidligere.

Til sidst, med alle sites genåbnet, ville den sidste fase gen-teste LLM-udgangen med intervaller på en uge.

Resultater

Fire af de målrettede LLM’er viste sig at være fuldstændigt resistente over for forskernes metoder, og ingen resultater kunne derfor ikke opnås for DeepSeek, Hunyuan, GLM og Liquid.

I forhold til tendensen hos mange AI-bots til at forfalske ikke-AI-trafik, skriver forfatterne:

‘Foruden første-parts-erklærede agenter returnerede flere AI-systemer indhold, der var tilknyttet generiske browser-User-Agent-streng.

‘Vi observerede denne adfærd for seks af de 18 AI-systemer, for hvilke vi fik User-Agent-oplysninger.

‘Dette resultat tyder på, at nogle AI-systemer kan få adgang til hjemmesideindhold via anmodninger, der ligner almindelig browser-trafik, hvilket gør User-Agent-baseret blokeringsfunktion svær.’

ERNIE returnerede både Baiduspider og en Chrome-identitet; Grok kombinerede Googlebot med to browser-agenter; Solar brugte kun browser-identiteter; Qwen kombinerede Googlebot med Chrome; og Kimi var tilknyttet multiple browser-lignende agenter.

Mange systemer syntes at afhænge af tredjeparts-søgemaskine-scrapere i forhold, der ikke altid var offentliggjort. Indhold tilknyttet Googlebot, Bingbot og Bravebot blev returneret af ti af de 18 systemer, der blev analyseret, ofte i tilfælde, hvor der ikke eksisterede nogen offentlig tilknytning mellem AI-udbyderen og søgemaskinen – selvom nogle forbindelser, såsom Claudes brug af Brave, er dokumenteret.

Forfatterne påstår, at dette afspejler indtagelse af søgemaskine-resultater snarere end direkte scraping, da ASN-tjek indikerede, at trafikken stammede fra de forventede søgemaskine-netværk, snarere end forfalskede identiteter.

Dette antyder, påstår artiklen, en yderligere lag af uigennemsigtighed i web-til-AI-pipeline, hvor blokeringsfunktioner for kendte AI-crawlers måske ikke kan forhindre data-brug, og undgåelse af inklusion måske kræver at vælge ikke at blive indekseret i søgemaskiner helt – et uønsket valg, mens spændingen mellem traditionel SEO og LLM-baseret søgning stadig er langt fra løst.

Kun Cache

Forfatterne testede derefter, om fjernelse af en kilde ville påvirke chatbots’ udgang, ved at tage test-sites offline og spørge systemerne igen efter en uges interval. Ifølge artiklen fortsatte mange chatbots med at gensende det ‘plantede’ indhold, selv efter en uges nedtid, hvilket tydede på, at svarene blev trukket fra cachede data, snarere end live-hentning.

Dette var mest tydeligt i systemer tilknyttet søgemaskine-crawlers, hvor tidligere indekseret indhold forblev tilgængeligt, på trods af at kilde-siderne ikke længere var tilgængelige – selvom lignende adfærd også blev observeret i systemer tilknyttet browser-lignende agenter, hvilket indikerer, at caching kan strække sig ud over søgemaskine-baserede pipelines.

Artiklen foreslår, at når indhold kommer ind i en cache, enten vedligeholdt af chatbot’en eller adgang via søgemaskine-indekser, fjerner man ikke nøjagtigt dette indhold fra efterfølgende udgang, når man fjerner den oprindelige side.

Konklusion

Forfatterne indrømmer, at en vis ‘lækage’ vil ske fra denne klassiske ‘siloede’ tilgang, da de unikke tokens, der er rettet mod en LLM, kan nogle gange ende i søgemaskine-resultater (genereret af tokens’ ægte ejer), som derefter indtages af en anden LLM. I sådanne skemaer er diffusion af denne type uundgåelig, og vagtsomhed for første forekomst er det kritiske og afgørende øjeblik.

Hvad der endnu skal ses, er, i hvilken udstrækning et sådant skema kunne implementeres i stor skala, især da forfatterne bemærker, at man ville løbe tør for kontekstligt korrekte tokens meget hurtigt.

Det er dog ikke det væsentlige, da der måske er en grænse, selv for AI-virksomheders frygtløse evne til at gå igennem klare beviser for deres egne løgne om deres scrape-politikker. Desuden, medmindre disse virksomheder er villige til at gå den potentielt dyre vej af at rulle igennem nationale IP-adresser for at maskere deres identitet, vil det kun kræve, at én organisation identificerer og offentliggør en SpamHaus-lignende sortliste over bedrageriske AI-bot-IP’er eller ASN’er; processen behøver ikke at være industrialiseret for at være effektiv.

Offentliggjort torsdag, 14. maj 2026