Den kanariefågel som avslöjar AI-trafik

I en ny studie har forskare gömt unika fraser på webbplatser och fångat AI-chattbotar som upprepar dem, vilket avslöjar dolda skrapningspipeliner och, tydligen, bedrägliga metoder från några av de största AI-företagen.

AI-företag kämpar för att få en fördel i en tävling som förväntas vara brutalt reducerande; därför vill de verkligen, verkligen skrapa din webbplats(er) för att mata sina AI-modeller med träningdata. Ibland ständigt; ofta i strid med dina uttryckta önskemål; och ofta i förklädnad som vanliga människoläsare, eller som “vänligare” botar såsom GoogleBot, snarare än att avslöja sin sanna identitet som AI-data-skrapare.

Det uppskattas för närvarande att automatiska AI-skrapare som är utformade för att suga upp ny träningdata och svara på användarnas omedelbara begäran om den senaste nyheten via RAG, kommer att överträffa antalet människor inom ett år.

Denna rabida, outtröttliga och upprepade datainsamling sker delvis på grund av behovet av att varje AI-enhet ska ha sin egen aktuell kopia av internet, snarare än alltmer föråldrade repositoryer som Common Crawl; och kanske för att företagen fruktar kommande rättsliga begränsningar, och behöver påbörja IP-tvätt så tidigt som möjligt.

Dessutom kan AI-företag, genom att ständigt avsöka så många (potentiellt fruktbara) webbplatser som möjligt, förbättra sin för närvarande inte särskilt bra förmåga att svara informativt och korrekt på nyheter och uppkommande situationer.

I vilket fall som helst, verkar det finnas någon giltighet i påståendet att dessa metoder har varit utan kontroll och ostyrda under en längre tid.

Problemet är att det inte är så lätt att bevisa vilka metoder AI-företag för närvarande använder för att stilla sin törst efter den senaste datan.

Följ datan

Ett förslag, som föreslagits i en ny artikel från USA, föreslår en variation av en gammal metod för att upptäcka spioner, informatörer och andra påstådda malfeasants: att avslöja dem med anpassade, hemliga uppgifter som ingen annan känner till, och se om och var den informationen dyker upp. Om ingen annan kände till den informationen, då är källan till läckan bevisad:

Forskarnas grundidé, som beskrivs i den nya artikeln, är att ge varje besökande bot en något annorlunda version av samma sida, sedan fråga chattbotarna om den sidan och se vilken version som kommer tillbaka, vilket gör det möjligt att spåra vilka dolda webbsökningar som försörjde svaret. Källa

Denna populära metod är kanske mest känd genom anti-piratåtgärder som antagits av Oscarskommittén i början av 2000-talet, där förhandsvisnings-DVD:er som delades ut till röstberättigade medlemmar började digitalt märkas med unika ID:n som kunde återkopplas till den ursprungliga mottagaren om filmen i fråga någonsin läckte ut på internet. I spionage är tekniken känd som bariummål, efter metoden att använda en radioaktiv isotopvätska för att belysa blodkärl i en medicinsk skanning och identifiera blockeringar.

(Ironiskt nog är den valda “kanariefågel”-metaforen inte särskilt relevant för scenariot som artikeln behandlar, även om den är mer igenkännlig än någon av de ovannämnda troperna)

I fallet med den nya forskningen skapade författarna tjugo “honeypot”-webbdomäner och serverade unika token till varje unik besökare, så att var och en skulle serveras olika fakta (se andra kolumnen från vänster i bilden ovan).

Målet var att avslöja den sanna identiteten och beteendet hos LLM (AI)-skrapare. Över 22 produktions-LLM-system kunde tekniken tillförlitligt identifiera vilka skrapare som matade vilka LLM, eftersom – med lite tålamod efter “plantering” av unika data-signalister – att bara fråga rätt frågor till AI ett par månader senare skulle ge unika token.

Bedrägeri

Naturligtvis skulle ingen av detta vara nödvändigt om vi inte fortfarande var i “vilda västern”-fasen av AI V3, och om företag faktiskt följde små textfiler som domäner kan använda för att tala om för AI-företag att inte skrapa deras data.

Som det visade sig i forskarnas tester, var endast ett AI-företag tydligt respektfullt mot sina egna uttryckta beteenden och principer: DuckDuckGos DuckDuckbot var den enda agenten som representerade sig korrekt och slutade rapportera “hemlig data” så snart måldomänen stängdes av (andra AI-företag använde cached versioner och andra tricks) eller domänens robots.txt-fil ändrades för att vägra AI-skrapning.

Många av de största aktörerna i stället impersonerade generiska webbläsar-ID:n (samma som en webbplats skulle se om du eller jag besökte dem), och – i enlighet med Perplexitys ledning från 2025 på denna praxis – impersonerade GoogleBot, som länge har haft en “guldbiljett” till webbdata eftersom den returnerade (notera det förflutna tempus, eftersom detta förändras) trafik i utbyte mot data.

Den värsta förbrytaren, enligt artikeln, var skraparen som matade Kimi AI-ekosystemet:

‘Kimi verkar vara det mest extrema fallet av detta beteende: många användaragenter tycks vara korrelerade med data som utmatas av Kimi. Vi drar slutsatsen att Kimi roterar genom en stor lista med User-Agent-strängar medan den skrapar, möjligen för att undvika bot-detektion.’

Vad som gör detta problem till en stor utmaning är att när ChatGPT eller liknande verktyg “söker efter något”, är den processen till stor del osynlig, med företag som endast erbjuder partiella eller självrapporterade konton av hur deras system samlar in liveinformation. Detta lämnar webbplatsägare utan något tydligt sätt att veta vilka botar som faktiskt besöker deras sidor, om besöken är direkt eller dirigeras via sökmotorer, eller hur den datan hamnar i ett slutligt svar.

Fynden från den nya studien tyder på att LLM kan använda sina egna cached-inträden från en domän, sina egna interna SEO-liknande listor och att de ofta använder information från sökmotorernas resultat från företag med vilka de i många fall inte har någon offentlig association och ingen uppenbar användningsavtal.

Författarna tror att denna avslöjande är den första gången som en artikel har behandlat oönskad intrång av RAG-system (live-anrop vid inferenstid från LLM som kan eller inte kan ha en mänsklig användare som arbetar med dem), snarare än data-skrapningsbotar som söker färskt material för träningssamlingar.

Den nya artikeln heter Identifying AI Web Scrapers Using Canary Tokens och kommer från sex forskare på Duke University, University of Pittsburgh och Carnegie Mellon.

Metod

Forskarna satte upp tjugo.com-domäner med breda liknande webbplatser under vanliga mallar, såsom ett konstnärligt portfölj eller ett företagswebbplats. Varje mall innehöll 10 platshållare som skulle fyllas med token unika för varje besökare (baserat på faktorer som IP-adress, canvas-fingeravtryck och olika andra “sniffningsmetoder):

Ett exempel på mallen och variabelplatshållarna som användes i experimentet. Varje uppfattad unik besökare skulle få anpassade, individuella anpassade variabler.

Varje uppfattad unik besökare skulle få anpassade variabler. I det fall systemet upptäckte återkomsten av en tidigare besökare, skulle samma variabler som tidigare presenteras. Variabler genererades med hjälp av Python Faker-biblioteket, samt (ospecificerade) slumpmässiga talgeneratorer.

Honeypot-domänerna skickades sedan till olika index som Google och Bing, och länkades också från andra befintliga domäner som författarna kontrollerade.

Två månader tilläts passera, som en erforderlig tidsperiod för att tillåta skanningsfrekvens från en mängd olika sökmotorer och liknande botar, samt (möjligen) organiska besök. Vid denna punkt var forskarna nu i en position att fråga de målade AI-chattbotarna (listade nedan):

Skript byggdes för att fråga varje system via API, där det var möjligt. När detta inte var möjligt, och när automatiserade lösningar såsom Selenium blockeras av AI-portens detektionsrutiner, utfördes manuella interaktioner via LLM:ernas officiella GUI:er.

Efter den initiala mallbaserade utbytet (se bild ovan), följde författarna upp med en sekundär prompt som var utformad för att framkalla namnet på ett företag eller en person i en associerad token.

Experimenten utfördes under en av tre förhållanden: en fullt tillgänglig webbplats; webbplatsen tagen offline; och webbplatsen med en robots.txt-begränsning som avvisade skrapning. Dessa experiment utfördes i den exakta sekvensen, en efter en, eftersom de senare stadierna berodde på de tidigare.

Till slut, med alla webbplatser åter online, skulle den sista fasen återtesta LLM-utmatningen med intervall på en vecka.

Resultat

Fyra av de målade LLM:erna visade sig vara helt resistenta mot forskarnas metoder, och inga resultat kunde därför erhållas för DeepSeek, Hunyuan, GLM och Liquid.

I fråga om tendensen hos många AI-botar att imitera icke-AI-trafik, skriver författarna:

‘Förutom första parts deklarerade agenter returnerade flera AI-system innehåll som är associerat med generiska webbläsar-User-Agent-strängar. Vi observerade detta beteende för sex av de 18 AI-system som vi fick User-Agent-information om.

‘Detta resultat tyder på att vissa AI-system kan hämta webbplatsinnehåll genom förfrågningar som liknar vanlig webbläsartrafik, vilket gör User-Agent-baserad blockering svår.’

ERNIE returnerade både Baiduspider och en Chrome-identitet; Grok kombinerade Googlebot med två webbläsaragenter; Solar använde endast webbläsaridentiteter; Qwen blandade Googlebot med Chrome; och Kimi var länkad till flera webbläsar-liknande agenter.

Många system tycktes bero på tredjeparts-sökmotor-skrapare, i relationer som inte alltid avslöjades. Innehåll länkat till Googlebot, Bingbot och Bravebot returnerades av tio av de 18 system som analyserades, ofta i fall där ingen offentlig association existerade mellan AI-leverantören och sökmotorn – även om vissa länkar, såsom Claudes användning av Brave, är dokumenterade.

Författarna hävdar att detta reflekterar inkorporering av sökresultat snarare än direkt skrapning, eftersom ASN-kontroller indikerade att trafiken kom från de förväntade sökmotornätverken, snarare än spoofade identiteter.

Detta tyder, enligt artikeln, på en ytterligare lager av ogenomskinlighet i webb-till-AI-pipelinen, där blockering av kända AI-crawlers inte nödvändigtvis förhindrar dataanvändning, och undvikande av inkludering kan kräva att välja bort sökmotorindexering helt – ett önskat val medan spänningen mellan traditionell SEO och LLM-baserad sökning fortfarande långt ifrån löst.

Endast cache

Författarna testade sedan om borttagning av en källa skulle påverka chattbotarnas utmatning, genom att ta bort testwebbplatserna och fråga systemen igen efter en veckas intervall. Enligt artikeln fortsatte många chattbotar att reproducera den “planterade” innehållet, även efter en veckas nedtid, vilket indikerar att svaren togs från cached data, snarare än live-återställning.

Denna uthållighet var mest tydlig i system som var kopplade till sökmotor-crawlers, där tidigare indexering fortfarande var tillgänglig, trots att källsidorna inte längre var tillgängliga – även om liknande beteende också observerades i system som var associerade med webbläsar-liknande agenter, vilket indikerar att cachen kan sträcka sig bortom sökmotorsbackade pipelines.

Artikeln föreslår att när innehåll kommer in i en cache, oavsett om den underhålls av chattboten eller nås via sökmotorindex, så tar bort den ursprungliga sidan inte tillförlitligt bort det innehållet från efterföljande utmatningar.

Slutsats

Författarna medger att viss “läckage” kommer att ske från denna klassiska “siloade” metod, eftersom de unika token som riktas mot en LLM ibland kan hamna i sökresultat (genererade av tokenens verkliga ägare), som sedan kan inkorporeras av en andra LLM. Men i sådana scheman är sådan spridning oundviklig, och vaksamhet för första förekomsten är den kritiska och avgörande ögonblicket.

Vad som återstår att se är i vilken utsträckning ett sådant system kan implementeras i stor skala, särskilt eftersom författarna observerar att man skulle snabbt ta slut på kontextuellt korrekta token.

Men detta missar lite grunden, eftersom det kan finnas en gräns även för AI-företagens förmåga att gå igenom tydliga bevis för sina egna lögner om sina skrapningspolicys. Dessutom, såvida företag inte åtar sig den potentiellt dyra vägen att rulla genom inhemska IP-adresser för att dölja sin identitet, så kommer det bara att ta en organisation att identifiera och publicera en SpamHaus-liknande svartlista över bedrägliga AI-bot-IP-adresser eller ASNs; processen behöver inte industrialiseras för att vara effektiv. Först publicerad torsdag, 14 maj 2026