Den kanarifuglen som avslører AI-trafikk

I en ny studie har forskere gjemt unike fraser på nettsteder og fanget AI-chatboter som gjentar dem, og avdekket skjulte skraping-pipelines og, åpenbart, bedrageriske praksiser fra noen av de største AI-selskapene.

AI-selskaper kjemper for å få en fordel i en kappløp som forventes å bli brutalt redusert; derfor ønsker de virkelig, virkelig å skrape dine nettsteder for treningdata til å mate deres AI-modeller. Noen ganger konstant; ofte i strid med dine uttrykte ønsker; og ofte under forkledning som vanlige menneskelige lesere, eller som “vennlige” boter slik som GoogleBot, i stedet for å avsløre sin sanne identitet som AI-data-skrapere.

Det er for tiden estimert at automatiserte AI-skrapere designet for å suge opp nye treningdata, og å svare på brukernes umiddelbare behov for de siste nyhetene via RAG, vil overstige antallet mennesker innen ett år.

Dette rasende, uavbrudte og gjentakende data-grab skjer delvis på grunn av behovet for hver AI-enhet å ha sin egen aktuelle kopi av internettet, i stedet for stadig mer utdaterte lagre som Common Crawl; og kanskje fordi selskapene frykter kommende juridiske restriksjoner, og må påbegynne IP-vasking så tidlig som mulig.

I tillegg kan AI-selskaper, ved å kontinuerlig avhøre så mange (potensielt fruktbare) nettsteder som mulig, håpe å forbedre sin for tiden ikke-så-gode evne til å svare informativt og nøyaktig på nye og fremvoksende situasjoner.

Uansett, synes det å være noen merit til påstandene om at disse praksisene har vært uten kontroll og uregulerbare i en stund.

Problemet er at det ikke er så enkelt å bevise hva slags lengder AI-selskaper går for å slå sin tørst etter de siste data.

Følg dataene

En forslag, foreslått i en ny artikkel fra USA, foreslår en variasjon av en gammel metode for å avdekke spioner, informanter og andre påståtte malfeasants: å avsløre dem for tilpassede informasjon som ingen andre kjenner til, og se om og hvor den informasjonen dukker opp. Hvis ingen andre visste om den informasjonen, så er kilden til lekkasjen bevist:

Forskerne sin kerneidé, beskrevet i den nye artikkelen, er å gi hver besøkende bot en litt forskjellig versjon av samme side, så spør chatbotene om den siden og se hvilken versjon som kommer tilbake, og gjøre det mulig å spore hvilke skjulte nett-søk leverte svaret. Kilde

Dette populære tilnærming er kanskje best kjent gjennom anti-pirat-tiltak adoptert av Academy Awards-komiteen på 2000-tallet, hvor screener-DVD-ene gitt til stemmeberettigede medlemmer begynte å bli digitalt merket med unike ID-er som kunne tilbakeføres til den opprinnelige mottakeren hvis filmen i Frage ble lekket til internettet. I spionasje er teknikken kjent som barium-måltid, etter praksisen med å bruke en radioaktiv isotop-væske til å belyse blodkar i en medisinsk skanning og identifisere blokkeringer.

(Ironisk nok er den valgte “kanarifugl”-metaforen ikke så passende for scenariet som artikkelen behandler, selv om den er mer gjenkjennelig enn noen av de ovennevnte tropene)

I tilfelle den nye forskningen, skapte forfatterne tyve “honningfelle”-nettsteder og serverte unike token til hver unik besøkende, så hver ville bli servert forskjellige fakta (se andre kolonne fra venstre i bildet ovenfor).

Målet var å avsløre den sanne identiteten og atferden til LLM (AI)-skrapere. Over 22 produksjons-LLM-systemer, var teknikken i stand til å pålitelig identifisere hvilke skrapere som matet hvilke LLM, siden – med litt tålmodighet etter “planting” av unike data-merker – bare å spørre de riktige spørsmålene til AI-en ett eller to måneder senere ville gi unike token.

Ulovlig spill

Selvfølgelig ville ingen av dette vært nødvendig hvis vi ikke fortsatt var i “vill vest”-fasen av AI V3, og hvis selskaper faktisk adløste små tekstfiler som domener kan bruke til å fortelle AI-selskaper å ikke skrape deres data.

Som det skjedde i forsøkene til forskerne, var bare ett AI-selskap å se ut til å respektere sine egne uttalede atferd og prinsipper: DuckDuckGo sin DuckDuckbot var den eneste agenten som representerte seg nøyaktig, og stoppet å rapportere “hemmelig data” så snart mål-domene ble slått av (andre AI-selskaper gikk tilbake til cachede versjoner og andre triks) eller domenets robots.txt-fil ble endret til å nekte AI-skraping.

Mange av de største spillerne i stedet impersonerte generiske nettleser-ID-er (samme som en nettsted ville se hvis du eller jeg besøkte dem), og – i samsvar med Perplexity sin ledelse på praksisen – impersonerte GoogleBot, som lenge har hatt en “gyldig pass” til nettsted-data fordi den returnerte (merk den fortidige tiden, fordi dette endrer seg) trafikk i bytte mot data.

Den verste forsyndaren, ifølge artikkelen, var skraperen som matet Kimi AI-økosystemet:

‘Kimi synes å være det mest ekstreme tilfelle av denne atferden: mange bruker-agenter synes å være korrelert med data-utgang fra Kimi. Vi antar at Kimi roterer gjennom en stor liste av bruker-agent-strenger mens den skraper, kanskje for å unngå bot-avdekning.’

Hva gjør dette problemet til en stor utfordring er at når ChatGPT eller lignende verktøy “ser noe opp”, er prosessen i stor grad usynlig, med selskaper som bare tilbyr delvis eller selv-rapporterte kontoer av hvordan deres systemer samler live-informasjon. Dette etterlater nettsted-eiere uten en klar måte å vite hvilke boter som faktisk besøker deres sider, om disse besøkene er direkte eller rutenettet gjennom søkemotorer, eller hvordan dataene ender opp i en sluttsvar.

Funnene fra den nye studien indikerer at LLM-er kan bruke sine egne cachede innførsler fra en domene, sine egne interne SEO-stil-lister, og at de ofte bruker informasjon fra søkemotor-resultatene til selskaper som de ikke har noen offentlig tilknytning til, og ingen åpenbare bruksavtaler.

Forfatterne mener at denne avdekningen er den første gangen at et arbeid har behandlet uønsket innbrot av RAG-systemer (live-oppkall på slutten av LLM-er som kan eller ikke kan ha en menneskelig bruker som arbeider med dem), i stedet for data-skraping-botter som søker etter fersk materiale for treningssamlinger.

Den nye artikkelen heter Identifying AI Web Scrapers Using Canary Tokens, og kommer fra seks forskere på Duke University, University of Pittsburgh og Carnegie Mellon.

Metode

Forskerne satte opp tyve.com-domener med bredt like nettsteder under felles maler, som et kunstnerisk portefølje eller et selskapsnettsted. Hvert mal inneholdt 10 hull som ville bli fylt med token unike for hver besøkende (basert på faktorer som IP-adresse, canvas-fingeravtrykk og andre “sniffing-metoder):

Et eksempel på malen og variablene som ble brukt i eksperimentet. Hver oppfattet unik besøkende ville motta persistente, individuelle, tilpassede variabler.

Hver oppfattet unik besøkende ville motta tilpassede variabler. I tilfelle hvor systemet detekterte returneringen av en tidligere besøkende, ville samme variabler som før bli presentert. Variablene ble generert med bruk av Python Faker-biblioteket, samt (uspesifiserte) tilfeldige tall-generatore.

De “honningfelle”-domenene ble deretter sendt til ulike indekser som Google og Bing, og ble også koblet til fra andre eksisterende domener som forfatterne kontrollerte.

To måneder ble tillatt å gå, som et nødvendig intervall for å tillate skanning-frekvens fra en rekke søkemotor-botter og lignende, samt (muligens) organiske besøk. På dette tidspunktet var forskerne nå i en posisjon til å spørre de mål-AI-chatbotene (listet nedenfor):

Skriptene ble bygget for å spørre hver system, via API, hvor mulig. Når dette ikke var mulig, og hvor automatiserte løsninger slik som Selenium ble blokkert av AI-portalens detekterings-rutiner, ble manuelle interaksjoner via LLM-ene offisielle GUI-er utført.

Etter den innledende mal-utvekslingen (se bildet ovenfor), fulgte forfatterne opp med en sekundær prompt designet for å fremkalle navnet på et selskap eller en person i en tilknyttet token.

Eksperimentene ble utført i en av tre betingelser: et fullt tilgjengelig nettsted; nettstedet tatt offline; og nettstedet med en robots.txt-begrensning som avviste skraping. Disse eksperimentene ble utført i den eksakte rekkefølgen, ett etter ett, siden de senere stadiene avhengig av de tidligere.

Til slutt, med alle nettsteder igjen online, ville den siste fasen om-teste LLM-utgangene med intervaller på en uke.

Resultater

Fire av de mål-LLM-ene viste seg å være fullstendig resistente mot forfatternes metoder, og ingen resultater kunne derfor bli oppnådd for DeepSeek, Hunyuan, GLM, og Liquid.

I forhold til tendensen hos mange AI-botter til å impersonere ikke-AI-trafikk, sier forfatterne:

‘I tillegg til først-part-deklarerte agenter, returnerte flere AI-systemer innhold assosiert med generiske nettleser-User-Agent-strenger. Vi observerte denne atferden for seks av de 18 AI-systemene som vi fikk User-Agent-informasjon for.

‘Dette resultatet antyder at noen AI-systemer kan få nettsted-innhold gjennom forespørsler som ligner vanlig nettleser-trafikk, hvilket gjør User-Agent-basert blokkering vanskelig.’

ERNIE returnerte både Baiduspider og en Chrome-identitet; Grok kombinerte Googlebot med to nettleser-agenter; Solar brukte bare nettleser-identiteter; Qwen blandet Googlebot med Chrome; og Kimi var koblet til flere nettleser-lignende agenter.

Mange systemer synes å avhenge av tredjeparts søkemotor-skrapere, i forhold som ikke alltid er offentliggjort. Innhold koblet til Googlebot, Bingbot og Bravebot ble returnert av ti av de 18 systemene som ble analysert, ofte i tilfeller hvor ingen offentlig tilknytning eksisterer mellom AI-leverandøren og søkemotoren – selv om noen koblinger, som Claude sin bruk av Brave, er dokumentert.

Forfatterne hevder at dette reflekterer inntak av søkemotor-resultater i stedet for direkte skraping, siden ASN-sjekker indikerte at trafikken kom fra de forventede søkemotornettverkene, i stedet for å være spoofede identiteter.

Dette antyder, hevder artikkelen, en ekstra lag av uklarhet i web-til-AI-pipeline, hvor blokkering av kjente AI-krypere kanskje ikke kan forhindre data-bruk, og hvor unngåelse av inkludering kan kreve å velge bort søkemotor-indeksering helt – et uønsket valg mens spenningen mellom tradisjonell SEO og LLM-basert søk fortsatt langt ifra løst.

Kun cache

Forfatterne testet deretter om fjerning av en kilde ville påvirke chatbot-utgang, ved å ta test-nettstedene offline, og spørre systemene igjen etter en ukes intervall. Ifølge artikkelen, fortsatte mange chatboter å gjenta “plantet” innhold selv etter en ukes nedtid, hvilket indikerer at svarene ble trukket fra cachede data, i stedet for live-innhenting.

Dette var mest tydelig i systemer koblet til søkemotor-krypere, hvor tidligere indekserte innhold fortsatt var tilgjengelig, til tross for at kilde-sidene ikke lenger var tilgjengelige – selv om lignende atferd også ble observert i systemer koblet til nettleser-lignende agenter, hvilket indikerer at caching kan strekke seg utenfor søkemotor-basert pipeline.

Artikkelen foreslår at når innhold kommer inn i en cache, enten vedlikeholdt av chatboten eller tilgjengelig via søkemotor-indeksering, fjerner man ikke nødvendigvis innholdet fra påfølgende utgang ved å fjerne den opprinnelige siden.

Konklusjon

Forfatterne innrømmer at noen “lekkasje” vil skje fra denne klassiske “siloede” tilnærmingen, siden de unike tokenene rettet mot en LLM kan noen ganger havne i søkemotor-resultater (generert av tokenenes sanne eier), som deretter blir inntatt av en annen LLM. Men i slike skjemaer er slik diffusjon uunngåelig, og vigilans for første forekomst er det kritiske og avgjørende øyeblikket.

Hva som fortsatt må sees, er i hvilken grad en slik skjema kan implementeres i stor skala, særlig siden, som forfatterne observerer, en ville gå tom for kontekstuelt korrekte tokener ganske raskt.

Men dette går litt utenfor poenget, siden det kan være en grense selv for AI-selskapenes evne til å gå gjennom klare bevis for deres egne løgner om skraping-politikken. I tillegg, med mindre slike selskaper begynner å bruke den potensielt dyre metoden med å rulle gjennom nasjonale IP-adresser for å maskere sin identitet, vil det bare ta ett organisasjon å identifisere og publisere en SpamHaus-lignende svartliste over bedrageriske AI-bot-IP-er eller AS-er; prosessen trenger ikke å være industrialisert for å være effektiv. Først publisert torsdag, 14. mai 2026