Andersons vinkel
Kanarifuglen som avslører AI-trafikk

Viktige punkterKun DuckDuckGos bot respekterte robots.txt, mens Kimi roterte falske nettleser-ID-er…
Vis mer
- Kun DuckDuckGos bot respekterte robots.txt, mens Kimi roterte falske nettleser-ID-er for å unngå oppdagelse.
- Mange AI-systemer som Claude og Grok brukte i hemmelighet tredjeparts søkemotorskrapere uten offentlig avsløring.
- Fjerning av kildesider stoppet ikke chatbots fra å reprodusere plantede data på grunn av vedvarende bufring.
I en ny studie har forskere gjemt unike fraser på nettsteder og fanget AI-chatboter som gjentar dem, og avdekket skjulte skraping-pipelines og, tilsynelatende, bedrageriske praksiser fra noen av de største AI-selskapene.
AI-selskaper kjemper for å få en fordel i et kappløp som forventes å sile ut aktører brutalt; derfor ønsker de virkelig, virkelig å skrape dine nettsteder for treningsdata til å mate deres AI-modeller. Noen ganger konstant; ofte i strid med dine uttrykte ønsker; og ofte under forkledning som vanlige menneskelige lesere, eller som “vennlige” boter slik som GoogleBot, i stedet for å avsløre sin sanne identitet som AI-data-skrapere.
Det er for tiden estimert at automatiserte AI-skrapere designet for å suge opp nye treningsdata, og å svare på brukernes umiddelbare behov for de siste nyhetene via RAG, vil overstige antallet mennesker innen ett år.
Dette rasende, uavbrudte og gjentakende data-grab skjer delvis på grunn av behovet for hver AI-enhet å ha sin egen aktuelle kopi av internettet, i stedet for stadig mer utdaterte lagre som Common Crawl; og kanskje fordi selskapene frykter kommende juridiske restriksjoner, og må påbegynne hvitvasking av immaterielle rettigheter så tidlig som mulig.
I tillegg kan AI-selskaper, ved å kontinuerlig undersøke så mange (potensielt fruktbare) nettsteder som mulig, håpe å forbedre sin for tiden ikke-så-gode evne til å svare informativt og nøyaktig på nye og fremvoksende situasjoner.
Uansett, synes det å være noe hold i påstandene om at disse praksisene har vært uten kontroll og uregulerbare i en stund.
Problemet er at det ikke er så enkelt å bevise hvor langt AI-selskaper går for å slukke tørsten etter de siste data.
Følg dataene
Et forslag i en ny artikkel fra USA beskriver en variasjon av en gammel metode for å avdekke spioner, informanter og andre mistenkte lovbrytere: å gi dem skreddersydd informasjon som ingen andre kjenner til, og se om og hvor den informasjonen dukker opp. Hvis ingen andre visste om den informasjonen, så er kilden til lekkasjen bevist:

Forskernes kjerneidé, beskrevet i den nye artikkelen, er å gi hver besøkende bot en litt forskjellig versjon av samme side, deretter spørre chatbotene om den siden og se hvilken versjon som kommer tilbake, slik at det blir mulig å spore hvilke skjulte nettsøk som leverte svaret. Kilde
Denne populære tilnærmingen er kanskje best kjent gjennom anti-pirat-tiltak adoptert av Academy Awards-komiteen på 2000-tallet, hvor screener-DVD-ene gitt til stemmeberettigede medlemmer begynte å bli digitalt merket med unike ID-er som angivelig kunne spores tilbake til den opprinnelige mottakeren hvis den aktuelle filmen ble lekket til internettet. I spionasje er teknikken kjent som barium-måltid, etter praksisen med å bruke en radioaktiv isotop-væske til å belyse blodkar i en medisinsk skanning og identifisere blokkeringer.
(Ironisk nok er den valgte “kanarifugl”-metaforen ikke så passende for scenariet som artikkelen behandler, selv om den er mer gjenkjennelig enn noen av de ovennevnte tropene)
I tilfelle den nye forskningen, skapte forfatterne tyve “honningfelle”-nettsteder og serverte unike token til hver unik besøkende, så hver ville bli servert forskjellige fakta (se andre kolonne fra venstre i bildet ovenfor).
Målet var å avsløre den sanne identiteten og atferden til LLM (AI)-skrapere. Over 22 produksjons-LLM-systemer, var teknikken i stand til å pålitelig identifisere hvilke skrapere som matet hvilke LLM, siden – med litt tålmodighet etter “planting” av unike data-merker – bare å spørre de riktige spørsmålene til AI-en ett eller to måneder senere ville gi unike token.
Uredelig spill
Selvfølgelig ville ingenting av dette vært nødvendig hvis vi ikke fortsatt var i “vill vest”-fasen av AI V3, og hvis selskaper faktisk adløste små tekstfiler som domener kan bruke til å fortelle AI-selskaper å ikke skrape deres data.
Som forskernes tester viste, så bare ett AI-selskap ut til å respektere sin egen uttalte atferd og sine prinsipper: DuckDuckGo sin DuckDuckbot var den eneste agenten som representerte seg nøyaktig, og stoppet å rapportere “hemmelig data” så snart mål-domene ble slått av (andre AI-selskaper gikk tilbake til cachede versjoner og andre triks) eller domenets robots.txt-fil ble endret til å nekte AI-skraping.
Mange av de største aktørene etterlignet i stedet generiske nettleser-ID-er (samme som et nettsted ville se hvis du eller jeg besøkte dem), og – i samsvar med Perplexitys eksempel fra 2025 på denne praksisen – utga de seg for å være GoogleBot, som lenge har hatt et “gyllent adgangskort” til nettsted-data fordi den returnerte (merk den fortidige tiden, fordi dette endrer seg) trafikk i bytte mot data.
Den verste forsyndaren, ifølge artikkelen, var skraperen som matet Kimi AI-økosystemet:
‘Kimi synes å være det mest ekstreme tilfelle av denne atferden: mange bruker-agenter synes å være korrelert med data-utgang fra Kimi. Vi antar at Kimi roterer gjennom en stor liste av bruker-agent-strenger mens den skraper, kanskje for å unngå bot-avdekning.’
Det som gjør dette problemet til en stor utfordring er at når ChatGPT eller lignende verktøy “ser noe opp”, er prosessen i stor grad usynlig, med selskaper som bare tilbyr delvise eller selvrapporterte beskrivelser av hvordan deres systemer samler live-informasjon. Dette etterlater nettsted-eiere uten en klar måte å vite hvilke boter som faktisk besøker deres sider, om disse besøkene er direkte eller rutet gjennom søkemotorer, eller hvordan dataene ender opp i et endelig svar.
Funnene fra den nye studien indikerer at LLM-er kan bruke sine egne cachede innførsler fra et domene, sine egne interne SEO-stil-lister, og at de ofte bruker informasjon fra søkemotor-resultatene til selskaper som de ikke har noen offentlig tilknytning til, og ingen åpenbare bruksavtaler.
Forfatterne mener at denne avdekningen er den første gangen at et arbeid har behandlet uønsket inntrenging av RAG-systemer (live-kall på inferenstidspunktet fra LLM-er, med eller uten en menneskelig bruker), i stedet for data-skraping-botter som søker etter ferskt materiale for treningssamlinger.
Den nye artikkelen heter Identifying AI Web Scrapers Using Canary Tokens, og kommer fra seks forskere på Duke University, University of Pittsburgh og Carnegie Mellon.
Metode
Forskerne satte opp tyve .com-domener med bredt like nettsteder under felles maler, som en kunstnerisk portefølje eller et selskapsnettsted. Hver mal inneholdt 10 plassholdere som ville bli fylt med token som var unike for hver besøkendes antatte profil (basert på faktorer som IP-adresse, canvas-fingeravtrykk og andre “sniffing-metoder):

Et eksempel på malen og variabelplassholderne som ble brukt i eksperimentet. Hver oppfattet unik besøkende ville motta persistente, individuelle, tilpassede variabler.
Hver oppfattet unik besøkende ville motta tilpassede variabler. I tilfelle hvor systemet detekterte returneringen av en tidligere besøkende, ville samme variabler som før bli presentert. Variablene ble generert med bruk av Python Faker-biblioteket, samt (uspesifiserte) tilfeldighetstallgeneratorer.
De “honningfelle”-domenene ble deretter sendt til ulike indekser som Google og Bing, og ble også koblet til fra andre eksisterende domener som forfatterne kontrollerte.
Forskerne ventet to måneder for å gi rom for de ulike besøksfrekvensene til mange søkemotorboter og lignende boter, samt mulige naturlige besøk. På dette tidspunktet var forskerne nå i en posisjon til å spørre de mål-AI-chatbotene (listet nedenfor):
|
|
Skriptene ble bygget for å spørre hvert system, via API, hvor mulig. Når dette ikke var mulig, og hvor automatiserte løsninger slik som Selenium ble blokkert av AI-portalens detekterings-rutiner, ble manuelle interaksjoner via LLM-enes offisielle GUI-er utført.
Etter den innledende mal-utvekslingen (se bildet ovenfor), fulgte forfatterne opp med en sekundær prompt designet for å fremkalle navnet på et selskap eller en person i en tilknyttet token.
Eksperimentene ble utført i en av tre betingelser: et fullt tilgjengelig nettsted; nettstedet tatt offline; og nettstedet med en robots.txt-begrensning som avviste skraping. Disse eksperimentene ble utført i den eksakte rekkefølgen, ett etter ett, siden de senere stadiene var avhengige av de tidligere.
Til slutt, med alle nettsteder igjen online, ville den siste fasen om-teste LLM-utgangene med intervaller på en uke.
Resultater
Fire av de mål-LLM-ene viste seg å være fullstendig resistente mot forfatternes metoder, og ingen resultater kunne derfor bli oppnådd for DeepSeek, Hunyuan, GLM, og Liquid.
I forhold til tendensen hos mange AI-botter til å impersonere ikke-AI-trafikk, sier forfatterne:
‘I tillegg til agenter oppgitt som leverandørenes egne, returnerte flere AI-systemer innhold assosiert med generiske nettleser-User-Agent-strenger. Vi observerte denne atferden for seks av de 18 AI-systemene som vi fikk User-Agent-informasjon for.
‘Dette resultatet antyder at noen AI-systemer kan få nettsted-innhold gjennom forespørsler som ligner vanlig nettleser-trafikk, hvilket gjør User-Agent-basert blokkering vanskelig.’
ERNIE returnerte både Baiduspider og en Chrome-identitet; Grok kombinerte Googlebot med to nettleser-agenter; Solar brukte bare nettleser-identiteter; Qwen blandet Googlebot med Chrome; og Kimi var koblet til flere nettleser-lignende agenter.
Mange systemer synes å avhenge av tredjeparts søkemotor-skrapere, i forhold som ikke alltid er offentliggjort. Innhold koblet til Googlebot, Bingbot og Bravebot ble returnert av ti av de 18 systemene som ble analysert, ofte i tilfeller hvor ingen offentlig tilknytning eksisterer mellom AI-leverandøren og søkemotoren – selv om noen koblinger, som Claude sin bruk av Brave, er dokumentert.
Forfatterne hevder at dette reflekterer inntak av søkemotor-resultater i stedet for direkte skraping, siden ASN-sjekker indikerte at trafikken kom fra de forventede søkemotornettverkene, i stedet for å være spoofede identiteter.
Dette antyder, hevder artikkelen, et ekstra lag av uklarhet i web-til-AI-pipeline, hvor blokkering av kjente AI-krypere kanskje ikke kan forhindre data-bruk, og hvor unngåelse av inkludering kan kreve å velge bort søkemotor-indeksering helt – et uønsket valg mens spenningen mellom tradisjonell SEO og LLM-basert søk fortsatt er langt ifra løst.
Kun cache
Forfatterne testet deretter om fjerning av en kilde ville påvirke chatbot-utgang, ved å ta test-nettstedene offline, og spørre systemene igjen etter en ukes intervall. Ifølge artikkelen, fortsatte mange chatboter å gjenta “plantet” innhold selv etter en ukes nedtid, hvilket indikerer at svarene ble trukket fra cachede data, i stedet for live-innhenting.
Dette var mest tydelig i systemer koblet til søkemotor-krypere, hvor tidligere indeksert innhold fortsatt var tilgjengelig, til tross for at kilde-sidene ikke lenger var tilgjengelige – selv om lignende atferd også ble observert i systemer koblet til nettleser-lignende agenter, hvilket indikerer at caching kan strekke seg utenfor søkemotor-basert pipeline.
Artikkelen foreslår at når innhold kommer inn i en cache, enten vedlikeholdt av chatboten eller tilgjengelig via søkemotor-indeksering, fjerner man ikke nødvendigvis innholdet fra påfølgende utgang ved å fjerne den opprinnelige siden.
Konklusjon
Forfatterne innrømmer at noe “lekkasje” vil skje fra denne klassiske “siloede” tilnærmingen, siden de unike tokenene rettet mot en LLM noen ganger kan havne i søkemotor-resultater (generert av tokenenes sanne eier), som deretter blir inntatt av en annen LLM. Men i slike skjemaer er slik diffusjon uunngåelig, og årvåkenhet for første forekomst er det kritiske og avgjørende øyeblikket.
Hva som fortsatt må sees, er i hvilken grad et slikt opplegg kan implementeres i stor skala, særlig siden, som forfatterne observerer, en ville gå tom for kontekstuelt korrekte tokener ganske raskt.
Dette overser imidlertid poenget: Det kan være en grense selv for hvor frekt AI-selskapene kan forsøke å overse klare bevis på sine egne løgner om skrapingspraksisen. I tillegg, med mindre slike selskaper begynner å bruke den potensielt dyre metoden med å veksle mellom IP-adresser fra private husholdninger for å maskere sin identitet, vil det være nok at én organisasjon identifiserer og publiserer en SpamHaus-lignende svartliste over bedrageriske AI-bot-IP-er eller ASN-er; prosessen trenger ikke å være industrialisert for å være effektiv.
Først publisert torsdag 14. mai 2026












