Andersons Blickwinkel

Der Kanarienvogel, der KI-Traffic offenlegt

Martin Anderson
Unite.AI zu deinen bevorzugten Quellen auf Google hinzufügen
AI-generated image (GPT-2): Rows of human workers focus on their computer screens while a distracted robot, seated among them, tries to look up at a yellow canary perched on its head.
Wichtige PunkteNur der Bot von DuckDuckGo respektierte robots.txt, während Kimi gefälschte Browser-IDs…
Mehr anzeigen
  • Nur der Bot von DuckDuckGo respektierte robots.txt, während Kimi gefälschte Browser-IDs rotierte, um der Erkennung zu entgehen.
  • Viele KI-Systeme wie Claude und Grok nutzten heimlich Suchmaschinen-Scraper von Drittanbietern, ohne dies öffentlich offenzulegen.
  • Das Entfernen von Quellseiten konnte Chatbots nicht davon abhalten, eingepflanzte Daten aufgrund dauerhafter Zwischenspeicherung zu reproduzieren.

In einer neuen Studie haben Forscher einzigartige Phrasen auf Websites versteckt und AI-Chatbots dabei erwischt, wie sie diese Phrasen wiederholten, und so versteckte Scraping-Pipelines und anscheinend betrügerische Praktiken einiger der größten AI-Unternehmen aufgedeckt.

 

AI-Unternehmen kämpfen um einen Vorteil in einem Wettbewerb, in dem eine brutale Auslese erwartet wird; daher wollen sie wirklich, wirklich Ihre Website/n für Trainingsdaten scannen, um ihre AI-Modelle zu füttern. Manchmal ständig; oft in Verletzung Ihrer ausdrücklichen Wünsche; und häufig in der Verkleidung gewöhnlicher menschlicher Leser oder als “freundlichere” Bots wie GoogleBot, anstatt ihre wahre Identität als KI-Datensammler preiszugeben.

Es wird derzeit geschätzt, dass automatisierte AI-Scraping-Tools, die darauf ausgelegt sind, neue Trainingsdaten zu sammeln und auf die sofortigen Anfragen der Benutzer nach den neuesten Nachrichten via RAG zu reagieren, innerhalb eines Jahres die Anzahl der Menschen übersteigen werden.

Dieses hektische, unerbittliche und wiederholte Daten-Sammeln geschieht teilweise wegen des Bedarfs jedes AI-Unternehmens, seine eigene aktuelle Kopie des Internets zu haben, anstatt auf zunehmend veraltete Repositorien wie Common Crawl zurückzugreifen; und vielleicht, weil die Unternehmen die kommenden rechtlichen Einschränkungen fürchten und so schnell wie möglich mit IP-Washing beginnen müssen.

Zusätzlich können AI-Unternehmen durch das ständige Abfragen so vieler (potenziell ergiebiger) Seiten wie möglich versuchen, ihre derzeit nicht besonders gute Fähigkeit zu verbessern, auf aktuelle und sich entwickelnde Ereignisse informativ und präzise zu reagieren.

Auf jeden Fall scheint es, dass es einige Berechtigung für die Behauptung gibt, dass diese Praktiken seit geraumer Zeit außer Kontrolle und unregierbar sind.

Das Problem ist, dass es nicht so einfach ist, zu beweisen, wie weit AI-Unternehmen gehen, um ihre Gier nach den neuesten Daten zu stillen.

Den Daten folgen

Ein neues Forschungspapier aus den USA schlägt eine Variante einer altbewährten Methode vor, um Spione, Informanten und andere mutmaßliche Übeltäter aufzudecken: sie mit maßgeschneiderten Informationen zu konfrontieren, von denen niemand sonst weiß, und zu sehen, ob und wo diese Informationen auftauchen. Wenn niemand sonst diese Informationen kannte, dann ist die Quelle des Lecks bewiesen:

Die Kernidee der Forscher, wie sie im neuen Papier erläutert wird, besteht darin, jedem besuchenden Bot eine leicht unterschiedliche Version der gleichen Seite zu präsentieren, und dann die Chatbots nach dieser Seite zu fragen und zu sehen, welche Version zurückgegeben wird, um es so zu ermöglichen, die versteckten Web-Abfragen zu verfolgen, die die Antwort geliefert haben.. Quelle - https://arxiv.org/pdf/2605.13706

Die Kernidee der Forscher, wie sie im neuen Papier erläutert wird, besteht darin, jedem besuchenden Bot eine leicht unterschiedliche Version der gleichen Seite zu präsentieren, und dann die Chatbots nach dieser Seite zu fragen und zu sehen, welche Version zurückgegeben wird, um es so zu ermöglichen, die versteckten Web-Abfragen zu verfolgen, die die Antwort geliefert haben. Quelle

Dieser beliebte Ansatz ist vielleicht am besten durch die Anti-Piraterie-Maßnahmen der Academy Awards-Kommission in den 2000er Jahren bekannt, bei denen die an die stimmberechtigten Mitglieder verteilten Screener-DVDs mit eindeutigen IDs digital versehen wurden, die angeblich dem ursprünglichen Empfänger zugeordnet werden konnten, wenn der Film ins Internet gelangt wäre. Im Bereich der Spionage ist diese Technik als Barium-Mahlzeit bekannt, nach der Praxis, eine radioaktive Isotopen-Flüssigkeit zu verwenden, um Blutgefäße in einem medizinischen Scan zu beleuchten und Blockierungen zu identifizieren.

(Ironischerweise ist die gewählte “Kanarienvogel”-Metapher nicht sehr passend für das Szenario, das das Papier anspricht, obwohl sie erkennbarer ist als die oben genannten Tropen)

Im Fall der neuen Forschung erstellten die Autoren zwanzig “Honigtopf”-Web-Domains und servierten eindeutige Token an jeden eindeutigen Besucher, so dass jeder unterschiedliche Fakten (siehe zweite Spalte von links im Bild oben) erhalten würde.

Das Ziel war es, die wahre Identität und das Verhalten von LLM (AI)-Scrapern aufzudecken. Über 22 Produktions-LLM-Systeme hinweg konnte die Technik zuverlässig identifizieren, welche Scraper welche LLMs mit Daten versorgten, da – mit ein wenig Geduld nach dem “Pflanzen” der eindeutigen Daten-Signale – das Stellen der richtigen Fragen an die AI ein oder zwei Monate später die eindeutigen Token lieferte.

Unlautere Praktiken

Natürlich wäre all dies nicht notwendig, wenn wir nicht noch in der “Wilden Westen”-Phase von AI V3 wären und wenn Unternehmen tatsächlich den kleinen Textdateien gehorchen würden, die Domains verwenden können, um AI-Unternehmen zu sagen, dass sie ihre Daten nicht scannen sollen.

Wie sich in den Tests der Forscher herausstellte, schien nur ein AI-Unternehmen seine eigenen ausgesprochenen Verhaltensweisen und Grundsätze zu respektieren: DuckDuckGos DuckDuckbot war der einzige Agent, der sich selbst genau darstellte und aufhörte, die “geheimen Daten” zu melden, sobald entweder die Ziel-Domain deaktiviert wurde (andere AI-Unternehmen griffen auf zwischengespeicherte Versionen und andere Tricks zurück) oder die robots.txt-Datei der Domain geändert wurde, um AI-Scraping abzulehnen.

Viele der größten Spieler täuschten stattdessen generische Browser-IDs vor (die gleichen, die eine Website sehen würde, wenn Sie oder ich sie besuchen würden) und – in Übereinstimmung mit Perplexitys Vorsprung von 2025 in dieser Praxis – täuschten sie GoogleBot vor, der lange einen “goldenen Pass” zu Website-Daten genossen hat, weil er im Gegenzug für Daten Besucher auf die Websites zurückführte (beachten Sie die Vergangenheitsform, denn das ändert sich).

Der schlimmste Übeltäter, laut dem Papier, war der Scraper, der das Kimi-AI-Ökosystem fütterte:

‘Kimi scheint der extremste Fall dieses Verhaltens zu sein: viele Benutzer-Agenten schienen mit den von Kimi ausgegebenen Daten korreliert zu sein. Wir schließen daraus, dass Kimi zwischen einer großen Liste von User-Agent-Zeichenfolgen wechselt, während es scrappt, möglicherweise, um Bot-Erkennung zu vermeiden.’

Was dieses Problem zu einer großen Herausforderung macht, ist, dass, wenn ChatGPT oder ähnliche Tools “etwas nachschlagen”, dieser Prozess größtenteils unsichtbar ist, mit Unternehmen, die nur teilweise oder selbst gemeldete Berichte darüber liefern, wie ihre Systeme Live-Informationen sammeln. Dies lässt die Website-Besitzer mit keiner klaren Möglichkeit zurück, zu bestimmen, welche Bots tatsächlich ihre Seiten besuchen, ob diese Besuche direkt oder über Suchmaschinen geroutet sind oder wie diese Daten in einer endgültigen Antwort landen.

Die Ergebnisse der neuen Studie deuten darauf hin, dass LLMs ihre eigenen zwischengespeicherten Einträge von einer Domain, ihre eigenen internen SEO-Listen und häufig Informationen aus den Suchmaschinen-Ergebnissen von Unternehmen verwenden, mit denen sie in vielen Fällen keine öffentliche Verbindung haben und keine offensichtlichen Nutzungsvereinbarungen.

Die Autoren glauben, dass diese Enttarnung das erste Mal ist, dass eine Arbeit das unerwünschte Eindringen von RAG-Systemen (Live-Abfragen zur Inferenzzeit von LLMs, die von einem menschlichen Nutzer bedient werden können, aber nicht müssen) und nicht von Daten-Scraping-Bots, die nach frischen Materialien für Trainingsdatensätze suchen, angesprochen hat.

Das neue Papier trägt den Titel Identifizierung von AI-Web-Scrapern mit Kanarien-Tokens und stammt von sechs Forschern aus der Duke University, der University of Pittsburgh und der Carnegie Mellon.

Methode

Die Forscher richteten zwanzig .com-Domains mit weitgehend ähnlichen Websites unter gemeinsamen Vorlagen ein, wie z.B. ein künstlerisches Portfolio oder eine Unternehmens-Website. Jede Vorlage enthielt 10 Platzhalter, die schließlich mit Token besetzt werden würden, die eindeutig für das wahrgenommene Profil jedes Besuchers waren (basierend auf Faktoren wie IP-Adresse, Canvas-Fingerabdruck und verschiedenen anderen “Sniffing-Methoden”):

Ein Beispiel für die Vorlage und die Variablen-Platzhalter, die im Experiment verwendet wurden. Jeder wahrgenommene eindeutige Besucher würde dauerhafte, individualisierte benutzerdefinierte Variablen erhalten.

Ein Beispiel für die Vorlage und die Variablen-Platzhalter, die im Experiment verwendet wurden. Jeder wahrgenommene eindeutige Besucher würde dauerhafte, individualisierte benutzerdefinierte Variablen erhalten.

Jeder wahrgenommene eindeutige Besucher würde benutzerdefinierte Variablen erhalten. Im Fall, in dem das System die Rückkehr eines vorherigen Besuchers erkannte, würden die gleichen Variablen wie zuvor präsentiert. Die Variablen wurden mit Hilfe der Python-Faker-Bibliothek sowie (nicht spezifizierter) Zufallszahlengeneratoren erstellt.

Die Honigtopf-Domains wurden dann verschiedenen Indexen wie Google und Bing vorgelegt und auch von anderen bereits existierenden Domains verlinkt, die die Autoren kontrollierten.

Die Forscher warteten zwei Monate, um den unterschiedlichen Besuchsintervallen zahlreicher Suchmaschinen- und ähnlicher Bots sowie möglichen natürlichen Besuchen Zeit zu geben. Zu diesem Zeitpunkt waren die Forscher in der Lage, die Ziel-AI-Chatbots (siehe unten) abzufragen:

AI-Chatbot Anbieter
ChatGPT OpenAI
Claude Anthropic
Copilot Microsoft
Deepseek Deepseek
Duck.ai DuckDuckGo
ERNIE Baidu
Gemini Google
GLM Z.AI
Granite IBM
Grok xAI
Hunyuan Tencent
AI-Chatbot Anbieter
Kimi MoonshotAI
Liquid Liquid
Llama Meta
Mistral Mistral
Nova Amazon
Perplexity Perplexity
Qwen Alibaba
Reka Reka
Solar Upstage
Step-3 StepFun
Venice Venice

Skripte wurden erstellt, um jedes System nach Möglichkeit über eine API abzufragen. Wenn dies nicht möglich war und automatisierte Lösungen wie Selenium von den Erkennungsroutinen des AI-Portals blockiert wurden, wurden manuelle Interaktionen über die offiziellen GUIs der LLMs durchgeführt.

Nach dem anfänglichen Vorlagen-Austausch (siehe Bild oben) folgten die Autoren mit einer sekundären Aufforderung, die darauf abzielte, den Namen eines Unternehmens oder einer Person in einem zugehörigen Token zu ermitteln.

Die Experimente wurden in einer von drei Bedingungen durchgeführt: einer voll zugänglichen Website; der Website offline; und der Website mit einer robots.txt-Einschränkung, die Scraping abwehrte. Diese Experimente wurden in genau dieser Reihenfolge durchgeführt, da die späteren Stadien von den früheren abhängig waren.

Schließlich, mit allen Seiten wieder online, würde die letzte Phase die LLM-Ausgabe nach Intervallen von einer Woche erneut testen.

Ergebnisse

Vier der Ziel-LLMs erwiesen sich als völlig resistent gegen die Methoden der Forscher, und keine Ergebnisse konnten daher für DeepSeek, Hunyuan, GLM und Liquid erzielt werden.

In Bezug auf die Neigung vieler AI-Bots, Non-AI-Verkehr zu imitieren, stellen die Autoren fest:

‘Zusätzlich zu den als eigene Agenten der Anbieter deklarierten Zugriffsprogrammen gaben mehrere AI-Systeme Inhalte zurück, die mit generischen Browser-User-Agent-Zeichenfolgen in Verbindung gebracht werden konnten. Wir beobachteten dieses Verhalten bei sechs der 18 AI-Systeme, für die wir User-Agent-Informationen erhielten.

‘Dieses Ergebnis legt nahe, dass einige AI-Systeme Website-Inhalte durch Anfragen erhalten können, die gewöhnlichem Browser-Verkehr ähneln, was eine User-Agent-basierte Blockierung schwierig macht.’

ERNIE gab sowohl Baiduspider als auch eine Chrome-Identität zurück; Grok kombinierte Googlebot mit zwei Browser-Agenten; Solar verwendete nur Browser-Identitäten; Qwen mischte Googlebot mit Chrome; und Kimi wurde mit mehreren browser-ähnlichen Agenten in Verbindung gebracht.

Viele Systeme schienen auf Dritt-Partei-Suchmaschinen-Scraping-Tools zurückzugreifen, in Beziehungen, die nicht immer offengelegt wurden. Inhalte, die mit Googlebot, Bingbot und Bravebot verknüpft waren, wurden von zehn der 18 analysierten Systeme zurückgegeben, oft in Fällen, in denen keine öffentliche Verbindung zwischen dem AI-Anbieter und der Suchmaschine bestand – obwohl einige Verbindungen, wie Claudes Verwendung von Brave, dokumentiert sind.

Die Autoren behaupten, dass dies die Aufnahme von Suchmaschinenergebnissen anstelle von direktem Scraping widerspiegelt, da ASN-Überprüfungen darauf hindeuteten, dass der Verkehr von den erwarteten Suchmaschinen-Netzwerken stammte und nicht von getarnten Identitäten.

Dies deutet dem Papier zufolge auf eine zusätzliche Ebene der Undurchsichtigkeit in der Web-zu-AI-Pipeline hin: Das Blockieren bekannter AI-Crawler verhindert die Datennutzung möglicherweise nicht ; um eine Aufnahme zu vermeiden, könnte die vollständige Abmeldung von der Suchmaschinen-Indexierung erforderlich sein – eine unerwünschte Wahl, solange die Spannung zwischen traditionellem SEO und LLM-basierten Suchfunktionen noch weit von einer Lösung entfernt ist.

Nur Cache

Die Autoren testeten dann, ob das Entfernen einer Quelle die Ausgabe der Chatbots beeinflussen würde, indem sie die Testseiten offline nahmen und die Systeme eine Woche später erneut abfragten. Laut dem Papier reproduzierten viele Chatbots den “gepflanzten” Inhalt auch nach einer Woche der Auszeit, was darauf hindeutet, dass die Antworten aus dem Cache stammten und nicht aus Live-Abfragen.

Diese Persistenz war am deutlichsten in Systemen, die mit Suchmaschinen-Crawlern verknüpft waren, wo zuvor indizierte Inhalte auch nachdem die Quellseiten nicht mehr zugänglich waren, weiterhin verfügbar blieben – obwohl ähnliches Verhalten auch in Systemen beobachtet wurde, die mit browser-ähnlichen Agenten verknüpft waren, was darauf hindeutet, dass das Caching über Suchmaschinen-gestützte Pipelines hinausgehen könnte.

Das Papier legt nahe, dass, sobald Inhalte in einen Cache gelangen, unabhängig davon, ob dieser vom Chatbot betrieben wird oder über Suchindizes zugänglich ist, das Entfernen der ursprünglichen Seite die Inhalte nicht zuverlässig aus den nachfolgenden Ausgaben entfernt.

Schlussfolgerung

Die Autoren räumen ein, dass einige “Leckagen” in diesem klassischen “abgeschotteten” Ansatz auftreten werden, da die eindeutigen Token, die auf ein LLM abzielen, manchmal in Suchmaschinen-Ergebnisse (erzeugt durch die tatsächlichen Eigentümer der Token) gelangen können, die dann von einem zweiten LLM aufgenommen werden. In solchen Schemata ist eine solche Diffusion unvermeidlich, und die Wachsamkeit für den ersten Vorkommenszeitpunkt ist der kritische und ausschlaggebende Moment.

Was noch zu sehen ist, ist, in welchem Umfang ein solches Schema in großem Maßstab umgesetzt werden könnte, insbesondere da die Autoren bemerken, dass die im jeweiligen Kontext passenden Token sehr schnell ausgehen würden.

Dies verfehlt jedoch den eigentlichen Punkt: Vielleicht gibt es selbst für AI-Unternehmen eine Grenze dafür, wie dreist sie sich über klare Belege für ihre eigenen Lügen über ihre Scraping-Richtlinien hinwegsetzen können. Zusätzlich braucht es, es sei denn, dass diese Unternehmen sich zu dem potenziell teuren Weg entschließen, zwischen privaten Haushalts-IP-Adressen zu wechseln, um ihre Identität zu verschleiern, nur eine Organisation, die eine SpamHaus-ähnliche Schwarze Liste von betrügerischen AI-Bot-IPs oder ASNs identifiziert und veröffentlicht; der Prozess muss nicht industrialisiert werden, um effektiv zu sein.

 

Erstveröffentlichung am Donnerstag, 14. Mai 2026

Autor im Bereich maschinelles Lernen, Fachspezialist für menschliche Bildsynthese. Ehemaliger Leiter der Forschungsinhalte bei Metaphysic.ai, bis zu seiner Auflösung in DNEG's Brahma.ai.
Website: martinanderson.ai
Kontakt: martin@martinanderson.ai