Der Kanarienvogel, der den AI-Verkehr aufdeckt

In einer neuen Studie haben Forscher einzigartige Phrasen auf Websites versteckt und AI-Chatbots dabei erwischt, wie sie diese Phrasen wiederholten, und so versteckte Scraping-Pipelines und anscheinend betrügerische Praktiken einiger der größten AI-Unternehmen aufgedeckt.

AI-Unternehmen kämpfen um einen Vorteil in einem Wettbewerb, der als brutal reduktiv vorhergesagt wird; daher wollen sie wirklich, wirklich Ihre Website/n für Trainingsdaten scannen, um ihre AI-Modelle zu füttern. Manchmal ständig; oft in Verletzung Ihrer ausdrücklichen Wünsche; und häufig in der Verkleidung von casualen menschlichen Lesern oder als “freundlichere” Bots wie GoogleBot, anstatt ihre wahre Identität als AI-Daten-Scrapers preiszugeben.

Es wird derzeit geschätzt, dass automatisierte AI-Scraping-Tools, die darauf ausgelegt sind, neue Trainingsdaten zu sammeln und auf die sofortigen Anfragen der Benutzer nach den neuesten Nachrichten via RAG zu reagieren, innerhalb eines Jahres die Anzahl der Menschen übersteigen werden.

Dieses hektische, unerbittliche und wiederholte Daten-Sammeln geschieht teilweise wegen des Bedarfs jedes AI-Unternehmens, seine eigene aktuelle Kopie des Internets zu haben, anstatt auf zunehmend veraltete Repositorien wie Common Crawl zurückzugreifen; und vielleicht, weil die Unternehmen die kommenden rechtlichen Einschränkungen fürchten und so schnell wie möglich mit IP-Washing beginnen müssen.

Zusätzlich können AI-Unternehmen durch das ständige Abfragen so vieler (potenziell ergiebiger) Seiten wie möglich versuchen, ihre derzeit nicht so großen Fähigkeit, informativ und genau auf auftauchende Situationen zu reagieren, zu verbessern.

Auf jeden Fall scheint es, dass es einige Berechtigung für die Behauptung gibt, dass diese Praktiken seit geraumer Zeit außer Kontrolle und unregierbar sind.

Das Problem ist, dass es nicht so einfach ist, zu beweisen, wie weit AI-Unternehmen gehen, um ihre Gier nach den neuesten Daten zu stillen.

Der Daten folgen

Ein Vorschlag, der in einem neuen Papier aus den USA vorgeschlagen wird, bietet eine Variante einer altbewährten Methode, um Spione, Informanten und andere mutmaßliche Übeltäter aufzudecken: sie mit maßgeschneiderten Informationen zu konfrontieren, von denen niemand sonst weiß, und zu sehen, ob und wo diese Informationen auftauchen. Wenn niemand sonst diese Informationen kannte, dann ist die Quelle des Lecks bewiesen:

Die Kernidee der Forscher, wie sie im neuen Papier erläutert wird, besteht darin, jedem besuchenden Bot eine leicht unterschiedliche Version der gleichen Seite zu präsentieren, und dann die Chatbots nach dieser Seite zu fragen und zu sehen, welche Version zurückgegeben wird, um es so zu ermöglichen, die versteckten Web-Abfragen zu verfolgen, die die Antwort geliefert haben. Quelle

Dieser beliebte Ansatz ist vielleicht am besten durch die Anti-Piraterie-Maßnahmen der Academy Awards-Kommission in den 2000er Jahren bekannt, bei denen die an die Voting-Mitglieder verteilten Screener-DVDs mit eindeutigen IDs digital versehen wurden, die angeblich dem ursprünglichen Empfänger zugeordnet werden konnten, wenn der Film auf das Internet gelangt wäre. Im Bereich der Spionage ist diese Technik als Barium-Mahlzeit bekannt, nach der Praxis, eine radioaktive Isotopen-Flüssigkeit zu verwenden, um Blutgefäße in einem medizinischen Scan zu beleuchten und Blockierungen zu identifizieren.

(Ironischerweise ist die gewählte “Kanarienvogel”-Metapher nicht sehr passend für das Szenario, das das Papier anspricht, obwohl sie erkennbarer ist als die oben genannten Tropen)

Im Fall der neuen Forschung erstellten die Autoren zwanzig “Honigtopf”-Web-Domains und servierten eindeutige Token an jeden eindeutigen Besucher, so dass jeder unterschiedliche Fakten (siehe zweite Spalte von links im Bild oben) erhalten würde.

Das Ziel war es, die wahre Identität und das Verhalten von LLM (AI)-Scrapern aufzudecken. Über 22 Produktions-LLM-Systeme hinweg konnte die Technik zuverlässig identifizieren, welche Scrapers welchen LLM fütterten, da – mit ein wenig Geduld nach dem “Pflanzen” der eindeutigen Daten-Signale – das Stellen der richtigen Fragen an die AI ein oder zwei Monate später die eindeutigen Token lieferte.

Unfairer Wettbewerb

Natürlich wäre all dies nicht notwendig, wenn wir nicht noch in der “Wilden Westen”-Phase von AI V3 wären und wenn Unternehmen tatsächlich den kleinen Textdateien gehorchen würden, die Domains verwenden können, um AI-Unternehmen zu sagen, dass sie ihre Daten nicht scannen sollen.

Wie sich in den Tests der Forscher herausstellte, schien nur ein AI-Unternehmen seine eigenen ausgesprochenen Verhaltensweisen und Grundsätze zu respektieren: DuckDuckGo’s DuckDuckbot war der einzige Agent, der sich selbst genau darstellte und aufhörte, die “geheimen Daten” zu melden, sobald entweder die Ziel-Domain deaktiviert wurde (andere AI-Unternehmen griffen auf zwischengespeicherte Versionen und andere Tricks zurück) oder die Domain’s robots.txt-Datei geändert wurde, um AI-Scraping abzulehnen.

Viele der größten Spieler täuschten stattdessen generische Browser-IDs vor (die gleichen, die eine Website sehen würde, wenn Sie oder ich sie besuchen würden) und – in Übereinstimmung mit Perplexity’s Vorsprung von 2025 in dieser Praxis – täuschten sie GoogleBot vor, der lange einen “goldenen Pass” zu Website-Daten genossen hat, weil er im Gegenzug für Daten Traffic zurückgegeben hat.

Der schlimmste Übeltäter, laut dem Papier, war der Scraper, der das Kimi-AI-Ökosystem fütterte:

‘Kimi scheint der extremste Fall dieses Verhaltens zu sein: viele Benutzer-Agenten schienen mit den von Kimi ausgegebenen Daten korreliert zu sein. Wir schließen daraus, dass Kimi durch eine lange Liste von User-Agent-Zeichenfolgen scrollt, während es scrappt, möglicherweise, um Bot-Erkennung zu vermeiden.’

Was dieses Problem zu einer großen Herausforderung macht, ist, dass, wenn ChatGPT oder ähnliche Tools “etwas nachschlagen”, dieser Prozess größtenteils unsichtbar ist, mit Unternehmen, die nur teilweise oder selbst gemeldete Berichte darüber liefern, wie ihre Systeme Live-Informationen sammeln. Dies lässt die Website-Besitzer mit keiner klaren Möglichkeit zurück, zu bestimmen, welche Bots tatsächlich ihre Seiten besuchen, ob diese Besuche direkt oder über Suchmaschinen geroutet sind oder wie diese Daten in einer endgültigen Antwort landen.

Die Ergebnisse der neuen Studie deuten darauf hin, dass LLMs ihre eigenen zwischengespeicherten Einträge von einer Domain, ihre eigenen internen SEO-Listen und häufig Informationen aus den Suchmaschinen-Ergebnissen von Unternehmen verwenden, mit denen sie in vielen Fällen keine öffentliche Verbindung haben und keine offensichtlichen Nutzungsvereinbarungen.

Die Autoren glauben, dass diese Enttarnung das erste Mal ist, dass eine Arbeit das unerwünschte Eindringen von RAG-Systemen (Live-Anrufe zur Inferenzzeit von LLMs, die möglicherweise oder nicht von einem Menschen bedient werden) und nicht von Daten-Scraping-Bots, die nach frischen Materialien für Trainingsdatensätze suchen, angesprochen hat.

Das neue Papier trägt den Titel Identifizierung von AI-Web-Scrapern mit Kanarien-Tokens und stammt von sechs Forschern aus der Duke University, der University of Pittsburgh und der Carnegie Mellon.

Methode

Die Forscher richteten zwanzig.com-Domains mit weitgehend ähnlichen Websites unter gemeinsamen Vorlagen ein, wie z.B. ein künstlerisches Portfolio oder eine Unternehmens-Website. Jede Vorlage enthielt 10 Platzhalter, die schließlich mit Token besetzt werden würden, die eindeutig für das wahrgenommene Profil jedes Besuchers waren (basierend auf Faktoren wie IP-Adresse, Canvas-Fingerabdruck und verschiedenen anderen “Sniffing-Methoden”):

Ein Beispiel für die Vorlage und die Variablen-Platzhalter, die im Experiment verwendet wurden. Jeder wahrgenommene eindeutige Besucher würde persistent, individualisierte benutzerdefinierte Variablen erhalten.

Jeder wahrgenommene eindeutige Besucher würde benutzerdefinierte Variablen erhalten. Im Fall, in dem das System die Rückkehr eines vorherigen Besuchers erkannte, würden die gleichen Variablen wie zuvor präsentiert. Die Variablen wurden mit Hilfe der Python-Faker-Bibliothek sowie (nicht spezifizierter) Zufallszahlengeneratoren erstellt.

Die Honigtopf-Domains wurden dann verschiedenen Indexen wie Google und Bing vorgelegt und auch von anderen bereits existierenden Domains verlinkt, die die Autoren kontrollierten.

Zwei Monate wurden zugelassen, um zu ermöglichen, dass eine breite Palette von Suchmaschinen- und ähnlichen Bots die Domains scannen konnte, sowie möglicherweise organische Besuche. Zu diesem Zeitpunkt waren die Forscher in der Lage, die Ziel-AI-Chatbots (siehe unten) abzufragen:

Skripte wurden erstellt, um jeden System über API abzufragen, wo möglich. Wenn dies nicht möglich war und automatisierte Lösungen wie Selenium von den Erkennungsroutinen des AI-Portals blockiert wurden, wurden manuelle Interaktionen über die offiziellen GUIs der LLMs durchgeführt.

Nach dem anfänglichen Vorlagen-Austausch (siehe Bild oben) folgten die Autoren mit einer sekundären Aufforderung, die darauf abzielte, den Namen eines Unternehmens oder einer Person in einem zugehörigen Token zu ermitteln.

Die Experimente wurden in einer von drei Bedingungen durchgeführt: einer voll zugänglichen Website; der Website offline; und der Website mit einer robots.txt-Einschränkung, die Scraping abwehrte. Diese Experimente wurden in genau dieser Reihenfolge durchgeführt, da die späteren Stadien von den früheren abhängig waren.

Schließlich, mit allen Seiten wieder online, würde die letzte Phase die LLM-Ausgabe nach Intervallen von einer Woche erneut testen.

Ergebnisse

Vier der Ziel-LLMs erwiesen sich als völlig resistent gegen die Methoden der Forscher, und keine Ergebnisse konnten daher für DeepSeek, Hunyuan, GLM und Liquid erzielt werden.

In Bezug auf die Neigung vieler AI-Bots, Non-AI-Verkehr zu imitieren, stellen die Autoren fest:

‘Zusätzlich zu den ersten deklarierten Agenten gaben mehrere AI-Systeme Inhalte zurück, die mit generischen Browser-User-Agent-Zeichenfolgen in Verbindung gebracht werden konnten. Wir beobachteten dieses Verhalten bei sechs der 18 AI-Systeme, für die wir User-Agent-Informationen erhielten.

‘Dieses Ergebnis legt nahe, dass einige AI-Systeme Website-Inhalte durch Anfragen erhalten können, die denen von normalen Browser-Verkehr ähneln, was eine User-Agent-basierte Blockierung schwierig macht.’

ERNIE gab sowohl Baiduspider als auch eine Chrome-Identität zurück; Grok kombinierte Googlebot mit zwei Browser-Agenten; Solar verwendete nur Browser-Identitäten; Qwen mischte Googlebot mit Chrome; und Kimi wurde mit mehreren browser-ähnlichen Agenten in Verbindung gebracht.

Viele Systeme schienen auf Dritt-Partei-Suchmaschinen-Scraping-Tools zurückzugreifen, in Beziehungen, die nicht immer offengelegt wurden. Inhalte, die mit Googlebot, Bingbot und Bravebot verknüpft waren, wurden von zehn der 18 analysierten Systeme zurückgegeben, oft in Fällen, in denen keine öffentliche Verbindung zwischen dem AI-Anbieter und der Suchmaschine bestand – obwohl einige Verbindungen, wie Claudes Verwendung von Brave, dokumentiert sind.

Die Autoren behaupten, dass dies die Aufnahme von Suchmaschinenergebnissen anstelle von direktem Scraping widerspiegelt, da ASN-Überprüfungen darauf hindeuteten, dass der Verkehr von den erwarteten Suchmaschinen-Netzwerken stammte und nicht von getarnten Identitäten.

Dies deutet darauf hin, dass das Papier behauptet, eine zusätzliche Ebene von Undurchsichtigkeit in der Web-zu-AI-Pipeline besteht, wo das Blockieren bekannter AI-Crawler die Datenverwendung nicht verhindern kann und das Vermeiden der Aufnahme möglicherweise die Opt-out-Option für die Suchmaschinen-Indexierung erfordert – eine unerwünschte Wahl, solange die Spannung zwischen traditionellem SEO und LLM-basierten Suchfunktionen noch weit von einer Lösung entfernt ist.

Nur Cache

Die Autoren testeten dann, ob das Entfernen einer Quelle die Ausgabe der Chatbots beeinflussen würde, indem sie die Testseiten offline nahmen und die Systeme eine Woche später erneut abfragten. Laut dem Papier reproduzierten viele Chatbots den “gepflanzten” Inhalt auch nach einer Woche der Auszeit, was darauf hindeutet, dass die Antworten aus dem Cache stammten und nicht aus Live-Abfragen.

Diese Persistenz war am deutlichsten in Systemen, die mit Suchmaschinen-Crawlern verknüpft waren, wo zuvor indizierte Inhalte auch nachdem die Quellseiten nicht mehr zugänglich waren, weiterhin verfügbar blieben – obwohl ähnliches Verhalten auch in Systemen beobachtet wurde, die mit browser-ähnlichen Agenten verknüpft waren, was darauf hindeutet, dass das Caching über Suchmaschinen-gestützte Pipelines hinausgehen könnte.

Das Papier legt nahe, dass, sobald Inhalte in einen Cache gelangen, egal ob dieser vom Chatbot oder über Suchmaschinen-Indexe zugänglich ist, das Entfernen der ursprünglichen Seite die Inhalte nicht zuverlässig aus den nachfolgenden Ausgaben entfernt.

Schlussfolgerung

Die Autoren räumen ein, dass einige “Leckagen” in diesem klassischen “silozialen” Ansatz auftreten werden, da die eindeutigen Token, die auf ein LLM abzielen, manchmal in Suchmaschinen-Ergebnisse (erzeugt durch die Token-Eigentümer) gelangen können, die dann von einem zweiten LLM aufgenommen werden. In solchen Schemata ist eine solche Diffusion unvermeidlich, und die Wachsamkeit für den ersten Vorkommenszeitpunkt ist der kritische und ausschlaggebende Moment.

Was noch zu sehen ist, ist, in welchem Umfang ein solches Schema in großem Maßstab umgesetzt werden könnte, insbesondere da die Autoren bemerken, dass man sehr schnell aus kontextuell korrekten Token ausgehen würde.

Das ist jedoch nicht der Punkt, da es vielleicht eine Grenze gibt, bis zu der AI-Unternehmen ihre offensichtliche Fähigkeit, offensichtliche Lügen über ihre Scraping-Richtlinien zu vertuschen, durchhalten können. Zusätzlich braucht es, es sei denn, dass diese Unternehmen sich zu dem potenziell teuren Weg entschließen, durch inländische IP-Adressen ihre Identität zu maskieren, nur eine Organisation, die eine SpamHaus-ähnliche Schwarze Liste von betrügerischen AI-Bot-IPs oder ASNs identifiziert und veröffentlicht; der Prozess muss nicht industrialisiert werden, um effektiv zu sein.

Erstveröffentlichung am Donnerstag, 14. Mai 2026