Kanarek, który ujawnia ruch AI

W nowym badaniu naukowcy ukryli unikalne frazy na stronach internetowych i złapali boty AI, które powtarzały je, ujawniając ukryte potoki scrappingu i, zdaje się, zwodnicze praktyki niektórych z największych firm AI.

Firmy AI walczą o przewagę w wyścigu, który zostanie brutalnie redukcyjny; dlatego tak bardzo, bardzo chcą scrappingować Twoją stronę internetową w celu uzyskania danych szkoleniowych dla swoich modeli AI. Czasami ciągle; często z naruszeniem Twoich wyraźnych życzeń; i często pod przykrywką przypadkowych czytelników ludzkich, lub jako “przyjazne” boty takie jak GoogleBot, zamiast ujawniać swoją prawdziwą tożsamość jako scrappingujące AI.

Obecnie szacuje się, że automatyczne scrappingujące AI, zaprojektowane do pochłaniania nowych danych szkoleniowych i odpowiedzi na natychmiastowe zapotrzebowanie na najnowsze wiadomości za pomocą RAG, będą przewyższać liczbę ludzi w ciągu roku.

Ten szalony, bezwzględny i powtarzalny pochłanianie danych ma miejsce częściowo z powodu potrzeby posiadania przez każdą jednostkę AI własnej bieżącej kopii internetu, zamiast coraz bardziej starych repozytoriów, takich jak Common Crawl; i, być może, dlatego, że firmy obawiają się nadejścia ograniczeń prawnych i muszą rozpocząć pranie IP jak najwcześniej.

Dodatkowo, poprzez ciągłe sondowanie tak wielu (potencjalnie owocnych) stron, jak to tylko możliwe, firmy AI mogą liczyć na poprawę swojej obecnie niezbyt dobrej zdolności do odpowiedzią informatywnie i dokładnie na pojawiające się sytuacje.

W każdym przypadku wydaje się, że istnieje pewna słuszność twierdzenia, że te praktyki były niekontrolowane i niepodlegały żadnej władzy przez długi czas.

Problem polega na tym, że nie jest to takie proste, aby udowodnić, jakie środki firmy AI stosują, aby zaspokoić swoje pragnienie najnowszych danych.

Śledź dane

Jednym z sugestii, przedstawionych w nowym artykule, jest wariant starej metody odkrywania szpiegów, informatorów i innych domniemanych przestępców: ujawnienie im dostosowanych informacji, których nikt inny nie zna, i sprawdzenie, czy i gdzie te informacje się pojawią. Jeśli nikt inny nie znał tych informacji, to źródło przecieku jest udowodnione:

Pomysł autorów, przedstawiony w nowym artykule, polega na tym, aby dać każdemu odwiedzającemu botowi nieco inną wersję tej samej strony, a następnie zapytać chatboty o tę stronę i sprawdzić, jaka wersja się pojawi, co pozwala na śledzenie, które ukryte wywołania internetowe dostarczyły odpowiedź. Źródło

Ten popularny podejście jest być może najlepiej znany dzięki środkom przeciw piractwu przyjętym przez komitet Akademii Filmowej w latach 2000, w którym kopie DVD rozdawane członkom komitetu zaczęły być cyfrowo oznaczone unikalnymi identyfikatorami, które mogły być przypisane do oryginalnego odbiorcy, jeśli film zostałby wycieknięty do internetu. W szpiegostwie ta technika jest znana jako barium meal, pochodząca od praktyki używania radioaktywnego izotopu cieczy do oświetlenia naczyń krwionośnych w badaniu medycznym i identyfikacji blokowania.

(Ironicznie, wybrany ‘kanarek’ metafora nie jest zbyt odpowiednia dla scenariusza, który artykuł adresuje, chociaż jest bardziej rozpoznawalna niż jakakolwiek z powyższych tropów)

W przypadku nowych badań autorzy utworzyli dwadzieścia ‘honeypot’ domen internetowych i obsłużyli unikalne tokeny dla każdego unikalnego odwiedzającego, tak aby każdy otrzymał różne fakty (patrz druga kolumna od lewej na powyższym obrazie).

Celem było ujawnienie prawdziwej tożsamości i zachowania scrappingujących AI. Spośród 22 systemów LLM technika ta umożliwiła niezawodne identyfikowanie, które scrappy feedujące LLM, ponieważ – po krótkim czasie po “zasadzeniu” unikalnych znaczników danych – wystarczyło zapytać AI o odpowiednie pytania miesiąc lub dwa później, aby uzyskać unikalne tokeny.

Niesportowe zachowanie

Oczywiście, nic z tego nie byłoby konieczne, gdybyśmy nie byli jeszcze w fazie “dzikiego zachodu” AI V3, i gdyby firmy rzeczywiście przestrzegały małych plików tekstowych, które domeny mogą używać, aby powiedzieć firmom AI, aby nie scrappingowały ich danych.

W trakcie badań okazało się, że tylko jedna firma AI wydawała się szanować swoje własne deklarowane zachowanie i zasady: DuckDuckbot DuckDuckGo był jedynym agentem, który reprezentował się dokładnie i przestał raportować “tajne dane” tak szybko, jak tylko docelowa domena została wyłączona (inne firmy AI używały wersji cached i innych sztuczek) lub plik robots.txt domeny został zmieniony, aby odmówić scrappingu AI.

Wiele z największych graczy zamiast tego impersonowało ogólne identyfikatory przeglądarki (takie same, jakie strona internetowa zobaczyłaby, gdybyś Ty lub ja ją odwiedzili), i – zgodnie z prowadzeniem Perplexity w 2025 roku – impersonowały GoogleBot, który długo cieszył się “złotym paszportem” do danych strony internetowej, ponieważ zwracał (zwrócił, bo to się zmienia) ruch w zamian za dane.

Najgorszym sprawcą, według artykułu, był scrappingujący ekosystem Kimi AI:

‘Kimi wydaje się być najbardziej skrajnym przypadkiem tego zachowania: wiele agentów użytkowników wydaje się być skorelowanych z danymi wyjściowymi Kimi. Wnioskujemy, że Kimi rotuje przez dużą listę ciągów User-Agent, możliwe, aby uniknąć wykrycia botów.’

Co sprawia, że ten problem jest dużym wyzwaniem, to fakt, że gdy ChatGPT lub podobne narzędzia “szukają czegoś”, ten proces jest w dużej mierze niewidoczny, a firmy oferują tylko częściowe lub samoopisane relacje z tego, jak ich systemy gromadzą dane na żywo. To pozostawia właścicieli stron internetowych bez wyraźnego sposobu, aby powiedzieć, które boty są naprawdę odwiedzające ich strony, czy te wizyty są bezpośrednie, czy kierowane przez wyszukiwarki, czy jak te dane kończą się w ostatecznej odpowiedzi.

Wyniki z nowych badań wskazują, że LLM mogą używać swoich własnych cached wpisów z domeny, swoich własnych list stylu SEO, i że często używają informacji z wyników wyszukiwania firm, z którymi w wielu przypadkach nie mają jawnej stowarzyszenia i nie ma widocznego porozumienia.

Autorzy uważają, że to ujawnienie jest pierwszym razem, kiedy praca zajęła się niechcianym wtargnięciem systemów RAG (wywołania na żywo z LLM w czasie inferencji, które mogą lub nie mogą mieć użytkownika ludzkiego), a nie botami scrappingującymi dane w celu szkolenia.

Nowy artykuł nosi tytuł Identifying AI Web Scrapers Using Canary Tokens i pochodzi od sześciu badaczy z Duke University, University of Pittsburgh i Carnegie Mellon.

Metoda

Badacze utworzyli dwadzieścia domen.com z podobnymi szablonami stron internetowych, takimi jak portfolio artystyczne lub strona firmy. Każdy szablon zawierał 10 placeholderów, które zostałyby wypełnione tokenami unikalnymi dla każdego odwiedzającego (na podstawie takich czynników, jak adres IP, odcisk palca canvas i inne “wąchanie” metody):

Przykład szablonu i placeholderów zmiennych użytych w eksperymencie. Każdy postrzegany unikalny odwiedzający otrzymałby trwałe, indywidualne zmienne niestandardowe.

Każdy postrzegany unikalny odwiedzający otrzymałby zmienne niestandardowe. W przypadku, gdy system wykrył powrót poprzedniego odwiedzającego, te same zmienne co poprzednio zostałyby ponownie przedstawione. Zmienne zostały wygenerowane przy użyciu biblioteki Python Faker, a także (nieokreślonych) generatorów liczb losowych.

Domeny honeypot zostały następnie przesłane do różnych indeksów, takich jak Google i Bing, i zostały również połączone z innych istniejących domen, którymi autorzy zarządzali.

Dwa miesiące zostały przydzielone, aby umożliwić skanowanie częstotliwości od różnych botów wyszukiwarki i innych, a także (możliwe) organiczne wizyty. W tym momencie badacze byli w stanie zapytać docelowe chatboty AI:

Skrypty zostały stworzone, aby zapytać każdy system za pomocą API, gdzie to było możliwe. Gdy to było niemożliwe, a gdy automatyczne rozwiązania takie jak Selenium były blokowane przez rutyny wykrywania portalu AI, interakcje ręczne za pośrednictwem oficjalnych GUI LLM zostały podjęte.

Po początkowej wymianie szablonu (patrz powyższy obraz) autorzy następnie zapytali o nazwę firmy lub osoby w powiązanym tokenie.

Eksperymenty zostały przeprowadzone w jednej z trzech warunków: w pełni dostępnej stronie internetowej; stronie internetowej wyłączonej; i stronie internetowej z ograniczeniem robots.txt, które odpędza scrapping. Te eksperymenty zostały przeprowadzone w tej samej sekwencji, jedna po drugiej, ponieważ późniejsze etapy zależały od wcześniejszych.

W końcu, z wszystkimi stronami ponownie online, ostatni etap ponownie przetestował wyjście LLM w odstępach tygodniowych.

Wyniki

Cztery z docelowych LLM okazały się całkowicie odporne na metody badaczy, i nie można było uzyskać wyników dla DeepSeek, Hunyuan, GLM i Liquid.

W odniesieniu do tendencji wielu botów AI do impersonowania ruchu nie-AI, autorzy stwierdzają:

‘Oprócz pierwszorzędnych agentów deklarowanych, kilka systemów AI zwróciło treść skojarzoną z ogólnymi ciągami User-Agent przeglądarki. Zaobserwowaliśmy to zachowanie w sześciu z 18 systemów AI, dla których uzyskaliśmy informacje o User-Agent.

‘Ten wynik sugeruje, że niektóre systemy AI mogą uzyskać treść strony internetowej za pomocą żądań, które wyglądają podobnie do zwykłego ruchu przeglądarki, co utrudnia blokadę opartą na User-Agent.’

ERNIE zwrócił zarówno Baiduspider, jak i identyfikator Chrome; Grok połączył Googlebot z dwoma agentami przeglądarki; Solar używał tylko identyfikatorów przeglądarki; Qwen mieszał Googlebot z Chrome; i Kimi był skorelowany z wieloma agentami stylu przeglądarki.

Wiele systemów wydawało się polegać na scrappingu wyszukiwarki stron trzecich, w relacjach nie zawsze ujawnionych. Treść połączona z Googlebot, Bingbot i Bravebot została zwrócona przez dziesięć z osiemnastu systemów przeanalizowanych, często w przypadkach, gdy nie istniało jawne stowarzyszenie między firmą AI a wyszukiwarką – chociaż niektóre połączenia, takie jak użycie Brave przez Claude, są udokumentowane.

Autorzy twierdzą, że to odzwierciedla spożycie wyników wyszukiwania, a nie bezpośredni scrapping, ponieważ kontrole ASN wskazały, że ruch pochodził z oczekiwanych sieci wyszukiwarki, a nie z fałszywych tożsamości.

To sugeruje, twierdzi artykuł, dodatkową warstwę nieprzezroczystości w potoku internetowo-AI, gdzie blokadę znanych crawlerów AI może nie zapobiec użyciu danych, a uniknięcie uwzględnienia może wymagać całkowitego wyłączenia indeksowania wyszukiwarki – niepożądanego wyboru, podczas gdy napięcie między tradycyjnym SEO a wyszukiwaniem opartym na LLM jest nadal daleko od rozwiązania.

Tylko pamięć podręczna

Autorzy następnie przetestowali, czy usunięcie źródła wpłynie na wyjście chatbotów, wyłączając strony testowe i zapytując systemy ponownie po tygodniu. Zgodnie z artykułem, wiele chatbotów nadal odtwarzało “zasadzone” treści, nawet po tygodniu przestoju, co wskazuje, że odpowiedzi były pobierane z pamięci podręcznej, a nie z żywej pobierania.

Ten trwały charakter był najbardziej widoczny w systemach powiązanych z crawlerami wyszukiwarki, gdzie wcześniej zindeksowane treści pozostały dostępne, pomimo faktu, że strony źródłowe nie były już dostępne – chociaż podobne zachowanie zostało również zaobserwowane w systemach skojarzonych z agentami przeglądarki, co wskazuje, że pamięć podręczna może sięgać poza potoki wspierane przez wyszukiwarkę.

Artykuł sugeruje, że jak tylko treść trafia do pamięci podręcznej, niezależnie od tego, czy jest ona utrzymywana przez chatbota, czy dostępna za pośrednictwem indeksów wyszukiwarki, usunięcie oryginalnej strony nie powoduje wiarygodnego usunięcia tej treści z późniejszych odpowiedzi.

Wnioski

Autorzy przyznają, że pewien “przeciek” będzie wynikiem tego klasycznego “silo” podejścia, ponieważ unikalne tokeny skierowane do jednego LLM mogą czasem trafiać do wyników wyszukiwania (wygenerowanych przez tokeny rzeczywistego właściciela), które są następnie spożywane przez drugie LLM. Jednak w takich schematach dyfuzja tego typu jest nieunikniona, a czujność na pierwsze wystąpienie jest krytycznym i decydującym momentem.

Co pozostaje do zobaczenia, to stopień, w jakim taki schemat mógłby być wdrożony na dużą skalę, szczególnie biorąc pod uwagę, że, jak autorzy zauważają, można by szybko wyczerpać się tokeny kontekstowo poprawne.

Jednak to trochę mija się z celem, ponieważ może być limit nawet dla bezwzględności firm AI, aby przechodzić przez jasne dowody swoich własnych kłamstw o polityce scrappingu. Dodatkowo, chyba że takie firmy zdecydują się na potencjalnie drogi sposób przewijania adresów IP krajowych, aby ukryć swoją tożsamość, wystarczy, aby jedna organizacja zidentyfikowała i opublikowała listę czarnych IP lub ASN w stylu SpamHaus; proces nie musi być zindustrializowany, aby być skuteczny.

Pierwotnie opublikowane w czwartek, 14 maja 2026