Погляд Anderson

Канарка, яка викриває трафік AI

Martin Anderson
Додайте Unite.AI до бажаних джерел у Google
AI-generated image (GPT-2): Rows of human workers focus on their computer screens while a distracted robot, seated among them, tries to look up at a yellow canary perched on its head.
Ключові моментиЛише бот DuckDuckGo дотримувався robots.txt, тоді як Kimi використовував підроблені…
Показати більше
  • Лише бот DuckDuckGo дотримувався robots.txt, тоді як Kimi використовував підроблені ідентифікатори браузерів, щоб уникнути виявлення.
  • Багато систем штучного інтелекту, як-от Claude і Grok, таємно використовували сторонні скрепери пошукових систем без публічного розголошення.
  • Видалення вихідних сторінок не зупинило чат-ботів від відтворення підставлених даних через постійне кешування.

У новому дослідженні вчені приховали унікальні фрази на веб-сайтах і впіймали чатботів AI, які повторювали їх, викриваючи приховані канали скрапінгу та, як видається, обманні практики деяких найбільших компаній AI.

 

Компанії AI борються за перевагу в гонці, яка, як передбачається, призведе до жорсткого скорочення кількості учасників; тому вони дуже, дуже хочуть збирати з ваших сайтів дані для навчання своїх моделей AI. Іноді постійно; часто порушуючи ваші заявлені бажання; і часто під виглядом звичайних читачів-людей або як “дружні” боти такі як GoogleBot, а не розкриваючи свою справжню ідентичність як скрапери даних AI.

За нинішніми оцінками, автоматизовані скрапери AI, призначені для збирання нових навчальних даних і відповіді на негайні вимоги користувачів щодо останніх новин за допомогою RAG, перевищать кількість людей протягом року.

Це несамовите, невпинне й повторюване захоплення даних відбувається частково через потребу кожної сутності AI мати свою поточну копію інтернету, а не дедалі застарілі репозиторії, такі як Common Crawl; і, можливо, через те, що компанії бояться запровадження правових обмежень і прагнуть розпочати відмивання інтелектуальної власності якомога раніше.

Крім того, постійно опитуючи якомога більше (потенційно плідних) сайтів, компанії AI можуть сподіватися покращити свою поточну не дуже хорошу здатність відповідати інформативно і точно щодо термінових новин і подій, які розвиваються.

У будь-якому випадку, здається, що існує певна підстава для твердження, що ці практики були поза контролем і некерованими протягом деякого часу.

Проблема полягає в тому, що довести, яких заходів компанії AI зараз вживають, щоб задовольнити свою спрагу до останніх даних, не так легко.

Стежте за даними

У новій американській статті пропонують варіант давнього методу виявлення шпигунів, інформаторів та інших імовірних зловмисників: повідомити їм спеціально підібрану інформацію, якої більше ніхто не знає, а потім простежити, чи з’явиться вона деінде і де саме. Якщо ніхто інший не знав про цю інформацію, то джерело витоку доведено:

Основна ідея дослідників, викладена в новій статті, полягає в тому, щоб надати кожному боту-відвідувачу трохи іншу версію однієї й тієї ж сторінки, а потім запитати чатботів про цю сторінку й побачити, яка версія повернеться, що дозволяє відстежувати, які приховані звернення до вебу забезпечили відповідь.. Джерело - https://arxiv.org/pdf/2605.13706

Основна ідея дослідників, викладена в новій статті, полягає в тому, щоб надати кожному боту-відвідувачу трохи іншу версію однієї й тієї ж сторінки, а потім запитати чатботів про цю сторінку й побачити, яка версія повернеться, що дозволяє відстежувати, які приховані звернення до вебу забезпечили відповідь. Джерело

Цей популярний підхід, можливо, найкраще відомий через антипіратські заходи, прийняті комітетом премії Оскар у 2000-х роках, коли на DVD з переглядовими копіями, які роздавали членам із правом голосу, почали наносити унікальні цифрові ідентифікатори. Вважалося, що вони дозволять встановити первісного одержувача, якщо фільм потрапить в інтернет. У розвідці цей метод відомий як барієва суміш, за аналогією з використанням рідини з радіоактивним ізотопом для підсвічування кровоносних судин у медичному скануванні та виявлення закупорок.

(Іронічно, вибрана метафора “канарки” не дуже підходить для сценарію, який розглядається в статті, хоча вона більш впізнавана, ніж будь-які інші зазначені тропи)

У випадку нового дослідження автори створили двадцять “HONEYPOT”-доменів і надали унікальні токени кожному унікальному відвідувачеві, так що кожному було надано різні факти (див. другий стовпець зліва на зображенні вище).

Мета полягала в тому, щоб викрити справжню ідентичність і поведінку скраперів LLM (AI). На 22 робочих системах LLM метод дозволив надійно визначити, які збирачі даних постачають інформацію яким моделям: якщо після «висаджування» унікальних маркерів даних почекати місяць або два, достатньо поставити AI правильні запитання, щоб отримати ці унікальні токени.

Нечиста гра

Очевидно, що жодного з цього не було б потрібно, якби ми досі не перебували на стадії «дикого Заходу» AI V3, і якби компанії дійсно дотримувалися вказівок у малих текстових файлах, які домени можуть використовувати для повідомлення компаніям AI не скрапувати їхні дані.

Як з’ясувалося в дослідженнях, лише одна компанія AI, схоже, дотримувалася власних заявлених правил поведінки й принципів: DuckDuckbot компанії DuckDuckGo був єдиним агентом, який точно представляв себе і припиняв повідомляти “таємні дані” як тільки цільовий домен був вимкнений (інші компанії AI зверталися до кешованих версій і інших трюків) або файл robots.txt домену був змінений так, щоб заборонити збирання даних для AI.

Багато найбільших гравців натомість імітували загальні ідентифікатори браузера (такі самі, як веб-сайт бачить, якщо ви або я відвідуємо їх), і – згідно з лідерством Perplexity у 2025 році щодо цієї практики – імітували GoogleBot, який довгий час мав “золотий пропуск” до даних веб-сайту, оскільки повертав (зазначте минулу форму, оскільки це змінюється) трафік в обмін на дані.

Найгіршим порушником, згідно зі статтею, був збирач даних, який постачав інформацію в екосистему Kimi AI:

‘Kimi видається найбільш крайнім випадком цієї поведінки: багато агентів користувачів здавалися корельованими з даними, виведеними Kimi. Ми робимо висновок, що Kimi під час збирання даних перебирає великий список рядків User-Agent, можливо, щоб уникнути виявлення бота.’

Що робить цю проблему великим викликом, то те, що коли ChatGPT або подібні інструменти «щось шукають», цей процес здебільшого невидимий, з компаніями, які пропонують лише часткові або самозвітні дані про те, як їхні системи збирають живу інформацію. Це залишає власників сайтів без чіткого способу визначити, які боти дійсно відвідують їхні сторінки, чи є ці відвідування прямими, чи вони проходять через пошукові системи, або як ці дані потрапляють до остаточної відповіді.

Висновки з нового дослідження вказують на те, що LLM можуть використовувати свої власні закешовані записи з домену, свої власні внутрішні списки SEO-стилю, і що вони часто використовують інформацію з результатів пошукових систем компаній, з якими, у багатьох випадках, вони не мають публічної асоціації, і немає явних угод про використання.

Автори вважають, що це викриття є першим випадком, коли робота звернулася до небажаного вторгнення систем RAG (живі виклики під час інференсу з LLM, які можуть або не можуть мати людину, яка працює з ними), а не ботів скрапінгу даних, які шукають свіжий матеріал для тренувальних наборів даних.

Нова стаття названа Ідентифікація скраперів веб-АІ за допомогою токенів канарки і підготовлена шістьма дослідниками з Університету Дюка, Університету Піттсбурга і Університету Карнегі-Меллона.

Метод

Дослідники створили двадцять доменів .com з загальними шаблонами веб-сайтів, такими як мистецьке портфоліо або сайт компанії. Кожен шаблон містив 10 плейсхолдерів, які згодом були заповнені токенами, унікальними для сприйманого профілю кожного відвідувача (на основі факторів, таких як IP-адреса, відбиток канвасу та інші “нюхальні методи”):

Приклад шаблону і полів для змінних, використаних у дослідженні. Кожному сприйманому унікальному відвідувачеві було надано постійні персоналізовані значення змінних.

Приклад шаблону і полів для змінних, використаних у дослідженні. Кожному сприйманому унікальному відвідувачеві було надано постійні персоналізовані значення змінних.

Кожному сприйманому унікальному відвідувачеві було надано постійні персоналізовані значення змінних. У випадку, коли система виявила повернення попереднього відвідувача, ті самі змінні, що й раніше, були представлені знову. Змінні були згенеровані за допомогою бібліотеки Python Faker, а також (не вказаних) генераторів випадкових чисел.

Потім домени-приманки подали для включення в індекси Google, Bing та інших пошукових систем, а також розмістили посилання на них на інших, уже наявних доменах під контролем авторів.

Дослідники зачекали два місяці, щоб врахувати різну частоту сканування численними пошуковими й подібними ботами, а також можливі органічні відвідування. На цьому етапі дослідники були вже в змозі запитати цільові чатботи AI (перелічені нижче):

Чатбот AI Видавець
ChatGPT OpenAI
Claude Anthropic
Copilot Microsoft
Deepseek Deepseek
Duck.ai DuckDuckGo
ERNIE Baidu
Gemini Google
GLM Z.AI
Granite IBM
Grok xAI
Hunyuan Tencent
Чатбот AI Видавець
Kimi MoonshotAI
Liquid Liquid
Llama Meta
Mistral Mistral
Nova Amazon
Perplexity Perplexity
Qwen Alibaba
Reka Reka
Solar Upstage
Step-3 StepFun
Venice Venice

Скрипти були створені для звернення до кожної системи через API, де це було можливо. Коли це було неможливо, і коли автоматизовані рішення, такі як Selenium, були заблоковані виявленням бота порталом AI, взаємодію проводили вручну через офіційні графічні інтерфейси LLM.

Після початкової шаблонної взаємодії (див. зображення вище) автори поставили додатковий запит, щоб отримати назву компанії або ім’я особи з відповідного токена.

Експерименти були проведені за однієї з трьох умов: сайт повністю доступний; сайт вимкнений; сайт має обмеження robots.txt, яке забороняло збирання даних. Ці експерименти були проведені саме в такій послідовності, один за одним, оскільки останні етапи залежали від попередніх.

Нарешті, усі сайти повернули в мережу, і на останньому етапі відповіді LLM перевіряли повторно з тижневими інтервалами.

Результати

Чотири з цільових LLM виявилися повністю резистентними до методів дослідників, і тому жодних результатів не було отримано для DeepSeek, Hunyuan, GLM і Liquid.

Відносно схильності багатьох ботів AI до імітації не-AI трафіку автори заявляють:

‘Окрім агентів, прямо заявлених самими постачальниками, кілька систем AI повернули вміст, пов’язаний з загальними рядками ідентифікатора браузера. Ми спостерігали таку поведінку для шести з 18 систем AI, для яких ми отримали інформацію про User-Agent.

‘Цей результат свідчить про те, що деякі системи AI можуть отримувати вміст веб-сайту через запити, які виглядають подібно до звичайного трафіку браузера, що робить блокування на основі User-Agent важким.’

ERNIE повернув як Baiduspider, так і ідентифікатор Chrome; Grok поєднував Googlebot з двома агентами браузера; Solar використовував тільки ідентифікатори браузера; Qwen змішував Googlebot з Chrome; і Kimi був пов’язаний з кількома агентами браузера.

Багато систем здавалися залежними від скраперів пошукових систем третіх сторін, у відносинах, які не завжди розкриваються. Вміст, пов’язаний з Googlebot, Bingbot і Bravebot, був повернутий десятьма з 18 систем, які були проаналізовані, часто в випадках, коли не існувало публічної асоціації між постачальником AI і пошуковою системою – хоча деякі зв’язки, такі як використання Brave системою Claude, задокументовані.

Автори стверджують, що це відображає інгестію результатів пошукових систем, а не прямий скрапінг, оскільки перевірки ASN вказували на те, що трафік походив з очікуваних мереж пошукових систем, а не з підроблених ідентифікаторів.

Це свідчить, стверджує стаття, про додатковий шар непрозорості у веб-ланцюгу AI, де блокування відомих скраперів AI може не запобігти використанню даних, і уникнення включення може вимагати відмови від індексації пошукових систем зовсім — небажаного вибору, поки напруженість між традиційним SEO і пошуком на основі LLM ще далека від вирішення.

Тільки кеш

Далі автори перевірили, чи вплине видалення джерела на відповіді чатботів, вимкнувши тестові сайти і запитавши системи знову через інтервал тижня. Згідно зі статтею, багато чатботів продовжували відтворювати “посаджені” дані навіть після тижня простою, вказуючи на те, що відповіді були отримані з кешованих даних, а не з живого отримання.

Ця стійкість була найбільш очевидна в системах, пов’язаних з пошуковими системами, де раніше проіндексований вміст залишався доступним, незважаючи на те, що джерельні сторінки більше не були доступні – хоча подібну поведінку також спостерігали в системах, пов’язаних з агентами браузера, вказуючи на те, що кешування може виходити за межі ланцюжків, що спираються на пошук.

У статті припускається, що як тільки вміст потрапляє до кешу, незалежно від того, чи підтримується він чатботом, чи доступний через індекси пошукових систем, видалення оригінальної сторінки не забезпечує надійного видалення цього вмісту з подальших відповідей.

Висновок

Автори визнають, що певний «витік» буде відбуватися з цього класичного “силозного” підходу, оскільки унікальні токени, призначені для однієї LLM, іноді можуть опинитися в результатах пошукових систем (згенерованих справжнім власником токенів), які потім засвоюються другою LLM. Однак у таких схемах така дифузія є неминучою, а нагляд за першим випадком є критичним моментом.

Що залишається невідомим, то те, якою мірою така схема могла б бути реалізована у великому масштабі, особливо оскільки, як зазначають автори, можна швидко вичерпати контекстно-коректні токени.

Однак це дещо оминає суть: навіть зухвалість компаній AI може мати межі, коли їм доводиться ігнорувати чіткі докази власної брехні про правила збирання даних. Крім того, якщо вони не оберуть потенційно дорогий шлях постійної зміни IP-адрес домашніх користувачів, щоб приховати свою ідентичність, однієї організації буде достатньо для виявлення й публікації чорного списку IP-адрес або ASN брехливих ботів AI за зразком SpamHaus. Щоб бути ефективним, цей процес не обов’язково доводити до промислового масштабу.

 

Уперше опубліковано в четвер, 14 травня 2026 року

Martin Anderson

Автор у галузі машинного навчання, фахівець у сфері синтезу зображень людей. Колишній керівник дослідницького контенту в Metaphysic.ai, до його злиття з Brahma.ai, що належить DNEG.
Веб‑сайт: martinanderson.ai
Контакт: martin@martinanderson.ai