Взгляд Anderson
Канарейка, которая раскрывает трафик ИИ

Ключевые моментыТолько бот DuckDuckGo соблюдал robots.txt, в то время как Kimi использовал подмену…
Показать больше
- Только бот DuckDuckGo соблюдал robots.txt, в то время как Kimi использовал подмену фальшивых идентификаторов браузера, чтобы избежать обнаружения.
- Многие ИИ-системы, такие как Claude и Grok, тайно использовали сторонние парсеры поисковых систем без публичного раскрытия этой информации.
- Удаление исходных страниц не помешало чат-ботам воспроизводить внедрённые данные из-за постоянного кэширования.
В новом исследовании ученые спрятали на веб-сайтах уникальные фразы и поймали чат-ботов ИИ на их повторении, раскрыв скрытые цепочки сбора данных и, по-видимому, обманные практики некоторых крупнейших компаний ИИ.
Компании ИИ борются за преимущество в гонке, которая, как предсказывают, приведет к жесткому сокращению числа участников; поэтому они очень, очень хотят собирать с ваших сайтов данные для обучения своих моделей ИИ. Иногда постоянно; часто вопреки вашим заявленным пожеланиям; и нередко под видом обычных читателей-людей или более "дружественных" ботов, таких как GoogleBot, вместо того чтобы раскрывать свою истинную сущность сборщиков данных для ИИ.
Сейчас считается, что автоматизированные сборщики данных для ИИ, предназначенные для получения новых обучающих данных и удовлетворения непосредственного спроса пользователей на последние новости через RAG, в течение года превзойдут людей численностью.
Эта яростная, непрерывная и повторяющаяся погоня за данными отчасти объясняется потребностью каждого игрока в сфере ИИ иметь собственную актуальную копию интернета, а не все более устаревающие хранилища вроде Common Crawl; а возможно, и тем, что компании опасаются грядущих правовых ограничений и хотят как можно раньше заняться отмыванием интеллектуальной собственности.
Кроме того, постоянно проверяя как можно больше потенциально полезных сайтов, компании ИИ, возможно, надеются улучшить свою пока не слишком высокую способность давать содержательные и точные ответы о срочных новостях и развивающихся событиях.
В любом случае, по-видимому, есть основания утверждать, что эти практики уже некоторое время не поддаются контролю и управлению.
Проблема в том, что доказать, как далеко сейчас заходят компании ИИ ради утоления жажды самых свежих данных, не так-то просто.
Следуйте за данными
В новой американской статье предлагается вариант старинного способа выявления шпионов, информаторов и других предполагаемых нарушителей: сообщить им специально подготовленную информацию, которую больше никто не знает, а затем проследить, появится ли она где-нибудь еще и где именно. Если больше никто этой информации не знал, источник утечки доказан:

Основная идея исследователей, изложенная в новой статье, состоит в том, чтобы показывать каждому посещающему сайт боту немного отличающуюся версию одной страницы. Затем чат-ботов спрашивают об этой странице и смотрят, какая версия возвращается. Это позволяет установить, какие скрытые обращения к вебу обеспечили ответ. Источник
Этот популярный подход, возможно, лучше всего известен благодаря антипиратским мерам, введенным комитетом премии «Оскар» в 2000-х годах: на DVD с просмотровыми копиями, которые выдавали голосующим членам, стали наносить уникальные цифровые идентификаторы. Предполагалось, что они позволят установить первоначального получателя, если фильм попадет в интернет. В разведке этот прием известен как «бариевая смесь» — по аналогии с использованием жидкости с радиоактивным изотопом для подсвечивания кровеносных сосудов при медицинском сканировании и выявления закупорок.
(По иронии, выбранная метафора «канарейки» не особенно подходит к рассматриваемой в статье ситуации, хотя она узнаваемее перечисленных выше образов.)
В новом исследовании авторы создали двадцать веб-доменов-приманок и выдавали каждому уникальному посетителю уникальные токены, чтобы все получали разные факты (см. второй столбец слева на изображении выше).
Цель состояла в том, чтобы раскрыть истинную идентичность и поведение сборщиков данных для больших языковых моделей. На 22 действующих системах LLM метод позволил надежно установить, какие сборщики снабжают какие модели: если после «посадки» уникальных маркеров данных подождать месяц или два, достаточно задать ИИ правильные вопросы, чтобы получить эти уникальные токены.
Нечестная игра
Конечно, во всем этом не было бы необходимости, если бы мы все еще не находились на стадии «дикого Запада» ИИ V3 и если бы компании действительно соблюдали указания из небольших текстовых файлов, с помощью которых владельцы доменов могут запрещать компаниям ИИ собирать свои данные.
Как выяснилось в испытаниях исследователей, лишь одна компания ИИ, по-видимому, придерживалась заявленных правил поведения и принципов: DuckDuckbot компании DuckDuckGo оказался единственным агентом, который точно представлялся и прекращал сообщать «секретные данные» сразу после отключения целевого домена (другие компании ИИ обращались к кэшированным версиям и иным уловкам) либо изменения robots.txt, запрещавшего сбор данных для ИИ.
Многие крупнейшие игроки вместо этого выдавали себя за обычные браузеры (с теми же идентификаторами, которые сайт увидел бы при нашем с вами посещении) и, следуя примеру Perplexity 2025 года, представлялись GoogleBot. Тот давно пользовался «золотым пропуском» к данным сайтов, поскольку возвращал (обратите внимание на прошедшее время, потому что это меняется) трафик в обмен на данные.
Худшим нарушителем, согласно статье, оказался сборщик, снабжавший экосистему Kimi AI:
«Kimi, по-видимому, представляет самый крайний случай такого поведения: многие пользовательские агенты, похоже, коррелировали с данными в ответах Kimi. Мы делаем вывод, что при сборе данных Kimi перебирает большой список строк User-Agent — возможно, чтобы избежать обнаружения ботов».
Особая сложность в том, что, когда ChatGPT или аналогичные инструменты «ищут что-то», этот процесс в основном невидим: компании предоставляют лишь частичные сведения или собственные отчеты о том, как системы получают актуальную информацию. Владельцы сайтов не могут ясно определить, какие боты действительно посещают страницы, приходят ли они напрямую или через поисковые системы и как данные попадают в итоговый ответ.
Результаты нового исследования указывают на то, что LLM могут использовать собственные кэшированные записи с домена и внутренние списки в духе SEO. Кроме того, они часто используют информацию из поисковой выдачи компаний, с которыми во многих случаях не имеют публичных связей или очевидных соглашений об использовании.
Авторы считают, что эта работа впервые рассматривает нежелательное вмешательство систем RAG — живые обращения на этапе формирования ответа LLM, которыми может управлять человек, а может и не управлять, — а не ботов, собирающих свежие материалы для обучающих наборов данных.
Новая статья называется «Выявление веб-сборщиков данных ИИ с помощью токенов-канареек» и подготовлена шестью исследователями из Университета Дьюка, Питтсбургского университета и Университета Карнеги — Меллона.
Метод
Исследователи создали двадцать доменов.com с в целом похожими сайтами на основе типовых шаблонов, например художественного портфолио или сайта компании. Каждый шаблон содержал 10 полей, которые затем заполнялись токенами, уникальными для предполагаемого профиля посетителя (на основе IP-адреса, отпечатка canvas и различных других методов распознавания):

Пример шаблона и полей для переменных, использованных в эксперименте. Каждый посетитель, распознанный как уникальный, получал постоянные индивидуальные значения переменных.
Каждый посетитель, распознанный как уникальный, получал индивидуальные переменные. Если система обнаруживала его возвращение, ему снова показывали прежние значения. Переменные генерировались с помощью библиотеки Python Faker и неуказанных генераторов случайных чисел.
Затем домены-приманки направили для включения в индексы Google, Bing и других поисковых систем, а также разместили ссылки на них на других, уже существовавших доменах под контролем авторов.
Исследователи выждали два месяца, чтобы учесть разную частоту сканирования поисковыми и подобными ботами, а также возможные органические посещения. После этого они могли опросить целевые чат-боты ИИ, перечисленные ниже:
|
|
Были созданы скрипты для обращения к каждой системе через API, где это было возможно. Если такой возможности не было, а автоматизированные решения, такие как Selenium, блокировались средствами обнаружения ИИ-портала, взаимодействие выполняли вручную через официальные графические интерфейсы LLM.
После первоначального обмена на основе шаблона (см. изображение выше) авторы задавали дополнительный запрос, призванный получить имя человека или название компании из соответствующего токена.
Эксперименты проводились в трех условиях: полностью доступный сайт; сайт, отключенный от сети; сайт с ограничением в robots.txt, запрещавшим сбор данных. Условия проверялись строго в этой последовательности, одно за другим, поскольку последующие этапы зависели от предыдущих.
Наконец, все сайты вернули в сеть и на последнем этапе повторяли проверку ответов LLM с недельными интервалами.
Результаты
Четыре целевые LLM оказались полностью невосприимчивы к методам исследователей: получить результаты не удалось для DeepSeek, Hunyuan, GLM и Liquid.
О склонности многих ботов ИИ выдавать себя за обычный трафик авторы пишут:
«Помимо агентов, прямо заявленных самими поставщиками, несколько систем ИИ возвращали контент, связанный с обычными браузерными строками User-Agent. Мы наблюдали это у шести из 18 систем ИИ, для которых получили сведения о User-Agent.
Этот результат позволяет предположить, что некоторые системы ИИ получают содержимое сайтов через запросы, похожие на обычный браузерный трафик, что затрудняет блокировку по User-Agent».
ERNIE возвращал как Baiduspider, так и идентификатор Chrome; Grok сочетал Googlebot с двумя браузерными агентами; Solar использовал только браузерные идентификаторы; Qwen сочетал Googlebot с Chrome; Kimi был связан с несколькими агентами браузерного типа.
Многие системы, по-видимому, опирались на сборщики сторонних поисковых систем, не всегда раскрывая такие отношения. Контент, связанный с Googlebot, Bingbot и Bravebot, возвращали десять из 18 изученных систем — часто при отсутствии публичной связи между поставщиком ИИ и поисковиком. Впрочем, некоторые связи, например использование Brave системой Claude, документированы.
Авторы утверждают, что речь идет о получении поисковой выдачи, а не о прямом сборе данных, поскольку проверки ASN показали: трафик поступал из ожидаемых сетей поисковых систем, а не от поддельных идентификаторов.
По утверждению статьи, это добавляет непрозрачности цепочке передачи данных из веба в ИИ: блокировка известных сборщиков ИИ может не предотвратить использование данных, а отказ от такого включения может потребовать полного отказа от поисковой индексации — нежелательного выбора, пока противоречие между традиционным SEO и поиском на основе LLM все еще далеко от разрешения.
Только кэш
Далее авторы проверили, повлияет ли удаление источника на ответы чат-ботов: отключили тестовые сайты и вновь опросили системы через неделю. Согласно статье, многие чат-боты продолжали воспроизводить «посаженный» контент даже после недели простоя. Это указывало на получение ответов из кэша, а не посредством живого извлечения данных.
Сохранение контента было особенно заметно в системах, связанных с поисковыми сборщиками: ранее проиндексированная информация оставалась доступной, хотя исходные страницы уже не открывались. Подобное поведение наблюдалось и у систем, связанных с агентами браузерного типа, что позволяет предположить: кэширование может выходить за пределы поисковых цепочек.
По мнению авторов, когда контент попадает в кэш — собственный кэш чат-бота или доступный через поисковые индексы, — удаление исходной страницы не гарантирует его надежного удаления из последующих ответов.
Вывод
Авторы признают, что классический подход с изолированными каналами приведет к некоторой «утечке»: уникальные токены для одной LLM иногда могут попадать в результаты поиска, сгенерированные их настоящим владельцем, а затем усваиваться второй LLM. Однако в таких схемах подобное распространение неизбежно; решающий и показательный момент — внимательное отслеживание первого появления.
Еще предстоит выяснить, насколько такую схему можно масштабировать: как отмечают авторы, контекстно подходящие токены очень быстро закончились бы.
Однако это несколько упускает суть: даже наглость компаний ИИ может иметь предел, когда им приходится игнорировать ясные доказательства собственных ложных заявлений о правилах сбора данных. Кроме того, если компании не выберут потенциально дорогой путь постоянной смены IP-адресов домашних пользователей для сокрытия своей личности, одной организации будет достаточно, чтобы выявить и опубликовать черный список IP-адресов или ASN лживых ботов ИИ по образцу SpamHaus. Для эффективности этот процесс не обязательно доводить до промышленного масштаба.
Впервые опубликовано в четверг, 14 мая 2026 года












