Взгляд Anderson
Искусственный интеллект делит поиск в Интернете на три разных реальности
Новые исследования показывают, что Google теперь использует три разных информационных системы внутри своей собственной поисковой империи, с обычным поиском, обзорами ИИ и Gemini, все из которых отдают предпочтение разным источникам, рейтингам и контенту.
Редукционизм царит. За последние двенадцать месяцев мем ‘Дайте мне поискать это для вас’ был заменен новой тенденцией ‘Дайте мне суммировать этот поиск для вас’, когда обзоры ИИ в результатах поиска все чаще избавляют читателей от необходимости кликать на ссылки поиска (спорно дефинансируя источники в процессе), конденсируя весь результат поиска в несколько сгенерированных абзацев.
Казалось бы, что основные знания, выявленные и выбор сайтов, из которых черпать эти знания, должны быть относительно похожи во всех трех наиболее популярных методах поиска информации в Интернете: в традиционном поиске в Интернете; в обзорах ИИ (AIO), которые теперь возглавляют большинство результатов поиска; и при помощи увеличивающегося использования LLM, таких как ChatGPT, в качестве веб-оракулов (с или без внешних вызовов RAG).
Однако недавние исследования в США показывают, что это, удивительно, далеко не так; и что даже внутри тройной поисковой системы Google – SERPS*, обзоры ИИ и прямое взаимодействие с серий LLM Gemini – есть значительные и интересные расхождения, для каждого маршрута.
Трехсторонний раздел
В ясной и обширной новой статье, озаглавленной Как генеративный ИИ нарушает поиск: Эмпирическое исследование поиска Google, Gemini и обзоров ИИ, шесть исследователей из Нью-Джерсийского технологического института описывают способы, которыми три метода поиска расходятся, и предлагают некоторые возможные теории этих разрывов в подходе.
Статья гласит:
‘[Сначала мы] обнаружили, что для 51,5% представительных, реальных запросов пользователей, обзоры ИИ генерируются и отображаются выше органических результатов поиска. Спорные вопросы часто приводят к обзору ИИ.
‘Второе, мы показываем, что извлеченные источники существенно различаются для каждого поискового движка (<0,2 средней подобия Джаккарда). Традиционный поиск Google значительно чаще извлекает информацию из популярных или образовательных веб-сайтов, в то время как генеративные поисковые движки значительно чаще извлекают контент, принадлежащий Google.
‘Третье, мы наблюдаем, что веб-сайты, которые блокируют паука ИИ Google, значительно менее вероятно будут извлечены обзорами ИИ, несмотря на доступ к контенту.’
Поскольку статья представляет собой сморгасбورد fascинiruyuschih прозрений, а не следует обычному линейному и методически обусловленному рабочему процессу, мы более внимательно рассмотрим эти и некоторые другие из ее наиболее удивительных и просвещающих прозрений.
Старый ‘Два-Один’
Одним из многих интересных выводов исследования является то, что обзоры ИИ Google склонны быть подавлены для внезапных новостных событий, поскольку самые ранние и доступные источники могут быть не самыми точными.
Эта система не всегда работает: в примере ниже, отмеченном исследователями, обзор ИИ Google о результате боксерского матча приписал победу неправильному боксеру, даже хотя единственным источником, заявившим этот (неправильный) результат, был сатирический спортивный канал на Facebook:
Одной из причин, почему обзоры ИИ Google избегают сводки, критичной для времени, является то, что ранее информация может быть неполной или совершенно неточной. В этом случае боксер Джейк Пол на самом деле проиграл матч. Источник
Авторы отмечают, что обзоры ИИ склонны появляться, когда событие уже не менее пяти дней, что квалифицирует это как аномалию – но тем не менее, одну, которую исследователи смогли легко вызвать.
Обзоры ИИ были обнаружены более вероятными, когда запрос завершался вопросительным знаком, и что намерение запроса было фактором в том, будет ли представлен обзор ИИ:
Процент инцидентов, когда был сгенерирован обзор ИИ поиска, в одном из раундов тестов исследователей. Здесь ‘информационный’ указывает на прямые вопросы, которые склонны производить обзоры ИИ чаще, чем любой другой тип взаимодействия.
Кроме того, статья утверждает, что более длинные запросы склонны быть более вероятными для производства обзора ИИ вместо простых результатов поиска, хотя авторы еще не предлагают теории, чтобы объяснить это.
Разделенное королевство
Возможно, самый удивительный общий результат из новой работы – относительно небольшое совпадение в качестве результатов/типа между тремя поисковыми платформами Google.
Статья повторно показывает, что регулярный поиск Google, обзоры ИИ и Gemini (LLM) извлекают поразительно разные источники для одного и того же запроса, с показателями совпадения, достаточно низкими, чтобы подразумевать три конкурирующие логики извлечения внутри одной компании, тогда как пользователи могли бы предположить, что Google имеет один авторитетный индекс и одну философию рейтинга:
Даже внутри собственной экосистемы Google совпадение между традиционным поиском, обзорами ИИ и Gemini оказалось удивительно небольшим, с одним и тем же запросом, часто производящим существенно разные списки источников в зависимости от того, какой системой Google обрабатывался запрос. В этом сравнении мы видим, насколько близко три системы совпадали друг с другом на тысячах поисковых запросов, от тем покупок и дебатов до местных поисков и общих вопросов, с более низкими баллами, указывающими на меньшее согласие между выбранными источниками.
Что касается этого раздела их анализа, авторы заявляют†:
‘[Таблица выше] представляет среднее подобие между списком источников, возвращаемых обзором ИИ, Gemini и традиционным SERP для каждого запроса в наборе данных бенчмарка.
‘Основной вывод заключается в том, что независимо от подмножества запросов и сравниваемой пары поисковых движков, извлеченные списки различны, несмотря на то, что все три были разработаны Google.’
Исследователи进一步 заявляют, что ни один из методов поиска, протестированных, не показал предвзятости рейтинга (RBO) выше 0,27, что является очень низким баллом. Они отмечают, что Amazon Retail и локализованные запросы (т.е. ‘магазины рядом со мной’) имели наименьшее совпадение среди методов поиска.
Они объясняют низкое согласие ‘несовместимостью между поисковыми движками’, отмечая, что ни случайность, ни любой другой очевидный фактор не могут быть ответственными за эту десинхронизацию.
Одним из интуитивных объяснений, возможно, является то, что точки обучающих данных присваиваются рангом совершенно другим способом, чем методы, которые Google разрабатывал для PageRank и его преемников за последние два десятилетия. Кроме того, на случай, если алгоритм поиска Google имеет секретную программу, то такого рода вмешательство или ‘игра’ намного сложнее последовательно реализовать в диффузионных ИИ, таких как Gemini (даже через фильтрацию, системные подсказки и различные другие методы сдерживания, которые налагаются на коммерческие модели).
Самообслуживание..?
Определенные веб-сайты или категории веб-сайтов, кажется, были затронуты появлением обзоров ИИ и вторжением поиска на основе LLM в традиционное пространство поиска – как положительно, так и отрицательно, в зависимости от случая:
По сравнению с традиционным поиском Google, обзоры ИИ и Gemini оба уменьшили цитаты многих крупных веб-сайтов, одновременно увеличивая видимость для меньшего числа предпочитаемых доменов. YouTube оказался одним из крупнейших бенефициаров в обеих системах, в то время как Reddit, Википедия, Facebook и многие учреждения источников появлялись реже в сгенерированном извлечении.
Авторы отмечают, что некоторые неожиданные предпочтения возникают среди трех методов во время тестирования:
‘У нас есть три основных вывода из [вышеуказанных графиков]. Первое, что крупные и известные веб-сайты наиболее пострадали (и положительно, и отрицательно). Это интуитивно понятно, поскольку крупные веб-сайты имеют репутацию и разнообразие контента, чтобы быть актуальными для многих разных запросов.
‘Второе, что подавляющее большинство этих веб-сайтов получают меньше общих и меньше топ-3 цитат с генеративными поисковыми движками (указано красными столбцами и отрицательными числами в [вышеуказанных графиках]). Это говорит о том, что генеративный поиск склонен извлекать информацию из более нишевых источников, чем традиционные поисковые движки.
‘Третье, что обзоры ИИ Google отдают предпочтение веб-сайтам Google (т.е. доменам google.com и youtube.com).
‘Gemini также отдает предпочтение YouTube по сравнению с традиционным поиском Google, но абсолютная разница меньше.’
Любые ‘блокировщики’..?
Исследование также показало, что издатели, которые блокируют паук ИИ Google – автоматического веб-бота, который извлекает данные из вашего сайта, если вы не скажете ему не делать этого с помощью файла robots.txt, – склонны не появляться в обзорах ИИ.
Это может показаться очевидной самоинфликтной раной, но на самом деле Google публично заявила, что контент из платформ, которые блокируют пауков ИИ, не будет предотвращен от появления в обзорах ИИ; скорее, издатели просто не будут иметь свои данные извлечены, курированы в коллекцию и запущены в следующий раунд обучения ИИ для Gemini и других проектов ИИ Google.
Однако это не был вывод, к которому пришли исследователи, обнаружив вместо этого, что популярные издатели, запрещающие ИИ, были очень редко цитированы Gemini, либо в LLM, либо в более компактной и гибкой версии результатов поиска. ‘Эффективно заблокированные’ издатели были сообщены в статье как NYTimes, CNN, BBC, ScienceDirect, Reuters, Wiley, Nature, ESPN, Business Insider, CNBC, NPR, WIRED, USA Today, NBC News, Genius, National Geographic, The Conversation, U.S. News & World Report, Scientific American, Consumer Reports и STAT.
Некоторые из блокировок извлечения ИИ robots.txt, введенных вышеуказанными издателями. Но привело ли это к более широкому цензурированию Google?
Авторы заявляют:
‘В наших анализах наиболее пострадавших доменов мы обнаружили, что 21 популярный [издатель] (которые извлекаются для не менее 20 уникальных запросов как поиском Google, так и обзорами ИИ) никогда не цитировались Gemini.
‘Несколько популярных социальных сетей (Facebook, Instagram, Tiktok) и сайтов обзоров (IMDb, Yelp, Tripadvisor) также получили нулевые цитаты от Gemini. После дальнейшего расследования мы обнаружили, что все эти веб-сайты блокируют бота Google-Extended в своих файлах robots.txt.’
Если это открытие окажется подтвержденным в других местах и постоянным, можно предположить, что эти компании потенциально подвергаются давлению со стороны Google, чтобы капитулировать и сотрудничать с его операциями ИИ через частичное удаление из списка. На первый взгляд, результаты кажутся наказывающими – но тогда результаты новой работы более указывают на хаос, чем на преднамеренность; поэтому единственным разумным комментарием, который можно сделать, является то, что эти результаты кажутся поверхностно ‘злобными’, независимо от того, что на самом деле их вызывает.
Заключение
Мнение Это ясная и осмысленная зип-бомба статьи, чьи всего десять основных страниц разворачиваются в почти подавляющий каскад дополнительных открытий. Поскольку у нас было время, чтобы рассмотреть только небольшой раздел этих, я рекомендую исходный PDF даже случайному читателю (редкое событие).
Хотя ‘желтая’ позиция может интерпретировать многие негативные выводы из открытий авторов, работа, возможно, лучше рассматривается как указывающая на то, что глобальный технологический лидер пытается получить и сохранить глобальное лидерство в поиске на основе ИИ, используя сильно контрастирующие платформы, которые развивались в очень разных обстоятельствах и эпохах.
Поскольку в статье исследуются три метода поиска, реальным противостоянием является противостояние между традиционными результатами поиска, ранжированными проприетарными методами, и резко контрастирующими методами выбора на основе распределения, которые доминируют в курировании данных и обучении ИИ.
ИИ, как в 1999
До появления Google было возможно ‘играть’ в результаты поиска, используя простую массу, и таким образом можно было часто добиться размещения на первой странице SERPS с минимальными (часто автоматизированными) усилиями. Эта ‘игра чисел’ была в основном прекращена около 2002 года более сложным и секретным алгоритмом рейтинга поиска Google. Но поскольку ставки были значительными, высокообъемный и низкокачественный контент никогда не исчезал в каком-либо значимом смысле.
Следовательно, к моменту, когда гипермасштабные коллекции, такие как Common Crawl, заложили основу для современной революции ИИ, доминирование данных было предназначено для того, чтобы быть доминируемым тем, насколько автоматические процессы могут фильтровать и ранжировать входящие данные, и (гораздо менее вероятно), насколько доступны деньги для оплаты людей для ранжирования этих данных.
Поскольку эти процессы индукции данных все еще не идеальны, очень сложно даже для Google заставить ИИ действовать в деловом порядке, поскольку решения Gemini, основанные на PageRank, диктуются не инженерами-политиками Google, а несовершенным пониманием того, как гипермасштабные данные превращаются в распределения данных и латентные вложения во время обучения модели ИИ.
* Страницы результатов поиска.
† Акценты авторов, а не мои. Однако я заменил жирный шрифт на курсив, поскольку курсивный акцент не работает хорошо в цитатах, которые уже в основном курсивны.
Опубликовано впервые в среду, 13 мая 2026 года
