Штучне розділення веб-пошуку на три різні реальності

Нові дослідження показали, що Google тепер використовує три різні інформаційні системи всередині своєї пошукової імперії, з регулярним пошуком, оглядами штучного інтелекту та Gemini, які всі віддають перевагу різним джерелам, рейтингам та контенту.

Редукціонізм панує. За останні дванадцять місяців, мем ‘Дайте мені погуглити це для вас’ мем був замінений новим ‘Дайте мені підсумувати цей пошук Google для вас’ трендом, в якому огляди штучного інтелекту у результатах пошуку все частіше позбавляють читачів від клікання на посилання на пошук (аргументовано де-факто позбавляючи джерела фінансування у процесі), конденсуючи весь пошук у кілька згенерованих абзаців.

Хто б міг подумати, що основні знання, що виникають, і вибір сайтів, з яких можна отримати ці знання, будуть відносно подібними у всіх трьох найбільш популярних методів пошуку інформації в інтернеті: у традиційному веб-пошуку; у оглядах штучного інтелекту (AIOs), які тепер очолюють більшість результатів веб-пошуку; і через зростаюче використання LLM, таких як ChatGPT, як веб-оракули (з або без зовнішніх викликів RAG).

Однак, недавні дослідження з США показали, що це, несподівано, далеко не так; і що навіть всередині власної тріади оракулів Google – SERPS*, підсумки штучного інтелекту та прямої взаємодії з серією LLM Gemini – існують суттєві та цікаві розбіжності для кожного шляху.

Тристоронній розкол

У ясному та обширному новому документі, озаглавленому Як штучний інтелект порушує пошук: Емпіричне дослідження пошукової системи Google, Gemini та оглядів штучного інтелекту, шість дослідників з Нью-Джерсі Інституту технологій описують способи, якими три методи пошуку розходяться, і пропонують деякі можливі теорії цих розколів у підході.

Документ зазначає:

‘[По-перше, ми] виявили, що для 51,5% представницьких запитів реальних користувачів генеруються огляди штучного інтелекту, і вони відображаються над органічними результатами пошуку. Спірні питання часто призводять до огляду штучного інтелекту.

‘По-друге, ми показали, що джерела, які повертаються, суттєво відрізняються для кожного пошукового двигуна (<0,2 середньої подібності Jaccard). Традиційний пошук Google значно частіше повертає інформацію з популярних або інституційних сайтів уряду чи освіти, тоді як пошукові двигуни на основі штучного інтелекту значно частіше повертають контент, що належить Google.

‘Третє, ми спостерігаємо, що веб-сайти, які блокують пошуковий робот Google, значно менше схильні повертатися оглядами штучного інтелекту, незважаючи на те, що вони мають доступ до контенту.’

Оскільки документ є смузією цікавих прозрінь, а не дотримується звичайної лінійної та методичної роботи, ми розглянемо їх ближче, а також деякі інші з його найбільш дивовижних та освітніх прозрінь.

Старий ‘два-один’

Одним із багатьох цікавих відкриттів у дослідженні є те, що огляди штучного інтелекту Google схильні до придушення для раптових новинних подій, оскільки найбільш ранні та доступні джерела можуть не бути найбільш точними.

Ця система не завжди працює: у прикладі, який відзначили дослідники, огляд штучного інтелекту Google щодо результату боксерського матчу приписував перемогу неправильному боксеру, хоча єдиним джерелом, яке заявило про цей (неправильний) результат, був сатиричний спортивний канал на Facebook:

Одна з причин, чому огляди штучного інтелекту Google уникají часу-критичних підсумків, полягає в тому, що рання інформація може бути неповною або зовсім неточною. У цьому випадку боксер Джейк Пол насправді програв матч. Джерело

Автори відзначають, що огляди штучного інтелекту схильні з’являтися, коли подія є принаймні п’ять днів старою, що кваліфікує це як аномалію – але тим не менше, одну, яку дослідники були досить легко викликати.

Огляди штучного інтелекту були виявлені більш схильними до генерації, коли запит закінчувався знаком питання, і що інтент запиту був фактором у тому, чи буде представлений огляд штучного інтелекту:

Відсоток випадків, коли був згенерований підсумок пошукового запиту штучного інтелекту, у одному з раундів тестів дослідників. Тут ‘інформаційний’ вказує на прямий запит, який схильний генерувати огляди штучного інтелекту більше, ніж будь-який інший тип взаємодії.

Крім того, документ стверджує, що триваліші запити схильні генерувати підсумок штучного інтелекту замість просто результатів пошуку, хоча автори ще не пропонують теорію, яка б пояснила це.

Розділена королівство

Можливо, найбільш дивовижним результатом нового дослідження є відносно малий перехрест результатів якості/типу між трьома пошуковими платформами Google.

Документ багаторазово показує, що звичайний пошук Google, огляди штучного інтелекту та Gemini (LLM) повертають відмінні джерела для одного й того ж запиту, з показниками перекриття, достатньо низькими, щоб припустити три конкуруючі логіки пошуку всередині однієї компанії, тоді як користувачі можуть припустити, що у Google є один авторитетний індекс та одна філософія рейтингу:

Даже всередині власної екосистеми Google, перехрест між традиційним пошуком, оглядами штучного інтелекту та Gemini виявився досить малим, з тим самим запитом, який часто генерував суттєво різні списки джерел залежно від того, якою системою Google оброблявся запит. У цьому порівнянні ми бачимо, як близько три системи збігалися одна з одною протягом тисяч пошукових запитів, від тем шопінгу та дебатів до місцевих пошукових запитів та загальних знань, з нижчими показниками, які вказують на меншу згоду між джерелами, вибраними.

Відносно цього розділу свого аналізу, автори зазначають^†:

‘[Таблиця вище] представляє середню подібність між списком джерел, повернутих оглядами штучного інтелекту, Gemini та традиційним SERP для кожного запиту в наборі даних бенчмарку.

‘Основний висновок полягає в тому, що незалежно від підмножини запиту та порівнюваної пари пошукових двигунів, повернуті списки є несхожими, незважаючи на те, що всі три були розроблені Google.’

Дослідники далі зазначають, що жоден пошуковий метод, який був протестований, не мав перекриття рейтингу (RBO) вище 0,27, що є дуже низьким показником. Вони відзначають далі, що Amazon Retail та локалізовані запити (тобто, ‘магазини поруч зі мною’) мали найнижчу подібність серед пошукових методів.

Вони пояснюють низьку згоду ‘несумісністю між пошуковими двигунами’, відзначаючи, що ні випадковість, ні будь-який інший очевидний фактор не можуть бути зроблені, щоб пояснити цю десинхронізацію.

Одне інтуїтивне пояснення, можливо, полягає в тому, що точки тренувальних даних призначені рангом зовсім інакше, ніж методи, які Google розробляла для PageRank та його наступників за останні два десятиліття. Крім того, якщо алгоритм пошукової системи Google має секретну програму, такий тип інтерференції або ‘геймінгу’ значно важче реалізувати у дифузійних штучних інтелектах, таких як Gemini (навіть через фільтрацію, системні запити та різні інші методи, які накладаються на комерційні моделі).

Самообслуговування..?

Деякі веб-сайти або категорії веб-сайтів, як видається, були вплинути на появу підсумків штучного інтелекту та вторгнення пошукових систем на основі LLM у традиційний пошуковий простір – як негативно, так і позитивно, залежно від випадку:

У порівнянні з традиційним пошуком Google, огляди штучного інтелекту та Gemini обидва зменшили цитування багатьох великих веб-сайтів, одночасно збільшуючи видимість для меншої кількості вибраних доменів. YouTube став одним з найбільших бенефіціарів обох систем, тоді як Reddit, Вікіпедія, Facebook та багато інституційних джерел з’являлися рідше в результатах генерації штучного інтелекту.

Автори відзначають, що деякі несподівані переваги виникають серед трьох методів під час тестування:

‘У нас є три основні висновки з [графіків вище]. По-перше, великі та відомі веб-сайти є найбільш постраждалими (як позитивно, так і негативно). Це зрозуміло, оскільки великі веб-сайти мають репутацію та різноманітність контенту, щоб бути актуальними для багатьох різних запитів.

‘По-друге, абсолютна більшість цих веб-сайтів отримують менше загальних та менше топ-3 цитувань з пошуковими двигунами на основі штучного інтелекту (показані червоними барами та негативними числами в [графіках вище]). Це свідчить про те, що пошук на основі штучного інтелекту схильний джерел інформації з більш нішевих джерел, ніж традиційні пошукові двигуни.

‘По-третє, огляди штучного інтелекту Google віддають перевагу веб-сайтам Google (тобто, доменам google.com та youtube.com).

‘Gemini також віддає перевагу YouTube у порівнянні з традиційним пошуком Google, але абсолютна різниця менша.’

Чи є якісь ‘блокатори’..?

Дослідження також показало, що видавці, які блокують пошукового робота Google – автоматизованого веб-бота, який витягує дані з вашого сайту, якщо ви не скажете йому не робити цього за допомогою файлу robots.txt – схильні не з’являтися в оглядрах штучного інтелекту.

Це може здатися очевидною самозліквідованою раною, але насправді Google відкрито заявило, що контент з платформ, які блокують пошукового робота штучного інтелекту, не буде запобігати появі в оглядах штучного інтелекту; скоріше, видавці просто не будуть мати своїх даних витягнутих, кураторів, зібраних у колекцію, та запущених у наступний раунд навчання моделі штучного інтелекту для Gemini та інших проектів Google.

Однак, це не був висновок, до якого прийшли дослідники нового документу, які виявили, що популярні видавці, які забороняють штучний інтелект, дуже рідко цитувалися Gemini, як у вигляді LLM, так і у вигляді більш легкого пошукового результату. Видавці, які були ‘ефективно заборонені’, були зазначені в документі як NYTimes, CNN, BBC, ScienceDirect, Reuters, Wiley, Nature, ESPN, Business Insider, CNBC, NPR, WIRED, USA Today, NBC News, Genius, National Geographic, The Conversation, U.S. News & World Report, Scientific American, Consumer Reports та STAT.

Деякі з блокувань витягування штучного інтелекту, здійснених видавцями, переліченими вище. Але чи це призвело до більш широкого цензурування Google?

Автори зазначають:

‘У наших аналізах найбільш постраждалих доменів ми виявили, що 21 популярний [видавець] (які повертаються для принаймні 20 унікальних запитів як пошуком Google, так і оглядами штучного інтелекту) ніколи не цитувалися Gemini.

‘Деякі популярні соціальні медіа (Facebook, Instagram, Tiktok) та оглядові веб-сайти (IMDb, Yelp, Tripadvisor) також отримали нуль цитувань від Gemini. Після подальшого дослідження ми виявили, що всі ці веб-сайти блокують бота Google-Extended у своїх файлах robots.txt.’

Якщо цей висновок виявиться підтвердженим в інших місцях та постійним, можна припустити, що ці компанії потенційно піддаються тиску з боку Google щодо капітуляції та співробітництва зі своїми операціями штучного інтелекту через часткове виключення зі списку. На перший погляд, результати здаються каральними – однак висновки нового дослідження більш свідчать про хаос, ніж про попередню домовленість; тому єдиним розумним коментарем, який можна зробити, є те, що ці результати виглядають поверхнево ‘злісними’, незалежно від того, що насправді їх викликає.

Висновок

Думка Це ясний зіп-бомба документа, чотири основні сторінки якого розгортаються у майже приголомшливий каскад додаткових відкриттів. Оскільки у нас було час розглянути лише невелику частину цих відкриттів, я рекомендую джерельний PDF навіть звичайним читачам (рідкісна подія).

Хоча ‘жовтий’ настрій міг би кинути багато негативних інтерпретацій на відкриття авторів, робота, можливо, краще розглядається як свідчення глобального лідера технологій, який намагається отримати та зберегти лідерство у сфері пошукових систем на основі штучного інтелекту, використовуючи висококонтрастні платформи, які розвинулися в зовсім різних обставинах та епохах.

Хоча у документі розглядаються три методи пошуку, справжня суперечка полягає між традиційними результатами пошукової системи, рейтинговими методами, та різко-контрастними методами вибору, які домінують у навчанні даних та кураторстві штучного інтелекту.

Штучний інтелект, як у 1999 році

До появи Google, було можливим ‘грати’ результати пошуку за допомогою простої кількості, і таким чином можна було часто досягти першої сторінки результатів SERPS з мінімальними (часто автоматизованими) зусиллями. Ця ‘гра з числами’ була ефективно припинена близько 2002 року більш складним та секретним алгоритмом пошукової системи Google. Однак, оскільки ставки були значними, високовolume та низькоякісний контент ніколи не зникав у будь-якому значному сенсі.

Отже, до часу, коли гіпермасштабні колекції, такі як Common Crawl, поклали основу сучасної революції штучного інтелекту, домінування даних було призначено для того, щоб бути домінованим ступенем, у якому автоматизовані процеси могли фільтрувати та ранжувати якість вхідних даних, і (значно менше) ступенем, у якому були доступні гроші, щоб платити людям за ранжування цих даних.

Було багато поганого або низькоякісного контенту у цих величезних та недискримінаційних колекціях; контент, який може не містити огиди, лайку або расові тропи, або будь-які інші речі, які відносно легко фільтрувати з навчальних наборів даних – але які були все-таки самозаключними та об’ємними, як і результати інтернет-пошуку близько 1999-2001 років.

Оскільки ці процеси індукції даних все ще не ідеальні, дуже складно навіть для Google змусити штучний інтелект діяти у бізнес-like манері, оскільки рішення Gemini щодо PageRank-стилю диктуються не інженерами-політиками Google, а недосконалим розумінням того, як гіпермасштабні дані перетворюються у розподіли даних та латентні вкладення під час навчання моделі штучного інтелекту.

* Результати пошукової системи.

^† Акцент авторів, а не мій. Однак я замінив жирний шрифт на курсив, оскільки курсивний акцент не працює добре у цитатах, які вже в основному курсивні.

Опубліковано вперше у середу, 13 травня 2026 року