Забруднення пошукових результатів штучним інтелектом загрожує «колапсом отримання інформації»

Як вміст, створений штучним інтелектом, забруднює інтернет, відкривається новий вектор атаки на поле культурної згоди.

Дослідження, проведене корейською пошуковою компанією, стверджує, що коли сторінки, створені штучним інтелектом, проникають у пошукові результати, вони підірюють стабільність пошукових та рейтингових систем і ослаблять системи – такі як Retrieval-Augmented Generation (RAG) – які покладаються на ці рейтинги для визначення інформації, що відображається та довіряється, тим самим збільшуючи ризик того, що вводять в оману або неточну інформацію буде розглядатися як авторитетна.

Термін, придуманий дослідниками для цього синдрому, – Колапс отримання інформації, як окремо від відомої загрози колапсу моделі (де штучний інтелект, навчений на власному виводі, стає все гіршим).

У сценарії Колапсу отримання інформації вміст, створений штучним інтелектом, поступово домінує у пошукових результатах, до тієї міри, що навіть коли відповіді залишаються поверхнево точними, основа доказів буде відірвана від оригінальних джерел людини. Тим не менш, ці “кореневі” дані, здається, готуються зайняти високе місце у пошукових результатах*:

‘З поширенням тексту, створеного штучним інтелектом, виникають проблеми з атрибуцією та якістю даних попереднього тренування даних. На відміну від традиційного спаму ключових слів спаму, сучасний синтетичний вміст є семантично узгодженим, що дозволяє йому сливатися у рейтингові системи та поширюватися через канали як авторитетні докази.’

Стаття стверджує, що це створить “структурно крихку” середовище, у якому сигнали рейтингу віддають перевагу сторінкам, створеним штучним інтелектом, SEO-оптимізованим, що поступово витісняють джерела, створені людиною, у хитрій формі, тобто без явного зниження якості відповідей:

‘[Ріст] вмісту, створеного штучним інтелектом, у мережі представляє структурний ризик для отримання інформації, оскільки пошукові системи та системи генерації, посилені пошуком (RAG), все більше споживають докази, створені великими мовними моделями (LLM).’

‘Ми характеризуємо цей режим відмови системи на рівні екосистеми як Колапс отримання інформації, двостадійний процес, у якому (1) вміст, створений штучним інтелектом, домінує у пошукових результатах, підірюючи різноманітність джерел, і (2) низькоякісний або ворожий вміст проникає у канал отримання інформації.’

Дослідники стверджують, що як тільки фаза “домінації” встановлена, той самий канал отримання інформації стає більш сприйнятливим до навмисного забруднення, оскільки ворожі сторінки можуть利用увати ті самі механізми оптимізації для отримання видимості*:

‘Створивши основу Колапсу отримання інформації, ця робота закладає основу для розуміння того, як синтетичний вміст змінює отримання інформації. Для пом’якшення цих ризиків ми пропонуємо перейти до стратегій захисного рейтингу, які спільно оптимізують актуальність, фактичність та походження.’

Колапс отримання інформації, ймовірно, погіршить колапс моделі, оскільки він додає шар умисної дії до “ефекту фотокопії” ентропії, де штучний інтелект все більше живиться виводом, створеним штучним інтелектом. Крім впливу на очевидну згоду щодо “правди” у реальному часі пошукових результатів, неточності та атаки можуть пізніше бути закріплені у навчених LLM як авторитетні джерела.

Нова робота називається Колапс отримання інформації, коли штучний інтелект забруднює інтернет, і походять від трьох дослідників корпорації Naver.

Метод

Для перевірки того, як вміст, створений штучним інтелектом, поширюється через системи отримання інформації, дослідники випадковим чином вибірково взяли 1000 пар запитів/відповідей з набору даних та бенчмарку MS MARCO, який складається з відкритих запитань, парних з людьми, перевіреними посиланнями на відповіді. Вони були використані для засновування отримання інформації та для оцінки фактичної правильності згенерованих відповідей.

Для кожного запиту MS MARCO у тестах було вибрано десять веб-документів з пошукової системи Google, заснованих на топ-рейтингових результатах SEO для кожного терміну, в результаті чого було створено пул з 10 000 документів.

Фактична валідність документів була оцінена шляхом порівняння кожного з них з MS MARCO, використовуючи GPT-5 Mini як суддю.

Симуляція ферми контенту

Для симуляції рівня якості (нормальних, не ворогих) статей, пов’язаних з фермами контенту, автори використали економічний GPT-5 Nano модель OpenAI для створення нових синтетичних статей, оскільки це “доступний” рівень штучного інтелекту, який, ймовірно, буде використаний фермами контенту. GPT-5 Mini, використаний для оцінки виводу, є трохи більш здатною моделлю.

Навпаки, для симуляції ворожих публікацій (тобто вмісту, призначеного для поширення дезінформації або іншого виду дезінформації) не були використані реальні джерела. Замість цього перші чернетки зразків були створені за допомогою конвенційного генератора клікбейту/SEO, а потім передані GPT-5 Nano, якій було доручено замінити певну кількість фактів на правдоподібні, але невірні альтернативи. GPT-5 Nano також виконував семантичне перезведення для цілей експериментального контексту.

Для симуляції насичення штучним інтелектом у часі було проведено 20-раундовий процес забруднення, під час якого один синтетичний документ був доданий до фіксованого набору з десяти оригінальних документів, збільшуючи частку штучного інтелекту з 0% до 66,7%.

Для пула SEO було дано завдання “виступати в ролі спеціаліста з SEO” та інтегрувати ключові слова з високим IDF з оригінальних документів для підвищення ймовірності отримання інформації.

Для ворогого пула завдання було розроблено для збереження плавної, природної мови, тоді як тонко змінювалися названі сутності та числові деталі, створюючи документи, які не будуть прапорами статистичних фільтрів, а тихо підірвуть фактичну точність.

Метрики

Для експериментів було прийнято три метрики: рівень забруднення пула (PCR), для визначення того, скільки документів у пул було створено штучним інтелектом; рівень експозиції забруднення (ECR), для вимірювання того, скільки з топ-10 пошукових результатів походило з джерел штучного інтелекту (що вказує на те, що фактично увійшло у канал отримання інформації); і рівень цитування забруднення (CCR), для реєстрації того, скільки доказів, наведених у кінцевій відповіді, було синтетичним.

Для вивчення практичного впливу було перевірено як якість джерел отримання інформації, так і цілісність кінцевої відповіді. Точність@10 (P@10) захопила, скільки з топ-10 результатів було фактично правильним при перевірці проти MS MARCO; і точність відповіді (AA) виміряла, чи відповідь, згенерована відповідям, збігалася з тим самим посиланням на відповідь, з GPT-5 Mini, використаним для визначення того, чи був сенс узгодженим.

Тести

Спочатку автори протестували свій метод проти оригінального пула документів, витягнутих з SERPS, тобто до того, як вони були використані як матеріал для генерації синтетичних даних, і вони відзначають, що їхній ранжувальник LLM досяг “сильної якості отримання інформації”, перевершивши ранжувальник BM25 базовий рівень.

Перший з двох основних сценаріїв тестів, названий Домінування та гомогенізація, був дослідженням того, як документи, створені штучним інтелектом, впливають на результати отримання інформації:

Ліворуч: криві забруднення для Сценарію 1 під ранжувальниками BM25 і LLM показують рівень забруднення пула (PCR), що зростає з кожним раундом, тоді як рівень експозиції забруднення (ECR) і рівень цитування забруднення (CCR) збільшуються більш стрімко, оскільки синтетичні документи потрапляють у топ-результати; точність відповіді (AA) залишається загалом стабільною. Праворуч: таблиця повідомляє про той самий прогрес чисельно через раунди 0, 5, 10 і 20, деталізуючи PCR, ECR, CCR і AA для обох ранжувальників.

Як тільки сторінки, створені штучним інтелектом, були поступово додані до тестового середовища, вони почали домінувати у топ-пошукових результатах швидше, ніж очікувалося. Коли вміст, створений штучним інтелектом, становив 50% усіх доступних документів, понад 68% топ-10 результатів BM25 вже були створені штучним інтелектом; і коли частка матеріалу штучного інтелекту зросла до 67%, понад 80% його топ-результатів походило з джерел штучного інтелекту.

Ранжувальник, заснований на LLM, показав ще більшу тенденцію в цьому напрямку, з близько 76% його топ-результатів, витягнутих зі сторінок, створених штучним інтелектом, коли ці сторінки становили лише половину всього пула – і він продовжував покладатися на них більше, ніж BM25, оскільки їхнє присутствие збільшувалося. Автори відзначають:

‘Ця схема показує, що вміст, оптимізований для SEO, надмірно активує сигнали рейтингу, спричиняючи те, що обидві моделі швидко сходять до синтетично-домінантних доказів.’

Відносно напруженості між стабільністю фактів та колапсом різноманітності, стаття відзначає, що незважаючи на “драматичні” зрушення, показані у витягнутих доказах, точність відповіді залишається стабільною, або навіть покращується:

‘Оскільки документи SEO мають високу якість та тематичну узгодженість, отримання інформації здається здоровим, коли вимірюється лише точністю. Однак майже всі витягнуті докази є синтетичними, вказуючи на серйозний колапс різноманітності джерел.

‘Ця розбіжність, характеризована стабільною точністю, незважаючи на колапс різноманітності, розкриває структуру, крихку систему отримання інформації: система працює добре у сукупних метриках, тоді як тихо втрачає свою основу у контенті, створеному людиною.’

‘Загалом, високоякісний синтетичний вміст не тільки безшовно інтегрується у системи отримання інформації, але й активно переважає сигнали рейтингу,导致ючи обидві моделі BM25 і LLM до майже виняткового використання доказів, створених штучним інтелектом.’

Другий сценарій був названий Забруднення та корупція системи, і показав помітну розбіжність у поведінці ранжувальників порівняно з першим сценарієм:

Ліворуч: результати Сценарію 2 показують, що відбувається, коли навмисно вводять в оману сторінки додаються до системи. Як тільки додаються такі сторінки, BM25 починає ставити деякі з них у свої топ-результати – хоча лише до приблизно чверті на півдорозі, і майже жодна з них не використовується у кінцевій відповіді. Загальна якість відповіді трохи падає. Праворуч: таблиця представляє той самий шаблон чисельно для обох BM25 і ранжувальника, заснованого на LLM, роблячи ясним, що BM25 дозволяє деяким вводячим в оману сторінкам потрапляти у свої топ-результати, тоді як ранжувальник LLM майже виключає їх.

Ранжувальник, заснований на LLM, був здібний визнати та відфільтрувати вводячі в оману сторінки, зберігаючи частку такого вмісту у своїх топ-результатах біля нуля; але BM25 дозволив помітній частці ворогих сторінок потрапити у свої топ-10 результатів, з приблизно 19% до 24% на певних етапах тесту.

Хоча ранжувальник LLM виявився більш стійким у цьому експерименті, автори відзначають, що системи ранжування, засновані на LLM, є більш обчислювально вимогливими, що може зробити великомасштабне розгортання недоцільним. Хоча BM25 є простішим і дешевшим у використанні, широко використовувані системи отримання інформації, які використовують його, можуть, згідно зі статтею, бути більш вразливими до маніпульованого вмісту, ніж вони спочатку здаються.

Автори характеризують це як “значимий структурний ризик”.

Відносно контрасту між очевидною стабільністю та підкрадною деградацією, автори відзначають, що у цьому контексті точність відповіді залишається відносно стабільною, завдяки тому, що суддя LLM пригнічує корупцію цитування, і тим самим діє як останній момент вогневої стіни проти ворогого вмісту.

Однак точність відповіді в цьому аспекті була постійно нижчою, ніж у першому сценарії:

‘Хоча Сценарій 1 бачив AA, підтримувану або навіть покращену (досягаючи до 70% з ранжувальниками LLM) завдяки високій якості вмісту SEO, Сценарій 2 демонструє зниження якості відповіді порівняно з налаштуванням SEO […]

‘Це підтверджує, що незалежно від ранжувальника, вороже забруднення на етапі отримання інформації негативно впливає на кінцеву продуктивність, причому деградація є найбільшою, коли використовуються легкі ретривери.’

Автори висновують, що перезведення на етапі отримання інформації є запізнілим підходом, і що фільтри на етапі інгестії повинні бути розглянуті, пропонуючи, що “графи походження” та “фільтри перплексії” можуть бути використані.

Вони завершують підкресленням того, що основна загроза полягає у вмісті з високою плавністю, але низькою щільністю атрибуції, фактично відірваному від впевнених ланцюгів походження, і відзначають:

‘[Як] Агентський штучний інтелект починає автономно публікувати вміст, механізми захисту повинні еволюціонувати від статичного текстового аналізу до поведінкової ідентифікації, ідентифікації та ізоляції агентів, які систематично створюють потоки з високою ентропією та низькою фактичністю.’

Висновок

Створення нових або вдосконалених методологій для походження інформації може бути однією з найбільш критичних необхідностей для 2026 року. Складні схеми посвідчень, такі як помираюча C2PA, які вимагають інфраструктурних змін від видавців, і громадської освіти про те, що вони означають і як або чому використовувати їх, здаються обреченими на провал.

Щось простіше потрібно, і воно ще не було знайдено. Це термінове завдання, оскільки ця поточна епоха може бути найбільш критичною точкою повороту для громадської згоди щодо правди з моменту винайдення фотографії в 1822 році та підйому пропаганди у десятиліттях до Другої світової війни.

* Моя (вибіркова, якщо необхідно) конверсія внутрішніх посилань авторів у гіперпосилання.

Перша публікація четверга, 19 лютого 2026 року