Коли AI‑агенти слідують за натовпом: прихований ризик у багатагентному консенсусі

Кімната, повна згідних AI‑агентів, може виглядати заспокійливо. Один пропонує відповідь, інший перевіряє її, а ще кілька підтверджують висновок. Але скільки з цих агентів насправді перевірили підґрунтові докази? Якщо кожен засвоїв судження попереднього агента, єдиногласне рішення може приховати одну помилку.

Нові дослідження, виділені University of Chicago Harris School of Public Policy, розглядають цю проблему. У навмисно несприятливих експериментах, описаних у їхньому анонсі, пізніші агенти слідували ранньому неправильному висновку, навіть коли їхня власна інформація вказувала на правильну відповідь. Анонс також підкреслює, що це ранні результати стрес‑тесту, а не докази того, що автономні агенти постійно поводяться так.

Для організацій, які створюють багатагентні робочі процеси, важливе питання полягає у тому, як розрізнити незалежну перевірку від ехо. Нижче ми розглянемо експеримент, пов’яжемо його з усталеними дослідженнями соціального навчання та розробимо практичні наслідки для проєктування систем. Інженерні пропозиції та числові ілюстрації — це наш аналіз, а не додаткові експериментальні результати.

Що дослідники протестували

Andy Hall, Dan Thompson, Alexander Fouirnaies і Sandy Handan-Nader опублікували Неймовірні багатагентні ілюзії та безумство натовпу 29 вересня 2026 року. Агенти робили висновки про те, як працює симульований оцінювач завдань, на підставі приватних сигналів прийняття або відхилення, які були інформативними у 70 % випадків. Вони читали попередні дописи на дошці, публікували висновки та окремо повідомляли переконання. У стрес‑умові перші чотири сигнали були неправильними.

Без комунікації пізніші незалежні сигнали розбавляли початкову помилку. За наявності дошки неправильні рішення зберігалися; агенти також неправильно повідомляли власні докази. Більшість експериментів використовували Claude Haiku 4.5. Автори повідомляють про реплікацію з Sonnet 4.6, Opus 4.6 та GPT-5 mini, можливо, за винятком Gemini 2.5 Flash.

Серед семи політик комунікації та додаткових сценаріїв найкращими виявилися правила, що зберігають приватні результати тестів. Одне вимагало точного звітування та забороняло вигадані тести або підрахунки. Пост‑гипотетичні пояснення згадували більшість на дошці понад 90 % часу, проте автори застерігають, що ці пояснення не встановлюють внутрішній механізм.

Різниця між натовпом і ехо

Інтелектуальний фундамент передує генеративному ШІ. У їхньому дослідженні 1992 року про інформаційні каскади Sushil Bikhchandani, David Hirshleifer і Ivo Welch описують, як послідовні приймачі рішень можуть слідувати за попередниками, ігноруючи власну інформацію. Їхня концепція допомагає пояснити, чому конформізм може співіснувати з крихкими колективними віруваннями. Пізніший огляд інформаційних каскадів та соціального навчання, співавтором якого є Omer Tamuz, оглядає теоретичні та емпіричні дослідження, що слідували.

Розгляньмо гіпотетичне дослідження програмного забезпечення. Агент A інтерпретує провалений тест як доказ того, що бібліотека автентифікації зламана. Агент B читає звіт A і радить замінити бібліотеку. Агент C підсумовує обидва повідомлення як два підтвердження одного і того ж дефекту. Координатор тепер бачить трьох агентів, які погоджуються, хоча вся ланка спирається на одну інтерпретацію одного тесту.

Додавання агента D не обов’язково принесе нову інформацію. Якщо D лише читає підсумок, робочий процес створює ще одну можливість повторити твердження. Важливою одиницею підтвердження є незалежне спостереження: окрема репродукція, інший тест або пряма інспекція підозрілої помилки.

Ця різниця важлива навіть коли кожен компонент здатний і співпрацює. Погодження корисне лише в міру того, наскільки його доказові підстави його виправдовують. Система повинна тому відстежувати, які агенти виконали перевірку, які лише інтерпретували вихід іншого агента, і які повторили висновок без перевірки.

Чому незалежність змінює арифметику

Простий розрахунок ілюструє ставки. Припустимо, що п’ять гіпотетичних виборців відповідають на бінарне питання правильно з ймовірністю 0,7, і їхні відповіді незалежні. Ймовірність того, що принаймні три відповіді правильні, становить приблизно 83,7 %. Поєднання їхніх голосів підвищує точність порівняно з 70 % у одного виборця.

Тепер припустимо, що всі п’ять копіюють одну відповідь. Більшість буде правильною лише тоді, коли оригінальна відповідь правильна: 70 % часу. Видима кількість учасників зросла, але обсяг незалежної інформації не змінився. Це ілюстративні ймовірності, а не вимірювання продуктивності з нових досліджень.

Існує ще один корисний розрахунок для інтерпретації стрес‑умови. Якщо чотири сигнали незалежно мають 30 % шанс бути помилковими, ймовірність того, що всі чотири будуть помилковими, дорівнює 0,3 у четвертому ступені, або 0,81 %. Це описує ймовірність певної початкової послідовності за цих припущень. Це не описує ймовірність того, що розгорнута команда агентів зазнає збою.

Оцінка відмови вимагатиме як частоти виникнення складних ситуацій, так і того, як система поводиться, коли вони виникають. Плутанина цих величин може змусити результат виглядати або більш тривожним, або більш заспокійливим, ніж дозволяє доказова база. Стрес‑тест може виявити суттєву вразливість, не вимірюючи її частоти у звичайній роботі.

Створіть слід доказів перед формуванням консенсусу

Практичний підхід полягає у розділенні спостережень та інтерпретацій у спільному робочому просторі. Для гіпотетичного розслідування автентифікації спостереження може містити ідентифікатор тесту, версію протестованого коду, фактичний результат і час виконання. Окреме поле фіксуватиме запропоноване агентом пояснення та його невизначеність.

Така структура дозволяє координатору поставити конкретне запитання: чи вводить ця рекомендація нове спостереження, чи посилається вона на вже враховані докази? Три резюме, що посилаються на один і той же провальний тест, мають залишатися одним тестом у реєстрі доказів. Друга незалежна репродукція має бути видимою як окрема перевірка.

Для дорогих або важливих рішень команди можуть також збирати початкові оцінки, перш ніж піддавати агентів висновкам один одного. Оглядач перевіряє вихідний матеріал, формує початкове рішення і лише потім бачить групову дискусію. Зміна думки залишатиметься можливою, проте система може зафіксувати, які нові докази її виправдали.

Це проєктні пропозиції для оцінки, а не захисні заходи, підтверджені цим експериментом. Вони вводять витрати: більш структуровані записи, додаткові виклики інструментів і потенційно повільнішу координацію. Їхня цінність має оцінюватися щодо рішень, які вони захищають. Робочий процес мозкового штурму може допускати вільну розмову; розслідування інциденту у виробництві може вимагати значно суворішого сліду доказів.

Правила підказок і керування виконанням вирішують різні проблеми

Попросити агента зберігати докази корисно, але виробнича архітектура може йти далі, зберігаючи сам вихідний результат інструмента. Служба виконання могла б записувати результати у запис, який агенти можуть цитувати, але не перезаписувати. Читачі тоді могли б порівнювати інтерпретацію з базовим виходом.

Навіть незмінний журнал не гарантує, що тест був добре спроектований, що джерело є достовірним або що інтерпретація правильна. Однак він робить розбіжності доступними для перевірки. Система може розрізняти дефектний тест і звіт, який неправильно його описує.

Авторизація має залишатися окремим рішенням. Впевнене висновок, що систему потрібно відремонтувати, не надає дозволу її змінювати. Тримання прав виконання поза процесом консенсусу запобігає автоматичному перетворенню епістемічної помилки в операційну дію. Команда агентів може помилитися, не отримавши дозволу на необмежену зміну.

Різноманітність моделей також слід оцінювати, а не вважати автоматичним вирішенням проблеми. Різні моделі можуть вносити різні інтерпретації, але присвоєння різних імен чи ролей агентам не гарантує, що їхні докази є незалежними. Різноманітна група, яка читає один і той же помилковий підсумок, все одно може мати одну вузьку точку доказів.

Що має вимірювати більш сувора оцінка

Пов’язана публікація є публічним науковим викладом. Читачі мають уникати сприйняття її як всеосяжного бенчмарку розгорнутих мультиагентних продуктів. Її цінність полягає у конкретному режимі відмови, який вона робить тестованим; ширші наслідки потребують додаткових доказів.

Корисна подальша оцінка варіювала б порядок сигналів, точність приватних доказів, кількість учасників і структуру комунікації. Вона повинна включати звичайні послідовності поряд із навмисно оманливими, а також правильні ранні більшість і неправильні ранні більшість. Інакше політика може здаватися успішною лише тому, що навчає агентів недовіряти будь‑якому консенсусу.

Тільки точність пропустила б важливі розрізнення. Оцінювачі мають вимірювати, чи звіти точно зберігають спостереження, як часто агенти вигадують підтверджуючі докази, чи може правильна меншина змінити остаточне рішення, і чи координатор рахує повторні цитати як окремі перевірки. Споживання токенів і затримка мають входити в один і той же порівняння: безпечний протокол все одно потребує операційно корисної вартості.

Для дослідження механізмів дослідники могли б експериментально варіювати доступ до ранніх суджень, залишаючи доказову частину завдання незмінною. Вони могли б порівнювати незалежні початкові оцінки з оцінками, сформованими після ознайомлення з дошкою. Рандомізація порядку представлення допомогла б розділити ефекти доказів від ефектів послідовності чи помітності. Згенеровані пояснення можуть спрямовувати гіпотези, але не мають слугувати єдиним доказом того, чому модель змінила свою відповідь.

Краще визначення надійності мультиагентних систем

Мова про стадну ментальність яскрава, проте її не слід трактувати як доказ того, що моделі відчувають людський соціальний тиск або мають людські переконання. Операційна стурбованість спостерігається: інформація надходить у робочий процес, судження впливають на подальші судження, і остаточна відповідь може приховувати, звідки походить її підтримка.

Для будівельників наступним етапом має бути демонстраційна корекція. Коли один агент робить правдоподібну помилку, чи може інший виявити протилежні докази? Чи зможе координатор зберегти цю розбіжність достатньо довго, щоб дослідити її? Чи зможе остаточне рішення пояснити, які незалежні перевірки вирішили проблему?

Більша команда здобуває довіру, коли додає перевірену інформацію та покращує рішення під час викликів. Підрахунок агентів, підрахунок схвалень і створення довших дискусій є недостатніми замінами. Найкориснішою багатоучасною системою є та, у якої докази залишаються доступними для перевірки навіть тоді, коли її учасники погоджуються.