Když se AI agenti řídí davem: Skryté riziko v konsenzu více agentů

Místnost plná souhlasících AI agentů může vypadat uklidňujícím dojmem. Jeden navrhne odpověď, druhý ji zkontroluje a několik dalších podpoří závěr. Ale kolik z těchto agentů skutečně prověřilo podkladové důkazy? Pokud každý převzal úsudek předchozího agenta, může jednotný verdikt skrývat jedinou chybu.

Nový výzkum zvýrazněný University of Chicago Harris School of Public Policy zkoumá tento problém. V úmyslně nepříznivých experimentech popsaných v jejich oznámení pozdější agenti následovali počáteční špatný závěr i když jejich vlastní informace ukazovaly na správnou odpověď. Oznámení také zdůrazňuje, že se jedná o rané výsledky stresových testů, nikoli o důkazy, že autonomní agenti se takto rutinně chovají.

Pro organizace budující workflow s více agenty je důležitá otázka, jak rozlišit nezávislé ověření od ozvěny. Níže zkoumáme experiment, spojujeme jej s etablovaným výzkumem sociálního učení a vyvíjíme praktické důsledky pro návrh systémů. Inženýrské návrhy a číselné ilustrace jsou naší analýzou, nikoli dalšími experimentálními zjištěními.

What the Researchers Tested

Andy Hall, Dan Thompson, Alexander Fouirnaies a Sandy Handan-Nader publikovali Extraordinary Multi-Agent Delusions and the Madness of Crowds dne 29. září 2026. Agenti odvozovali, jak funguje simulovaný hodnotitel úkolů, z privátních signálů přijetí nebo odmítnutí, které byly informativní v 70 % případů. Četli dřívější příspěvky na nástěnce, zveřejňovali závěry a samostatně hlásili přesvědčení. Stresová podmínka způsobila, že první čtyři signály byly nesprávné.

Bez komunikace pozdější nezávislé signály rozředily počáteční chybu. S nástěnkou přetrvávala nesprávná hodnocení; agenti také špatně hlásili své vlastní důkazy. Většina experimentů použila Claude Haiku 4.5. Autoři uvádějí replikaci se Sonnet 4.6, Opus 4.6 a GPT‑5 mini, s možnou výjimkou pro Gemini 2.5 Flash.

Napříč sedmi komunikačními politikami a dalšími scénáři dosahovaly pravidla zachovávající soukromé výsledky testů nejlepšího výkonu. Jedno vyžadovalo přesné hlášení a zakazovalo vymýšlené testy či počty. Post‑hoc odůvodnění zmiňovalo většinu na nástěnce více než 90 % času, ale autoři varují, že tato vysvětlení nestanovují vnitřní mechanismus.

Rozdíl mezi davem a ozvěnou

Intellektuální pozadí předchází generativní AI. Ve své 1992 studii o informačních kaskádách Sushil Bikhchandani, David Hirshleifer a Ivo Welch popisují, jak mohou sekvenční rozhodovatelé následovat předchůdce a přitom ignorovat vlastní informace. Jejich rámec pomáhá vysvětlit, proč může konformita koexistovat s křehkými kolektivními přesvědčeními. Pozdější přehled informačních kaskád a sociálního učení, spoluautorství s Omerem Tamuzem, mapuje teoretický i empirický výzkum, který následoval.

Zvažme hypotetické softwarové vyšetřování. Agent A interpretuje neúspěšný test jako důkaz, že autentizační knihovna je poškozena. Agent B přečte zprávu od A a doporučí knihovnu nahradit. Agent C shrne obě zprávy jako dvě potvrzení stejné vady. Koordinátor nyní vidí tři agenty souhlasící, ačkoliv celý řetězec spočívá na jedné interpretaci jednoho testu.

Přidání agenta D nutně neprodukuje nové informace. Pokud D pouze přečte souhrn, workflow vytvořilo další příležitost opakovat tvrzení. Relevantní jednotkou potvrzení je nezávislé pozorování: samostatná reprodukce, jiný test nebo přímá inspekce podezřelé selhání.

Toto rozlišení má význam i když je každá součást schopná a kooperativní. Souhlas je užitečný jen do té míry, do jaké jeho důkazní základy to ospravedlňují. Systém by proto měl sledovat, kteří agenti provedli kontrolu, kteří jen interpretovali výstup jiného agenta, a kteří zopakovali závěr bez ověření.

Proč nezávislost mění aritmetiku

Jednoduchý výpočet ilustruje sázky. Předpokládejme, že pět hypotetických voličů odpovídá na binární otázku správně s pravděpodobností 0,7 a jejich odpovědi jsou nezávislé. Pravděpodobnost, že alespoň tři jsou správní, je přibližně 83,7 %. Kombinace jejich hlasů zlepšuje přesnost 70 % jednoho voliče.

Nyní předpokládejme, že všichni pěti kopírují jednu odpověď. Většina je správná jen tehdy, když je původní odpověď správná: 70 % času. Viditelný počet účastníků se zvýšil, ale množství nezávislých informací se nezměnilo. Jedná se o ilustrační pravděpodobnosti, ne o měření výkonu z nového výzkumu.

Existuje další užitečný výpočet pro interpretaci stresové podmínky. Pokud mají čtyři signály nezávisle 30 % šanci být špatné, pravděpodobnost, že všechny čtyři jsou špatné, je 0,3 na čtvrtou mocninu, tedy 0,81 %. To popisuje pravděpodobnost konkrétní počáteční sekvence za těchto předpokladů. Nepopisuje pravděpodobnost, že nasazený tým agentů selže.

Odhad selhání by vyžadoval jak to, jak často se obtížné situace vyskytují, tak to, jak se systém chová, když k nim dojde. Záměna těchto veličin může způsobit, že výsledek vypadá buď více znepokojující, nebo více uklidňující, než dovolí důkazy. Zátěžový test může odhalit důležitou slabinu, aniž by měřil její četnost v běžné práci.

Vytvořte evidenční stopu před budováním konsensu

Praktickou reakcí je oddělit pozorování od interpretací ve sdíleném pracovním prostoru. Pro hypotetické vyšetřování autentizace by pozorování mohlo obsahovat identifikátor testu, revizi testovaného kódu, skutečný výstup a dobu provedení. Samostatné pole by zaznamenalo navrhované vysvětlení agenta a jeho nejistotu.

Tato struktura umožňuje koordinátorovi položit konkrétní otázku: zavádí toto doporučení nové pozorování, nebo odkazuje na již započítané důkazy? Tři souhrny citující stejný neúspěšný test by měly zůstat jedním testem v evidenční knize. Druhá nezávislá reprodukce by měla být viditelná jako samostatná kontrola.

U drahých nebo zásadních rozhodnutí by týmy mohly také shromáždit počáteční hodnocení před tím, než vystaví agenty závěrům ostatních. Recenzent by prozkoumal zdrojový materiál, učinil počáteční úsudek a až poté viděl skupinovou diskusi. Změna názoru by zůstala možná, ale systém by mohl zaznamenat, jaké nové důkazy ji odůvodnily.

Jedná se o návrhy designu k vyhodnocení, nikoli o ochranná opatření ověřená tímto experimentem. Zavádějí náklady: více strukturovaných záznamů, další volání nástrojů a potenciálně pomalejší koordinaci. Jejich hodnota by měla být posuzována vzhledem k rozhodnutím, která chrání. Brainstormingový pracovní postup může tolerovat volnou konverzaci; vyšetřování incidentu v produkci může vyžadovat mnohem přísnější evidenční stopu.

Pravidla promptu a runtime kontroly řeší různé problémy

Požádat agenta, aby zachoval důkazy, je užitečné, ale produkční architektura může jít dál a zachovat samotný výstup nástroje. Služba provádění by mohla zapisovat výsledky do záznamu, který agenti mohou citovat, ale nemohou jej přepsat. Čtenáři by pak mohli porovnat interpretaci se základním výstupem.

I nezměnitelný log nezaručuje, že test byl dobře navržen, že zdroj byl důvěryhodný nebo že interpretace je správná. Nicméně umožňuje kontrolovat nesrovnalosti. Systém může rozlišit vadný test od zprávy, která test nepřesně popisuje.

Autorizace by měla zůstat samostatným rozhodnutím. Jistý závěr, že systém potřebuje opravu, neuděluje oprávnění jej změnit. Udržení oprávnění k provedení mimo proces konsensu zabraňuje tomu, aby epistemická chyba automaticky přešla v operativní akci. Tým agentů může být v nepravdě, aniž by mu bylo povoleno provést neomezenou změnu.

Rozmanitost modelů by také měla být vyhodnocena, nikoli předpokládána jako řešení problému. Různé modely mohou přinášet odlišné interpretace, ale přiřazení různých jmen nebo rolí agentům nestanovuje, že jejich důkazy jsou nezávislé. Rozmanitá skupina, která čte stejný chybný souhrn, může stále sdílet jedno úzké místo v důkazech.

Co by měla silnější evaluace měřit

Odkazovaná publikace je veřejná výzkumná zpráva. Čtenáři by se měli vyvarovat toho, aby ji považovali za komplexní benchmark nasazených produktů s více agenty. Její hodnota spočívá v konkrétním režimu selhání, který umožňuje testovat; její širší dopady vyžadují další důkazy.

Užitečná následná evaluace by měnila pořadí signálů, přesnost soukromých důkazů, počet účastníků a strukturu komunikace. Měla by zahrnovat běžné sekvence vedle záměrně zavádějících a správné počáteční většiny vedle nesprávných počátečních většin. Jinak by politika mohla vypadat úspěšně jen proto, že učí agenty nedůvěřovat každému konsensu.

Pouhá přesnost by opomíjela důležité rozdíly. Hodnotitelé by měli měřit, zda zprávy věrně zachovávají pozorování, jak často agenti vymýšlejí podpůrné důkazy, zda správná menšina může změnit konečné rozhodnutí, a zda koordinátor počítá opakované citace jako samostatné kontroly. Spotřeba tokenů a latence patří do stejného srovnání: bezpečnější protokol stále potřebuje operativně užitečnou cenu.

K prozkoumání mechanismů by výzkumníci mohli experimentálně měnit přístup k dřívějším úsudkům při zachování konstantních důkazů úkolu. Mohli by porovnat nezávislá počáteční hodnocení s hodnoceními vytvořenými po přečtení boardu. Randomizace pořadí prezentace by pomohla oddělit vliv důkazů od vlivu sekvence či prominence. Generované vysvětlení může vést hypotézy, ale nemělo by sloužit jako jediný důkaz, proč model změnil svou odpověď.

Lepší definice spolehlivosti víceagentních systémů

Jazyk stáda je živý, ale neměl by být vnímán jako důkaz, že modely zažívají lidský sociální tlak nebo mají lidské přesvědčení. Provozní obava je pozorovatelná: informace vstupují do pracovního postupu, úsudky ovlivňují následné úsudky a konečná odpověď může skrývat, odkud její podpora pochází.

Pro stavitele by dalším milníkem měla být prokazatelná oprava. Když jeden agent udělá pravděpodobnou chybu, dokáže jiný identifikovat protichůdné důkazy? Dokáže koordinátor zachovat tento nesoulad dostatečně dlouho, aby jej mohl prozkoumat? Dokáže konečné rozhodnutí vysvětlit, které nezávislé kontroly problém vyřešily?

Větší tým získává důvěru, když přidává ověřitelné informace a zlepšuje rozhodnutí v náročných situacích. Počítání agentů, počítání schválení a vytváření delších diskusí jsou nedostatečné náhrady. Nejužitečnější multiagentní systém je ten, jehož důkazy zůstávají kontrolovatelné i tehdy, když jeho účastníci souhlasí.