Når AI‑agenter følger mengden: Den skjulte risikoen i multi‑agent‑konsensus

Et rom fullt av enige AI‑agenter kan virke betryggende. En foreslår et svar, en annen sjekker det, og flere igjen støtter konklusjonen. Men hvor mange av disse agentene har faktisk sjekket det underliggende beviset? Hvis hver absorberer den forrige agentens vurdering, kan en enstemmig dom skjule en enkelt feil.

Ny forskning fremhevet av University of Chicago Harris School of Public Policy undersøker dette problemet. I de bevisst ugunstige eksperimentene beskrevet i kunngjøringen, fulgte senere agenter en tidlig feil konklusjon selv om deres egen informasjon pekte mot det riktige svaret. Kunngjøringen understreker også at dette er tidlige stresstestresultater, snarere enn bevis på at autonome agenter vanligvis oppfører seg på denne måten.

For organisasjoner som bygger arbeidsflyter med flere agenter, er det viktige spørsmålet hvordan man skiller uavhengig verifisering fra en ekko. Nedenfor undersøker vi eksperimentet, knytter det til etablert forskning på sosial læring, og utvikler praktiske implikasjoner for systemdesign. De tekniske forslagene og de numeriske illustrasjonene er vår analyse, ikke ytterligere eksperimentelle funn.

Hva forskerne testet

Andy Hall, Dan Thompson, Alexander Fouirnaies og Sandy Handan‑Nader publiserte Ekstraordinære multi‑agent‑vrangforestillinger og mengdens galskap den 29. september 2026. Agentene utledet hvordan en simulert oppgavevurderer fungerte fra private aksept‑ eller avvisningssignaler som var informative 70 % av tiden. De leste tidligere innlegg på tavlen, publiserte konklusjoner og rapporterte separat sine antakelser. Stress‑betingelsen gjorde de første fire signalene feil.

Uten kommunikasjon fortynnet senere uavhengige signaler den opprinnelige feilen. Med en tavle vedvarte feilaktige vurderinger; agentene rapporterte også feil om sine egne bevis. De fleste eksperimentene brukte Claude Haiku 4.5. Forfatterne rapporterer replikasjon med Sonnet 4.6, Opus 4.6 og GPT‑5 mini, med et mulig unntak for Gemini 2.5 Flash.

På tvers av syv kommunikasjonsregler og tilleggsscenarier presterte regler som bevarte private testresultater best. En regel krevde nøyaktig rapportering og forbød oppdiktede tester eller opptellinger. Etter‑faktum‑rasjonaler nevnte tavleflertallet mer enn 90 % av tiden, men forfatterne advarer om at disse forklaringene ikke fastslår den interne mekanismen.

Forskjellen mellom en mengde og et ekko

Den intellektuelle bakgrunnen går foran generativ AI. I deres 1992‑artikkel om informasjonskaskader beskriver Sushil Bikhchandani, David Hirshleifer og Ivo Welch hvordan sekvensielle beslutningstakere kan følge forgjengere samtidig som de ser bort fra sin egen informasjon. Deres rammeverk bidrar til å forklare hvorfor konformitet kan sameksistere med skjøre kollektive overbevisninger. En senere gjennomgang av informasjonskaskader og sosial læring, medforfattet med Omer Tamuz, kartlegger den teoretiske og empiriske forskningen som fulgte.

Tenk deg en hypotetisk programvareundersøkelse. Agent A tolker en mislykket test som bevis på at et autentiseringsbibliotek er ødelagt. Agent B leser A‑s rapport og anbefaler å erstatte biblioteket. Agent C oppsummerer begge meldingene som to bekreftelser av samme feil. En koordinator ser nå tre agenter som er enige, selv om hele kjeden hviler på én tolkning av én test.

Å legge til Agent D vil ikke nødvendigvis gi ny informasjon. Hvis D kun leser oppsummeringen, har arbeidsflyten skapt en ny mulighet til å gjenta påstanden. Den relevante enheten for korroborasjon er den uavhengige observasjonen: en separat reproduksjon, en annen test eller en direkte inspeksjon av den antatte feilen.

Denne distinksjonen er viktig selv når hver komponent er i stand og samarbeider. Enighet er kun nyttig i den grad dens bevisgrunnlag rettferdiggjør den. Et system bør derfor spore hvilke agenter som utførte en sjekk, hvilke som kun tolket en annen agents output, og hvilke som gjentok en konklusjon uten å sjekke den.

Hvorfor uavhengighet endrer regnestykket

En enkel beregning illustrerer innsatsen. Anta at fem hypotetiske velgere hver svarer korrekt på et binært spørsmål med sannsynlighet 0,7, og at svarene deres er uavhengige. Sannsynligheten for at minst tre er korrekte er omtrent 83,7 %. Å kombinere stemmene deres forbedrer nøyaktigheten fra 70 % for en enkelt velger.

Anta nå at alle fem kopierer ett svar. Flertallet er kun korrekt når det opprinnelige svaret er korrekt: 70 % av tiden. Det synlige antallet deltakere har økt, men mengden uavhengig informasjon har ikke gjort det. Dette er illustrerende sannsynligheter, ikke ytelsesmålinger fra den nye forskningen.

Det finnes en annen nyttig beregning for å tolke stress‑betingelsen. Hvis fire signaler uavhengig har 30 % sjanse for å være feil, er sannsynligheten for at alle fire er feil 0,3 opphøyd i fjerde potens, eller 0,81 %. Det beskriver sannsynligheten for en bestemt startsekvens under disse forutsetningene. Det beskriver ikke sannsynligheten for at et distribuert agentteam vil mislykkes.

Et feilestimat vil kreve både hvor ofte vanskelige situasjoner oppstår og hvordan systemet oppfører seg når de oppstår. Å forveksle disse mengdene kan få et resultat til å fremstå enten mer alarmerende eller mer beroligende enn bevisene tillater. En stresstest kan avdekke en betydningsfull svakhet uten å måle hvor ofte den forekommer i vanlig arbeid.

Bygg en beviskjede før du bygger konsensus

Et praktisk svar er å skille observasjoner fra tolkninger i det delte arbeidsområdet. For den hypotetiske autentiseringsundersøkelsen kan en observasjon inneholde en testidentifikator, den testede kodeversjonen, den faktiske utdataen og kjøretiden. Et eget felt vil registrere agentens foreslåtte forklaring og dens usikkerhet.

Den strukturen gjør det mulig for koordinatoren å stille et konkret spørsmål: introduserer denne anbefalingen en ny observasjon, eller refererer den tilbake til allerede registrert bevis? Tre sammendrag som siterer den samme mislykkede testen bør forbli én test i bevisregisteret. En andre uavhengige reproduksjon bør vises som en separat sjekk.

For kostbare eller konsekvensfulle beslutninger kan team også samle inn innledende vurderinger før de eksponerer agenter for hverandres konklusjoner. En reviewer vil inspisere kilde­materialet, foreta en første vurdering og først deretter se gruppediskusjonen. Endringer i mening vil fortsatt være mulige, men systemet kan registrere hvilket nytt bevis som begrunnet dem.

Dette er designforslag som skal evalueres, ikke sikkerhetstiltak som er validert av dette eksperimentet. De medfører kostnader: mer strukturerte registre, flere verktøy‑kall og potensielt langsommere koordinering. Deres verdi bør vurderes i forhold til beslutningene de beskytter. En idémyldring‑arbeidsflyt kan tolerere løs samtale; en produksjons‑hendelsesundersøkelse kan kreve en mye strengere beviskjede.

Prompt‑regler og kjøretidskontroller løser ulike problemer

Det er nyttig å be en agent om å bevare bevis, men en produksjonsarkitektur kan gå lenger ved å bevare selve den originale verktøyutdataen. En eksekusjonstjeneste kan skrive resultater inn i et register som agenter kan referere til, men ikke overskrive. Lesere kan da sammenligne tolkningen med den underliggende utdataen.

Selv en uforanderlig logg garanterer ikke at en test er godt designet, at kilden er pålitelig eller at tolkningen er korrekt. Den gjør imidlertid avvik inspeksjonsbare. Et system kan skille en feilaktig test fra en rapport som feilaktig beskriver den testen.

Autorisasjon bør forbli en separat beslutning. En sikker konklusjon om at et system trenger reparasjon gir ikke tillatelse til å endre det. Å holde eksekusjonstillatelser utenfor konsensusprosessen hindrer at en epistemisk feil automatisk blir til en operasjonell handling. Et agentteam kan ta feil uten å få lov til å foreta en ubegrenset endring.

Modell‑mangfold bør også evalueres i stedet for å antas løse problemet. Ulike modeller kan bidra med ulike tolkninger, men å gi agenter forskjellige navn eller roller etablerer ikke at deres bevis er uavhengige. En mangfoldig gruppe som leser den samme feilaktige oppsummeringen kan fortsatt dele en felles bevisflaskehals.

Hva en strengere evaluering bør måle

Den lenkede publikasjonen er en offentlig forskningsrapport. Lesere bør unngå å behandle den som en omfattende benchmark av distribuerte multi‑agent‑produkter. Dens verdi ligger i den spesifikke feilmodusen den gjør testbar; de bredere implikasjonene krever ytterligere bevis.

En nyttig oppfølgings‑evaluering ville variere rekkefølgen på signaler, nøyaktigheten til privat bevis, antall deltakere og kommunikasjonsstrukturen. Den bør inkludere vanlige sekvenser ved siden av bevisst misvisende, og korrekte tidlige majoriteter ved siden av feilaktige tidlige majoriteter. Uten dette kan en policy virke vellykket bare fordi den lærer agenter å miste tilliten til enhver konsensus.

Kun nøyaktighet ville gå glipp av viktige nyanser. Evaluatorer bør måle om rapporter trofast bevarer observasjoner, hvor ofte agenter konstruerer støttende bevis, om en korrekt minoritet kan endre den endelige beslutningen, og om koordinatoren teller gjentatte siteringer som separate sjekker. Token‑forbruk og latens bør inngå i samme sammenligning: en tryggere protokoll krever fortsatt en operasjonelt akseptabel kostnad.

For å undersøke mekanismer kan forskere eksperimentelt variere tilgang til tidligere vurderinger mens oppgave‑beviset holdes konstant. De kan sammenligne uavhengige innledende vurderinger med vurderinger dannet etter å ha lest tavlen. Randomisering av presentasjonsrekkefølgen vil hjelpe med å skille bevis‑effekter fra sekvens‑ eller fremtredelses‑effekter. Genererte forklaringer kan veilede hypoteser, men de bør ikke være det eneste beviset på hvorfor en modell endret svaret sitt.

En bedre definisjon av pålitelighet i multi‑agent‑systemer

Språket om flokkmenneskelig mentalitet er levende, men det bør ikke leses som bevis på at modeller opplever menneskelig sosialt press eller har menneskelige overbevisninger. Det operative bekymringspunktet er observerbart: informasjon kommer inn i en arbeidsflyt, vurderinger påvirker senere vurderinger, og det endelige svaret kan skjule hvor støtten kom fra.

For byggherrer bør neste milepæl være demonstrerbar korrigering. Når en agent gjør en plausibel feil, kan en annen identifisere det motsatte beviset? Kan koordinatoren bevare den uenigheten lenge nok til å undersøke den? Kan den endelige beslutningen forklare hvilke uavhengige kontroller som løste problemet?

Et større team får tillit når det tilfører verifiserbar informasjon og forbedrer beslutninger under press. Å telle agenter, telle godkjennelser og produsere lengre diskusjoner er utilstrekkelige erstatninger. Det mest nyttige multi‑agent‑systemet er ett der bevisene forblir inspiserbare selv når deltakerne er enige.