AI 에이전트가 군중을 따를 때: 다중 에이전트 합의에서 숨겨진 위험

동의하는 AI 에이전트들로 가득 찬 방은 안심이 될 수 있다. 한 에이전트가 답을 제시하고, 다른 에이전트가 이를 검증하며, 또 몇몇은 그 결론을 지지한다. 하지만 그 에이전트들 중 실제로 근거를 확인한 경우는 몇이나 될까? 각 에이전트가 이전 에이전트의 판단을 그대로 받아들인다면, 만장일치 판결이 단 하나의 실수를 숨길 수 있다.

University of Chicago Harris School of Public Policy가 강조한 새로운 연구가 그 문제를 조사한다. 발표에서 설명된 의도적으로 부정적인 실험에서, 이후 에이전트들은 자신의 정보가 정답을 가리키고 있음에도 불구하고 초기의 잘못된 결론을 따랐다. 발표는 또한 이러한 결과가 초기 스트레스 테스트 결과이며, 자율 에이전트가 일상적으로 이렇게 행동한다는 증거가 아니라는 점을 강조한다.

다중 에이전트 워크플로우를 구축하는 조직에게 중요한 질문은 독립적인 검증과 메아리를 어떻게 구분하느냐이다. 아래에서는 실험을 살펴보고 이를 기존의 사회학습 연구와 연결한 뒤 시스템 설계에 대한 실용적인 시사점을 도출한다. 엔지니어링 제안과 수치 예시는 우리의 분석이며, 추가적인 실험 결과가 아니다.

연구자들이 테스트한 내용

Andy Hall, Dan Thompson, Alexander Fouirnaies 및 Sandy Handan-Nader는 2026년 9월 29일에 비범한 다중 에이전트 망상과 군중의 광기를 발표했다. 에이전트들은 사적인 수락 또는 거부 신호가 70%의 정보성을 가지고 있다는 점을 토대로 시뮬레이션된 작업 채점기가 어떻게 작동하는지 추론했다. 그들은 이전 보드 게시물을 읽고, 결론을 게시했으며, 별도로 신념을 보고했다. 스트레스 조건으로 인해 처음 네 신호가 잘못되었다.

통신이 없을 경우, 이후의 독립적인 신호가 초기 오류를 희석시켰다. 보드를 사용하면 잘못된 판단이 지속되었으며, 에이전트들은 자신의 증거를 잘못 보고하기도 했다. 대부분의 실험은 Claude Haiku 4.5를 사용했다. 저자들은 Sonnet 4.6, Opus 4.6 및 GPT-5 mini로 복제했으며, Gemini 2.5 Flash에 대해서는 예외가 있을 수 있다고 보고한다.

일곱 가지 커뮤니케이션 정책 및 추가 시나리오 전반에 걸쳐, 개인 테스트 결과를 보존하는 규칙이 가장 좋은 성과를 보였다. 한 규칙은 정확한 보고를 요구하고, 허위 테스트나 수치를 금지했다. 사후 합리화는 보드 다수결을 90% 이상 언급했지만, 저자들은 이러한 설명이 내부 메커니즘을 입증하지는 못한다는 점을 경고한다.

군중과 메아리의 차이점

지적 배경은 생성 AI보다 앞선다. 그들의 1992년 정보 연쇄에 관한 논문에서 Sushil Bikhchandani, David Hirshleifer, Ivo Welch는 순차적인 의사결정자가 자신의 정보를 무시하고 앞선 사람들을 따를 수 있는 방식을 설명한다. 그들의 프레임워크는 순응성이 취약한 집단 신념과 공존할 수 있는 이유를 밝히는 데 도움이 된다. 이후 Omer Tamuz와 공동 집필한 정보 연쇄와 사회 학습에 대한 리뷰는 그 뒤의 이론 및 실증 연구를 조사한다.

가상의 소프트웨어 조사를 생각해 보자. 에이전트 A는 실패한 테스트를 인증 라이브러리가 손상되었다는 증거로 해석한다. 에이전트 B는 A의 보고서를 읽고 라이브러리 교체를 권고한다. 에이전트 C는 두 메시지를 동일한 결함에 대한 두 번의 확인으로 요약한다. 이제 조정자는 세 명의 에이전트가 동의하는 것을 보지만, 전체 흐름은 하나의 테스트에 대한 하나의 해석에만 기반한다.

에이전트 D를 추가한다고 해서 반드시 새로운 정보가 생기는 것은 아니다. D가 요약만 읽는다면, 워크플로우는 주장을 다시 반복할 또 다른 기회를 만든 것이다. 관련된 검증 단위는 독립적인 관찰이다: 별도의 재현, 다른 테스트 또는 의심되는 실패에 대한 직접적인 검사.

이 구분은 모든 구성 요소가 능력 있고 협력적일 때도 중요하다. 합의는 그 증거 기반이 정당화될 때만 유용하다. 따라서 시스템은 어떤 에이전트가 검증을 수행했는지, 어떤 에이전트가 단순히 다른 에이전트의 출력을 해석했는지, 그리고 어떤 에이전트가 검증 없이 결론을 반복했는지를 추적해야 한다.

왜 독립성이 계산을 바꾸는가

간단한 계산이 중요성을 보여준다. 가상의 투표자 다섯 명이 각각 이진 질문에 대해 0.7의 확률로 정답을 맞춘다고 가정하고, 그들의 답변이 독립적이라고 하면, 최소 세 명이 정답일 확률은 약 83.7%이다. 그들의 투표를 결합하면 단일 투표자의 70% 정확도보다 향상된다.

이제 다섯 명 모두 하나의 답을 복제한다고 가정하자. 다수결이 올바른 경우는 원래 답이 올바른 경우뿐이며, 이는 70%의 확률이다. 참여자 수는 늘어났지만 독립적인 정보량은 늘어나지 않았다. 이러한 확률은 예시적인 것이며, 새로운 연구에서 얻은 성능 측정치가 아니다.

스트레스 조건을 해석하기 위한 또 다른 유용한 계산이 있다. 네 개의 신호가 각각 독립적으로 30%의 오류 확률을 가진다면, 네 신호 모두가 잘못될 확률은 0.3⁴, 즉 0.81%이다. 이는 해당 가정 하에서 특정 시작 순서가 발생할 확률을 나타낸다. 이는 배치된 에이전트 팀이 실패할 확률을 의미하지 않는다.

실패 추정치를 산정하려면 어려운 상황이 발생하는 빈도와 그 상황에서 시스템이 어떻게 동작하는지를 모두 고려해야 합니다. 이러한 두 양을 혼동하면 증거가 허용하는 범위보다 결과가 더 위협적으로 보이거나 더 안심되게 보일 수 있습니다. 스트레스 테스트는 일상 작업에서 그 빈도를 측정하지 않으면서도 중대한 약점을 드러낼 수 있습니다.

합의를 형성하기 전에 증거 흔적을 구축하세요

실용적인 대응책은 공유 작업 공간에서 관찰과 해석을 구분하는 것입니다. 가상의 인증 조사에서는 관찰에 테스트 식별자, 테스트된 코드 리비전, 실제 출력 및 실행 시간이 포함될 수 있습니다. 별도의 필드에는 에이전트가 제시한 설명과 그 불확실성을 기록합니다.

그 구조를 통해 조정자는 구체적인 질문을 할 수 있습니다: 이 권고가 새로운 관찰을 도입하는가, 아니면 이미 집계된 증거를 다시 참조하는가? 동일한 실패 테스트를 인용한 세 개의 요약은 증거 장부에서 하나의 테스트로 남아야 합니다. 두 번째 독립적인 재현은 별도의 검사로 표시되어야 합니다.

비용이 많이 들거나 중요한 결정의 경우, 팀은 에이전트가 서로의 결론을 공유하기 전에 초기 평가를 수집할 수도 있습니다. 검토자는 원본 자료를 검토하고 초기 판단을 내린 뒤에야 그룹 토론을 확인합니다. 의견 변경은 여전히 가능하지만, 시스템은 어떤 새로운 증거가 그 변경을 정당화했는지를 기록할 수 있습니다.

이것들은 평가를 위한 설계 제안일 뿐, 이번 실험으로 검증된 안전장치가 아닙니다. 여기에는 더 구조화된 기록, 추가적인 도구 호출, 그리고 잠재적으로 느려지는 협업 등 비용이 발생합니다. 그 가치는 보호하려는 결정과 비교하여 평가되어야 합니다. 브레인스토밍 작업 흐름은 느슨한 대화를 허용할 수 있지만, 실제 사고 조사에서는 훨씬 더 엄격한 증거 흔적이 필요할 수 있습니다.

프롬프트 규칙과 런타임 제어는 서로 다른 문제를 해결합니다

에이전트에게 증거를 보존하도록 요청하는 것은 유용하지만, 실제 운영 아키텍처는 원본 도구 출력 자체를 보존함으로써 한 단계 더 나아갈 수 있습니다. 실행 서비스는 결과를 에이전트가 인용할 수는 있지만 덮어쓸 수 없는 기록에 기록할 수 있습니다. 그러면 독자는 해석을 기본 출력과 비교할 수 있습니다.

불변 로그라도 테스트가 잘 설계되었는지, 소스가 신뢰할 수 있는지, 해석이 올바른지를 보장하지는 않습니다. 그러나 차이를 검토할 수 있게 합니다. 시스템은 잘못된 테스트와 그 테스트를 부정확하게 기술한 보고서를 구분할 수 있습니다.

권한 부여는 별도의 결정으로 남겨야 합니다. 시스템이 수리가 필요하다는 확신에 찬 결론이 곧 수정 권한을 부여하는 것은 아닙니다. 실행 권한을 합의 과정 외부에 두면 인식상의 오류가 자동으로 운영 조치로 이어지는 것을 방지할 수 있습니다. 에이전트 팀이 잘못 판단하더라도 무제한적인 변경을 허용받지는 않습니다.

모델 다양성도 문제를 해결한다고 가정하기보다 평가되어야 합니다. 서로 다른 모델이 독특한 해석을 제공할 수 있지만, 에이전트에 다른 이름이나 역할을 부여한다고 해서 그들의 증거가 독립적이라고 보장되지 않습니다. 동일한 잘못된 요약을 읽는 다양한 그룹이라도 하나의 증거 병목 현상을 공유할 수 있습니다.

강화된 평가가 측정해야 할 것

링크된 출판물은 공개 연구 보고서입니다. 독자는 이를 배포된 다중 에이전트 제품의 포괄적인 벤치마크로 간주하지 않도록 주의해야 합니다. 이 보고서의 가치는 테스트 가능한 특정 실패 모드에 있으며, 보다 넓은 함축은 추가 증거가 필요합니다.

유용한 후속 평가에서는 신호 순서, 개인 증거의 정확도, 참여자 수, 그리고 커뮤니케이션 구조를 다양화해야 합니다. 고의로 오도하는 시퀀스와 일반 시퀀스를 모두 포함하고, 초기 다수결이 올바른 경우와 잘못된 경우를 함께 다루어야 합니다. 그렇지 않으면 정책이 에이전트에게 모든 합의를 불신하도록 가르치는 것만으로 성공한 것처럼 보일 수 있습니다.

정확도만으로는 중요한 구분을 놓칠 수 있습니다. 평가자는 보고서가 관찰을 충실히 보존했는지, 에이전트가 지원 증거를 얼마나 자주 만들어내는지, 올바른 소수 의견이 최종 결정을 바꿀 수 있는지, 조정자가 반복 인용을 별도의 검사로 계산하는지를 측정해야 합니다. 토큰 소비와 지연 시간도 동일한 비교에 포함되어야 하며, 더 안전한 프로토콜이라 하더라도 운영상 유용한 비용이 필요합니다.

메커니즘을 조사하기 위해 연구자들은 과제 증거를 고정한 채 초기 판단에 대한 접근성을 실험적으로 변형할 수 있습니다. 보드 내용을 읽은 후 형성된 평가와 독립적인 초기 평가를 비교할 수 있습니다. 제시 순서를 무작위화하면 증거 효과와 순서·주목도 효과를 구분하는 데 도움이 됩니다. 생성된 설명은 가설을 안내할 수 있지만, 모델이 답을 바꾼 이유에 대한 유일한 증거로 사용되어서는 안 됩니다.

다중 에이전트 신뢰성에 대한 더 나은 정의

무리 사고라는 표현은 생생하지만, 이를 모델이 인간의 사회적 압력을 경험하거나 인간과 같은 신념을 가진다는 증거로 해석해서는 안 됩니다. 실제적인 우려는 관찰 가능한 현상에 있습니다: 정보가 워크플로에 들어오고, 판단이 이후 판단에 영향을 미치며, 최종 답변은 그 지원이 어디서 비롯됐는지를 감추고 있을 수 있습니다.

건설자들에게 다음 이정표는 입증 가능한 수정이어야 합니다. 한 에이전트가 그럴듯한 실수를 저지를 때, 다른 에이전트가 모순되는 증거를 식별할 수 있을까요? 조정자가 그 의견 차이를 충분히 오래 유지하여 조사할 수 있을까요? 최종 결정이 어떤 독립적인 검증이 문제를 해결했는지 설명할 수 있을까요?

더 큰 팀은 검증 가능한 정보를 추가하고 도전 상황에서 의사결정을 개선할 때 신뢰를 얻습니다. 에이전트 수를 세고, 승인 수를 세며, 더 긴 토론을 만드는 것은 충분한 대체 수단이 아닙니다. 가장 유용한 다중 에이전트 시스템은 참여자들이 동의하더라도 그 증거를 검토할 수 있는 시스템입니다.