2020년 인간 코드, 대형 언어 모델 이전에 작성된 코드가 바이브 코딩 에이전트를 테스트에서 물리치다

ChatGPT 및 기타 바이브 코딩 도구는 거의 40,000번의 매치에서 테스트되었으며, 대형 언어 모델 이전에 작성된 대학원생 코드에 패배하였다.

영국에서 진행된 새로운 연구에서 연구자들은 인간 코딩 에이전트와 바이브 코딩 에이전트를 비교하였으며, 후者の 경우 최신 대형 언어 모델(Large Language Models, LLMs)을 사용하여 개발하였다. 연구 결과, 대형 언어 모델을 사용하지 않고 개발된 에이전트들이 훨씬 더 우수한 성능을 보였다.

두 집단의 에이전트는 스위스 연방 기술 연구소의 인공지능 연구소에서 다른 세대의 학생들이 개발하였다. 비-인공지능 에이전트는 2020년에 개발되었으며, 이는 ChatGPT와 LLM 혁명의 시작 이전이었다. 새로운 에이전트들은 현재의 학생들이 개발하였으며, 최신의 최고의 LLMs를 사용하였다.

게임을 조작하여도, 바이브 코딩 솔루션은 승리할 수 없었다. 상위 5개의 자리는 일관되게 ‘원시’ 에이전트가 차지하였으며, 대부분의 LLM 에이전트(33개 중 40개)는 ‘매우 간단한’ 기준 에이전트에 의해 쉽게 패배하였다. 이는 38,304개의 도전 과정을 통해, 다양한 변수와 상황에서 진행된 토너먼트에서 나타난 결과이다.

이 논문은 다음과 같이 말한다:

‘우리의 연구는 최신의 LLMs가 코드를 생성할 수 있지만, 생성된 솔루션은 인간이 설계한 솔루션에 비해 경쟁력이 떨어진다는 것을 보여준다. 즉, 전략적 계획, 최적화, 또는 다중 에이전트 경쟁과 같은 차원에서.’

‘따라서, 이 연구는 새로운 코드 생성의 전위를 강조하며, 벤치마크, 데이터셋, 및 오픈 소스 기준을 개발하여 코드 합성의 이유를 강조하는 것을 목표로 한다.’

도전 과제는 경매에 참여하여, 다양한 전략을 사용하여, 이긴 항목을 승자에게 전달하는 로직을 구축하는 것이었다.

연구자들은 LLMs에게 여러 가지 이점을 주었지만, 그럼에도 불구하고 LLMs는 인간 코딩 에이전트에 패배하였다:

‘우리의 벤치마크에서, 좋은 솔루션을 제시해도, LLM은 여전히 이를 사용할 수 없다.’

‘이 결과는 또한 복잡한 시나리오에서 맥락 내 학습과 검색 보강 문제 해결의 한계에 대한 흥미로운 미래 연구 질문을 제기한다.’

테스트에 사용된 LLMs는 GPT-5 Thinking, Gemini 2.5 Pro, Claude Opus 4.1, 및 DeepSeek R1*이었다.

새로운 논문은 바이브 코딩이 대학원생 코드를 이길 수 있는가? LLM 대 인간 코딩 토너먼트에 대한 시장 주도적 전략 계획으로 제목이 붙여져 있으며, 사우스햄프턴 대학교와 옥스포드 대학교 및 앨런 튜링 연구소의 연구자들이 참여하였다. 벤치마크는 곧 공개될 예정이다.

방법

연구자들은 전통적인 테스트는 이진 솔루션(정확 또는 부정확)을 가지는 도전 과제에 초점을 맞추고 있음을 지적한다. 그러나 이 접근법은 LLM-보조 코드의 한계를 탐구하기에 이상적이지 않다. 따라서 연구자들은 더 복잡한 도전 과제를 설계하였다.

표준적인 유닛 테스트 기반 접근 방식(위)과 연구자들이 설계한 더 개방적인 도전 과제 시나리오(아래)의 비교. 출처

경매, 픽업, 및 배달 문제(Auction, Pickup and Delivery Problem, APDP)는 연구자들의 연구에 사용되었다. 이 문제는 부분적으로 스위스 대학의 2020년 학생 작품을 사용할 수 있었기 때문에 선택되었다.

연구자들은 인기 있는 테스트 프레임워크를 피하려고 하였다. 이 프레임워크는 데이터 오염의 문제를 겪을 수 있다.

APDP는 두 단계의 로지스틱 문제로 구성되며, 역방향 경매와 차량 경로 설정이 포함된다. 첫 번째 단계에서는 에이전트들이 배달 작업을 위해 입찰하며, 두 번째 단계에서는 에이전트들이 이긴 작업을 효율적으로 계획하여 수행해야 한다.

에이전트들의 목표는 작업을 완수하는 것이 아니라, 작업을 묶어 함께 수행하여 최대 이익을 얻는 것이다.

APDP 벤치마크는 코드 생성 과제의 난이도를 높이며, 전략적 계획과 다중 에이전트 경쟁을 포함한다.

이 문제의 핵심은 NP-하드 문제로, 즉 알고리즘이 합리적인 시간 내에 최적의 솔루션을 찾을 수 없다. 따라서 에이전트들은 정밀도를 속도와 교환해야 한다.

경쟁이 시작되었다

연구자들의 평가에서는 40개의 LLM-코딩 에이전트와 17개의 인간-코딩 에이전트를 비교하였다. 각 에이전트는 다른 네 가지 도로 네트워크 토폴로지에서 두 번씩 경쟁하였다.

이 설정은 총 38,304개의 매치를 생성하였다. 각 매치에서는 50개의 배달 작업이 경매되었으며, 작업은 무작위로 도로 레이아웃에 할당되었다.

토너먼트에서 사용된 간소화된 도로 네트워크: 영국(상단 왼쪽), 스위스(상단 오른쪽), 네덜란드(하단 왼쪽), 프랑스(하단 오른쪽). 파란색과 빨간색 사각형은 픽업과 배달 작업을 나타낸다. 색상 삼각형은 에이전트의 차량 위치를 나타낸다.

학생 에이전트들은 2020년 코스 토너먼트에서 선정되었다. 8개의 에이전트는 단일 탈락 토너먼트의 상위 수행자로부터 선정되었으며, 4개의 에이전트는 기준 에이전트와의 대결에서 강한 성과를 보인 에이전트들로부터 선정되었다.

기준 에이전트들은 고정된 휴리스틱을 따랐다. 나이브는 총 거리를 계산하고 입찰하였다. ExpCostFixedBid는 10개의 무작위 작업을 시뮬레이션하고 평균 변동 비용을 입찰하였다. 어머니는 실제 변동 비용을 계산하였다. 모델 오포넌트는 동일한 작업을 수행하였으며, 최대 입찰을 하였다. 리스크 시킹은 시간 감소하는 이전과 실시간 비용 추정을 결합하여 입찰하였다.

평가는 40개의 LLM-코딩 에이전트를 포함하였다. 각 모델은 다섯 가지 다른 전략으로 프롬프트되었다.

두 가지 전략은 정적 프롬프트를 사용하였으며, 다른 하나는 모델이 자신의 출력을 수정하도록 하였다. 마지막 전략은 GPT-4를 사용하여 이전 접근 방식을 검토하여 새로운 프롬프트를 생성하였다.

기본 프롬프트는 원래 학생 과제를 반영하며, 모델에게 입찰하고 계획하여 최대 이익을 얻도록 지시하였다.

모든 LLM 에이전트들은 자체적으로 버그를 수정하기 위해 프롬프트되었다.

공통적인 LLM 실패에는 타임아웃, 작업을 उठ거나 배달하지 못하는 경우, 및 차량 용량 제한 위반이 포함되었다.

‘또한 우리는 LLM이 일관되게 버그를 해결하지 못하는 경우를 발견하였다(주로 Gemini, Claude, 및 DeepSeek에서). 예를 들어, 에이전트가 일관되게 타임아웃이 발생하거나, 버그를 해결하기 위해 여러 번(예: 5-15번) 프롬프트를 받았음에도 불구하고, 업데이트된 코드 버전을 받았다.’

‘이러한 상황에서 유일한 해결책은 처음부터 다시 시작하는 것이다. 우리는 버그가 없는 코드를 얻기 위해 상당히 많은 에이전트를 생성해야 했다.’

결과는 12개의 더블 라운드 로빈 토너먼트에서 요약되었다.

각 에이전트는 112번의 매치를 수행하였으므로, 평균 승리 또는 패배 수의 최대값은 112이다. 표준 편차는 토너먼트 간의 변동성을 반영한다. 인간 코딩 에이전트는 볼드체로 표시되어 있다. LLM-코딩 에이전트는 모델(GPT-5 Thinking, Gemini 2.5 Pro, Claude Opus 4.1, DeepSeek R1)을 나타내는 문자와 두 자리 문자 코드 및 생성된 에이전트 번호로 표시된다. 출처

위의 결과에 대해 연구자들은 다음과 같이 말한다:

‘LLMs는 기대되는 코드를 생성하지 못했다. 이것은 LLMs의 새로운 약점을 강조한다.’

‘우리의 결과는 인간 코딩 에이전트의 명확한 우위를 보여준다. 상위 5개의 자리는 일관되게 학생 에이전트가 차지하며, 대부분의 LLM 에이전트(33개 중 40개)는 매우 간단한 기준 에이전트에 의해 패배한다.’

‘또한 우리는 학생 코드를 디버깅하지 않았으며, LLM 코드를 철저히 테스트하고 디버깅하였다. 학생 에이전트가 충돌할 때마다, 우리는 자동으로 LLM 에이전트에게 승리를 주었다. 많은 충돌은 쉽게 수정할 수 있었을 것이다. 따라서 학생 에이전트는 잠재적으로 더 높은 순위를 차지할 수 있었다.’

추가 실험으로, GPT-5 Thinking은 최상위 수행 에이전트인 학생 1의 코드를 개선하도록 프롬프트되었다. 그러나 LLM-수정된 에이전트는 10위로 떨어졌으며, 이는 모든 인간 에이전트 중 가장 낮은 순위였다. LLM의 변경은 원래 솔루션을 약 20% 낮췄다.

연구자들은 다음과 같이 결론을 내린다:

‘우리의 결과는 LLM 코드 생성의 중요성을 강조한다. 그러나 LLMs는 여전히 코드 생성의 한계를 가지고 있다. 우리는 코드가 컴파일되는 것보다 코드가 경쟁하는 것을 목표로 해야 한다.’

결론

연구자들은 바이브 코딩이 기술적인 배경과 상관없이 모든 사람에게 힘을 실어주는 것으로 간주하며, 이는 긍정적인 측면이다. 그러나 바이브 코딩의 한계는まだ 알려지지 않았으며, 현실적으로 기대할 수 있는 것보다 더 높을 수 있다.

그들은 ‘컴파일되는 코드에서 경쟁하는 코드로‘의 목표를 설정하면서 논문을 마무리한다.

이 논문을 읽는 독자들은 연구자들이 강력한 도전 과제를 설정했는지, 아니면 너무 약한 도전 과제를 설정했는지 궁금해할 수 있다.

* 논문은 ‘DeepThink R1’을 계속 언급하지만, 이는 존재하지 않는 것으로 보인다. 이는 다른 저자들이 ‘DeepSeek R1’을 잘못 작성한 것으로 추정된다. 이것이 나의 오류라면, 프로필 세부 정보를 통해 연락주시기 바랍니다. 그리고 나는 이를 수정할 것입니다.

^† 저자의 강조, 나의 것이 아님.

最初에 2025년 11월 26일에 게시되었으며, 17:35 EST에 형식으로 수정되었습니다.