AI가 하다 만 작업을 이어받기 어려운 이유

AI 에이전트는 복잡한 작업을 해결할 수 있지만, 새로운 연구에 따르면 다른 주체가 시작한 작업을 이어 가는 데 어려움을 겪는다. 그 결과 노력이 중복되고 진행이 느려지며 비용이 늘어난다.

AI 에이전트와 인터페이스를 다룰 때 가장 피곤하지만 꼭 필요한 일 중 하나는 거의 매번 대화를 시작할 때 AI에게 현재 상황을 설명하는 것이다.

ChatGPT 같은 널리 쓰이는 언어 모델은 개인화된 정보를 지속적으로 기억하는 기능을 어느 정도 제공하지만, 실제 작동은 들쭉날쭉하다. 결국에는 AI가 작업의 맥락을 이해하도록 설명하는 수고*를 감수하는 편이 대체로 더 안전하다. 적어도 모델이 학습을 통해 형성한 잠재 공간에서 잘못된 맥락을 추측하는 일은 막을 수 있기 때문이다.

현실에서 다른 사람의 일을 이어받기

물론 이 문제는 AI가 등장하기 전부터 있었다. 많은 기업은 이미 직원에게 자신이 개발하거나 개선하는 절차를 문서로 남기도록 요구한다. 이는 일부는 새 직원의 업무 적응을 돕기 위한 것이지만, 직원의 협상력이 커지는 것을 막으려는 목적도 있다고 볼 수 있다.

그러나 실제로 문서를 작성하고 갱신하며 관리하겠다는 약속을 지키는 곳은 규모가 크고 자금이 더 넉넉한 조직인 경우가 많다. 다른 사람의 일을 이어받아야 하는 직원은 오히려 탐정 같은 임무를 맡는 일이 매우 흔하다. 자신에게 넘어온 미완성 작업에 이르기까지의 시간 흐름을 끈기 있게 역추적해야 하는 것이다.

문서가 완벽하다면 며칠, 몇 주, 심지어 몇 달의 일을 줄일 수 있다. 다만 그러한 문서 작성이 경제적으로 합리적이어야 한다.

그러나 AI 에이전트가 작업을 수행하는 주체라면 이 문제를 해결할 여지가 더 클 수도 있다.

작업 인수인계

미국의 새로운 연구 논문은 이처럼 문서가 없어 생기는 부담을 수치로 나타내고, 이를 인수인계 부채라고 부른다.

기술 부채가 오늘날 빠르고 임시방편으로 저렴하게 만든 기술적 해법 때문에 미래 시스템이 취약해지거나 유지 보수가 어려워지는 현상이라면, 인수인계 부채는 다시 파악하는 데 드는 비용을 뜻한다. 앞서 일한 사람이나 다른 주체가 남긴 흔적을 따라 작업 단계를 재구성하는 비용이다. 상대가 불화 속에서 해고됐거나 너무 바쁘거나 사망해 조언할 수 없을 수도 있고, 현재 작업 상태에 이른 맥락을 이미 잃어버린 대규모 언어 모델처럼 조언할 능력이 없을 수도 있다.

이 새 논문^†은 독립 연구자와 조지아주립대학교에 소속되거나 연계된 연구자들의 공동 연구로, 코딩 에이전트가 코드베이스에서 다른 세션, 사람 또는 주체가 멈춘 지점부터 작업을 이어받을 때 생기는 인수인계 부채를 다룬다.

목표 중 하나는 인수인계 부채를 줄이려면 어느 정도의 문서가 필요한지, 문제를 최소화하기 위해 앞으로 어떤 절차와 프로토콜을 표준 관행으로 권고할 수 있는지 밝히는 것이다.

예산 문제

이상적인 상황이라면 로그 기록을 상세 모드인 verbose로 설정하고 새로 작업을 이어받는 에이전트에게 미완성 작업과 관련된 로그를 그대로 제공하면 된다.

그러나 이렇게 많은 데이터에서 유용한 정보를 추출하려면 시간이 들고 토큰 예산도 소모되며 저장 공간의 제약도 고려해야 한다.

이는 분명 예산 문제다. 원시 덤프를 처리하는 일은 부담스럽고, 선별해 정리한 로그는 덜 혼란스럽지만 자원을 미리 투입해야 한다.

인수인계를 위해 따로 준비한 메모는 후임이 상황을 파악하는 데 매우 효과적일 것이다. 그러나 준비에 더 많은 노력이 든다. 작업의 논리가 결국 자명해지거나, 작업이 포기되거나, 다시는 수정되지 않는다면 그 노력은 전혀 필요하지 않을 수도 있다.

새 논문 Handoff Debt: The Rediscovery Cost When Coding Agents Take Over Interrupted Tasks의 저자들은 이 모든 상황을 고려하고, 인수인계 부채를 측정하고 해결하는 새로운 방식에 맞춰 기존 작업 모델을 조정했다. 코딩 에이전트에 초점을 맞춘 연구지만, 더 넓은 AI 활용과 문서화 정책의 운영에도 유용한 방향을 제시할 수 있다.

저자들은 다음과 같이 설명한다.

“인수인계 부채는 에이전트가 눈에 띄는 진전을 이루었지만 후임이 쉽게 이어 갈 수 없는 상태를 남길 때 발생한다. 설명 없는 수정, 임시 작업 파일, 숨은 가정, 검증 증거의 부재가 그 예다.

“최종 해결 여부만을 기준으로 하는 지표로는 비용이 많이 드는 재파악과 효율적인 작업 계속을 구별할 수 없다.

“두 전임 에이전트가 동일한 저장소 체크포인트를 남겨도 후임이 부담하는 작업 계속 비용은 크게 다를 수 있다. 한쪽은 즉시 계속할 수 있지만, 다른 쪽은 임시 파일과 불완전한 명령 기록에서 의도를 다시 파악하느라 도구와 여러 번 상호작용해야 한다.”

방법

저자들은 전임자를 작업을 처음 시작했거나 마지막으로 수행한 이전 에이전트로, 후임자를 현재 그 작업을 이어받도록 지정된 에이전트로 정의한다.

미완성 소프트웨어 엔지니어링 작업을 에이전트 사이에서 넘기는 비용을 측정할 벤치마크를 만들기 위해, SWE-bench Verified의 작업 75개를 181개의 인수인계 상황으로 바꾸었다. 각각은 작업이 중단되어 후임 에이전트에게 넘어가는 시점이다. 이어 서로 다른 후임 모델 세 종류를 2,172건의 작업 인수 시도에서 시험했다.

인수인계 테스트에는 다음 모델 계열을 여러 조합으로 사용했다. Qwen, Gemma, Devstral.

실험은 전달받는 정보의 수준을 네 단계로 나누었다. 가장 제한적인 조건에서 후임은 저장소 상태만 받았으며, 이는 문서가 없는 재난 현장에 들어서는 것과 같았다. 다른 조건은 활동 기록과 명령 이력부터 이미 시도하고 파악한 내용을 설명하는 짧은 요약까지 점점 더 자세한 맥락을 제공했다.

이 연구는 작업이 결국 해결됐는지만 보기보다 이어서 작업하는 비용 자체를 측정하도록 설계되었다. 도구 사용량, 토큰 소비량, 이전 작업의 추론을 재구성하는 데 필요한 노력을 살폈다.

실험에서는 세 가지 인수인계 발생 시점과 세 가지 인수인계 상태를 정의했다.

데이터와 테스트

현실적인 인수인계 상황을 만들기 위해 저자들은 SWE-bench Verified에서 소프트웨어 엔지니어링 작업 75개를 가져와 벤치마크를 구성했다. 보통 해결에 15분에서 4시간이 걸리는 문제에 초점을 맞췄다.

연구자들은 완료된 작업만 평가하지 않고 작업 도중 여러 중간 체크포인트를 기록해, 한 AI 에이전트가 다른 에이전트의 일을 이어받아야 하는 상황을 만들었다.

작업 인수 벤치마크의 구성. SWE-bench Verified 작업 75개를 세 작업 단계에 걸친 인수인계 지점 181개로 확장했다. 각 지점은 인수 시 저장소 상태에 따라 분류하고 네 가지 정보 공유 조건에서 평가해, 후임 에이전트의 작업 인수 실행 총 2,172건을 얻었다. 출처

작업 하나에서 여러 인수인계 지점이 생길 수 있고, 각 지점에서 네 가지 정보 전달 방식을 시험했으므로 벤치마크는 빠르게 확대됐다. 최종 데이터에는 서로 다른 인수인계 작업 181개와 후임 모델당 인수 평가 724회가 포함되어, 세 AI 시스템에서 총 2,172회의 작업 인수 실행이 이루어졌다.

테스트에는 OpenHands 방식의 코딩 에이전트 환경을 사용했다. 터미널 작업, 인수인계 시점의 저장소 상태 고정, 파일 편집, SWE-bench 공식 검증 기능을 갖춘 환경이다.

주 연구에서는 모든 인수인계 지점을 Qwen이 전임자로 작업한 실행에서 가져왔다. 여러 에이전트 조합과 다양한 상황의 차이를 평가할 때 출발점을 고정하기 위해서다.

시험한 인수 조합은 Qwen → Qwen, Qwen → Gemma, Qwen → Devstral이었다.

원시 실행 기록은 후임의 작업량을 가장 크게 줄여 에이전트 이벤트를 57–59% 감소시켰다. 요약 메모와 구조화된 메모는 이벤트를 20–46% 줄였다. 세 방식 모두 입력 토큰 사용량도 감소했으며, 감소율은 42–63%였다.

저장소만 전달하는 조건에서는 후임 에이전트가 전임자의 의도, 이전 증거, 실패한 접근법을 재구성하려고 추가 상호작용을 해야 했다. 원시 실행 기록, 요약 메모, 구조화된 메모는 정보를 직접 일부 전달하여 다시 파악해야 하는 양을 줄였지만, 그 대신 더 긴 초기 프롬프트가 필요했다.

효과가 실제인지 확인하기 위해, 맥락을 더 풍부하게 전달한 각각의 인수인계를 동일한 지점에서 시작하는 저장소만 전달한 경우와 짝지어 비교했다. 모든 모델 조합에서 맥락이 풍부한 인수인계는 후임에게 필요한 작업량을 일관되게 줄였다.

전체 이벤트 기록의 감소 폭이 가장 컸으며, 요약 메모와 구조화된 메모도 상당한 절감 효과를 보였다. 이러한 효과는 벤치마크 전반에 나타났으며 몇몇 특이 사례 때문이 아니었다.

소수의 특이 사례 때문에 효과가 나타난 것은 아닌지 확인하려고, 연구자들은 각각의 인수인계를 동일한 지점에서 시작하는 저장소만 전달한 경우와 비교했다. 감소 효과는 모든 모델 조합에서 일관되어, 몇몇 예외적인 사례가 아니라 의미 있는 패턴임을 보여 주었다.

핵심 내용…

요약하면^†, 저자들은 한 AI 에이전트가 다른 에이전트에게 작업을 넘길 때 단순한 메모만 있어도 후임이 더 효율적으로 작업을 계속할 수 있다는 사실을 발견했다.

완전한 이벤트 기록이 가장 효과적이지만, 어떤 인수인계 정보라도 후임이 코드만 보고 모든 것을 재구성하게 두는 것보다는 낫다. 위 결과는 원시 로그 전체를 사용하는 방식이 필연적으로 더 높은 토큰 비용을 수반한다는 점도 보여 준다.

결론

논문 자체는 동료 연구자만을 대상으로 하여 일반 독자에게는 매력이 제한적이지만, 이 새로운 연구는 현재 인간과 AI 사이의 인터페이스 및 프로토콜에서 가장 흥미롭고 시급한 문제 중 하나를 다룬다.

이러한 탐구에서 개발한 접근법과 얻은 통찰이 에이전트 코딩을 넘어 더 폭넓은 AI 활용 상황으로 확장되기를 기대한다.

향후 연구에서는 프로젝트의 특성과 용도에 따라 필요한 최소 문서화 수준을 평가하는 방법도 검토할 수 있다. 그러나 시간과 비용을 합리적으로 쓰도록 돕는 이 기능 자체에도 시간과 돈이 든다. 따라서 문서화가 안고 있는 예산 딜레마는 여전히 피하기 어렵다.

* 개인적으로, 응답 지연과 과도한 맥락으로 무거워진 ChatGPT 세션에서는 최근 대화 내용을 깔끔한 PDF로 내보내기 시작했다. 이 과정에는 다소 어려움이 있지만, PDF를 새 세션의 출발점으로 삼으면 그 세션이 ‘2부’가 된다.

^† 안타깝게도 이 논문은 올해 읽은 논문 중 가장 읽기 쉬운 것은 아니다. 그래서 원문을 읽어 보라고 권할 수는 없지만, 이해하기 쉽게 정리한 결과는 여전히 흥미롭다.

2026년 6월 3일 수요일 최초 게시