Anderson의 관점
Claude Fable에서 하위 모델로 전환해도 금지 기간 개발 생산성에 미친 영향은 거의 없었다

핵심 포인트더 높은 점수를 받은 Claude Fable 5에 대한 접근은 병합률을 단지 1.4퍼센트포인트 높였습니다.
더 보기
- 더 높은 점수를 받은 Claude Fable 5에 대한 접근은 병합률을 단지 1.4퍼센트포인트 높였습니다.
- 다섯 번의 Claude 업그레이드는 병합된 풀 리퀘스트나 주간 완료된 변경에서 유의미한 향상을 만들어내지 못했습니다.
- 개발자들이 할당하는 작업이 이미 이전 모델들의 능력 범위에 속해 있을 때에는 벤치마크 점수는 거의 의미가 없습니다.
새 AI 모델이 이전 모델보다 성능이 향상됐는지 정확히 평가하기란 매우 어렵다. 생산성 향상이 반드시 무엇을 의미하는지 정의하는 것조차 쉽지 않다. 새 버전은 한 영역에서 개선을 보이는 동시에 다른 영역에서는 성능이 저하될 수 있기 때문이다. 이는 기존 소프트웨어와 프레임워크에서도 마찬가지다. 때로는 사람이 자발적으로 선택한 절충의 결과지만, 때로는 ‘부수적 피해’이기도 하다.
‘공정한 경쟁’을 전제로 한 이야기다. 개발자들이 벤치마크에서 더 나은 성능을 내도록 소프트웨어를 조작한 사례는 많다. 때로는 소프트웨어가 테스트 중임을 알아차리고 일시적으로 작동 방식을 바꿔 더 높은 점수를 받게 하기도 한다. AI 모델 역시 평가받고 있다는 사실을 알아차리고 다르게 행동할 수 있다. 그런 목적으로 의도적으로 설계되지 않았더라도 마찬가지다.
더 의미 있고 정직한 지표를 찾기 위해 개발자들은 종종 사이먼 윌리슨의 정성적 자전거를 타는 펠리컨 챌린지처럼 자체적인 비공식 기준을 세운다. 이 챌린지에서는 시각 언어 모델(VLM)에 학습 데이터에 없는 무언가를 만들어 내도록 요청하는데*, 모델은 대체로 좋은 성과를 내지 못한다. 다만 2026년 들어서는 다소 나아졌다:

사이먼 윌리슨의 지표는 VLM에 자전거를 타는 펠리컨의 모습을 상상해 보라고 요청한다. 최근 AI는 약 18개월 전의 우스꽝스러운 결과와 비교하면 이 과제를 훨씬 잘 해내게 됐다. 하지만 이 챌린지가 이제 학습 데이터에 포함됐기 때문일 수 있다는 의견도 있다. 출처
그러나 벤치마크는 설계 당시 측정 대상으로 삼은 특정 역량만 평가할 수 있다. 결과가 신뢰할 만하더라도, 그러한 역량이 일상적인 사용에서 얼마나 중요한지, 또는 점수가 높아지면 완료하는 작업량도 늘어나는지는 여전히 분명하지 않다.
코딩 모델의 경우, 개발자가 한 모델에서 다른 모델로 바꿨을 때 산출물에 어떤 변화가 생기는지 살펴보면 이를 조사할 수 있다.
수행 [the Same] 적은 자원으로
올해 6월, 백악관의 19일간 사용 금지 조치로 Claude Fable을 사용할 수 없게 되면서 연구자들은 이례적으로 명확한 테스트 환경을 얻었다. GitHub에 풀 리퀘스트(PR)를 제출하는 개발자들이 Claude의 성능이 더 낮은 버전으로 전환했기 때문이다. Claude의 모든 버전이 PR에 공동 서명하고, GitHub API를 통해 해당 정보를 검색할 수 있으므로 이 데이터는 누구나 자유롭게 이용할 수 있다.
이 기회는 새 연구에서 활용됐다. 하버드 대학교 연구진은 Fable 5 사용자 297명의 금지 조치 전후와 시행 기간의 작업을 추적하고, 이전 모델인 Opus 4.8을 계속 사용한 개발자 8,908명의 작업과 비교했다.
앞서 Fable 5는 SWE-Bench Pro 코딩 벤치마크에서 Opus 4.8보다 거의 11점 높은 점수를 받은 바 있다. 그러나 하버드 연구에서 Fable 5에 대한 접근 권한은 제출된 코드 변경 사항이 7일 이내에 GitHub 프로젝트에 반영되는 비율을 겨우 1.4퍼센트포인트 높이는 것과 관련이 있었다. 논문은 이 차이가 사실상 반올림 오차 수준이라고 주장한다. 더 광범위한 분석에서도 다른 최신 AI 모델로 업그레이드해 생산성이 유의미하게 향상된다는 결과는 나오지 않았다:
‘결과에 따르면 Fable 5에 접근할 수 있었던 경우 병합률은 겨우 1.4퍼센트포인트 변했으며, 그 변화는 통계적으로 [significant] 유의미하지 않았다. 또한 2026년에 있었던 8건의 모델 업그레이드 중 5건을 분석한 결과, 업그레이드 이후 병합률은 상승하지 않았다[either].
‘마찬가지로 개발자들이 주당 병합한 풀 리퀘스트 수도 늘지 않았다. 이러한 결과는 현재 코딩 벤치마크에서 얻은 성과가 실제로 완료한 작업량 증가로 이어지지 않았음을 보여 준다.’
2026년의 업그레이드 5건을 대상으로 개발자 1,208명과 제안된 코드 변경 사항 15,000건 이상을 분석한 결과, 제출된 코드의 병합률이나 매주 성공적으로 완료한 변경 사항 수에서 통계적으로 유의미한 개선은 발견되지 않았다.
논문은 GitHub 병합이 생산성을 완벽하게 측정하는 지표는 아니라고 인정한다. 그렇더라도 이번 금지 조치는 실제 업무 환경에서 모델 전환의 영향을 평가할 수 있는 매우 드문 기회를 제공했다. 이는 전 세계적으로 큰 관심을 끌지만 기업의 정보 공개가 가능한 한 제한적인 분야에서 이루어진 일이었다.
이러한 사례에서 실증적 기준을 세우기가 어렵다는 점을 인정하며, 새 연구†는 다음과 같이 설명한다:
‘새 모델을 가장 먼저 사용하는 사람들은 경험이 더 많을 수 있다. 따라서 개발자 간 생산성을 비교할 때 그 차이가 모델 때문인지, 모델을 사용하는 사람들 때문인지 알 수 없다. 같은 사람들을 관찰하더라도, 서로 다른 모델에 같은 작업을 맡기는지는 알 수 없다.
‘예를 들어, 어떤 사람들은 가장 어려운 작업에는 Fable 5를 사용하고, 더 쉬운 작업에는 성능이 낮은 모델로 바꿔 쓸 수 있습니다. 더 어려운 작업을 가장 강력한 모델에 맡긴다면, 거의 어떤 지표를 사용하더라도 그 모델의 생산성이 낮아 보일 수 있습니다. 어려운 작업은 시간이 더 오래 걸리고 병합될 가능성도 낮기 때문입니다.’
논문은 이전 연구의 결과가 왜곡된 데에는 대부분의 코드 변경이 기여 수락 기준이 저마다 다른 소수의 프로젝트에서 나왔다는 점도 영향을 미쳤다고 주장합니다. 또한 이러한 차이 때문에 생산성 향상이 실제로 최신 모델로 업그레이드한 결과인지 확인하기 어려웠다고 지적합니다.
연구 방법
주요 실험††에서는 연구에서 Fable 5 사용자로 확인된 개발자 297명의 GitHub 풀 리퀘스트를 네 기간으로 나눴습니다. 모델이 출시된 6월 9일 이전, 모델을 사용할 수 있었던 3일 동안, 19일간의 사용 중단 기간, 그리고 7월 1일에 접근이 복구된 이후입니다.
이들의 병합률을 이전 모델인 Opus 4.8을 사용한 것으로 확인된 개발자 8,908명의 병합률과 비교해, 사용 중단과 관련된 변화를 GitHub 활동 전반의 변동과 구분할 수 있도록 했습니다.
이 비교에서는 사용 금지 조치가 없었다면 두 그룹의 병합률이 비슷한 양상으로 변했을 것이라고 가정했습니다. 개별 개발자 간 차이와 일별 변동을 통계 분석에서 고려하면서 두 그룹의 병합률 변화를 비교했습니다.

Claude 모델 업그레이드와 Fable 5 사용 중단의 타임라인. 위쪽 패널에는 Opus와 Sonnet의 업그레이드 8건이 표시되며, 색칠된 원은 더 광범위한 연구에서 조사한 5건을 나타냅니다. 아래쪽 패널에는 사용 중단 기간이 PR 병합률에 미친 영향을 평가하는 데 사용한 네 기간이 표시되어 있으며, 사용 금지 기간을 기준 기간으로 삼았습니다. 보라색 선은 Fable 5를 사용할 수 있었던 시기와 사용이 중단된 시기를 나타내고, 회색 음영은 사용 금지 기간을 표시합니다. 사선 무늬 영역은 접근이 중단되거나 복구된 직후 제외한 날짜를 나타냅니다. 출처
데이터와 관련해서는 GitHub Search API를 사용해 Claude Code로 작성된 공개 GitHub PR을 확인했습니다. PR 설명에 자동으로 포함되는 ‘Generated with Claude Code’ 문구를 기준으로 삼았습니다. 코드의 커밋 기록에서 특정 모델명이 PR 설명으로 복사된 경우에는 사용된 Claude 버전을 확인할 수 있었습니다.
Fable 5 사용 중단과 이후 Claude 업그레이드 전후에 제출된 PR을 2025년 11월부터 2026년 10월까지 수집했으며, 가장 최근에 제출된 PR이 병합될 수 있도록 최소 4주의 기간을 두었습니다.
짧은 사용 가능 기간에 Fable 5를 사용한 개발자 297명을 주요 연구 그룹으로 선정했습니다. Fable 5 사용 기록은 없고 Opus 4.8을 사용한 개발자 8,908명은 대조군으로 삼았습니다.
생산성의 주요 지표는 제출된 코드 변경 사항 중 7일 이내에 GitHub 프로젝트에 수락된 비율이었습니다. 이를 통해 사용 중단 전후와 사용 중단 기간 동안 성공적으로 제출된 코드의 비율을 비교할 수 있었습니다. 추가 점검에서는 1시간 이내에 병합된 PR, 병합되지 않은 채 닫힌 PR, 받은 댓글 수, 이후 되돌려진 변경 사항, GitHub 자동 검사 실패를 살펴봤습니다.
검증 결과
Fable 5에 대한 접근이 중단됐다가 복구된 일은 측정 가능한 개발자 생산성 변화에 거의 영향을 주지 않았습니다. 최신 모델을 사용할 수 있었을 때 7일 이내에 병합된 PR의 비율은 1.4%포인트 증가하는 데 그쳤으며, 이 차이는 ‘통계적으로 유의하지 않은’ 것으로 판단됐습니다.

사용 금지 전후와 사용 금지 기간의 Fable 5 사용량 및 PR 병합률 비교. 왼쪽: Fable 5를 사용해 작성한 PR의 비율. 오른쪽: 6월 22~28일을 기준으로 한 7일 병합률의 변화. 점은 추정치를, 가로선은 95% 신뢰구간을 나타냅니다. 음영 처리된 행은 Fable 5를 사용할 수 있었던 기간을 표시합니다. 모델 사용량에는 큰 변화가 있었지만 병합률에는 거의 변화가 없었습니다.
또한 개발자 1,208명이 참여하고 코드 제출 건수가 15,000건을 넘은 Claude 모델 업그레이드 5건을 살펴본 결과, GitHub 프로젝트에 수락된 코드의 비율은 개선되지 않았습니다. 오히려 그 비율은 추정치 기준으로 0.9%포인트 소폭 하락했습니다.
최신 모델을 사용하는 개발자들이 주당 승인된 제출물을 단 2.4% 더 많이 완료하는 것으로 나타났지만, 이는 신뢰할 만한 개선이라고 판단하기에는 너무 작은 차이였다. 벤치마크 점수가 5~18점 상승한 경우에도 생산성이 유의미하게 향상되지는 않았다.
최신 모델은 GitHub의 자동 코드 검사에서도 더 나은 성능을 보이지 않았으며, 실패율은 사실상 변함이 없었다.
논문은 다음과 같이 결론짓는다:
‘벤치마크에서 Fable 5가 거둔 성과가 실제 업무 생산성 향상으로 이어지지 않은 주된 이유는 개발자들이 에이전트에 맡기는 작업이 이미 구형 모델도 수행할 수 있는 범위에 있기 때문이라고 가정한다.’
그리고 다음과 같이 덧붙인다:
‘우리의 연구 결과는 벤치마크 점수가 모델을 선택하는 사람들에게 별 의미가 없다는 기존 연구의 경고를 실제 업무를 통해 뒷받침한다. 해당 점수가 그 모델을 실제로 사용하는 업무를 측정한다는 근거가 없다면 말이다[describe].
‘규제 당국과 구매자가 벤치마크 점수[score]를 기준으로 모델이 얼마나 더 강력한지 판단한다면, 그들이 의존하는 차이는 사용자 생산성에는 나타나지 않을 가능성이 크다.’
결론
산업 시스템의 비즈니스 측면에서는 해마다 일관된 지표를 확보하는 일이 오랫동안 필수 요건이었지만, AI 분야에서 이를 현실을 정확히 반영하는 방식으로 재현하기란 특히 어렵다. 그 이유 중 하나는 벤치마크를 규정하는 ‘테스트 데이터’가 다음 모델의 학습 데이터에 들어가 테스트에 더는 쓸모가 없어지기까지의 속도가 빠르다는 점이다. 이 점만으로도 기업 벤치마킹과 일관된 과학적 테스트의 기준은 사실상 무너진다. 이러한 테스트에서 연구자들은 한때 확립됐지만 지금은 무의미할 수도 있는 지표를 무너뜨리는 데 의존하기 때문이다.
실제로 지난 10년 동안 컴퓨터 비전 연구 논문들이 ImageNet처럼 오래전에 시대에 뒤처진 표준을 계속 따르는 모습을 지켜보는 일은 놀라울 정도였다. 그 이유는 단지 그 표준의 기원이 아주 오래전으로 거슬러 올라가기 때문이다.
이 논문의 결과는 개발자들을 꽤 긍정적으로 보여 준다. 개발자들은 현재 이용할 수 있고 실제로 작동 중인 시스템이라면 무엇이든 유연하고 적응력 있게 받아들이는 사람들이다. 최신 AI든 직전 AI든 거의 같은 속도로 작업한다는 사실은, 당장 쓸 수 있는 도구가 무엇이든 상관없이 작업 소요 시간과 마감 기한에 맞춰 최적화하고 있음을 보여 준다.
* 최근 Hacker News 댓글 작성자 한 명이 지적했듯이, 이는 아마 더는 사실이 아닐 것이다. ‘Pelican on Bicycle’ 데이터가 이제 학습 데이터에 포함되어 테스트가 오염됐기 때문이다.
† ‘점수가 더 높은 코딩 모델이 더 많은 작업을 해내지는 않았다’라는 제목이다.
††연구에서는 다른 질문 두 가지도 제기하지만, 이 주제와 특별히 관련이 있거나 핵심 질문만큼 중요하다고 보지 않아 여기서는 다루지 않았다. 자세한 내용은 원문 PDF를 참조하기 바란다.
최초 게재일: 2026년 11월 18일 수요일












