Anderson의 관점

이상한 집착에 위협받는 AI 주도 과학의 발전

Martin Anderson
Unite.AI를 Google의 선호 소스에 추가
Nikola Tesla seated beneath his experimental high-voltage electrical apparatus in Colorado Springs, 1899. The famous photograph was created using a double exposure, allowing Tesla to appear calmly seated amid the electrical discharges. Source: Smithsonian.
핵심 포인트최신 AI 리뷰어들은 부록에 집착하는 반면, 인간 리뷰어들은 논문의 주요 연구 결과에 초점을 맞춘다.
더 보기
  • 최신 AI 리뷰어들은 부록에 집착하는 반면, 인간 리뷰어들은 논문의 주요 연구 결과에 초점을 맞춘다.
  • 언어 모델은 모든 구절을 똑같이 중요하게 취급하기 때문에 어떤 섹션이 실제로 중요한지 놓친다.
  • 부록 편향은 접근 방식 전반에서 지속되며, 저자들이 개선하는 데 거의 도움이 되지 않는 피상적인 피드백을 낳는다.

미국의 새 연구에 따르면 과학 논문을 검토하는 AI 모델은 논문의 본문보다 부록에 이상할 만큼 집착하는 경향을 보이며, 주요 연구 결과보다 사소한 보충 세부 사항에 더 많은 관심을 기울이는 경우가 많다. 언어 모델이 인간 심사자를 돕거나 심지어 대체하는 데 점점 더 활용되면서, 최근 확인된 이런 경향이 인간 동료 심사에도 퍼지고 있어 AI 연구의 발전을 저해할 가능성이 있다.

새 논문에서 살펴본 인간의 과학 논문 동료 심사에서 부록 관련 비판이 증가하는 추세. 수년간 11%를 밑돌던 비율은 부록에서 비판의 절반 이상을 제기하는 것으로 확인된 AI 모델이 출시된 뒤, 최근 심사에서 27.6%에 이르렀다. 점선은 주요 모델 출시 시점을 나타낸다.  출처 - https://arxiv.org/pdf/2611.17811

새 논문에서 살펴본 인간의 과학 논문 동료 심사에서 부록 관련 비판이 증가하는 추세. 수년간 11%를 밑돌던 비율은 부록에서 비판의 절반 이상을 제기하는 것으로 확인된 AI 모델이 출시된 뒤, 최근 심사에서 27.6%에 이르렀다. 점선은 주요 모델 출시 시점을 나타낸다.  출처

연구진은 인기 학회 4곳에서 선정한 과학 논문 2,000편을 대상으로 시험한 결과, 최신 모델은 비판의 약 50~70%를 부록에서 제기하는 반면, 구형 GPT-5는 30% 미만인 것으로 확인했다.

인간 심사자들마저 부록에 주목하고 더 중요한 주요 연구 결과에서 멀어지게 하는 것으로 보이는 최신 AI 모델 가운데 특히 두드러지는 것은 OpenAI의 GPT-6.1-Sol과 GPT-6-Astra로, 두 모델 모두 2026년에 출시됐다.

논문은 다음과 같이 밝힌다*:

‘세대 간 차이는 크다. GPT-5의 경우 부록과 관련된 약점은 일부에 불과하다. 두 최신 모델인 GPT-6.1-Sol과 GPT-6-Astra는 부록에 훨씬 더 크게 의존하며, 이런 경향은 모든 학회에서 나타난다.

‘이는 부록에 치우치는 편향이 주로 최신 모델의 특성임을 시사한다. 새 모델들이 성능 면에서 개선되기는 했지만, 부록에 대한 편향은 커졌다. 논문을 자세히 읽을 수 있게 됐다고 해서 어떤 부분이 가장 중요한지까지 알게 된 것은 아니다.’

연구에 따르면 AI가 논문을 입력받는 방식에 따라 부록에 대한 집착에도 차이가 있다. API, Codex, 웹 인터페이스는 PDF를 서로 다른 방식으로 처리한다. Codex는 평균 길이의 PDF에서 중간 부분을 전혀 읽지 않고, 필요한 경우에만 나중에 ‘조각조각’ 살펴본다. 그러나 모든 방식에서 부록 내용을 더 중시하는 경향이 확인됐다.

최근까지만 해도 인간 심사와 AI 심사에는 이런 공통된 집착이 없었다:

‘[Human] 심사자들은 본문과 보충 자료를 LLM과는 매우 다르게 다룬다. LLM은 약점의 50% 이상을 부록 관련 내용으로 분류하는 반면, 인간 심사자는 10% 미만으로 분류한다.

‘심사 건별로 살펴봐도 차이가 드러난다. 2021년부터 2024년까지 매년 표본으로 선정한 논문 200편 가운데, 부록과 관련된 약점을 하나라도 지적한 인간 심사를 받은 논문은 모두 합쳐 159편뿐이었다. 반면 ICLR 2027의 LLM 생성 심사평은 200건 모두 부록에 대한 비판을 하나 이상 포함했다.’

인간 및 AI가 작성한 동료 심사평에서 부록 관련 비판 비교. 인간 심사자들은 확인된 약점 가운데 8.4%만 부록 내용에 해당한다고 본 반면, AI 모델은 62%를 부록 내용에 해당한다고 봤다. 두 번째 열은 본문에는 이에 상응하는 문제가 없고 부록에만 해당하는 비판을 나타낸다.

인간 및 AI가 작성한 동료 심사평에서 부록 관련 비판 비교. 인간 심사자들은 확인된 약점 가운데 8.4%만 부록 내용에 해당한다고 본 반면, AI 모델은 62%를 부록 내용에 해당한다고 봤다. 두 번째 열은 본문에는 이에 상응하는 문제가 없고 부록에만 해당하는 비판을 나타낸다.

위 시험 표에서 보듯, AI 심사자는 인간 심사자보다 부록의 약점을 지적할 가능성이 7배를 넘었고, 보충 자료만을 대상으로 비판을 제기할 가능성도 3배를 넘었다. 이는 최신 프런티어 AI 모델 가운데 일부가 이제 인간 심사자라면 전통적으로 논문의 주요 과학적 기여보다 부차적이라고 여길 세부 사항을 우선시하고 있음을 보여준다.

왜일까?

현재까지 파악된 바로는(이 증후군을 확인한 첫 연구다), 문제의 일부는 AI가 논문의 부록은 일반적으로 핵심 내용을 담는 곳이 아니라는 점을 이해하지 못하거나 방대한 학습 자료를 통해 배우지 못했다는 데 있다. 모든 텍스트를 똑같이 중요하게 취급하는 일반적인 경향 탓에 부록 내용의 맥락을 놓치는데, 부록은 정리되지 않은 경우가 많고 본문보다 훨씬 거칠게 제시되기도 한다:

‘LLM은 논문이 문제를 설정하고 그 문제가 왜 중요한지 설명하는 서두 부분을 거의 비판하지 않는다. 인간 심사자는 바로 이런 문제 설정에 자주 이의를 제기하지만, LLM은 이를 받아들이고 수치로 넘어가는 듯하다.

‘[Humans and LLMs] 부록을 읽는 방식은 크게 달랐다. 부록이 이어질수록 인간의 비판은 빠르게 줄어들어 마지막 몇 페이지에서는 거의 사라진다. 반면 LLM의 약점은 전혀 줄어들지 않는다. 오히려 부록의 초반부가 아니라 상당히 뒤쪽에서 LLM의 약점이 가장 두드러지며, 인간 심사자가 거의 우려를 제기하지 않는 30페이지 이후에도 계속 나타난다.’

‘LLM에게는 25페이지에 있는 세부 사항도 논문의 핵심 결과 표만큼이나 정당한 비판 대상이다.’

저자들은 텍스트를 평등하게 다루는 LLM의 접근 방식 때문에 부록의 내용에 더 집중하게 되었을 가능성이 있다고 지적한다. 앞서 언급했듯이 부록에는 오류가 더 많은 경향이 있기 때문이다.

따라서 이 새로운 연구에서 얻은 큰 그림은, 과학 논문의 한 부분에서 오류나 혼동이 상당히 자주 발생하는 경향이 있기 때문에 LLM이 시간이 지나면서 그 부분에 주목하게 되었다는 것이다. 그 부분은 인간 저자들이 부차적인 증명과 근거를 정리되지 않은 채 쏟아 넣는 곳으로 자주 취급한다.

이 때문에 AI는 잘 다듬어진 본문보다 부록에 점점 더 흥미를 느낀다. 부록에는 분석하고 바로잡을 내용이 더 많기 때문이다. 따라서 논문은 LLM이 논문의 앞부분을 사실을 전달하는 내용으로 여기고 액면 그대로 받아들이는 경향이 있다고 설명한다:

‘인간은 본문만으로도 논문이 성립해야 한다고 보기 때문에, 핵심 내용을 부록으로 옮기면 이에 이의를 제기한다. LLM은 이런 문제를 거의 제기하지 않는다.’

‘이는 중요한 차이를 보여 준다. 인간은 부록보다 본문에 더 큰 비중을 두지만, LLM은 그렇지 않다.’

결과와 해결 방안

사소한 세부 사항에 예상치 못하게 집중하는 현상은 AI를 활용한 과학 연구에 심각한 영향을 미칠 수 있으며, 특히 논문의 주요 연구 결과가 간과될 경우 그렇다. 이런 경향은 최신 모델에서야 나타난 것으로 보이므로 장기적인 영향은 아직 알려지지 않았다.

논문은 AI 심사자가 부록 깊숙이 묻힌 오류도 찾아낼 수 있다는 점에서 유용하다고 인정한다. 그러나 논문의 주요 연구 결과를 희생하면서까지 사소한 세부 사항에 지나치게 많은 주의를 기울일 수 있다고 경고한다. 그 결과 실질적인 가치가 거의 없는 장황한 심사평이 나올 수 있다:

‘LLM 심사자는 논문의 모든 부분을 빠짐없이 살펴보기 때문에 심사 기준을 높인다. 하지만 효과적인 심사를 위해서는 무엇이 가장 중요한지 판단하는 능력도 필요하다. 심사평의 약점 대부분이 논문의 핵심 기여와 관련 없는 부록 내용에서 비롯되면, 피드백은 피상적인 수준에 머문다. 논문의 핵심을 다루지 못하고 저자가 논문을 개선하는 데도 별다른 도움이 되지 않는다.’

새 연구의 저자들은 AI Reviews Are Biased Towards the Appendix라는 제목의 논문을 진행하게 된 계기로, LLM의 지원을 받아 작성되거나 생성된 심사평이 자신들의 논문 제출물을 평가하는 방식에서 몇 가지 이상한 양상을 발견했다고 밝혔다. 연구 코드는 GitHub에서 확인할 수 있다.

방법과 실험

실험에는 OpenAI와 Anthropic의 주요 AI 모델 4종인 GPT-6-Astra, GPT-6.1-Sol, Claude-Opus-5.5, Claude-Sonnet-5.5를 선정했다. 모델은 Codex와 Claude Code를 통해 사용했으며, 이들의 심사 행태를 API 및 웹 인터페이스를 통한 접근 방식과 비교했다.

연구 논문은 인공지능과 자연어 처리 분야의 주요 학회 4곳인 ACL 2026, EMNLP 2026, COLM 2026, ICLR 2027에서 수집했다. 이 학회들은 제출 및 심사 형식이 비슷하고, 본문에는 엄격한 분량 제한을 두지만 참고문헌 뒤에 배치되는 부록은 대체로 분량을 제한하지 않는다는 점에서 선정됐다.

총 2,000편의 논문을 살펴봤다. 이 가운데 1,200편은 ICLR 2021–2026에서, 800편은 최근 4개 학회에서 선정했으며, 각 학회에서 200편씩 뽑았다. 최근 학회에서 선정한 800편에는 모두 15페이지 이상의 부록이 있었다. ICLR 2027에 제출된 논문은 이미 익명 처리되어 있었고, ACL, EMNLP, COLM 논문에서는 저자 이름, 소속, 이메일 주소, 신원을 식별할 수 있는 링크를 삭제해 AI 심사자에게 저자가 드러나지 않도록 했다.

모델의 인터넷 접속을 차단해 심사평이 제공된 PDF만을 바탕으로 작성되도록 했다.

먼저 AI에 해당 학회의 심사 방식에 따라 논문의 강점과 약점, 종합 점수를 다루는 심사평을 작성하도록 요청했다. 실제 심사자가 AI를 사용할 때의 상황을 반영하기 위해 지침은 의도적으로 간단하게 제시했다. 그런 다음 논문과 완성된 심사평을 같은 AI 모델에 다시 제공하고, 각 비판이 논문의 어느 부분을 가리키는지 파악하도록 요청했다. 이를 위해 원문 논문과 비판 내용을 나란히 놓고 살펴봤다:

연구에서 사용한 3단계 심사 절차. 부록이 15페이지 이상인 논문을 4개 학회에서 선정하고, AI 모델의 심사를 받기 전에 익명 처리했다. 이후 각 심사평을 원문 논문과 대조해 개별 비판이 관련된 부분에 배정했다.

연구에서 사용한 3단계 검토 절차. 네 개 학회에서 부록이 15페이지 이상인 논문을 선정해 익명 처리한 뒤 AI 모델로 검토했다. 그런 다음 각 검토 내용을 원 논문과 대조하고, 개별 비판을 해당 비판이 겨냥한 논문 구역에 배정했다.

이러한 과제를 분리함으로써, 추가 지시가 원래의 검토 내용에 영향을 미치지 않은 상태에서 논문의 어떤 부분이 비판을 받았는지 살펴볼 수 있었다.

지금까지 논의하지 않은 결과 중에는 LLM이 생성한 검토에서 약점이 어디에서 비롯되는지 저자들이 시험한 내용도 있다.

네 개 학회에서 AI가 생성한 검토가 약점을 지적한 위치를 비교한 결과. 초록색은 본문에 대한 비판, 빨간색은 부록과 관련된 비판을 나타내며, 빗금 친 영역은 부록만을 겨냥한 비판을 나타낸다. 거의 모든 시험에서 비판의 절반이 넘는 비중이 부록 자료에 대한 것으로 분류됐으며, GPT-6-Astra에서 편향이 가장 크게 나타났다.

네 개 학회에서 AI가 생성한 검토가 약점을 지적한 위치를 비교한 결과. 초록색은 본문에 대한 비판, 빨간색은 부록과 관련된 비판을 나타내며, 빗금 친 영역은 부록만을 겨냥한 비판을 나타낸다. 거의 모든 시험에서 비판의 절반이 넘는 비중이 부록 자료에 대한 것으로 분류됐으며, GPT-6-Astra에서 편향이 가장 크게 나타났다.

위에서 보듯, 네 AI 모델 모두가 제기한 비판 가운데 절반가량 또는 그 이상이 부록의 자료를 근거로 했으며, 이러한 양상은 네 학회 모두에서 나타났다. 비판 중 일부는 본문과는 무관하게 부록만을 전적으로 겨냥했으며, GPT 모델에서 지적된 약점의 17.33%를 차지했다. Claude의 경우 이 비율은 10.16%였다.

논문은 그 결과, 부록 자료에 지나치게 많은 주의가 쏠렸으며 비교적 사소한 세부 사항이 때로는 논문 전체에 대한 비판의 근거로 취급됐음을 시사한다고 설명한다.

부록에 대한 편향이 AI에 어떤 방식으로 접근했는지에 따라 달라지는지 확인하기 위해 접근 방법별로 비교했다. GPT-6-Astra를 사용해 ICLR 2027에 제출된 논문 100편을 Codex, ChatGPT 웹 인터페이스, 그리고 원본 PDF 또는 그 추출 텍스트를 제공한 API를 통해 검토했다.

Codex에서는 명령어를 통해 텍스트를 추출하고 검토했다. API에는 PDF 전체 또는 추출된 텍스트를 직접 제공했고, 웹 인터페이스에서는 업로드한 문서를 자체적인(작동 방식이 공개되지 않은) 시스템으로 처리했다.

AI 모델 및 접근 방식별 부록 관련 비판 비교. 왼쪽은 네 개 학회에서 GPT-5가 최신 GPT 모델보다 훨씬 낮은 빈도로 부록 자료를 인용한 것으로 나타난 결과다. 오른쪽은 GPT-6-Astra에 접근하는 네 가지 방법 모두에서 편향이 지속됐음을 보여준다. 전체 비판 중 부록 관련 비판은 62.2%에서 73.7%를 차지했다. 빗금 친 영역은 부록만을 겨냥한 비판을 나타낸다.

AI 모델 및 접근 방식별 부록 관련 비판 비교. 왼쪽은 네 개 학회에서 GPT-5가 최신 GPT 모델보다 훨씬 낮은 빈도로 부록 자료를 인용한 것으로 나타난 결과다. 오른쪽은 GPT-6-Astra에 접근하는 네 가지 방법 모두에서 편향이 지속됐음을 보여준다. 전체 비판 중 부록 관련 비판은 62.2%에서 73.7%를 차지했다. 빗금 친 영역은 부록만을 겨냥한 비판을 나타낸다.

위에서 보듯, 네 가지 방법 모두에서 비판의 62.2%에서 73.7%가 부록 관련 자료를 인용했다. 추출된 텍스트를 API에 직접 제공했을 때 그 비율이 가장 높았다. 따라서 모델에 어떤 방식으로 접근하든 편향이 지속되는 것으로 나타났다.

다른 시험의 대부분은 이미 이 글 앞부분에서 소개했으며, 자세한 내용은 원자료를 참고하기 바란다.

논문 제출의 꼼수

새 연구의 주제가 저자들에게 개인적으로 중요한 만큼 나에게도 그렇다. 나는 과학 논문을 자주 읽으며, 논문을 작성하고 제시하는 방식을 좌우하는 숨은 규칙과 규칙을 무력화하는 방법을 뼈저리게 배워 왔다.

AI가 부록에 주의를 기울이는 것 자체가 잘못은 아니다. 그 이유가 적절하지 않더라도, 저자들이 논문의 ‘숨은 함정’을 부록에 감춰 두는 경우가 많기 때문이다. 그런 요소나 결과는 본문에서 제시한 주장을 거의 무효화하거나, 그 주장의 적용 범위를 크게 제한할 수 있다.

저자들이 중요한 내용을 부록으로 옮기는 것도 반드시 잘못이라고 할 수는 없다. 새 연구에서 자료 출처로 활용된 곳과 같은 유명 학술지의 논문 양식은 논문 본문에 페이지 수나 단어 수의 상한을 정해 두기 때문이다.

복잡한 연구 결과를 보고할 때 많은 저자는 이를 분명 심각한 제약으로 여긴다. 내가 ‘최악의 경우’라고 생각하는 상황에서는† 논문 본문이 지침을 피하려고 뒤쪽으로 옮겨 놓은 자료의 색인에 불과해진다(다만 지침도 이런 ‘꼼수’를 따라잡고 이를 금지하고 있다).

이 상황에서 점점 커지는 긴장은 저자들이 발표 내용을 절제하고 제한해야 한다는 기관의 요구와, 투고 논문 수가 늘어남에 따라 그 중요성이 더욱 커지는 요구, 그리고 연구자들이 자신들의 노고로 어렵게 얻은 성과를 그 노력에 걸맞다고 여기는 만큼 완전하고 포괄적인 맥락에서 제시하고자 하는 데서 비롯되는 명백한 좌절감 사이에 놓여 있다.

 

 

* 필자의 강조가 아니라 저자들의 강조다.

†검토할 논문을 선별할 때 내용을 부록으로 미뤄 둔 사실은 AI조차 파악하기 어려울 수 있다. 그러나 10페이지 분량의 평가에 시간을 배정한 검토자가 이제 같은 시간 안에 30페이지 분량의 자료를 검토해야 한다는 사실을 알게 되면 상당한 어려움을 겪을 수 있다.

최초 게시일: 2026년 11월 16일 월요일

머신러닝 분야 작가이자 인간 이미지 합성 도메인 전문가. Metaphysic.ai에서 연구 콘텐츠 책임자를 역임했으며, DNEG의 Brahma.ai로 통합될 때까지 근무했습니다.
웹사이트: martinanderson.ai
연락처: martin@martinanderson.ai