자신감 넘치는 과학 논문이 AI 심사자를 좌우한다 — 연구의 우수성과 무관하게

진화 과정에서 자신감은 뚜렷한 이점이며, 독일의 새로운 연구 논문에 따르면 과학 논문을 저자의 동료 연구자들이 아닌 대규모 언어 모델(LLM)이 심사할 때도 이점으로 작용한다. AI로 인한 생산성 향상 덕분에 과학 논문 수가 급증하면서 이런 방식은 점점 더 자주 필요해지고 있다.

새 연구에 따르면, AI, 즉 비인간 심사자는 연구 내용이 같더라도 자신감 있고 단정적인 어조로 쓰인 과학 논문에 일관되게 더 높은 점수를 준다. 때로는 표현만 바꿔도 논문이 거절에서 채택으로 바뀌기에 충분하다.

저자들은 다음과 같이 밝혔다.

‘우리의 실험은 LLM 심사자들이 [papers] 높은 확신을 드러내는 표현을 사용하는 것을 상당히 선호한다는 점을 보여준다. 특히 이러한 선호는 채택<>거부의 경계를 넘어 심사 결과를 뒤바꾸는 경우가 빈번해, 최종 심사 결과에 직접적인 영향을 미친다.

‘심사 점수뿐 아니라, 논문에 사용된 언어적 특징에 따라 심사에서 제기되는 쟁점의 빈도와 논조도 달라진다는 사실을 확인했다. 이는 최종 결정에 영향을 미칠 수 있다.’

아이러니하게도 저자들이 지적한 현상은 AI가 우리의 프롬프트와 질문에 답하면서 흔히 보이는 모습, 즉 ‘자신만만하게 틀리는’ 현상과 매우 비슷하다. 다만 여기서는 사람이 결정을 내리며, 논문에 기여한 과학자들이 실제로 자신의 주장을 믿는지와 관계없이 개인과 집단 모두에게 실질적인 책임이 따른다.

AI가 어떤 과학 논문을 게재할지 점점 더 많이 결정하게 되면, 과학자들은 경쟁에서 우위를 점하기 위한 전략으로 ‘더 자신감 있게 말하는’ 법을 익힐 수 있다. 특히 제출한 논문에 결함이 있을 때 그럴 가능성이 크다. 그 결과, 연구 수준이 낮은 논문이 정당한 근거 없이 점점 줄어드는 관심의 몫을 차지하게 될 수 있다.

허세로 승리를 거머쥐다

연구*에 따르면, AI 심사자는 자신감 있는 어조로 작성된 논문의 방법론, 이론, 과학적 기여를 더 높이 평가하는 경향이 있었다. 덜 단정적인 버전과 내용이 동일한 경우에도 마찬가지였다. 연구진은 과학 논문 504편을 서로 다른 문체로 고쳐 쓴 뒤 GPT-5.5, Claude Sonnet 4.6, Gemini 3.5 Flash를 포함한 AI 모델 6종으로 평가했다. 실제 투고 논문의 독특한 특징이나 특이점이 결과를 왜곡하지 않도록 논문을 인위적으로 수정한 버전을 만들어야 했다:

같은 과학 문단을 네 가지 문체로 다시 쓴 사례. 색상으로 표시한 부분은 글이 더 자신감 있게 또는 덜 자신감 있게 들리도록, 혹은 원어민이나 비원어민이 쓴 학술 영어에 더 가깝게 들리도록 바꾼 대목이다. 그러나 연구 결과와 수치는 바뀌지 않았다. 출처

논문은 2026년 ICLR 학회에 제출된 원고 중에서 선정했으며, 채택된 논문과 거부된 논문을 같은 수씩 포함했다. 그런 다음 Claude Opus 5가 각 원고의 과학적 내용은 그대로 유지하면서 더 자신감 있거나 덜 자신감 있는 어조로 다시 작성했다^†. 이에 따라 AI 심사 결과의 차이를 글쓰기 방식, 즉 표현된 자신감의 정도 차이로 볼 수 있었다.

연구 결과, AI 심사자는 근거가 동일한 경우에도 자신감 있는 표현으로 작성된 과학 논문에 더 높은 점수를 주었다. Claude Sonnet 4.6은 가장 강한 편향을 보여, 신중한 버전보다 자신감 있는 버전을 7배 더 자주 선호했다. 21%의 경우에는 자신감 있게 작성된 논문을 게재 승인하라고 권고하면서, 동일한 논문을 더 신중하게 표현한 버전은 거부하라고 했다.

새 연구는 다음과 같이 밝혔다.

‘우리의 연구 결과는 동료 심사에 LLM을 활용하는 데 중요한 우려를 제기한다. 내용이 같은 논문이라도 언어적 특성만으로 점수와 심사 의견이 달라진다면, 심사자의 판단은 과학적 수준만을 반영하는 것이 아니다.

‘따라서 LLM 심사자는 내용은 그대로 유지한 채 표현만 바꾼 논문으로 스트레스 테스트를 거쳐, 언어적 변화가 평가에 체계적으로 영향을 미치는지 확인해야 한다.’

저자들은 이러한 테스트에서 논문의 점수와 서면 심사 의견을 모두 명시적으로 살펴, 자신감 있는 표현을 더 강력한 과학적 근거로 오인하는지 확인해야 한다고 덧붙였다.

연구 방법

2026년 국제 표현 학습 학회(International Conference on Learning Representations, ICLR)에 제출된 논문 가운데 과학 논문 504편을 선정했다. 표본은 채택된 논문과 거절된 논문을 같은 수로 나누었으며, 학회의 연구 분야 21개 각각에서 제출 논문 24편을 추렸다.

3단계 테스트 방법. 과학 논문의 연구 결과는 그대로 유지하면서 영어 구사 능력이나 주장의 확신 정도가 다르게 보이도록 논문을 다시 썼다. AI 심사위원이 동일한 조건에서 평가하기 전에 수정본의 문체와 의미가 달라졌는지 확인했으며, 이후 심사 점수의 차이를 비교했다.

각 논문은 익명화한 뒤 Claude Opus 5를 사용해 다시 작성했다. 주장의 표현에 담긴 자신감의 정도와 작성자의 영어 구사 능력이 겉으로 드러나는 정도를 각각 시험하기 위해 여러 대안 버전을 만들었다. 자신감 시험에서는 문장을 더 단정적으로 또는 더 신중하게 표현했다. ‘자신감 있는’ 버전에는 ‘명백히’, ‘확실히’처럼 확신을 나타내는 단어를 더 자주 사용했고, 더 신중한 초안에는 ‘~일 수 있다’와 ‘시사한다’ 처럼 단정의 수위를 낮추는 표현을 주로 사용했다.

모든 경우에 과학적 주장, 증거, 결과, 전문 용어와 전반적인 구조는 바뀌지 않았다. 저자들은 다시 쓰기 지침이 특정 문체를 흉내 내라는 일반적인 요청이 아니라, 확립된 언어학 연구를 바탕으로 작성됐다고 밝혔다.

수정본 검증

검증을 위해 각 수정본을 원문과 비교했다. 문단의 의미가 유지됐는지를 평가하는 의미 유사도와 어휘 및 전문 용어가 보존됐는지를 측정하는 TF-IDF 유사도를 사용했다. 두 점수 모두 1에 가까워 원문과의 유사성이 높음을 확인했다:

다시 작성한 논문의 검증 결과. 확신에 찬 버전은 더 단정적인 표현을 사용했고, 신중한 버전은 불확실성을 더 많이 드러냈다. 1에 가까운 점수는 원문과의 유사성이 높음을 나타내며, 색상으로 강조한 부분은 각 측정 항목에서 더 높은 값을 표시한다.

AI 심사자 6종을 시험했다. 폐쇄형 모델은 GPT-5.5, Claude Sonnet 4.6, Gemini 3.5 Flash였고, 공개 가중치 모델은 Gemma 3, Qwen3 VL, GLM 4.7이었다. 이 모델들은 모두 지식 컷오프 날짜가 2026년 이전이라는 점도 고려해 선정했다. 이에 따라 논문의 게재 승인 여부를 미리 알고 있었을 가능성을 줄일 수 있었다.

각 수정 논문은 학회 심사 지침에 따라 독립적으로 평가했다. 반복 평가에서 점수가 얼마나 달라질 수 있는지 확인하기 위해 무작위로 선정한 논문 10편을 각 모델이 10회씩 심사했다.

결과

이번 테스트에서는 선정된 AI 심사위원 6종이 특정 문체를 일관되게 선호하는지 살펴봤다. 또한 ‘확신에 찬’ 표현이나 ‘신중한’ 표현을 사용한 논문, 그리고 원어민 또는 비원어민이 쓴 학술 영어와 유사한 논문을 비교했다^†.

서로 다른 문체로 다시 작성한 과학 논문 504편의 AI 심사 점수를 비교한 결과. 선호도 비율은 어느 버전의 점수가 더 높았는지 보여 주며, 괄호 안에는 동률인 경우를 표시한다. 비율은 한 버전이 다른 버전보다 얼마나 더 자주 선호됐는지를 나타내고, 판정 변경은 표현을 바꿨을 때 채택 또는 거부 판정이 뒤집힌 횟수를 보여 준다. 굵게 표시된 통계값은 유의한 차이를 나타낸다. 이 글에서는 위쪽 가설을 다루지 않으므로 아래쪽 항목이 관련 내용이다(각주 참조).

AI 심사위원 6종 모두 일관되게 확신에 찬 글쓰기를 선호했다. 가장 강한 선호를 보인 모델은 Claude Sonnet 4.6이었다. 앞서 언급했듯이 이 모델은 ‘신중한’ 초안보다 ‘확신에 찬’ 초안에 7배 더 자주 높은 점수를 줬다.

점수가 10점 만점에 4.5점에 도달하면 논문이 채택된 것으로 간주했다. 하지만 글쓰기 문체를 바꾸자 같은 논문이 이 기준을 넘거나 밑돌면서 판정이 뒤집히는 경우가 있었고, 이러한 판정 변경은 대체로 확신에 찬 글쓰기에 유리했다.

Claude Sonnet 4.6의 성능은 특히 좋지 않았다. 21%의 경우 ‘확신에 찬’ 버전은 채택하고 ‘신중한’ 버전은 거부했다. 반대의 경우는 2.8%에 불과했다.

이러한 효과는 서면 심사평에서도 나타났다. AI 심사위원은 주장이 확신에 차게 표현된 경우 논문의 방법론, 이론, 과학적 기여를 칭찬할 가능성이 더 높았다. 연구 자체는 달라지지 않았으므로, 이러한 호의적인 평가는 표현 방식과 어조의 차이로만 설명할 수 있었다.

결론

사람들이 (비록 의도치 않게라도) 신호 대 잡음비를 높이기 위해 AI를 사용할 때마다, AI는 해결책으로 시험대에 오른다. 여기서는 인공지능 연구 논문 투고가 크게 늘어난 상황에 대응하기 위해서다. 최근 투고 급증으로 Arxiv의 논문 선별 권한과 기준이 강화되었다. 그러나 이제는 최첨단 LLM과 그보다 낮은 모든 등급의 모델에 여전히 너무 많은 기이한 특성이 있어, 가장 엄격하게 매개변수를 설정한 상황이 아니라면 일반적인 심사자로 믿고 맡기기 어렵다는 점이 분명해졌을 것이다.

이런 경우에는 미세 조정이나 LoRA 어댑터를 활용해 소규모 LLM을 전용 심사 도구로 만드는 편이 더 나을 것이다. 다만 그렇게 하려면 약간의 추가 수고가 필요하고, 적지 않은 추가 투자가 들 수도 있다. 반면 ‘기본형’ 로컬 설치나 API 호출은 더 빠르고 비교적 저렴하다.

다소 간결하게 쓰인 이 논문은 그럼에도 LLM 최종 사용자에게 평균 이상의 관심을 끌 만하다. 이들은 AI를 효과적으로 활용하려면 ‘열정’이라는 골칫거리를 피해 가야 한다는 점을 이미 잘 알고 있을 것이기 때문이다. 이 문제를 비롯한 유사한 LLM 문제를 아직 해결할 수 없다 해도, 적어도 이를 고려에 넣을 수는 있다.

AI를 평가할 때 나타나는 이런 종류의 피상적인 등가성에 지나치게 조롱하는 태도를 보이기 전에, 인식론, 즉 확실한 권위를 찾는 문제에 관해서는 이 시스템들도 우리와 마찬가지로 갈피를 잡지 못한다는 점을 기억할 필요가 있다. 우리 역시 역사적으로 신호를 실체 그 자체로 착각하는 일이 매우 잦았다.

* ‘내용보다 문체? LLM 기반 동료 심사에서 나타나는 언어적 편향’

^† 또는 원어민이나 비원어민이 쓴 학술 영어와 비슷하다는 가설일 수도 있다. 논문은 이 병행 가설을 그만큼 효과적으로 입증하지 못했으며, 이 기사에서는 다루지 않는다.

2026년 10월 27일 화요일 최초 게재