코딩 AI는 던닝-크루거 효과에 시달리는 경향이 있다

새로운 연구에 따르면 ChatGPT와 같은 코딩 AI는 던닝-크루거 효과에 시달리는 것으로 나타났다. 즉, 이러한 AI는 자신이 가장 무능력할 때 가장 자신감을 가지고 행동하는 경향이 있다. 익숙하지 않은 또는 드문 프로그래밍 언어를 다루는 경우, 그들의 답변은 부서지지만 높은 확신을 주장한다. 연구는 모델의 과신을 부적절한 성능과 훈련 데이터의 부족에 연결시키고, 이러한 시스템이 실제로 무엇을 알고 있는지에 대한 새로운 우려를 제기한다.

사실적인 문제에 대해 대형 언어 모델과 상당한 시간을 보낸 사람은 이미 이러한 모델이 사용자 쿼리에 대해 자신감 있게 잘못된 응답을 주는 경향이 있다는 것을 알고 있다.

명백한 환각 형태와 함께, 이러한 공허한 자신감의 이유는 100% 명확하지 않다. 여름에 발표된 연구에 따르면, 모델은 자신이 틀렸다는 것을 알면서도 자신감 있게 답변을 하는 경우가 있다. 그러나 다른 이론은 과신을 아키텍처 선택과 같은 다른 가능성에 기인한다.

최종 사용자는 이러한 시스템이 자신이 모르는 것을 알지 못하는 것에 대한 신뢰를 가질 수 없다는 것을 확신할 수 있다. 우리는 사람들의 능력에 대한 평가에 신뢰를置하는 경향이 있기 때문에(그 이유는 법적 및 기타 결과가 있기 때문이다), 우리는 이러한 행동을 대화형 AI 시스템과 복제하는 경향이 있다.

그러나 대형 언어 모델은 책임이 없는 实體로, 사용자에게 중요한 것을 무심코 파괴하거나 적어도 시간을浪費하게 할 수 있다. 또한 책임을 인정하지 않을 수도 있다.

사람도 마찬가지로頑固하고 자신을 속이는 경향이 있다. 그러나 이러한 오류가 자주 발생하는 사람은 sớm 해고될 가능성이 있다. 이러한 사람들은 ‘임포스터 신드롬’의 반대되는 경우에 해당한다. 즉, 던닝-크루거 효과를 보이는 사람들은 자신의 능력을 크게 과대평가한다.

인플레이션의 비용

마이크로소프트의 새로운 연구는 코딩 아키텍처의 효과적인 성능과 관련하여 던닝-크루거 효과의 가치를 조사한다. 이 연구는 코드를 작성하는 AI(예: 마이크로소프트의 코파일럿)의 성능을 분석한다.

연구는 이러한 코드 작성 AI가 자신의 답변에 대해 얼마나 자신감을 가지고 있는지 측정하여, 실제 성능과 비교한다. 연구 결과는 인간과 유사한 패턴을 보인다. 즉, 모델이 가장 무능력할 때 가장 자신감을 가지고 있다.

이 효과는 훈련 데이터가 부족한 희귀 또는 저자원 언어에서 가장 강했다. 모델의 약점이나 언어의 희귀성에 따라 과신의 정도가 달라졌다.

GPT-4o의 실제 및 인식된 성능을 프로그래밍 언어별로 정렬한 그래프. 출처: https://arxiv.org/pdf/2510.05457

연구의 저자들은 이 연구가 이러한 도구가 자신의 출력을 평가하는 데 얼마나 신뢰할 수 있는지에 대한 새로운 질문을 제기한다고 주장한다.

‘다양한 프로그래밍 언어에 대한 모델의 자신감과 성능을 분석하여, AI 모델이 인간과 유사한 과신 패턴을 보이는 것을 밝혔다.

‘실험 결과, 덜 능력 있는 모델과 희귀한 프로그래밍 언어에서 작동하는 모델이 더 강한 던닝-크루거 효과를 보이는 것을 보여주었다. 이는 인간 실험 결과와 일치한다.’

방법

이 연구는 코딩 AI가 자신의 답변을 얼마나 정확하게 평가하는지 테스트했다. 모델은 여러 프로그래밍 언어에서 다중 선택형 프로그래밍 질문에 답변해야 했다.

모델은 각 질문에 대한 자신감을 평가해야 했다. 실제 성능은 모델이 얼마나 souvent正解했는지에 의해 측정되었다. 자신감과 실제 성능을 비교하여 과신을 평가할 수 있었다.

연구는 두 가지 방법을 사용하여 모델의 자신감을 평가했다. 첫 번째 방법은 모델이 각 답변에 대한 자신감을 0에서 1 사이의 점수로 평가하는 것이었다. 두 번째 방법은 모델이 두 개의 질문 중에서 어느 하나를 더 자신감 있게 선택하는지 평가하는 것이었다.

결과

이 연구는 여섯 개의 대형 언어 모델을 테스트했다. 각 모델은 여러 프로그래밍 언어에서 다중 선택형 프로그래밍 질문에 답변해야 했다.

연구 결과는 모델의 실제 성능과 자신감 사이에 상관관계가 있음을 보여주었다. 모델이 실제 성능이 낮을수록 자신감이 더 높았다.

연구 결과는 또한 모델이 희귀한 프로그래밍 언어에서 더 자신감을 가지고 있다고 보여주었다. 이는 모델이 자신의 능력에 대한 평가가 부정확하다는 것을 의미한다.

결론

이 연구는 코딩 AI가 던닝-크루거 효과에 시달리는 경향이 있음을 보여주었다. 이는 이러한 모델이 자신의 능력에 대한 평가가 부정확하다는 것을 의미한다.

이 연구의 결과는 이러한 모델이 실제로 무엇을 알고 있는지에 대한 새로운 우려를 제기한다. 또한 이러한 모델의 신뢰성에 대한 질문을 제기한다.

이 연구는 또한 이러한 모델의 과신이 희귀한 프로그래밍 언어에서 더 강하다는 것을 보여주었다. 이는 이러한 모델이 자신의 능력에 대한 평가가 부정확하다는 것을 의미한다.

이 연구의 결과는 코딩 AI의 개발과 사용에 대한 새로운 시각을 제공한다. 이러한 모델의 능력과 한계를 이해하는 것이 중요하다.

이 연구는 또한 이러한 모델의 과신이 어떻게 개선될 수 있는지에 대한 새로운 질문을 제기한다. 이는 이러한 모델의 신뢰성과 정확성을 향상시키는 데 중요하다.

* 이 연구에서 사용된 프로그래밍 언어는 Ada, Bash, C, C#, C++, COBOL, Ceylon, Clojure, D, Dart, Dash, Elixir, Erland, F#, Fortran, Go, Haskell, Java, JavaScript, Julia, Lisp, Kotlin, Lua, OCaml, Objective-C, PHP, Pascal, Perl, Prolog, Python, Racket, Ruby, Rust, Scala, Swift, TypeScript 및 Visual Basic이었다.

이 연구는 2025년 10월 8日に 처음 발표되었다.