Кодування штучного інтелекту часто страждає від ефекту Даннінга-Крюгера

Нові дослідження показують, що кодування штучного інтелекту, chẳng hạn як ChatGPT, страждає від ефекту Даннінга-Крюгера, часто діючи найбільш впевнено, коли вони найменш компетентні. Коли вони займаються незнайомими або рідкісними мовами програмування, вони стверджують високу впевненість, навіть якщо їхні відповіді розпадаються. Дослідження пов’язує надмірну впевненість моделі з поганою продуктивністю та відсутністю навчальних даних, що викликає нові побоювання щодо того, скільки ці системи дійсно знають про те, чого вони не знають.

Хто-небудь, хто провів хоча б помірну кількість часу, взаємодіючи з великими мовними моделями щодо фактичних питань, вже знає, що ці моделі часто схильні давати впевнені неправильні відповіді на запит користувача.

Разом з більш явними формами галюцинацій, причина цієї пустої хвастовитості не зовсім ясна. Дослідження, опубліковані протягом літа, свідчать, що моделі дають впевнені відповіді навіть тоді, коли вони знають, що вони неправильні, наприклад; хоча інші теорії приписують надмірну впевненість архітектурним виборам, серед інших можливостей.

Що кінцевий користувач може бути певним, це те, що досвід надзвичайно розчаровуючий, оскільки ми запрограмовані на те, щоб довіряти людським оцінкам їхніх власних можливостей (не в останню чергу тому, що в таких випадках є наслідки, юридичні та інші, для людини, яка переоцінює себе і недооцінює результат); і певний вид антропоморфної передачі означає, що ми схильні повторювати це поведінку з конверсійними системами штучного інтелекту.

Але мова моделі – це необрахований суб’єкт, який може і буде ефективно повернути ‘Ой! Помилка…’ після того, як він допоміг користувачеві непередбачувано знищити щось важливе, або хоча б витратити післяобідній час; припускаючи, що він визнає свою відповідальність взагалі.

Гірше, ця відсутність обережної обачності здається неможливою для виправлення, принаймні в ChatGPT, який буде щедро переконувати користувача в достовірності своїх порад, і пояснювати помилки в своєму мисленні тільки після того, як шкода вже завдана. Ні оновлення системи тривалої пам’яті, ні використання повторюваних запитів не мають великого впливу на цю проблему.

Люди можуть бути подібно вперті та самозбочені – хоча хто-небудь, хто помилився так глибоко і часто, ймовірно, був би звільнений рано. Такі люди страждають від протилежного “синдрому самозванця” (де працівник боїться, що його підвищено над його можливостями) – ефект Даннінга-Крюгера, де людина суттєво переоцінює свою здатність виконувати завдання.

Вартість інфляції

Нове дослідження від Microsoft вивчає вартість ефекту Даннінга-Крюгера щодо ефективної продуктивності архітектур кодування штучного інтелекту (таких як власний Copilot), у дослідницькій роботі, яка вперше конкретно адресує цей підсектор мовних моделей.

Робота аналізує, як впевнено такі кодуючі штучні інтелекти оцінюють свої власні відповіді проти того, як добре вони дійсно виконувалися, по десятках мов програмування. Результати показують явну людську закономірність: коли моделі були найменш здатні, вони були найбільш впевнені в собі.

Ефект був найсильнішим у рідкісних або низько-ресурсних мовах, де навчальні дані були тонкими – слабша модель або рідкісніша мова, тим більша ілюзія навичок:

Дійсна і сприйнята продуктивність GPT-4o по мовам програмування, відсортована за дійсною продуктивністю. Джерело: https://arxiv.org/pdf/2510.05457

Чотири автори, всі рівні внески, які працюють у Microsoft, стверджують, що робота піднімає нові питання про те, скільки цих інструментів можна довіряти, щоб оцінити свою власну продуктивність, і вони заявляють:

‘Аналізуючи впевненість моделі і продуктивність по різноманітному набору мов програмування, ми розкриваємо, що моделі штучного інтелекту відображають людські закономірності надмірної впевненості, особливо в незнайомих або низько-ресурсних доменах.

‘Наші експерименти демонструють, що менш компетентні моделі і ті, які працюють у рідкісних мовах програмування, демонструють сильніший ефект Даннінга-Крюгера, що свідчить про те, що сила цього ефекту пропорційна компетентності моделей. Це узгоджується з людськими експериментами щодо цього ефекту.’

Дослідники контекстуалізують цю лінію дослідження як спосіб зрозуміти, як впевненість моделі стає ненадійною, коли продуктивність слабка, і щоб перевірити, чи демонструють системи штучного інтелекту такий же вид надмірної впевненості, як і люди – з низхідними наслідками для довіри і практичної реалізації.

Хоча нова робота суперечить закону Беттеріджа про заголовки, вона все ж таки називається Чи страждають моделі кодування від ефекту Даннінга-Крюгера?. Хоча автори заявляють, що код був випущений для цієї роботи, поточна попередня публікація не містить жодних подробиць про це.

Метод

Дослідження перевірило, як точно кодуючі штучні інтелекти могли оцінити свої власні відповіді, давши їм тисячі питань з多 вибором по програмуванню, з кожним питанням, яке належало до певної мови програмування, від Python і Java до Perl і COBOL:

Домени мов програмування, використані в дослідженні, разом з кількістю питань з多 вибором, вибраних для кожного домену.

Моделям було доручено вибрати правильний варіант, а потім оцінити, наскільки вони впевнені в своєму виборі, з їхньою дійсною продуктивністю, виміряною тим, як часто вони давали правильну відповідь – і їхня самооцінка впевненості вказувала, наскільки добре вони вірять, що вони були.

Для порівняння впевненості моделей було використано два методи: абсолютна впевненість і відносна впевненість. У першому випадку модель була запитана, щоб дати оцінку від нуля до одного поряд з кожною відповіддю, з її впевненістю для певної мови визначеною як середнє значення цих оцінок по питаннях у цій мові.

Другий метод дивився, наскільки впевненою була модель, коли вибір між двома питаннями; для кожної пари модель мала сказати, яке питання вона відчувала більш впевнено. Ці вибори були потім оцінені за допомогою систем ранжування, спочатку розроблених для конкурентних ігор,扱уючи кожне питання як гравця в матчі. Остаточні оцінки були нормалізовані і усереднені для кожної мови, щоб дати відносну оцінку впевненості.

Два встановлені форми ефекту Даннінга-Крюгера досліджуються в цій роботі: одна, яка відстежує, як одна модель переоцінює свою продуктивність по різних доменам; і інша, яка порівнює рівні впевненості між слабшими і сильнішими моделями.

Перша форма, звана внутрішньопартicipantна ДКЕ, дивиться, чи одна модель стає більш надмірно впевненою в мовах, де вона виконує погано. Друга, міжпартicipantна ДКЕ, питає, чи моделі, які виконують гірше в цілому, також схильні оцінювати себе вище.

У обох випадках розрив між впевненістю і дійсною продуктивністю використовується для вимірювання надмірної впевненості, з більшим розривом у низькопродуктивних умовах, вказуючи на поведінку, подібну до ДКЕ.

Результати

Дослідження перевіряє ефект Даннінга-Крюгера по шести великим мовним моделям: Mistral; Phi‑3; DeepSeek‑Distill; Phi‑4; GPT‑0.1, і GPT‑4o.

Кожна модель була протестована на питаннях з多 вибором по програмуванню з публічно доступної CodeNet набору даних, з 37 мовами*, представленими для того, щоб показати, як впевненість і точність варіювалися по знайомим і рідкісним доменам програмування.

Аналіз між моделями показує явний закон Даннінга-Крюгера:

Дійсна і сприйнята продуктивність шести моделей кодування, показуючи, як моделі з нижчою точністю, такі як Mistral і Phi‑3, демонструють високе впевненість, незважаючи на низьку точність, тоді як сильніші моделі, такі як GPT‑4o, демонструють більш калібровану або навіть недооцінену поведінку.

Моделі з нижчою точністю, включаючи Mistral і Phi‑3, схильні переоцінювати свої власні можливості, тоді як моделі з вищою продуктивністю, такі як GPT‑4o, демонструють рівні впевненості, які більш тісно відповідають їхній дійсній продуктивності, особливо коли оцінюються за відносною впевеністю.

Результати також свідчать про те, що найбільш здатні моделі іноді недооцінюють себе (закон, який оцінки абсолютної впевненості не виявляють).

Результати також свідчать про те, що аналіз всередині моделі також підтверджує наявність ефекту Даннінга-Крюгера. У результатах, показаних на початку статті, ми бачимо, як кожна модель виконувалася по різних мовам програмування, впорядкованих за дійсною продуктивністю.

У мовах, де моделі показали низьку продуктивність, особливо в рідкісних або низько-ресурсних мовах, таких як COBOL, Prolog і Ceylon, їхня впевненість була помітно вищою, ніж їхні результати виправдовували. У відомих мовах, таких як Python і JavaScript, їхня впевненість відповідала більш тісно їхній дійсній точності, і іноді навіть падала нижче неї.

Ця закономірність з’явилася в обох абсолютних і відносних мірах впевненості, що свідчить про те, що моделі менш усвідомлюють свої власні обмеження, коли працюють в незнайомих доменах програмування.

Розгляд моделей як учасників ввів деякі обмеження, оскільки мала кількість моделей у грі впливає на різноманітність; відмінності всередині моделі ігноруються; і розподіл даних може не відображати той, який має місце у реальних людських учасників.

Щоб врахувати це, дослідження протестувало три альтернативні установки: по-перше, кожна модель була наділена окремою персоною; по-друге, відповіді були вибрані при вищій температурі, щоб створити більшу варіативність; по-третє, запити були перефразовані кілька разів, з кожним варіантом, behand як окремого учасника:

Кореляція між надмірною впевненістю і дійсною продуктивністю по різних експериментальних установках, показуючи, що закон Даннінга-Крюгера залишається послідовним у всіх умовах і є найсильнішим, коли з однієї моделі вибрано кілька різноманітних відповідей.

Результати таблиці показують, як сильно ефект Даннінга-Крюгера проявляється під цими умовами, залишаючись присутнім у кожному випадку; і що ДКЕ був найсильнішим, коли з однієї моделі вибрано кілька різноманітних відповідей при високій температурі.

Щоб краще зрозуміти, як сприйнята продуктивність розходиться з дійсною продуктивністю, дослідження порівнювало абсолютні і відносні оцінки впевненості, розрахувавши, наскільки кожна модель переоцінювала свою власну здатність (конкретно, різницю між її оцінкою впевненості і її дійсною точністю), і потім вимірюючи, як ця переоцінка пов’язана з дійсною продуктивністю моделі:

Кореляція між надмірною впевненістю (виміряною як абсолютна мінус відносна впевненість) і дійсною точністю по доменам програмування і типам моделей, показуючи, що більша переоцінка постійно пов’язана з нижчою продуктивністю.

Результати таблиці показують, як переоцінка пов’язана з дійсною продуктивністю, і по доменам програмування, і по моделям. У обох випадках ми бачимо, що моделі з нижчою точністю схильні демонструвати більшу надмірну впевненість.

Далі, результати свідчать про те, що спеціалізовані моделі, навчені на вузьких доменах, демонструють сильніший ефект Даннінга-Крюгера, ніж загальні:

Кореляція між переоцінкою і дійсною продуктивністю для базових, однодоменних і багатомодельних спеціалізованих моделей, показуючи сильніший ефект Даннінга-Крюгера при збільшенні спеціалізації.

Використовуючи MultiPL-E набір даних по восьми мовам програмування, автори виявили, що навчання на одному домені призвело до більшої надмірної впевненості, ніж навчання на декількох доменах або базові установки, що свідчить про те, що ДКЕ погіршується зі збільшенням спеціалізації.

Тести також показали, що моделі схильні бути більш надмірно впевненими в рідкісних мовах програмування. По рейтингах GitHub, IEEE і TIOBE, рідкість сильно корелює з вищою сприйнятою продуктивністю, пікуючись на рівні 0,797:

Кореляція між надмірною впевненістю моделі і рідкістю мови, використовуючи три рейтинги популярності. Менш поширені мови пов’язані з вищою сприйнятою продуктивністю.

Нарешті, автори протестували, чи проявляється ефект Даннінга-Крюгера при генерації коду, оцінюючи моделі по набору даних MultiPL-E по восьми мовам.

Хоча ефект все ще був присутній, він був помітно слабшим, ніж у випадку питань з多 вибором, ймовірно, через більшу складність оцінки впевненості і правильності в відкритих завданнях:

Кореляція між переоцінкою і дійсною продуктивністю при генерації коду, заснованої на результатах MultiPL-E по восьми мовам.

При розгляді все ще спірного пояснення ефекту Даннінга-Крюгера автори роблять висновок:

‘Одне можливе пояснення, яке може бути спільним для людей і моделей штучного інтелекту, полягає в метакогнитивному поясненні, яке стверджує, що оцінка якості виконання навички є важливою частиною набуття цієї навички.

‘Це пояснення потенційно може бути перевірено експериментально в моделях штучного інтелекту з контрольованим дослідженням різних стратегій навчання і чи всі вони приводять до одночасних покращень продуктивності і здатності оцінювати якість виконання. Однак це дослідження значно виходить за рамки цієї роботи, і ми залишаємо його для майбутньої роботи.’

Висновок

Дажи у своєму рідному домені ефект Даннінга-Крюгера (як зазначено в статті) може бути обумовлений або статистичною, або когнітивною причиною. Якщо це статистична причина, застосування раніше унікального людського синдрому до контексту машинного навчання є досить валідним.

Хоча автори припускають, що причина могла б бути виявлена як “когнітивна” у обох випадках, це потребувало би трохи більш метафізичної точки зору.

Можливо, найцікавішим відкриттям у статті є ступінь, у якій кілька кодуючих моделей штучного інтелекту схильні подвоюватися у своїх найменш сприятливих обставинах, тобто, демонструючи максимальну впевненість, коли працюють з рідкісними або найменш відомими мовами – що було б майже негайно самознищувальною стратегією у реальному робочому середовищі.

* Мови програмування, використані в дослідженні, були Ada, Bash, C, C#, C++, COBOL, Ceylon, Clojure, D, Dart, Dash, Elixir, Erland, F#, Fortran, Go, Haskell, Java, JavaScript, Julia, Lisp, Kotlin, Lua, OCaml, Objective-C, PHP, Pascal, Perl, Prolog, Python, Racket, Ruby, Rust, Scala, Swift, TypeScript і Visual Basic.

Перша публікація – середа, 8 жовтня 2025