Kodowanie AI cierpi na efekt Dunninga-Krugera

Naukowcy odkryli, że kodowanie AI, takie jak ChatGPT, cierpi na efekt Dunninga-Krugera, często zachowując się z największą pewnością, gdy są najmniej kompetentne. Gdy próbują radzić sobie z nieznanymi lub rzadkimi językami programowania, twierdzą, że mają wysoką pewność, nawet gdy ich odpowiedzi są błędne. Badanie łączy nadmierną pewność modelu z słabą wydajnością i brakiem danych szkoleniowych, co budzi nowe obawy dotyczące tego, jak wiele tych systemów naprawdę wiedzą o tym, czego nie wiedzą.

Osoby, które spędziły choćby umiarkowaną ilość czasu na interakcji z dużymi modelami językowymi w sprawach faktów, wiedzą już, że LLM są często skłonne do udzielania pewnych, ale błędnych odpowiedzi na zapytania użytkowników.

Wraz z bardziej jawnymi formami halucynacji, powodem tego pustego zuchwalstwa nie jest całkowicie jasny. Badania opublikowane latem sugerują, że modele udzielają pewnych odpowiedzi nawet gdy wiedzą, że są błędne, na przykład; chociaż inne teorie przypisują nadmierną pewność wyborom architektonicznym, wśród innych możliwości.

To, co użytkownik końcowy może być pewien, to fakt, że doświadczenie jest niezwykle frustrujące, ponieważ jesteśmy zaprogramowani, aby ufać ludziom w ich własnych ocenach ich umiejętności (nawet dlatego, że w takich przypadkach istnieją konsekwencje, prawne i inne, dla osoby, która przecenia swoje możliwości i nie spełnia oczekiwań); a rodzaj antropomorficznej transmisji powoduje, że tendencja do replikowania tego zachowania z systemami AI.

Ale model LLM jest jednostką nieodpowiedzialną, która może i będzie skutecznie zwracać ‘Och, nie!’ po tym, jak pomógł użytkownikowi nieumyślnie zniszczyć coś ważnego, lub przynajmniej zmarnować popołudnie ich czasu; zakładając, że przyjmie odpowiedzialność w ogóle.

Gorzej, brak ostrożności w tym zakresie wydaje się niemożliwy do usunięcia, przynajmniej w ChatGPT, który obficie zapewni użytkownika o ważności swoich rad, i wyjaśni błędy w swoim myśleniu dopiero po tym, jak szkoda zostanie wyrządzona. Nie ma to wpływu na aktualizację pamięci systemu trwałej, ani na użycie powtarzających się podpowiedzi.

Ludzie mogą być podobnie uparci i samozakłamujący – chociaż każdy, kto popełniłby tak głębokie i częste błędy, prawdopodobnie zostałby zwolniony wcześnie. Tacy jak oni cierpią na przeciwieństwo “zespół impostora” (gdzie pracownik boi się, że został awansowany ponad swoje możliwości) – efekt Dunninga-Krugera, gdzie osoba znacznie przeszacowuje swoją zdolność do wykonania zadania.

Koszt inflacji

Nowe badanie przeprowadzone przez firmę Microsoft bada wartość efektu Dunninga-Krugera w odniesieniu do skutecznej wydajności architektur kodowania AI (takich jak własny Copilot), w badaniu, które jest pierwszym, które specjalnie zajmuje się tym podsektorem LLM.

Praca analizuje, jak pewnie takie AI piszące kod oceniają swoje własne odpowiedzi w porównaniu z tym, jak dobrze naprawdę wykonują, w dziesiątkach języków programowania. Wyniki pokazują wyraźny wzorzec podobny do ludzkiego: gdy modele były najmniej zdolne, były najbardziej pewne siebie.

Wpływ był największy w rzadkich lub mało zasobnych językach, gdzie dane szkoleniowe były cienkie – im słabszy model lub rzadszy język, tym większa iluzja umiejętności:

Rzeczywista i postrzegana wydajność GPT-4o w różnych językach programowania, posortowana według rzeczywistej wydajności. Źródło: https://arxiv.org/pdf/2510.05457

Czterech autorów, wszyscy równi współautorzy pracujący dla Microsoftu, twierdzi, że praca podnosi nowe pytania dotyczące tego, jak bardzo można ufać tym narzędziom, aby oceniły swoje własne dane wyjściowe, i stwierdzają:

‘Przez analizę pewności modelu i wydajności w różnych językach programowania, ujawniamy, że modele AI odbijają ludzkie wzorce nadmiarowej pewności, szczególnie w nieznanych lub mało zasobnych dziedzinach.

‘Nasze eksperymenty pokazują, że mniej kompetentne modele i te działające w rzadkich językach programowania wykazują silniejszy efekt DKE, sugerując, że siła tego efektu jest proporcjonalna do kompetencji modelu. To odpowiada ludzkim eksperymentom dotyczącym tego efektu.’

Badacze umiejscawiają tę linię badań jako sposób zrozumienia, jak pewność modelu staje się niewiarygodna, gdy wydajność jest słaba, i aby przetestować, czy systemy AI wykazują ten sam rodzaj nadmiarowej pewności, jaki obserwuje się u ludzi – z dalszymi implikacjami dla zaufania i praktycznego wdrożenia.

Chociaż nowy artykuł zaprzecza prawu Betteridge’a o nagłówkach, nosi on tytuł Czy modele kodu cierpią na efekt Dunninga-Krugera?. Chociaż autorzy stwierdzają, że kod został wydany dla tej pracy, obecny preprint nie zawiera żadnych informacji na ten temat.

Metoda

Badanie testowało, jak dokładnie AI kodujące mogą oceniać swoje własne odpowiedzi, dając im tysiące pytań wielokrotnego wyboru, z każdym pytaniem należącym do określonej dziedziny języka, od Pythona i Javy do Perla i COBOL:

Dziedziny języków programowania użyte w badaniu, wraz z liczbą pytań wielokrotnego wyboru próbkowanych dla każdej dziedziny.

Modele zostały poproszone o wybranie poprawnej opcji, a następnie oszacowanie, jak pewne są swojego wyboru, przy czym ich rzeczywista wydajność była mierzona przez to, jak często udzielały poprawnej odpowiedzi – a ich samoocena pewności wskazywała, jak dobrzy uważali się oni za.

Aby zmierzyć, jak pewne modele się wydają, badanie użyło dwóch metod: pewności absolutnej i pewności względnej. W pierwszym przypadku model został poproszony o podanie oceny od zera do jednego obok każdej odpowiedzi, przy czym jego pewność dla danego języka była określona przez średnią tych ocen w poszczególnych pytaniach w tym języku.

Druga metoda polegała na tym, jak pewne modele były przy wyborze między dwoma pytaniami; dla każdej pary model musiał powiedzieć, które pytanie uważa za bardziej pewne. Te wybory były następnie oceniane przy użyciu systemów rankingowych pierwotnie zaprojektowanych dla gier konkurencyjnych, traktując każde pytanie jakby było graczem w meczu. Ostateczne oceny były normalizowane i średnie dla każdego języka, aby dać względną ocenę pewności.

Dwa ustalone formy efektu Dunninga-Krugera są badane w artykule: jeden, który śledzi, jak pojedynczy model źle ocenia swoją wydajność w różnych dziedzinach; i inny, który porównuje poziomy pewności między słabszymi i silniejszymi modelami.

Pierwsza forma, zwana intra-participant DKE, sprawdza, czy pojedynczy model staje się bardziej nadmiernie pewny w językach, w których wykonuje się słabo. Druga, inter-participant DKE, pyta, czy modele, które wykonują się gorzej w ogóle, również tendencję do oceniania siebie wyżej.

W obu przypadkach różnica między pewnością a rzeczywistą wydajnością służy do pomiaru nadmiarowej pewności, przy czym większe różnice w ustawieniach o słabej wydajności wskazują na efekt DKE.

Wyniki

Badanie testuje efekt Dunninga-Krugera w sześciu dużych modelach językowych: Mistral; Phi-3; DeepSeek-Distill; Phi-4; GPT-0.1, i GPT-4o.

Każdy model został przetestowany na pytaniach wielokrotnego wyboru z publicznie dostępnego zbioru danych CodeNet, z 37 językami* reprezentowanymi, aby ujawnić, jak pewność i dokładność różnią się w różnych dziedzinach kodowania.

Analiza między modelami pokazuje wyraźny wzorzec Dunninga-Krugera:

Rzeczywista a postrzegana wydajność sześciu modeli kodu, pokazująca, jak słabiej wykonujące się modele, takie jak Mistral i Phi-3, wykazują wysoką pewność, pomimo słabej dokładności, podczas gdy silniejsze modele, takie jak GPT-4o, wykazują poziomy pewności, które są bardziej zgodne z ich rzeczywistą wydajnością.

Modele o niższej dokładności, w tym Mistral i Phi-3, tendencję do przeceniania swoich możliwości, podczas gdy lepiej wykonujące się systemy, takie jak GPT-4o, wykazywały poziomy pewności, które były bardziej zgodne z ich rzeczywistą wydajnością, szczególnie przy ocenach względnych.

Wyniki również wskazują, że najbardziej zdolne modele mogą czasem zaniżać swoje oceny (wzorzec, który oceny pewności absolutnej nie ujmują).

Wyniki również wskazują, że analiza wewnątrzmodelowa również potwierdza obecność efektu Dunninga-Krugera. W tabeli wyników widzimy, jak każdy model wykonał się w różnych językach programowania, uporządkowanych według rzeczywistej wydajności.

W językach, w których modele uzyskały słabe wyniki, szczególnie w rzadkich lub mało zasobnych, ich pewność była zauważalnie wyższa niż uzasadniona. W popularnych językach, takich jak Python i JavaScript, ich pewność była bardziej zgodna z ich rzeczywistą dokładnością, a czasem nawet niższa.

Ten wzorzec pojawił się w obu miarach pewności, co sugeruje, że modele są mniej świadome swoich ograniczeń, gdy działają w nieznanych dziedzinach kodowania.

Traktowanie modeli jako uczestników wprowadziło pewne ograniczenia, ponieważ niewielka liczba modeli wpływa na różnorodność; różnice wewnątrz jednego modelu są ignorowane; a dystrybucja danych może nie odzwierciedlać tej samej, co w przypadku ludzkich uczestników.

Aby uwzględnić to, badanie przetestowało trzy alternatywne ustawienia: po pierwsze, każdy model otrzymał odrębną osobowość; po drugie, odpowiedzi były próbkowane przy wyższej temperaturze, aby stworzyć większą różnorodność; po trzecie, podpowiedzi były przepisane wielokrotnie, a każda wersja była traktowana jako oddzielny uczestnik:

Korelacja między nadmierną pewnością a rzeczywistą wydajnością w różnych ustawieniach eksperymentalnych, pokazująca, że efekt Dunninga-Krugera pozostaje spójny we wszystkich warunkach i jest najmocniejszy, gdy próbkowane są wielorakie i różnorodne odpowiedzi z tego samego modelu.

Wyniki tabeli powyżej wskazują, jak silnie efekt Dunninga-Krugera manifestuje się w tych warunkach, pozostając obecny w każdym przypadku; i że efekt DKE jest najbardziej widoczny, gdy próbkowane są wielorakie odpowiedzi z tego samego modelu przy wysokiej temperaturze.

Aby lepiej zrozumieć, jak postrzegana wydajność różni się od rzeczywistej, badanie porównało oceny pewności absolutnej i względnej, obliczając, jak bardzo każdy model przeceniał swoje możliwości (a mianowicie różnicę między jego oceną pewności a jego rzeczywistą dokładnością), a następnie mierząc, jak ta nadmierna pewność wiązała się z rzeczywistą wydajnością:

Korelacja między nadmierną pewnością (mierzoną jako różnica między pewnością absolutną a względną) a rzeczywistą dokładnością w różnych dziedzinach programowania i typach modeli, pokazująca, że większa nadmierna pewność jest stale związana z niższą wydajnością.

Wyniki tabeli powyżej ilustrują, jak nadmierna pewność wiąże się z rzeczywistą wydajnością, zarówno w różnych dziedzinach programowania, jak i w różnych modelach. W obu przypadkach widzimy, że modele o niższej dokładności tendencję do wykazywania większej nadmiarowej pewności.

Dalej, specjalistyczne modele szkolone w węższych dziedzinach wykazywały silniejsze efekty DKE niż modele ogólne:

Korelacja między nadmierną pewnością a rzeczywistą wydajnością dla modeli podstawowych, specjalistycznych i wielodziedzinowych, pokazująca silniejsze efekty DKE wraz ze wzrostem specjalizacji.

Używając zbioru danych MultiPL-E w ośmiu językach programowania, autorzy stwierdzili, że szkolenie w jednej dziedzinie prowadziło do większej nadmiarowej pewności niż szkolenie w wielu dziedzinach lub ustawienia podstawowe, co sugeruje, że efekt DKE pogarsza się wraz ze wzrostem specjalizacji.

Testy również wykazały, że modele tendencję do wykazywania większej nadmiarowej pewności w rzadkich językach programowania. Przez GitHub, IEEE i TIOBE rankingi, rzadkość jest silnie skorelowana z wyższą postrzeganą pewnością, osiągając 0,797:

Korelacja między nadmierną pewnością modelu a rzadkością języka, używając trzech rankingów popularności. Mniej popularne języki są związane z wyższą postrzeganą wydajnością.

Wreszcie, autorzy przetestowali, czy efekt Dunninga-Krugera pojawia się w generowaniu kodu, oceniając modele w zbiorze danych MultiPL-E w ośmiu językach programowania.

Chociaż efekt był nadal obecny, był zauważalnie słabszy niż w ustawieniu pytań wielokrotnego wyboru, co najprawdopodobniej odzwierciedla większą trudność w ocenianiu pewności i poprawności w zadaniach otwartych:

Korelacja między nadmierną pewnością a rzeczywistą wydajnością w generowaniu kodu, oparta na wynikach MultiPL-E w ośmiu językach.

W rozważaniu nadal spornym wyjaśnieniem efektu Dunninga-Krugera, autorzy stwierdzają:

‘Jednym z możliwych wyjaśnień, które mogą być wspólne dla ludzi i modeli AI, jest wyjaśnienie metakognitywne, które mówi, że ocena jakości wykonania umiejętności jest kluczową częścią nabywania umiejętności.

‘To wyjaśnienie można potencjalnie przetestować eksperymentalnie w modelach AI z kontrolowanym badaniem różnych strategii szkolenia i czy wszystkie one prowadzą do jednoczesnych popraw w wydajności i w zdolności do oceny jakości wykonania. Jednak to badanie jest znacznie poza zakresem tego artykułu, i pozostawiamy je do przyszłej pracy.’

Wnioski

Nawet w swojej rodzimej dziedzinie, efekt Dunninga-Krugera (jak zauważa artykuł) może być przypisywany albo przyczynie statystycznej, albo przyczynie poznawczej. Jeśli przyczynie statystycznej, zastosowanie dotychczas unikalnego ludzkiego zespołu do kontekstu uczenia maszynowego jest naprawdę słuszne.

Chociaż autorzy spekulują, że przyczyna mogłaby być “poznawcza” w obu przypadkach, wymagałoby to nieco bardziej metafizycznego punktu widzenia.

Może najbardziej interesującym odkryciem w artykule jest stopień, w jakim wiele modeli kodowania LLM tendencję do podwójnego zaangażowania w ich najmniej korzystnych okolicznościach, czyli wykazując maksymalną pewność, gdy mają do czynienia z najrzadszymi lub najmniej znanymi językami – co byłoby praktycznie samozagładą w środowisku pracy.

* Języki programowania użyte w badaniu to Ada, Bash, C, C#, C++, COBOL, Ceylon, Clojure, D, Dart, Dash, Elixir, Erland, F#, Fortran, Go, Haskell, Java, JavaScript, Julia, Lisp, Kotlin, Lua, OCaml, Objective-C, PHP, Pascal, Perl, Prolog, Python, Racket, Ruby, Rust, Scala, Swift, TypeScript i Visual Basic.

Pierwotnie opublikowane w środę, 8 października 2025