Kódovací AI často trpí Dunning-Krugerovým efektem

Nový výzkum ukazuje, že kódovací AI, jako je ChatGPT, trpí Dunning-Krugerovým efektem, často jednají s největší jistotou, když jsou nejméně kompetentní. Při řešení neznámých nebo vzácných programovacích jazyků prohlašují vysokou jistotu, i když jejich odpovědi se rozpadají. Studie spojuje nadměrnou jistotu modelu s nízkým výkonem a nedostatkem trénovacích dat, což vyvolává nové obavy o tom, kolik tyto systémy skutečně vědí o tom, co nevědí.

Kdokoli, kdo strávil alespoň умерenou dobu interagující s velkými jazykovými modely o faktických záležitostech, již ví, že LLM jsou často nakloněny poskytovat jistou chybnou odpověď na dotaz uživatele.

Spolu s více zjevnými formami halucinace, důvod pro tuto prázdnou jistotu není 100% jasný. Výzkum zveřejněný přes léto naznačuje, že modely poskytují jisté odpovědi i když vědí, že jsou špatné, například; i když jiné teorie připisují nadměrnou jistotu architektonickým volbám, mezi jinými možnostmi.

To, co může konečný uživatel být jistý, je to, že zkušenost je nesmírně frustrující, protože jsme hard-kódováni, abychom věřili lidem jejich vlastním odhadům svých schopností (nejen proto, že v takových případech existují důsledky, právní a jinak, pro osobu, která slibuje více, než může dodat); a druh antropomorfního přenosu znamená, že tendujeme replikovat toto chování s konverzačními AI systémy.

Ale LLM je nezodpovědná entita, která může a bude účinně vrátit ‘Whoops! Butterfingers…’ poté, co pomohla uživateli neúmyslně zničit něco důležitého, nebo alespoň promarnit odpoledne jejich času; předpokládejme, že přijme zodpovědnost.

Hůř, tento nedostatek uvážlivého obezřetnosti se zdá být nemožné odstranit, alespoň u ChatGPT, který bude hojně ujišťovat uživatele o platnosti své rady a vysvětlí chyby ve svém myšlení pouze poté, co je škoda způsobena. Ani aktualizace systému persistentní paměti, ani použití opakovaných dotazů nemají velký dopad na problém.

Lidé mohou být stejně obstinovaní a sebe-klamající – ale kdokoli, kdo se tak hluboce a často mýlil, by byl pravděpodobně propuštěn brzy. Takoví trpí opačným jevem než “syndrom podvodníka” (kde zaměstnanec se bojí, že byl povýšen nad své schopnosti) – Dunning-Krugerův efekt, kde osoba významně přehání svou schopnost vykonat úkol.

Náklady inflace

Nová studie z Microsoftu zkoumá hodnotu Dunning-Krugerova efektu v souvislosti s efektivními výkony AI-pomocných kódovacích architektur (jako je Redmondova vlastní Copilot), v rámci výzkumného úsilí, které je prvním, které se specificky zabývá touto podmnožinou LLM.

Práce analyzuje, jak přesně kódovací AI mohou posoudit své vlastní odpovědi, poskytují jim tisíce více-vícenásobných programovacích otázek, s každou otázkou patřící do konkrétní jazykové domény, od Pythonu a Javy po Perl a COBOL:

Programovací jazykové domény použité ve studii, spolu s počtem více-vícenásobných kódovacích otázek vzorkovaných pro každou doménu.

Modely byly povinny vybrat správnou možnost a poté odhadnout, jak jsou si jisti svou volbou, s jejich skutečným výkonem měřeným tím, jak často odpověděli správně – a jejich sebe-odhadnutá jistota ukazující, jak dobrí věřili, že jsou. Srovnání těchto dvou metrik umožnilo výzkumníkům vidět, kde se jistota a kompetence rozcházejí.

Pro měření, jak jisté se modely zdají, studie použila dvě metody: absolutní jistotu a relativní jistotu. V první model dostal skóre od nuly do jednoho spolu s každou odpovědí, s jeho jistotou pro konkrétní jazyk definovanou jako průměr těchto skórů napříč otázkami v tomto jazyce.

Druhá metoda se podívala na to, jak jistý byl model, když volil mezi dvěma otázkami; pro každou пару model musel říci, o kterou se cítí jistější. Tyto volby byly poté ohodnoceny pomocí rankingových systémů původně navržených pro soutěžní hry, zacházející s každou otázkou, jako by to byl hráč v zápase. Finální skóre bylo normalizováno a průměrováno pro každou jazykovou doménu, aby se získalo relativní jistotní skóre.

Dvě zavedené formy Dunning-Krugerova efektu jsou zkoumány v článku: jedna, která sleduje, jak jeden model podceňuje svou vlastní výkonnost napříč různými doménami; a druhá, která srovnává úrovně jistoty mezi slabšími a silnějšími modely.

První forma, nazvaná intra-participant DKE, se zabývá otázkou, zda jeden model se stává více nadměrně jistým v jazycích, kde vykonává špatně. Druhá, inter-participant DKE, se táže, zda modely, které vykonávají hůře celkově, také tendují k tomu, aby se sami ohodnotily výše.

V obou případech je mezera mezi jistotou a skutečným výkonem použita pro měření nadměrné jistoty, s většími mezery v nízkém-výkonovém nastavení, které ukazují na DKE-podobné chování.

Metoda

Studie testovala, jak přesně kódovací AI mohou posoudit své vlastní odpovědi, poskytují jim tisíce více-vícenásobných programovacích otázek, s každou otázkou patřící do konkrétní jazykové domény, od Pythonu a Javy po Perl a COBOL:

Programovací jazykové domény použité ve studii, spolu s počtem více-vícenásobných kódovacích otázek vzorkovaných pro každou doménu.

Modely byly povinny vybrat správnou možnost a poté odhadnout, jak jsou si jisti svou volbou, s jejich skutečným výkonem měřeným tím, jak často odpověděli správně – a jejich sebe-odhadnutá jistota ukazující, jak dobrí věřili, že jsou. Srovnání těchto dvou metrik umožnilo výzkumníkům vidět, kde se jistota a kompetence rozcházejí.

Pro měření, jak jisté se modely zdají, studie použila dvě metody: absolutní jistotu a relativní jistotu. V první model dostal skóre od nuly do jednoho spolu s každou odpovědí, s jeho jistotou pro konkrétní jazyk definovanou jako průměr těchto skórů napříč otázkami v tomto jazyce.

Druhá metoda se podívala na to, jak jistý byl model, když volil mezi dvěma otázkami; pro každou пару model musel říci, o kterou se cítí jistější. Tyto volby byly poté ohodnoceny pomocí rankingových systémů původně navržených pro soutěžní hry, zacházející s každou otázkou, jako by to byl hráč v zápase. Finální skóre bylo normalizováno a průměrováno pro každou jazykovou doménu, aby se získalo relativní jistotní skóre.

Dvě zavedené formy Dunning-Krugerova efektu jsou zkoumány v článku: jedna, která sleduje, jak jeden model podceňuje svou vlastní výkonnost napříč různými doménami; a druhá, která srovnává úrovně jistoty mezi slabšími a silnějšími modely.

První forma, nazvaná intra-participant DKE, se zabývá otázkou, zda jeden model se stává více nadměrně jistým v jazycích, kde vykonává špatně. Druhá, inter-participant DKE, se táže, zda modely, které vykonávají hůře celkově, také tendují k tomu, aby se sami ohodnotily výše.

V obou případech je mezera mezi jistotou a skutečným výkonem použita pro měření nadměrné jistoty, s většími mezery v nízkém-výkonovém nastavení, které ukazují na DKE-podobné chování.

Výsledky

Studie testovala Dunning-Krugerův efekt napříč šesti velkými jazykovými modely: Mistral; Phi‑3; DeepSeek‑Distill; Phi‑4; GPT‑0.1, a GPT‑4o.

Každý model byl testován na více-vícenásobných programovacích otázkách z veřejně dostupného CodeNet datasetu, s 37 jazyky* reprezentovanými, aby se ukázalo, jak se jistota a přesnost liší napříč známými a vzácnými kódovacími doménami.

Mezi-modelová analýza ukazuje jasný Dunning-Krugerův vzorec:

Skutečný a vnímaný výkon napříč šesti kódovacími modely, ukazující, jak modely s nižší přesností, jako je Mistral a Phi‑3, vykazují vysokou jistotu, přestože mají nízkou přesnost, zatímco silnější modely, jako je GPT‑4o, ukazují jistotu, která se více shoduje s jejich skutečným výkonem.

Modely s nižší přesností, včetně Mistralu a Phi‑3, tendenci přehánět svou vlastní schopnost, zatímco modely s vyšší přesností, jako je GPT‑4o, ukazují jistotu, která se více shoduje s jejich skutečným výkonem, zvláště když je hodnocena relativní jistotou.

Výsledky také ukazují, že nejkompetentnější modely mohou někdy podceňovat sami sebe (vzorec, který absolutní jistotní skóre nezachytí).

Výsledky také ukazují, že intra-modelová analýza podporuje přítomnost Dunning-Krugerova efektu. V résultats chartu uvedeném na začátku článku vidíme, jak každý model vykonával napříč různými programovacími jazyky, uspořádanými podle skutečného výkonu.

V jazycích, kde modely vykazovaly nízkou přesnost, zvláště v vzácných nebo málo zdrojových jazycích, jako je COBOL, Prolog a Ceylon, jejich jistota byla zřetelně vyšší, než jejich výsledky ospravedlňovaly. V známých jazycích, jako je Python a JavaScript, jejich jistota se více shodovala s jejich skutečnou přesností a někdy dokonce klesala pod ni.

Tento vzorec se objevil v obou absolutních a relativních jistotních měřeních, naznačující, že modely jsou méně vědomé svých vlastních limitů, když operují v neznámých kódovacích doménách.

Přiřazení modelů jako účastníků zavedlo některé omezení, protože malé množství modelů ovlivňuje rozmanitost; rozdíly uvnitř jednoho modelu jsou ignorovány; a distribuce dat nemusí odrážet tu skutečnou.

Pro vyrovnání tohoto se studie testovala tři alternativní nastavení: poprvé každý model dostal samostatnou osobnost; podruhé odpovědi byly vzorkovány při vyšší teplotě, aby se vytvořila větší variace; potřetí dotazy byly přeformulovány mnohokrát, s každou verzí zacházenou jako samostatný účastník:

Korelace mezi nadměrnou jistotou a skutečným výkonem napříč různými experimentálními nastaveními, ukazující, že Dunning-Krugerův efekt zůstává konzistentní ve všech případech a je nejsilnější, když jsou vzorkovány multiple diverse odpovědi z jednoho modelu.

Výsledky tabulky uvedené výše ukazují, jak silně se Dunning-Krugerův efekt projevuje v těchto podmínkách, zůstává přítomný ve všech případech; a že DKE je nejvýraznější, když jsou vzorkovány multiple diverse odpovědi z jednoho modelu při vysoké teplotě.

Pro lepší pochopení, jak se vnímaný výkon odchyluje od skutečného výkonu, studie srovnala absolutní a relativní jistotní odhady, vypočítáním, kolik každý model přeháněl svou vlastní schopnost (konkrétně, rozdíl mezi jeho jistotním skóre a jeho skutečnou přesností), a poté měřením, jak se tato nadměrná jistota vztahuje ke skutečnému výkonu:

Korelace mezi nadměrnou jistotou (měřenou jako absolutní minus relativní jistota) a skutečnou přesností napříč programovacími doménami a modelovými typy, ukazující, že větší nadměrná jistota je konzistentně spojena s nižším výkonem.

Dále specializované modely, které byly trénovány na užších doménách, vykazovaly silnější DKE efekty než generalistické:

Korelace mezi nadměrnou jistotou a skutečným výkonem pro základní, jedno-doménové a multi-doménové specializované modely, ukazující, že DKE efekty jsou silnější, jak se specializace zvyšuje.

Používáním MultiPL-E datasetu napříč osmi programovacími jazyky, autoři zjistili, že jedno-doménové trénování vedlo k větší nadměrné jistotě než multi-doménové nebo základní nastavení, naznačující, že DKE se zhoršuje se zvýšenou specializací.

Testy také našly, že modely tendují být více nadměrně jisté v vzácných programovacích jazycích. Napříč GitHub, IEEE a TIOBE žebříčky, vzácnost silně koreluje s vyšší vnímanou jistotou, s vrcholem na 0,797:

Korelace mezi nadměrnou jistotou modelu a jazykovou vzácností, pomocí tří popularity žebříčků. Méně běžné jazyky jsou spojeny s vyšší vnímanou jistotou.

Nakonec autoři testovali, zda se Dunning-Krugerův efekt objevuje v generování kódu, vyhodnocením modelů na MultiPL-E datasetu napříč jazyky Ada, Dart, Prolog, Swift, C++, Python, C# a Elixir.

Ačkoli efekt byl stále přítomen, byl zřetelně slabší než v nastavení více-vícenásobných otázek, pravděpodobně odrážející větší obtížnost při hodnocení jistoty a přesnosti v otevřených úkolech:

Korelace mezi nadměrnou jistotou a skutečným výkonem v otevřeném generování kódu, založená na výsledcích MultiPL-E napříč osmi jazyky.

Při zvažování stále sporného vysvětlení Dunning-Krugerova efektu, autoři uzavírají:

‘Jedno možné vysvětlení, které může být společné pro lidi i AI modely, je meta-kognitivní vysvětlení, které uvádí, že hodnocení kvality výkonu dovednosti je zásadní částí získání dovednosti.

‘Toto vysvětlení lze potenciálně testovat experimentálně u AI modelů se kontrolovanou studií různých trénovacích strategií a zda všechny vedou ke současným zlepšením výkonu a schopnosti hodnotit kvalitu výkonu. Nicméně, tato studie je značně mimo rozsah tohoto článku, a zanecháváme ji pro budoucí práci.’

Závěr

I v jeho rodné doméně, Dunning-Krugerův efekt (jak článek poznamenává) může být připsán buď statistické nebo kognitivní příčině. Pokud je to statistická příčina, aplikace dříve výhradně lidského syndromu do kontextu strojového učení je vlastně docela platná.

Ačkoli autoři spekulují, že příčina by mohla být ‘kognitivní’ v obou případech, to by vyžadovalo mírně metafyzické stanovisko.

Možná nejzajímavějším zjištěním v článku je rozsah, v jakém několik kódovacích LLM tenduje zdvojnásobit své nejnevýhodnější okolnosti, tj. vykazují maximální jistotu, když se zabývají nejřídkějšími nebo nejméně známými jazyky – což by byla téměř okamžitě sebe-destruktivní strategie v reálném pracovním prostředí.

* Programovací jazyky použité byly Ada, Bash, C, C#, C++, COBOL, Ceylon, Clojure, D, Dart, Dash, Elixir, Erland, F#, Fortran, Go, Haskell, Java, JavaScript, Julia, Lisp, Kotlin, Lua, OCaml, Objective-C, PHP, Pascal, Perl, Prolog, Python, Racket, Ruby, Rust, Scala, Swift, TypeScript a Visual Basic. První zveřejnění středa, 8. října 2025