Kecenderungan AI Pemrograman Mengalami Efek Dunning-Kruger

Penelitian baru menunjukkan bahwa AI pemrograman seperti ChatGPT mengalami Efek Dunning-Kruger, sering kali bertindak dengan penuh kepercayaan diri ketika mereka tidak kompeten. Ketika menghadapi bahasa pemrograman yang tidak familiar atau langka, mereka mengklaim kepastian tinggi meskipun jawaban mereka tidak tepat. Studi ini menghubungkan kelebihan kepercayaan diri model dengan kinerja yang buruk dan kurangnya data pelatihan, menimbulkan kekhawatiran baru tentang seberapa banyak sistem ini benar-benar tahu tentang apa yang mereka tidak ketahui.

Siapa pun yang telah menghabiskan waktu yang cukup lama berinteraksi dengan Model Bahasa Besar tentang masalah faktual akan sudah tahu bahwa LLM sering kali cenderung memberikan respons yang percaya diri tetapi salah terhadap pertanyaan pengguna.

Bersama dengan bentuk lain dari halusinasi, alasan dari kebanggaan kosong ini tidak 100% jelas. Penelitian yang diterbitkan selama musim panas menunjukkan bahwa model memberikan jawaban yang percaya diri bahkan ketika mereka tahu mereka salah, misalnya; meskipun teori lain mengaitkan kelebihan kepercayaan diri dengan pilihan arsitektur, di antara kemungkinan lain.

Apa yang dapat dipastikan oleh pengguna akhir adalah bahwa pengalaman ini sangat frustrasi, karena kita telah diprogram untuk mempercayai estimasi orang tentang kemampuan mereka sendiri (tidak kurang karena dalam kasus seperti itu ada konsekuensi, hukum dan lain-lain, untuk seseorang yang berlebihan dan tidak memenuhi); dan suatu bentuk transfer antropomorfik berarti kita cenderung mengulangi perilaku ini dengan sistem AI konversasional.

Tetapi LLM adalah entitas yang tidak bertanggung jawab yang dapat dan akan efektif mengembalikan ‘Whoops! Butterfingers…’ setelah membantu pengguna untuk tidak sengaja menghancurkan sesuatu yang penting, atau setidaknya membuang sore hari mereka; menganggap itu akan mengakui tanggung jawab.

Lebih buruk lagi, kurangnya kehati-hatian yang bijak ini tampaknya tidak mungkin diprompt untuk dihilangkan, setidaknya di ChatGPT, yang akan berlimpah memastikan pengguna tentang validitas saran mereka, dan menjelaskan kelemahan dalam pemikiran mereka hanya setelah kerusakan telah terjadi. Baik memperbarui memori persisten sistem, maupun penggunaan prompt berulang tidak tampak memiliki dampak besar pada masalah ini.

Orang dapat sama-sama keras kepala dan menipu diri sendiri – meskipun siapa pun yang salah sebesar itu dan sering akan kemungkinan dipecat awal. Seperti ini menderita dari kebalikan dari ‘sindrom impostor’ (di mana seorang karyawan takut telah dipromosikan di atas kemampuan mereka) – Efek Dunning Kruger, di mana seseorang secara signifikan melebih-lebihkan kemampuan mereka untuk melakukan tugas.

Biaya Inflasi

Studi baru dari Microsoft memeriksa nilai Efek Dunning-Kruger sehubungan dengan kinerja efektif arsitektur pemrograman yang dibantu AI (seperti Copilot milik Redmond sendiri), dalam upaya penelitian yang pertama kali secara khusus mengatasi sub-sektor LLM ini.

Penelitian ini menganalisis bagaimana percaya diri model-model kode menilai jawaban mereka sendiri terhadap seberapa baik mereka sebenarnya berkinerja, di selusin bahasa pemrograman. Hasilnya menunjukkan pola yang mirip dengan manusia: ketika model-model tersebut paling tidak mampu, mereka paling yakin diri.

Efek ini paling kuat dalam bahasa yang tidak umum atau langka, di mana data pelatihan tipis – model yang lebih lemah atau bahasa yang lebih jarang, ilusi keahlian lebih besar:

Kinerja sebenarnya dan yang dirasakan dari GPT-4o di seluruh bahasa pemrograman, diurutkan berdasarkan kinerja sebenarnya. Sumber: https://arxiv.org/pdf/2510.05457

Empat penulis, semua kontributor setara yang bekerja untuk Microsoft, berpendapat bahwa penelitian ini menimbulkan pertanyaan baru tentang seberapa banyak alat-alat ini dapat dipercaya untuk menilai output mereka sendiri, dan mereka menyatakan:

‘Dengan menganalisis kepercayaan diri model dan kinerja di seluruh berbagai bahasa pemrograman, kami mengungkap bahwa model AI mencerminkan pola kelebihan kepercayaan diri manusia, terutama di domain yang tidak familiar atau langka.

‘Eksperimen kami menunjukkan bahwa model yang kurang kompeten dan yang beroperasi dalam bahasa pemrograman yang langka menunjukkan bias DKE yang lebih kuat, menunjukkan bahwa kekuatan bias tersebut sebanding dengan kemampuan model. Ini sejalan dengan eksperimen manusia untuk bias.’

Peneliti memahami garis penelitian ini sebagai cara untuk memahami bagaimana kepercayaan diri model menjadi tidak dapat diandalkan ketika kinerja lemah, dan untuk menguji apakah sistem AI menampilkan kelebihan kepercayaan diri yang sama seperti yang dilihat pada manusia – dengan implikasi hilir untuk kepercayaan dan penerapan praktis.

Meskipun makalah baru ini menentang hukum headline Betteridge, judulnya adalah Apakah Model Kode Mengalami Efek Dunning-Kruger?. Meskipun penulis menyatakan bahwa kode telah dirilis untuk penelitian ini, pracetak saat ini tidak membawa detail tentang hal ini.

Metode

Studi ini menguji seberapa akurat AI pemrograman dapat menilai jawaban mereka sendiri dengan memberikan ribuan pertanyaan pemrograman pilihan ganda, dengan setiap pertanyaan milik domain bahasa pemrograman tertentu, dari Python dan Java hingga Perl dan COBOL:

Domain bahasa pemrograman yang digunakan dalam studi, bersama dengan jumlah pertanyaan pemrograman pilihan ganda yang diambil untuk setiap domain.

Model-model tersebut diminta untuk memilih opsi yang benar, dan kemudian memperkirakan seberapa yakin mereka dengan pilihan mereka, dengan kinerja sebenarnya diukur oleh seberapa sering mereka mendapatkan jawaban yang benar – dan kepercayaan diri yang dinilai menunjukkan seberapa baik mereka percaya mereka.

Untuk mengukur seberapa percaya diri model tersebut tampak, studi ini menggunakan dua metode: kepercayaan diri absolut dan kepercayaan diri relatif. Dalam yang pertama, model diminta untuk memberikan skor dari nol hingga satu bersama dengan setiap jawaban, dengan kepercayaan diri untuk bahasa tertentu didefinisikan oleh rata-rata skor tersebut di seluruh pertanyaan dalam bahasa tersebut.

Metode kedua melihat seberapa percaya diri model ketika memilih antara dua pertanyaan; untuk setiap pasangan, model harus mengatakan pertanyaan mana yang mereka rasakan lebih yakin. Pilihan tersebut kemudian dinilai menggunakan sistem peringkat yang awalnya dirancang untuk permainan kompetitif, memperlakukan setiap pertanyaan sebagai jika itu adalah pemain dalam pertandingan. Skor akhir dinormalisasi dan dirata-ratakan untuk setiap bahasa untuk memberikan skor kepercayaan diri relatif.

Dua bentuk yang mapan dari Efek Dunning-Kruger diperiksa dalam makalah ini: satu yang melacak bagaimana model tunggal menilai kinerja mereka sendiri di seluruh domain yang berbeda; dan lainnya yang membandingkan tingkat kepercayaan diri antara model yang lebih lemah dan lebih kuat.

Bentuk pertama, disebut intra-partisipan DKE, melihat apakah model tunggal menjadi lebih percaya diri dalam bahasa di mana mereka berkinerja buruk. Yang kedua, inter-partisipan DKE, bertanya apakah model yang berkinerja lebih buruk secara keseluruhan juga cenderung menilai diri mereka sendiri lebih tinggi.

Dalam kedua kasus, kesenjangan antara kepercayaan diri dan kinerja sebenarnya digunakan untuk mengukur kelebihan kepercayaan diri, dengan kesenjangan yang lebih besar dalam pengaturan kinerja yang buruk menunjukkan perilaku seperti DKE.

Hasil

Studi ini menguji Efek Dunning-Kruger di seluruh enam model bahasa besar: Mistral; Phi-3; DeepSeek-Distill; Phi-4; GPT-0.1, dan GPT-4o.

Masing-masing model diuji pada pertanyaan pemrograman pilihan ganda dari dataset CodeNet yang tersedia secara publik, dengan 37 bahasa* yang diwakili untuk mengungkapkan bagaimana kepercayaan diri dan akurasi bervariasi di seluruh domain pemrograman yang familiar dan langka.

Analisis antar-model menunjukkan pola Dunning-Kruger yang jelas:

Kinerja sebenarnya versus yang dirasakan di seluruh enam model kode, menunjukkan bagaimana model dengan kinerja yang lebih rendah seperti Mistral dan Phi-3 menampilkan kepercayaan diri tinggi meskipun akurasi yang buruk, sementara model yang lebih kuat seperti GPT-4o menampilkan kepercayaan diri yang lebih terkendali atau bahkan kurang percaya diri.

Model dengan akurasi yang lebih rendah, termasuk Mistral dan Phi-3, cenderung melebih-lebihkan kemampuan mereka sendiri, sementara sistem yang berkinerja lebih tinggi seperti GPT-4o menampilkan tingkat kepercayaan diri yang lebih sejalan dengan kinerja sebenarnya, terutama ketika diukur oleh kepercayaan diri relatif.

Hasil juga menunjukkan bahwa model yang paling mampu mungkin terkadang meremehkan diri mereka sendiri (polanya yang skor kepercayaan diri absolut gagal menangkap).

Hasil juga menunjukkan bahwa analisis intra-model juga mendukung keberadaan Efek Dunning-Kruger. Dalam grafik hasil yang ditampilkan di awal artikel, kita dapat melihat bagaimana setiap model berkinerja di seluruh bahasa pemrograman yang berbeda, diatur oleh kinerja sebenarnya.

Dalam bahasa di mana model-model tersebut skor rendah, terutama dalam bahasa yang langka atau kurang umum seperti COBOL, Prolog, dan Ceylon, kepercayaan diri mereka jauh lebih tinggi dari yang dibenarkan oleh hasil mereka. Dalam bahasa yang lebih umum seperti Python dan JavaScript, kepercayaan diri mereka lebih sejalan dengan akurasi sebenarnya, dan terkadang bahkan lebih rendah.

Polanya ini muncul dalam kedua ukuran kepercayaan diri absolut dan relatif, menunjukkan bahwa model kurang menyadari keterbatasan mereka sendiri ketika beroperasi dalam domain pemrograman yang tidak familiar.

Menganggap model sebagai partisipan memperkenalkan beberapa keterbatasan, karena jumlah model yang kecil mempengaruhi keanekaragaman; perbedaan dalam output model tunggal diabaikan; dan distribusi data mungkin tidak mencerminkan partisipan manusia yang sebenarnya.

Untuk mengatasi hal ini, studi ini menguji tiga pengaturan alternatif: pertama, setiap model diberi persona yang berbeda; kedua, respons diambil pada suhu yang lebih tinggi untuk menciptakan variasi yang lebih besar; ketiga, prompt diparafrasikan beberapa kali, dengan setiap versi dianggap sebagai partisipan yang berbeda:

Korelasi antara kelebihan kepercayaan diri dan kinerja sebenarnya di seluruh pengaturan eksperimental yang berbeda, menunjukkan bahwa pola Dunning-Kruger tetap konsisten di semua kondisi dan paling kuat ketika beberapa respons yang beragam diambil dari model yang sama.

Tabel hasil di atas menunjukkan seberapa kuat Efek Dunning-Kruger muncul dalam kondisi ini, tetap ada dalam setiap kasus; dan bahwa DKE paling kuat ketika beberapa respons diambil dari model yang sama pada suhu yang lebih tinggi.

Untuk lebih memahami bagaimana kinerja yang dirasakan berbeda dari kinerja sebenarnya, studi ini membandingkan perkiraan kepercayaan diri absolut dan relatif, dengan menghitung seberapa banyak setiap model melebih-lebihkan kemampuan mereka sendiri (secara khusus, perbedaan antara skor kepercayaan diri dan akurasi sebenarnya), dan kemudian mengukur bagaimana kelebihan kepercayaan diri tersebut terkait dengan kinerja sebenarnya:

Korelasi antara kelebihan kepercayaan diri (diukur sebagai kepercayaan diri absolut minus kepercayaan diri relatif) dan akurasi sebenarnya di seluruh domain pemrograman dan jenis model, menunjukkan bahwa kelebihan kepercayaan diri yang lebih besar secara konsisten terkait dengan kinerja yang lebih rendah.

Hasil tabel di atas menggambarkan bagaimana kelebihan kepercayaan diri terkait dengan kinerja sebenarnya, baik di seluruh domain pemrograman maupun di seluruh model. Dalam kedua kasus, kita dapat melihat bahwa model dengan akurasi yang lebih rendah cenderung menampilkan kelebihan kepercayaan diri yang lebih besar.

Hasil juga menunjukkan bahwa model yang lebih spesialis dan dilatih pada domain yang lebih sempit menampilkan efek DKE yang lebih kuat daripada model umum:

Korelasi antara kelebihan kepercayaan diri dan kinerja sebenarnya untuk model dasar, spesialis tunggal-domain, dan multi-domain, menunjukkan efek DKE yang lebih kuat seiring dengan peningkatan spesialisasi.

Menggunakan dataset MultiPL-E di seluruh delapan bahasa pemrograman, penulis menemukan bahwa pelatihan tunggal-domain menghasilkan kelebihan kepercayaan diri yang lebih besar daripada pelatihan multi-domain atau pengaturan dasar, menunjukkan bahwa DKE memburuk dengan peningkatan spesialisasi.

Pengujian juga menemukan bahwa model cenderung lebih percaya diri dalam bahasa pemrograman yang langka. Di seluruh peringkat GitHub, IEEE, dan TIOBE, kelangkaan sangat terkait dengan kepercayaan diri yang lebih tinggi, puncaknya pada 0,797:

Korelasi antara kelebihan kepercayaan diri model dan kelangkaan bahasa, menggunakan tiga peringkat popularitas. Bahasa yang kurang umum terkait dengan kinerja yang dirasakan yang lebih tinggi.

Akhirnya, penulis menguji apakah Efek Dunning-Kruger muncul dalam generasi kode, dengan mengevaluasi model pada dataset MultiPL-E di seluruh delapan bahasa pemrograman.

Meskipun efek tersebut masih ada, itu jauh lebih lemah daripada dalam pengaturan pertanyaan pilihan ganda, kemungkinan karena kesulitan yang lebih besar dalam menilai kepercayaan diri dan kebenaran dalam tugas terbuka:

Korelasi antara kelebihan kepercayaan diri dan kinerja sebenarnya dalam generasi kode terbuka, berdasarkan hasil MultiPL-E di seluruh delapan bahasa pemrograman.

Dalam mempertimbangkan penjelasan yang masih diperdebatkan untuk Efek Dunning-Kruger, penulis menyimpulkan:

‘Salah satu penjelasan potensial yang mungkin umum bagi manusia dan model AI adalah penjelasan metakognitif, yang menyatakan bahwa menilai kualitas kinerja suatu keterampilan adalah bagian penting dari menguasai keterampilan.

‘Penjelasan ini dapat dipertimbangkan secara eksperimental pada model AI dengan studi terkontrol tentang strategi pelatihan yang berbeda dan apakah mereka semua mengarah pada perbaikan simultan dalam kinerja dan kemampuan menilai kualitas kinerja. Namun, studi ini jauh melampaui cakupan makalah ini, dan kami meninggalkannya untuk pekerjaan masa depan.’

Kesimpulan

Bahkan dalam domain aslinya, Efek Dunning-Kruger (seperti yang dicatat dalam makalah) mungkin dapat dikaitkan dengan penyebab statistik atau kognitif. Jika disebabkan oleh penyebab statistik, penerapan sindrom yang unik manusia ke konteks pembelajaran mesin sebenarnya cukup valid.

Meskipun penulis berspekulasi bahwa penyebabnya mungkin ditemukan sebagai ‘kognitif’ dalam kedua kasus, itu akan memerlukan pandangan yang sedikit lebih metafisik.

Mungkin temuan paling menarik dalam makalah ini adalah seberapa besar beberapa LLM pemrograman cenderung menggandakan dalam keadaan yang paling tidak menguntungkan, yaitu dengan menampilkan kepercayaan diri maksimum ketika berhadapan dengan bahasa yang paling langka atau kurang dikenal – yang akan menjadi strategi yang hampir langsung menghancurkan diri sendiri dalam lingkungan kerja dunia nyata.

* Bahasa pemrograman yang digunakan adalah Ada, Bash, C, C#, C++, COBOL, Ceylon, Clojure, D, Dart, Dash, Elixir, Erland, F#, Fortran, Go, Haskell, Java, JavaScript, Julia, Lisp, Kotlin, Lua, OCaml, Objective-C, PHP, Pascal, Perl, Prolog, Python, Racket, Ruby, Rust, Scala, Swift, TypeScript, dan Visual Basic.

Dipublikasikan pertama kali pada hari Rabu, 8 Oktober 2025