Οι Κωδικοποιητές AI Υποφέρουν Από Τον Έφετρο Dunning-Kruger

Νέα έρευνα δείχνει ότι οι κωδικοποιητές AI, όπως το ChatGPT, υποφέρουν από τον Έφετρο Dunning-Kruger, συχνά δρώντας με μεγαλύτερη αυτοπεποίθηση όταν είναι λιγότερο ικανοί. Όταν αντιμετωπίζουν άγνωστες ή σπάνιες γλώσσες προγραμματισμού, ισχυρίζονται υψηλή βεβαιότητα ακόμη και όταν οι απαντήσεις τους διαψεύδονται. Η μελέτη συνδέει την υπερβολική αυτοπεποίθηση του μοντέλου με την κακή απόδοση και την έλλειψη δεδομένων εκπαίδευσης, αυξάνοντας νέες ανησυχίες σχετικά με το πόσο πραγματικά γνωρίζουν αυτά τα συστήματα για αυτά που δεν γνωρίζουν.

Όποιος έχει περάσει ακόμη και μέτριο χρόνο αλληλεπιδρώντας με Μεγάλους Μοντέλα Γλώσσας για πραγματικά ζητήματα θα ήδη γνωρίζει ότι τα LLMs συχνά έχουν την τάση να δίνουν μια αυτοπεποίθητη αλλά λανθασμένη απάντηση σε μια ερώτηση του χρήστη.

Εκτός από πιο σαφείς μορφές hallucination, ο λόγος για αυτήν την κενή αυτοπεποίθηση δεν είναι 100% σαφής. Έρευνα που δημοσιεύθηκε το καλοκαίρι υποδηλώνει ότι τα μοντέλα δίνουν αυτοπεποίθητες απαντήσεις ακόμη και όταν γνωρίζουν ότι είναι λανθασμένα, για παράδειγμα, αν και άλλες θεωρίες αποδίδουν την υπερβολική αυτοπεποίθηση σε αρχιτεκτονικές επιλογές, μεταξύ άλλων δυνατοτήτων.

Τι μπορεί να είναι βέβαιο ο τελικός χρήστης είναι ότι η εμπειρία είναι εξαιρετικά ενοχλητική,既然 ότι είμαστε προγραμματισμένοι να έχουμε πίστη στις ανθρώπινες εκτιμήσεις των ικανοτήτων τους (όχι λιγότερο επειδή σε τέτοιες περιπτώσεις υπάρχουν συνέπειες, νομικές και άλλες, σε一个人 που υπερβαίνει τις ικανότητές του και δεν εκπληρώνει); και ένας είδος ανθρωπομορφικής μεταφοράς σημαίνει ότι tend να αναπαράγουμε αυτήν τη συμπεριφορά με συστήματα διαλόγου AI.

Αλλά ένα LLM είναι ένα ακα운ταβλ entity που μπορεί και θα επιστρέψει μια ‘Whoops! Butterfingers…’ μετά από αυτό έχει βοηθήσει τον χρήστη να αθέλητα καταστρέψει κάτι σημαντικό, ή τουλάχιστον να σπαταλήσει ένα απόγευμα του χρόνου του, με την υπόθεση ότι θα ομολογήσει ευθύνη.

Χειρότερα, η έλλειψη προσεκτικής επιφυλακτικότητας φαίνεται αδύνατο να απομακρύνεται, τουλάχιστον στο ChatGPT, το οποίο θα εξασφαλίσει άφθονη ανασφάλεια στον χρήστη για την εγκυρότητα των συμβουλών του και θα εξηγήσει τις ελλείψεις στη σκέψη του μόνο μετά την καταστροφή.

Οι άνθρωποι μπορούν να είναι εξίσου obstinate και αυταπάτες – αν και όποιος σφάλμα τόσο βαθιά και συχνά θα ήταν πιθανό να απολυθεί νωρίς. Τέτοιοι υποφέρουν από το αντίθετο του ‘σύνδρομου απατεώνων’ (όπου ένας υπάλληλος φοβάται ότι έχει προαχθεί πάνω από τις ικανότητές του) – τον Έφετρο Dunning Kruger, όπου ένας άνθρωπος υπερεκτιμά σημαντικά τις ικανότητές του να εκτελέσει μια εργασία.

Ο Κόστος της Πληθωρισμού

Μια νέα μελέτη από τη Microsoft εξετάζει την αξία του Έφετρο Dunning-Kruger όσον αφορά την αποτελεσματική απόδοση των αρχιτεκτονικών κωδικοποίησης AI (όπως η δική της Copilot), σε μια έρευνα που είναι η πρώτη που αντιμετωπίζει ειδικά αυτόν τον υποτομέα των LLMs.

Η εργασία αναλύει πώς με σιγουριά τα AI που γράφουν κώδικα αξιολογούν τις δικές τους απαντήσεις έναντι του πώς πραγματικά εκτελούνται, σε δεκάδες γλώσσες προγραμματισμού. Τα αποτελέσματα δείχνουν ένα σαφές ανθρώπινο μοτίβο: όταν τα μοντέλα ήταν λιγότερο ικανά, ήταν πιο σίγουρα για τον εαυτό τους.

Το αποτέλεσμα ήταν πιο ισχυρό σε σπάνιες ή χαμηλής πόρων γλώσσες, όπου τα δεδομένα εκπαίδευσης ήταν λεπτά – το πιο αδύναμο μοντέλο ή η σπανιότερη γλώσσα, η μεγαλύτερη εικόνα της ικανότητας:

GPT-4o’s πραγματική και αντιλαμβανόμενη απόδοση σε γλώσσες προγραμματισμού. Πηγή: https://arxiv.org/pdf/2510.05457

Οι τέσσερις συγγραφείς, όλοι ισότιμοι συντελεστές που εργάζονται για τη Microsoft, υποστηρίζουν ότι η εργασία ανακύπτει νέες ερωτήσεις σχετικά με το πόσο αυτά τα εργαλεία μπορούν να εμπιστευτούν να κρίνουν την δική τους έξοδο, και δηλώνουν:

‘Με την ανάλυση της αυτοπεποίθησης του μοντέλου και της απόδοσης σε μια ποικιλία γλωσσών προγραμματισμού, αποκαλύπτουμε ότι τα μοντέλα AI αντανακλούν ανθρώπινες τάσεις υπερβολικής αυτοπεποίθησης, ιδιαίτερα σε άγνωστες ή χαμηλής πόρων περιοχές.

‘Οι πειραματικές μας δείχνουν ότι λιγότερο ικανά μοντέλα και αυτά που λειτουργούν σε σπάνιες γλώσσες προγραμματισμού εμφανίζουν ισχυρότερη DKE-όμοια προκατάληψη, υποδεικνύοντας ότι η δύναμη της προκατάληψης είναι αναλογική προς την ικανότητα των μοντέλων. Αυτό συμφωνεί με ανθρώπινες πειραματικές για την προκατάληψη.’

Μέθοδος

Η μελέτη ελέγχει πώς ακριβώς τα AI που κωδικοποιούν μπορούν να κρίνουν τις δικές τους απαντήσεις δίνοντάς τους χιλιάδες πολλαπλής επιλογής ερωτήσεις προγραμματισμού, με κάθε ερώτηση να ανήκει σε μια συγκεκριμένη περιοχή γλωσσών, από Python και Java έως Perl και COBOL:

Περιοχές γλωσσών προγραμματισμού που χρησιμοποιήθηκαν στη μελέτη.

Τα μοντέλα είχαν την任务 να επιλέξουν την σωστή επιλογή και στη συνέχεια να εκτιμήσουν πόσο σίγουρα ήταν στην επιλογή τους, με την πραγματική απόδοση τους να μετράται από το πόσο συχνά έδιναν τη σωστή απάντηση – και η αυτοαξιολόγηση της αυτοπεποίθησής τους να δείχνει πόσο καλά πιστεύουν ότι ήταν. Η σύγκριση αυτών των δύο μετρήσεων επέτρεψε στους ερευνητές να δουν πού η αυτοπεποίθηση και η ικανότητα διέφευγαν.

Για να μετρήσουν πόσο σίγουρα φαίνονταν τα μοντέλα, η μελέτη χρησιμοποίησε δύο μεθόδους: απόλυτη αυτοπεποίθηση και σχετική αυτοπεποίθηση. Στην πρώτη, το μοντέλο ζητήθηκε να δώσει ένα σκορ από μηδέν έως ένα δίπλα σε κάθε απάντηση, με την αυτοπεποίθησή του για μια δεδομένη γλώσσα να ορίζεται από το μέσο των αυτών των σκορ σε ερωτήσεις σε αυτήν τη γλώσσα.

Η δεύτερη μέθοδος εξέτασε πόσο σίγουρα ήταν το μοντέλο όταν επέλεγε μεταξύ δύο ερωτήσεων; για κάθε ζευγάρι, το μοντέλο έπρεπε να πει ποια ήταν πιο σίγουρο. Αυτές οι επιλογές αξιολογήθηκαν χρησιμοποιώντας συστήματα κατάταξης που σχεδιάστηκαν αρχικά για ανταγωνιστικά παιχνίδια, αντιμετωπίζοντας κάθε ερώτηση ως ένα παίκτη σε ένα παιχνίδι. Τα τελικά σκορ Normalize και μέσο όρο για κάθε γλώσσα για να δώσουν ένα σχετικό σκορ αυτοπεποίθησης.

Δύο καθιερωμένες μορφές του Έφετρο Dunning-Kruger εξετάζονται στην εργασία: μια που παρακολουθεί πώς ένα μοντέλο υποεκτιμά την απόδοσή του σε διαφορετικές περιοχές; και μια άλλη που συγκρίνει τα επίπεδα αυτοπεποίθησης μεταξύ ασθενέστερων και ισχυρότερων μοντέλων.

Η πρώτη μορφή, που ονομάζεται εσωτερική DKE, εξετάζει εάν ένα μοντέλο γίνεται πιο υπερβολικά αυτοπεποίθησε σε γλώσσες όπου εκτελείται κακώς. Η δεύτερη, εξωτερική DKE, ρωτάει εάν τα μοντέλα που εκτελούνται χειρότερα γενικά επίσης να αξιολογούν υψηλότερα τον εαυτό τους.

Αποτελέσματα

Η μελέτη ελέγχει για τον Έφετρο Dunning-Kruger σε έξι μεγάλα μοντέλα γλωσσών: Mistral; Phi‑3; DeepSeek‑Distill; Phi‑4; GPT‑0.1, και GPT‑4o.

Κάθε μοντέλο ελέγχεται σε πολλαπλής επιλογής ερωτήσεις προγραμματισμού από το δημόσια διαθέσιμο CodeNet dataset, με 37 γλώσσες* που αντιπροσωπεύουν για να αποκαλύψουν πώς η αυτοπεποίθηση και η ακρίβεια ποικίλλουν σε γνωστές και σπάνιες περιοχές κωδικοποίησης.

Η ανάλυση μεταξύ μοντέλων δείχνει ένα σαφές μοτίβο Dunning-Kruger:

Πραγματική και αντιλαμβανόμενη απόδοση σε έξι μοντέλα κώδικα.

Τα μοντέλα με χαμηλότερη ακρίβεια, συμπεριλαμβανομένων των Mistral και Phi‑3, τάχθηκαν να υπερεκτιμούν τις ικανότητές τους, ενώ τα ισχυρότερα συστήματα όπως το GPT‑4o δείχνουν αυτοπεποίθηση που αντιστοιχεί περισσότερο στην πραγματική τους απόδοση, ιδιαίτερα όταν κρίνεται από σχετική αυτοπεποίθηση.

Τα αποτελέσματα δείχνουν επίσης ότι τα πιο ικανά μοντέλα μπορεί να υποεκτιμούν τον εαυτό τους (ένα μοτίβο που τα απολυτα σκορ δεν καταφέρνουν να αποτυπώσουν).

Τα αποτελέσματα επίσης υποδεικνύουν ότι η ανάλυση εσωτερικού μοντέλου υποστηρίζει την παρουσία του Έφετρο Dunning-Kruger. Στο διάγραμμα αποτελεσμάτων που εμφανίζεται στην αρχή του άρθρου, βλέπουμε πώς κάθε μοντέλο εκτελέστηκε σε διαφορετικές γλώσσες προγραμματισμού, ταξινομημένες από την πραγματική απόδοση.

Στις γλώσσες όπου τα μοντέλα είχαν κακή απόδοση, ιδιαίτερα σε σπάνιες ή χαμηλής πόρων γλώσσες όπως COBOL, Prolog και Ceylon, η αυτοπεποίθησή τους ήταν εμφανώς υψηλότερη από ό,τι δικαιολογούσαν τα αποτελέσματά τους. Σε γνωστές γλώσσες όπως Python και JavaScript, η αυτοπεποίθησή τους αντιστοιχούσε περισσότερο στην πραγματική τους ακρίβεια, και đôi και ακόμη και κάτω από αυτήν.

Αυτό το μοτίβο εμφανίστηκε και στις απολυτα και στις σχετικές μετρήσεις αυτοπεποίθησης, υποδεικνύοντας ότι τα μοντέλα είναι λιγότερο συνειδητά των ορίων τους όταν λειτουργούν σε άγνωστες περιοχές κωδικοποίησης.

Συμπέρασμα

Ακόμη και στην ιδιαίτερη περιοχή, ο Έφετρο Dunning-Kruger (όπως σημειώνει η εργασία) μπορεί να αποδοθεί είτε σε στατιστική είτε σε γνωστική αιτία. Αν σε στατιστική αιτία, η εφαρμογή ενός μοτίβου που ήταν μέχρι τώρα αποκλειστικά ανθρώπινο σε ένα контекст μηχανικής μάθησης είναι πραγματικά έγκυρη.

Πιθανώς το πιο ενδιαφέρον εύρημα στην εργασία είναι το βαθμό στον οποίο πολλά LLMs κωδικοποίησης τάχθηκαν να διπλασιάσουν στις λιγότερο ευνοϊκές τους περιπτώσεις, δηλαδή, εμφανίζοντας μέγιστη αυτοπεποίθηση όταν αντιμετωπίζουν τις σπανιότερες ή λιγότερο γνωστές γλώσσες – που θα ήταν μια σχεδόν αμέσως αυτοκαταστροφική στρατηγική σε ένα πραγματικό περιβάλλον εργασίας.

* Οι γλώσσες προγραμματισμού που χρησιμοποιήθηκαν ήταν Ada, Bash, C, C#, C++, COBOL, Ceylon, Clojure, D, Dart, Dash, Elixir, Erland, F#, Fortran, Go, Haskell, Java, JavaScript, Julia, Lisp, Kotlin, Lua, OCaml, Objective-C, PHP, Pascal, Perl, Prolog, Python, Racket, Ruby, Rust, Scala, Swift, TypeScript και Visual Basic.

Πρώτη δημοσίευση Τετάρτη, 8 Οκτωβρίου 2025