Όταν τα Benchmarks του AI Διδάσκουν τα Μοντέλα να Ψεύδονται

AI hallucination — όταν ένα σύστημα παράγει απαντήσεις που ακούγονται σωστές αλλά είναι στην πραγματικότητα λάθος — παραμένει μια από τις πιο δύσκολες προκλήσεις στην τεχνητή νοημοσύνη. Ακόμη και τα πιο προηγμένα μοντέλα της σημερινής εποχής, όπως το DeepSeek-V3, το Llama και η τελευταία έκδοση του OpenAI, vẫn παράγουν ανακριβείς πληροφορίες με υψηλή βεβαιότητα. Σε περιοχές όπως η υγεία ή το δίκαιο, τέτοιες λάθη μπορούν να οδηγήσουν σε σοβαρές συνέπειες.

Παραδοσιακά, οι ψευδαισθήσεις έχουν θεωρηθεί ως παράπλευρη επιπτώσεις του τρόπου με τον οποίο εκπαιδεύονται τα μεγάλα μοντέλα γλωσσικών μοντέλων: μαθαίνουν να προβλέπουν το επόμενο πιο πιθανό λέξη χωρίς να ελέγχουν αν η πληροφορία είναι αληθινή. Αλλά νέα ερευνήσεις υποδεικνύουν ότι το ζήτημα μπορεί να μην σταματήσει στην εκπαίδευση. Τα benchmarks που χρησιμοποιούνται για να δοκιμάσουν και να συγκρίνουν την απόδοση του AI μπορεί να ενισχύουν στην πραγματικότητα τη λανθασμένη συμπεριφορά, ανταμείβοντας τις απαντήσεις που ακούγονται πειστικές παρά τις σωστές.

Αυτή η αλλαγή στην προοπτική αναδιαμορφώνει το πρόβλημα. Αν τα μοντέλα εκπαιδεύονται για να ευχαριστήσουν το τεστ παρά να πουν την αλήθεια, τότε οι ψευδαισθήσεις δεν είναι τυχαία λάθη, αλλά μάθηση στρατηγικών. Για να δούμε γιατί συμβαίνει αυτό, πρέπει να εξετάσουμε γιατί τα μοντέλα του AI επιλέγουν να κάνουν υποθέσεις αντί να ομολογούν την αγνωσία τους;

Γιατί τα Μοντέλα του AI Κάνουν Υποθέσεις

Για να δούμε γιατί τα μοντέλα του AI συχνά κάνουν υποθέσεις αντί να ομολογούν ότι δεν ξέρουν, σκεφτείτε ένα μαθητή που αντιμετωπίζει μια δύσκολη ερώτηση εξέτασης. Ο μαθητής έχει δύο επιλογές: να αφήσει την απάντηση κενή και να πάρει μηδέν πόντους, ή να κάνει μια εκπαιδευμένη υποθέση που μπορεί να κερδίσει κάποιους πόντους. Λογικά, η υποθέση φαίνεται σαν η καλύτερη επιλογή επειδή υπάρχει τουλάχιστον μια πιθανότητα να είναι σωστή.

Τα μοντέλα του AI αντιμετωπίζουν μια παρόμοια κατάσταση κατά τη διάρκεια της αξιολόγησης. Τα περισσότερα benchmarks χρησιμοποιούν ένα δυαδικό σύστημα βαθμολογίας: οι σωστές απαντήσεις κερδίζουν πόντους, ενώ οι λανθασμένες ή αβέβαιες απαντήσεις κερδίζουν τίποτα. Αν ένα μοντέλο ρωτηθεί, “Τι είναι η ημερομηνία γέννησης ενός ερευνητή;” και πραγματικά δεν ξέρει, η απάντηση “Δεν ξέρω” μετράει ως αποτυχία. Η δημιουργία μιας ημερομηνίας, ωστόσο, φέρει κάποια πιθανότητα να είναι σωστή — και ακόμη και αν είναι λάθος, το σύστημα δεν τιμωρεί την αυτοπεποίθηση της υποθέσεως περισσότερο από τη σιωπή.

Αυτή η δυναμική εξηγεί γιατί οι ψευδαισθήσεις παραμένουν παρά την εκτεταμένη έρευνα για την εξάλειψή τους. Τα μοντέλα δεν συμπεριφέρονται λανθασμένα, ακολουθούν τις ενισχύσεις που είναι ενσωματωμένες στην αξιολόγηση. Μαθαίνουν ότι η ηχητική αυτοπεποίθηση είναι ο καλύτερος τρόπος για να μεγιστοποιήσουν το σκορ τους, ακόμη και όταν η απάντηση είναι ψευδής. Ως αποτέλεσμα, αντί να εκφράζουν αβεβαιότητα, τα μοντέλα οδηγούνται να δώσουν εξουσιοδοτημένες δηλώσεις — σωστές ή λάθος.

Η Μαθηματική Βάση της Αdishonesty του AI

Η ερευνήση δείχνει ότι οι ψευδαισθήσεις προκύπτουν από τα μαθηματικά θεμέλια του τρόπου με τον οποίο τα γλωσσικά μοντέλα μαθαίνουν. Ακόμη και αν ένα μοντέλο εκπαιδευτεί μόνο σε απόλυτα ακριβείς πληροφορίες, τα στατιστικά αντικείμενά του θα οδηγήσουν ακόμη σε λάθη. Αυτό οφείλεται στο γεγονός ότι η δημιουργία της σωστής απάντησης είναι θεμελιωδώς πιο δύσκολη από το να αναγνωρίσει αν μια απάντηση είναι έγκυρη.

Αυτό βοηθά να εξηγήσει γιατί τα μοντέλα συχνά αποτυγχάνουν σε γεγονότα που λείπουν σαφείς προτύπους, όπως ημερομηνίες γέννησης ή άλλα μοναδικά στοιχεία. Η μαθηματική ανάλυση υποδεικνύει ότι οι ψευδαισθήσεις σε αυτές τις περιπτώσεις θα είναι τουλάχιστον τόσο υψηλές όσο το ποσοστό των γεγονότων που εμφανίζονται μόνο μια φορά στα δεδομένα εκπαίδευσης. Με άλλα λόγια, το σπανιότερο το στοιχείο στις πληροφορίες, το πιο πιθανό είναι να πασχίσει το μοντέλο με αυτό.

Το πρόβλημα δεν περιορίζεται στα σπάνια γεγονότα. Οι δομικές περιορισμοί όπως η περιορισμένη ικανότητα του μοντέλου ή ο αρχιτεκτονικός σχεδιασμός επίσης παράγουν συστηματικά λάθη. Για παράδειγμα, τα προηγούμενα μοντέλα με πολύ σύντομες παραθύρου контекστούν συνεχώς αποτύγχαναν σε εργασίες που απαιτούσαν μακροπρόθεσμη σκέψη. Αυτά τα λάθη δεν ήταν τυχαία σφάλματα αλλά προβλέψιμα αποτελέσματα του μαθηματικού πλαισίου του μοντέλου.

Γιατί η Μετά-Εκπαίδευση Αποτυγχάνει να Λύσει το Πρόβλημα

Μόλις ένα μοντέλο του AI εκπαιδευτεί σε τεράστια δεδομένα κειμένου, συνήθως περνάει από μια διαδικασία fine-tuning για να κάνει την έξοδο πιο χρήσιμη και λιγότερο επιζήμια. Αλλά αυτή η διαδικασία αντιμετωπίζει το ίδιο βασικό ζήτημα που προκαλεί τις ψευδαισθήσεις από την αρχή: τον τρόπο με τον οποίο αξιολογούμε τα μοντέλα.

Οι πιο συνηθισμένες μεθόδους fine-tuning, όπως η ενίσχυση της μάθησης από ανθρώπινη ανάδραση, εξακολουθούν να βασίζονται σε benchmarks που χρησιμοποιούν δυαδική βαθμολογία. Αυτά τα benchmarks ανταμείβουν τα μοντέλα για την παροχή αυτοπεποίθησης απαντήσεων ενώ δεν προσφέρουν κανένα πιστό στην περίπτωση που ένα μοντέλο ομολογεί ότι δεν ξέρει. Ως αποτέλεσμα, ένα σύστημα που απαντά πάντα με βεβαιότητα, ακόμη και όταν είναι λάθος, μπορεί να ξεπεράσει ένα σύστημα που ομολογεί την αβεβαιότητα με ειλικρίνεια.

Οι ερευνητές ονομάζουν αυτό το πρόβλημα το πρόβλημα της ποινής της αβεβαιότητας. Ακόμη και οι προηγμένες τεχνικές για την ανίχνευση ή τη μείωση των ψευδαισθήσεων παλεύουν όταν τα υποκείμενα benchmarks συνεχίζουν να ευνοούν την υπερβολική αυτοπεποίθηση. Με άλλα λόγια, όσο οι συστήματα αξιολόγησης ανταμείβουν τις αυτοπεποίθησης υποθέσεις, τα μοντέλα θα είναι προκατειλημμένα προς τις λανθασμένες αλλά βέβαιες απαντήσεις αντί για τις αληθινές ομολογίες της αβεβαιότητας.

Η Ψευδαίσθηση της Προόδου

Οι κατατάξεις, που μοιράζονται ευρέως στην κοινότητα του AI, ενισχύουν αυτό το πρόβλημα. Τα benchmarks όπως το MMLU, το GPQA και το SWE-bench κυριαρχούν στα έγγραφα ερεύνης και στις ανακοινώσεις προϊόντων. Οι εταιρείες υπογραμμίζουν τα σκορ τους για να δείξουν τη γρήγορη πρόοδο. Ωστόσο, όπως σημειώνει η αναφορά, αυτά τα ίδια benchmarks ενισχύουν τις ψευδαισθήσεις.

Ένα μοντέλο που ομολογεί “Δεν ξέρω” μπορεί να είναι ασφαλέστερο σε πραγματικές ρυθμίσεις αλλά θα κατατάσσεται χαμηλότερα στην κατάταξη. Αντίθετα, ένα μοντέλο που κατασκευάζει πειστικές αλλά ψευδείς απαντήσεις θα σκοράρει καλύτερα. Όταν η υιοθέτηση, η χρηματοδότηση και η φήμη εξαρτώνται από τις κατατάξεις, η κατεύθυνση της προόδου γίνεται διαστρεβλωμένη. Το κοινό βλέπει μια αφήγηση συνεχούς βελτίωσης, αλλά κάτω από την επιφάνεια, τα μοντέλα εκπαιδεύονται για να εξαπατούν.

Γιατί η Ειλικρινής Αβεβαιότητα Μετράει στο AI

Οι ψευδαισθήσεις δεν είναι μόνο μια πρόκληση έρευνας, έχουν πραγματικές συνέπειες. Στην υγεία, ένα μοντέλο που κατασκευάζει φαρμακευτικές αλληλεπιδράσεις μπορεί να εξαπατήσει γιατρούς. Στην εκπαίδευση, ένα μοντέλο που εφευρίσκει ιστορικά γεγονότα μπορεί να εξαπατήσει μαθητές. Στην δημοσιογραφία, ένα chatbot που παράγει ψευδείς αλλά πειστικές αποφθέγματα μπορεί να διαδώσει ψευδείς πληροφορίες. Αυτά τα рисκά είναι ήδη ορατά. Ο Δείκτης AI του Stanford 2025 ανέφερε ότι τα benchmarks που σχεδιάστηκαν για να μετρήσουν τις ψευδαισθήσεις “δυσκολεύονται να κερδίσουν έδαφος”, ακόμη και καθώς η υιοθέτηση του AI επιταχύνεται. Εν τω μεταξύ, τα benchmarks που κυριαρχούν στις κατατάξεις και που ανταμείβουν τις αυτοπεποίθησης αλλά αναξιόπιστες απαντήσεις συνεχίζουν να ορίζουν την κατεύθυνση της προόδου.

Αυτά τα ευρήματα υπογραμμίζουν και μια πρόκληση και μια ευκαιρία. Εξετάζοντας τις μαθηματικές ρίζες των ψευδαισθήσεων, οι ερευνητές έχουν αναγνωρίσει σαφείς κατευθύνσεις για την κατασκευή πιο αξιόπιστων συστημάτων AI. Το κλειδί είναι να σταματήσουμε να αντιμετωπίζουμε την αβεβαιότητα ως ελάττωμα και αντίθετα να αναγνωρίσουμε ότι είναι μια απαραίτητη ικανότητα που πρέπει να μετρηθεί και να ανταμειφθεί.

Αυτή η αλλαγή στην προοπτική έχει επιπτώσεις πέρα από τη μείωση των ψευδαισθήσεων. Τα συστήματα AI που μπορούν να αξιολογήσουν και να επικοινωνήσουν τις δικές τους περιορισμοί γνώσης θα είναι πιο κατάλληλα για εφαρμογές υψηλού κινδύνου όπου η υπερβολική αυτοπεποίθηση φέρει σοβαρές рисκά. Η ιατρική διάγνωση, η νομική ανάλυση και η επιστημονική έρευνα απαιτούν 모두 την ικανότητα να διακρίνουν μεταξύ της βέβαιης γνώσης και της ενημερωμένης εικασίας.

Επανεξετάζοντας την Αξιολόγηση για Ειλικρινές AI

Αυτά τα ευρήματα υπογραμμίζουν ότι η κατασκευή πιο αξιόπιστων συστημάτων AI απαιτεί την επανεξέταση του τρόπου με τον οποίο μετράμε την ικανότητα του AI. Αντί να βασίζουμε την αξιολόγηση σε απλές σωστές ή λανθασμένες βαθμολογίες, τα πλαισιά της αξιολόγησης πρέπει να ανταμείβουν τα μοντέλα για την έκφραση της αβεβαιότητας με σωστό τρόπο. Αυτό σημαίνει την παροχή σαφών οδηγιών σχετικά με τα όρια της βεβαιότητας και τα αντίστοιχα σχήματα βαθμολογίας μέσα στις οδηγίες των benchmarks.

Μια υποσχόμενη προσέγγιση περιλαμβάνει τη δημιουργία σαφών στόχων βεβαιότητας που ορίζουν πότε τα μοντέλα πρέπει να απαντήσουν και πότε πρέπει να απέχουν. Για παράδειγμα, οι οδηγίες μπορεί να αναφέρουν ότι οι απαντήσεις πρέπει να παρέχονται μόνο όταν η βεβαιότητα υπερβαίνει ένα συγκεκριμένο όριο, με την βαθμολογία να προσαρμόζεται ανάλογα. Σε αυτό το σzenario, η αβεβαιότητα δεν είναι πλέον ένα ελάττωμα αλλά một πολύτιμο μέρος της υπεύθυνης συμπεριφοράς.

Το κλειδί είναι να κάνουμε τις απαιτήσεις της βεβαιότητας διαφανείς αντί για 암πλυές. Τα τρέχοντα benchmarks δημιουργούν κρυφές ποινές για την αβεβαιότητα που τα μοντέλα μαθαίνουν να αποφεύγουν. Οι σαφείς στόχοι βεβαιότητας θα επιτρέψουν στα μοντέλα να βελτιστοποιήσουν την πραγματικά επιθυμητή συμπεριφορά: σωστές απαντήσεις όταν είναι βέβαια, και ειλικρινείς ομολογίες της αβεβαιότητας όταν η γνώση λείπει.

Η Κύρια Ιδέα

Οι ψευδαισθήσεις του AI δεν είναι τυχαία λάθη — ενισχύονται από τα ίδια τα benchmarks που χρησιμοποιούνται για να μετρήσουν την πρόοδο. Ανταμείβοντας τις αυτοπεποίθησης υποθέσεις αντί για τις ειλικρινείς αβεβαιότητες, τα τρέχοντα συστήματα αξιολόγησης οδηγούν τα μοντέλα προς την εξαπάτηση αντί για την αξιοπιστία. Αν θέλουμε AI που μπορεί να εμπιστευτεί σε υψηλού κινδύνου τομείς όπως η υγεία, το δίκαιο και η επιστήμη, πρέπει να επανεξετάσουμε τον τρόπο με τον οποίο δοκιμάζουμε και ανταμείβουμε τα μοντέλα. Η πρόοδος πρέπει να μετρηθεί όχι μόνο από την ακρίβεια, αλλά και από την ικανότητα να αναγνωρίσει και να ομολογήσει τι το μοντέλο δεν ξέρει.