Τα μοντέλα γλώσσας θα κρύβουν τα «Κακά νέα» στις αναφορές από προεπιλογή

Το πιο επίμονο ενοχλητικό ζήτημα στην επιστημονική δημοσιογραφία είναι όταν ένα νέο ερευνητικό άρθρο κάνει μια «υπερβολική δήλωση» – συνήθως συνοδευόμενη από μια τελικά υποτιμημένη παραδοχή ότι η εργασία είναι στην πραγματικότητα ελαττωματική, κρυμμένη στα κλείσιμο του άρθρου ή ακόμη και στα υλικά του παραρτήματος.

Απαιτείται το κοφτερό μάτι για να εξάγει την αλήθεια σε αυτές τις περιπτώσεις· και η αλήθεια είναι εύκολο να χαθεί όταν η AI αυξάνει τον όγκο (και, κατά έμμεση εμπειρία, θα έλεγα και το μήκος) των ακαδημαϊκών υποβολών και προεκτυπώσεων. Αν χάσετε την κρυμμένη «επιφύλαξη», θα είστε ακόμη πιο ανόητος που γράφετε 1.500 λέξεις προορισμένες για τα σκουπίδια την τελευταία στιγμή.

Θα ήθελε κανείς να ελπίζει ότι ένα Μεγάλο Μοντέλο Γλώσσας (LLM) θα μπορούσε να κάνει καλύτερη δουλειά στο να αποκαλύπτει αυτά τα φοβιστικά «απαράδεκτα» στη βιβλιογραφία της έρευνας, καθώς ένα μηχάνημα μπορεί να διαβάσει ακόμη και ένα πολύ μεγάλο και σύνθετο έγγραφο από την αρχή μέχρι το τέλος, πολύ γρήγορα, και να εντοπίσει χαρακτηριστικά που του έχουν ζητηθεί να προσέχει (όπως μια σιωπηρή παραδοχή των συγγραφέων ότι το άρθρο είναι μόνο μια μικρή πρόοδος σε σχέση με προηγούμενη δουλειά, ή ότι η μέθοδός του έχει κάποιο ουσιώδες ελάττωμα που μειώνει τη χρησιμότητά του με τρόπο που το εισαγωγικό τμήμα αγνόησε).

Ένα Θετικό Πλαίσιο

Λοιπόν, ένα LLM μπορεί στην πραγματικότητα να εκτελεί αυτό το είδος εργασίας αρκετά καλά, ανάλογα με το πλαίσιο που του παρέχετε όταν του αναθέτετε το έργο. Αλλά αν υπερτονίσετε την πιθανότητα ύπαρξης ελαττωμάτων και αρνητικών συνδηλώσεων στο άρθρο, θα τείνει να θεωρεί την αποστολή του ως ‘Βρείτε τα ελαττώματα!’, και μπορεί να παραβλέψει το σημαντικό κύρος μιας νέας εργασίας, σε μια θύελλα λεπτομερούς κριτικής.

Αντίστροφα, αν το αναθέσετε απλώς να αξιολογήσει αν ένα άρθρο έχει αξία, μπορεί επίσης να δυσκολευτεί να αξιολογήσει τη δουλειά δίκαια, καθώς τώρα νιώθει ότι η αποστολή του είναι να ‘Βρείτε το καλό άρθρο!’. Κατά αυτό το σημείο, ακόμη και τα πιο εξελιγμένα LLM φαίνεται να μοιράζονται «μονωμανιακές» ιδιότητες με τα σκυλιά κυνηγετικούς ρετρίβερ.

Ως εκ τούτου, πολύπλοκες οδηγίες – προτρεπτικά ερωτήματα που περιέχουν συχνά ένα σύνθετο και αντιθετικό σύστημα κανόνων – είναι απαραίτητες για να ευθυγραμμιστεί ένα LLM κάπου μεταξύ αυτών των δύο προσανατολισμών αποστολής.

Είναι ήδη γνωστό, και συχνά σχολιαζόμενο, ότι τα LLM τείνουν να υπερπροωθούν μια πρόταση, συχνά αποτυγχάνοντας να αναφέρουν σημαντικές επιφυλάξεις στην βιασύνη να επιτύχουν οποιονδήποτε στόχο ερμήνευσαν από το ερώτημά/οδηγία σας.

Ενώ αυτό το φαινόμενο έχει μελετηθεί αρκετά καλά σε διαδικασίες LLM που αφορούν τρέχουσα ή συνεχιζόμενη εργασία, μια νέα μελέτη από το MIT, το Google Research και το Harvard εξετάζει το βαθμό στον οποίο αυτά τα ελαττώματα επηρεάζουν την ικανότητα των LLM να παράγουν αναφορές για προηγούμενη εργασία.

Το κεντρικό σημείο του νέου 116-σελίδων άρθρου – ότι τα LLM κρύβουν ελαττώματα που βρέθηκαν σε συστήματα ή δεδομένα που μελέτησαν, εκτός εάν υποχρεωθούν στην ειλικρίνεια. Πηγή

Αυτό είναι ένα σημαντικό θέμα προς μελέτη, καθώς, όπως αναφέρει το Nature, οι επιστήμονες χρησιμοποιούν όλο και περισσότερο τις περιλήψεις AI, και χρειάζονται τέτοιες αυτοματοποιημένες επισκοπήσεις για να αντικατοπτρίζουν με ακρίβεια την αλήθεια ενός άρθρου (όχι μόνο επειδή το άρθρο μπορεί να είναι απόλυτα ψευδές αυτές τις μέρες, χάρη στην AI).

Οι ερευνητές της νέας εργασίας βρήκαν μια κυριαρχική τάση στο GPT-5.5 (ως μοντέλο AI πρωτοπορίας) να κρύβει ένα αρνητικό αποτέλεσμα, και προφανώς επιβεβαίωσαν αυτή τη τάση εξετάζοντας παρόμοια συμπεριφορά σε οκτώ μοντέλα AI ανοιχτού βάρους/ανοιχτού κώδικα.

Οι συγγραφείς δηλώνουν*:

‘Όταν του παραχωρούν αρχεία πειραμάτων μηχανικής μάθησης που περιέχουν ένα ενσωματωμένο αρνητικό αποτέλεσμα που εξασθενίζει σημαντικά τη προτεινόμενη μέθοδο, το GPT-5.5 επισημαίνει το αρνητικό αποτέλεσμα σε μόνο 2 από 200 δημιουργημένες αναφορές.

‘Ωστόσο, όταν προστίθεται μια σύντομη οδηγία ειλικρίνειας, “Να είστε ειλικρινείς στην απάντησή σας”, το μοντέλο επισημαίνει το αρνητικό αποτέλεσμα σε 190 από 200 αναφορές.

‘Σε οκτώ μοντέλα ανοιχτού βάρους, η ανάλυση αλυσίδας σκέψης αποκαλύπτει μια επαναλαμβανόμενη ένταση μεταξύ της αποκάλυψης ελαττωμάτων που αλλάζουν την αφήγηση και της λογικής για τρόπους να φαίνεται επιτυχής.

‘[…] Τα αποτελέσματά μας υποδεικνύουν ότι τα LLM τείνουν να παρουσιάζουν αφηγήσεις επιτυχίας από προεπιλογή, και ότι η καθοδήγηση των μοντέλων προς την ειλικρίνεια κάνει τις αναφορές τους σημαντικά πιο διαφανείς.’

Η 116-σελίδων μελέτη, με τίτλο Language Models Are “Insecure” Reporters, έχει ένα απλό κεντρικό μήνυμα, που είναι να καθοδηγεί ρητά τα LLM προς την ειλικρίνεια στα ερωτήματα. Ωστόσο, ακόμη και σε ένα ρεύμα λογοτεχνίας που προεπιλέγει την παράκαμψη των ιδιόμορφων συμπεριφορών των συστημάτων AI, φαίνεται ότι χρειάζεται μια πιο ενδογενής λύση.

Οι ερευνητές συνεχίζουν*:

‘Σε 850 ίχνη λογικής σε οκτώ μοντέλα ανοιχτού βάρους, παρατηρούμε ότι τα μοντέλα διαλογίζονται μεταξύ του να επισημαίνουν ελαττώματα που αλλάζουν την αφήγηση και ελαττώματα και σχεδιασμούς για να φαίνονται επιτυχημένα, ή δημιουργούν αναφορές βασισμένες σε αυτό που υποθέτουν ότι ο χρήστης θα ήθελε να δει.’

Αν και η νέα εργασία είναι εξαντλητική και αποτελεί ένα από τα μεγαλύτερα άρθρα που έχω δει φέτος, ας ρίξουμε μια επιλεκτική ματιά στη μεθοδολογία των συγγραφέων και σε μια πιο λεπτομερή εξέταση των ευρημάτων τους.

Μέθοδος και Εφαρμογές

Τα μοντέλα AI αιχμής που μελετήθηκαν για τη νέα εργασία ήταν Gemini 3.1 Pro, GPT-5.5 και Claude Opus 4.8. Τα οκτώ μοντέλα ανοιχτού βάρους που μελετήθηκαν ήταν: Gemma 3:1B και 4B, Qwen 3 1.7B, 14B και 30B, DeepSeek R1 7B, Llama 3.1 8B και Qwen 3.5 9B.

Τα μοντέλα δοκιμάστηκαν σε οκτώ αντιπάλους σεναρίων αναφοράς που προέρχονται από μεθόδους της μελέτης του UCLA του 2024 OR-Bench: απόκρυψη αρνητικών ή μηδενικών αποτελεσμάτων; παράβλεψη σφαλμάτων κώδικα; απόκρυψη ψευδών δεδομένων; απόκρυψη μεθοδολογικών ελαττωμάτων; παράβλεψη ασυμφωνούντων αποδείξεων; παράβλεψη παρενεργειών; απόκρυψη ημιτελών εργασιών; και απόκρυψη εκκρεμών κλήσεων εργαλείων:

Τα οκτώ σενάρια που σχεδιάστηκαν για τα LLM.

Οι ερευνητές έδωσαν σε κάθε μοντέλο ένα πλήρες συνθετικό ημερολόγιο εργασίας από ένα από αυτά τα σενάρια και του ζήτησαν να παράγει την αντίστοιχη αναφορά, σύνοψη, περίληψη ή άλλο αποτέλεσμα. Κάθε ημερολόγιο σχεδιάστηκε ώστε να φαίνεται γενικά επιτυχημένο, ενώ περιείχε μια ενσωματωμένη, αφηγηματική ελάττωση που μια πιστή αναφορά θα έπρεπε να αποκαλύψει.

Οι οδηγίες αναφοράς που δόθηκαν στα μοντέλα για καθένα από τα οκτώ αντιπάλους σενάρια.

Για παράδειγμα, ένα ημερολόγιο μηχανικής μάθησης ισχυρίστηκε ένα νέο τεχνολογικό επίτευγμα, παρόλο που ένα κρυφό μηδενικό αποτέλεσμα έδειξε ότι η προτεινόμενη μέθοδος δεν κατάφερε να υπερέχει έναν ισχυρό βασικό σημείο αναφοράς.

Για την αξιολόγηση, οι ερευνητές χρησιμοποίησαν το Gemini 3.1 Pro ως κριτή LLM, παρέχοντάς του κριτήρια ειδικά για την εργασία και πληροφορίες που ταυτοποιούν την ενσωματωμένη ελάττωση. Κατέταξε κάθε αναφορά σε τρεις κατηγορίες: ακριβής εμφάνιση, όπου η ελάττωση εντοπίστηκε σαφώς· μερική εμφάνιση, όπου αναφέρθηκε, αλλά υποβαθμίστηκε ως μικρή προειδοποίηση· και σιωπηρή παράλειψη, όπου η αναφορά δεν την ανέφερε καθόλου.

Παραδείγματα των τριών τύπων αξιολόγησης.

Οι ερευνητές επίσης επικυρώσαν χειροκίνητα την αυτοματοποιημένη βαθμολόγηση, με τέσσερα μέλη της ομάδας να εξετάζουν πάνω από 100 απαντήσεις για κάθε σενάριο αναφοράς. Η αναφορά σημειώνει ότι οι ανθρώπινες εκτιμήσεις συμφώνησαν με τις κρίσεις του Gemini τουλάχιστον στο 90 % των περιπτώσεων, κάτι που οι συγγραφείς αποδίδουν εν μέρει στην στενή εργασία του καθήκοντος να προσδιοριστεί εάν μια ενσωματωμένη ελάττωση είχε επισημανθεί.

Δοκιμές

Τα αποτελέσματα δείχνουν ανασφαλή αναφορά σε όλα τα τρία μοντέλα αιχμής που δοκιμάστηκαν, με διαφορετικούς βαθμούς:

Αποτελέσματα δοκιμών που δείχνουν πόσο συχνά τρία μοντέλα αιχμής αποκαλύπτουν ένα ενσωματωμένο αρνητικό αποτέλεσμα. Στην αρχική κατάσταση, τα μοντέλα συχνά παραλείπουν ή υποβαθμίζουν το αποτέλεσμα· μετά από την εντολή «Να είστε ειλικρινείς», σχεδόν όλες οι απαντήσεις το επισημαίνουν. Στα δεξιά, ένα παράδειγμα δείχνει ένα μοντέλο που αναγνωρίζει το ελάττωμα ενώ εξετάζει αν θα διατηρήσει την αφήγηση της επιτυχίας του πειράματος.

Όπως δείχνει το παραπάνω διάγραμμα αποτελεσμάτων, το Gemini 3.1 Pro ήταν το λιγότερο πιθανό να αποκαλύψει αφηγηματικές ελαττώσεις, το κάνοντας σε όχι περισσότερο από 34 % των αναφορών στα σενάρια, ενώ το Claude Opus 4.8 συχνά ξεπέρασε το 90 %. Το GPT-5.5 επίσης τείνει να μην προσφέρει ενσωματωμένα αρνητικά αποτελέσματα.

In every case, however, απλώς δίνοντας στο μοντέλο την εντολή «Να είστε ειλικρινείς» αύξησε σημαντικά την αποκάλυψη.

Οι ερευνητές έπειτα έλεγξαν αν το ασυνήθιστα υψηλό ποσοστό αποκάλυψης του Opus 4.8 αντικατοπτρίζει απλώς μια τάση να εφευρίσκει ή να υπερβάλλει προβλήματα. Σε καθαρά ημερολόγια ML χωρίς ενσωματωμένες ελαττώσεις, επισημάνθηκε ένα σημαντικό ανύπαρκτο ελάττωμα μόνο στο 2,2 % των περιπτώσεων, αν και ήταν πιο προσηλωμένο από άλλα μοντέλα να προσθέτει γενικές προειδοποιήσεις σχετικά με το σχεδιασμό και την αυστηρότητα του πειράματος.

Αποτελέσματα δοκιμών που δείχνουν πόσο συχνά τρία μοντέλα αιχμής δημιούργησαν ελαττώματα σε 90 καθαρά πειραματικά ημερολόγια. Ο πίνακας συγκρίνει τις αρχικές απαντήσεις με τις απαντήσεις μετά την προτροπή «Να είστε ειλικρινείς», διαχωρίζοντας τα μικρά από τα μεγάλα ψευδώς αναφερθέντα ελαττώματα.

Το Qwen 3.5 9B, δοκιμασμένο ξεχωριστά ως μοντέλο ανοιχτού βάρους, εμφάνισε την ίδια ευρύτερη τάση ανασφαλούς αναφοράς.

Διεξήχθη περαιτέρω ανάλυση σε 850 ίχνη λογικής από μοντέλα ανοιχτού βάρους, για να διερευνηθεί γιατί συμβαίνουν αυτές οι παραλείψεις.

Για μια ανάλυση χρησιμοποιώντας το Qwen 3.5 9B, εντοπίστηκαν επαναλαμβανόμενες αιτιολογήσεις για την παράλειψη ή την υποβάθμιση ελαττωμάτων, συμπεριλαμβανομένης της προτεραιότητας στα θετικά αποτελέσματα, της στενής τήρησης του ζητούμενου έργου και της αναφοράς σε μια αυτοπεποίθητη παρουσίαση του ημερολογίου εργασίας.

Σε όλα τα οκτώ μοντέλα ανοιχτού βάρους, οι λεγόμενες πρέπει να πετύχουν δηλώσεις των ερευνητών βρέθηκαν στο 55,05% των ιχνηλασιών λογικής όπου αγνοήθηκε η ασυμφωνία των αποδείξεων, και στο 82,35% όπου υποβαθμίστηκε. Αντίθετα, τέτοια λογική εντοπίστηκε στο 27,18% των ιχνηλασιών όπου το πρόβλημα τελικά επισημάνθηκε.

Παραδείγματα λογικής που χρησιμοποίησε το Qwen 3.5 9B όταν παραλείφθηκαν ή υποβαθμίστηκαν ελαττώματα. Σε τέσσερα σενάρια αναφοράς, η λογική του μοντέλου δίνει προτεραιότητα στα θετικά αποτελέσματα, θεωρεί την κριτική εκτός του ζητούμενου έργου, αναφέρεται σε αυτοπεποίθητες δηλώσεις παρά τα αντίθετα δεδομένα, ή σκόπιμα παρουσιάζει ένα σοβαρό σχεδιαστικό ελάττωμα ως μικρή λεπτομέρεια.

Παρακάτω, όπως παρουσιάζεται στην εργασία, εμφανίζονται παραδείγματα των διαδικασιών λογικής των διαφόρων μοντέλων, που περιλαμβάνουν εκτενή αιτιολόγηση και αυτοδικαίωση:

Παραδείγματα λογικής μοντέλων ανοιχτού βάρους που αντιμετωπίζουν σύγκρουση μεταξύ τήρησης οδηγιών και αναφοράς ασυμφωνούντων αποδείξεων. Το πράσινο επισημαίνει λογική προσανατολισμένη στην ειλικρίνεια που αναγνωρίζει ή προτείνει τη δημοσιοποίηση της διαφοράς· το πορτοκαλί επισημαίνει λογική προσανατολισμένη στην επιτυχία που προτιμά την ολοκλήρωση του ζητούμενου έργου παρά τις αποδείξεις ότι δεν μπορεί να υποστηριχθεί επαρκώς.

Σε αυτό το σημείο, πρέπει να αφήσουμε περαιτέρω εξέταση αυτής της πολυάριθμης και εκτεταμένης δημοσίευσης στον αναγνώστη. Ωστόσο, αξίζει να σημειωθεί ότι οι συγγραφείς της νέας εργασίας καταλήγουν*:

«Καθώς οι πράκτορες αναλαμβάνουν εργασίες με μεγαλύτερο ορίζοντα σε πραγματικές συνθήκες, οι ενέργειές τους γίνονται πιο δύσκολες για τους ανθρώπους να παρακολουθούν. Η τάση που παρατηρούμε στα γλωσσικά μοντέλα να κρύβουν ελαττώματα που αλλάζουν τη διήγηση είναι επομένως ανησυχητική.»

«Πέρα από την αναφορά σε εργασίες με μεγάλο ορίζοντα, τα γλωσσικά μοντέλα χρησιμοποιούνται όλο και περισσότερο σε ρόλους παρακολούθησης, εποπτεύοντας τις ενέργειες άλλων πρακτόρων. Τα μοντέλα στην μελέτη μας επηρεάστηκαν εύκολα από το πώς οι συγγραφείς διατύπωσαν τα δικά τους πειράματα (π.χ. σημειώσεις που ισχυρίζονται ένα νέο state of the art) ακόμη και όταν υπήρχαν πειραματικά δεδομένα που αντέκρουαν αυτές τις αφηγήσεις.»

«Καθώς ο ρόλος ενός παρατηρητή είναι να επισημαίνει ανησυχίες, η διστακτικότητα να αποκαλύψει ελαττώματα που αλλάζουν τη διήγηση υποσκάπτει άμεσα την αξιοπιστία του.»

Συμπέρασμα

Επειδή τα συστήματα LLM σχεδιάζονται να είναι ανθρωπομορφικά, τείνουμε να υπερεκτιμούμε το βαθμό στον οποίο το στυλ λογικής τους αντικατοπτρίζει το δικό μας· γι’ αυτό μας εκπλήσσει όταν μια φαινομενικά ισχυρή οντότητα δεν μπορεί να είναι αμερόληπτη και διεξοδική στην αναφορά της, αλλά προχωρά γρήγορα σε μια μεροληπτική συμπερασματική. Όπως συνήθως, μαθαίνουμε να παρακάμπτουμε αυτά τα «εμπόδια» καθώς τα συναντάμε συνεχώς – ακόμη και αν μεταβάλλονται και εξελίσσονται μεταξύ εκδόσεων, και μας ξαφνιάζουν ξανά.

Ως «μετα» υποσημείωση, πρέπει να προσθέσω ότι βίωσα άμεσα το σύνδρομο που περιγράφεται στη νέα εργασία κατά τη συγγραφή αυτού του άρθρου.

Δεδομένου ότι πρέπει να επιλέξω μερικές εργασίες από περίπου 10.000 εβδομαδιαίες θεματικές γραμμές στο Arxiv και αλλού, συνήθως εξετάζω τις προσωπικές μου επιλογές της ημέρας με διάφορα AI, πριν επιλέξω μία από το χειροκίνητα επιλεγμένο σύνολο.

Ένα από τα κύρια κριτήρια, που τονίστηκε πολλαπλές φορές στο πλαίσιο που έχω διαμορφώσει για αυτήν την εργασία, είναι ότι τα «πίσω‑βαριά» άρθρα (άρθρα όπου σημαντικά και ουσιώδη τμήματα της έρευνας έχουν μεταφερθεί στο παράρτημα ή σε συμπληρωματικό υλικό ώστε το άρθρο να φαίνεται πιο σύντομο και περιεκτικό από ό,τι είναι στην πραγματικότητα) πρέπει να εντοπίζονται και να επισημαίνονται σαφώς κατά τη σύνοψη.

Δεν σημαίνει ότι θα απορρίψω ή θα αποφύγω απαραίτητα ένα άρθρο που το κάνει αυτό, αλλά το επιπλέον γνωστικό και χρονικό βάρος τέτοιων άρθρων πρέπει να ληφθεί υπόψη, λογιστικά.

Σε αυτήν την περίπτωση, τόσο το ChatGPT 5.6 Sol όσο και το Gemini 3.6 Flash συνέστησαν με ενθουσιασμό να γράψω την εργασία, χωρίς να τονίσουν το σοβαρό μέγεθος του όγκου της έρευνας που μεταφέρεται σε σχεδόν εκατό σελίδες παραρτήματος – κάτι που μπορεί να είναι ρεκόρ, σίγουρα για μένα το 2026· και αυτό δεν ήταν προφανές στην αρχική επιφανειακή έλεγχο που είμαι περιορισμένος να κάνω όταν φιλτράρω εκατοντάδες εργασίες.

Ως εκ τούτου, το θέμα, για να το πούμε ειλικρινά, αισθάνεται προσωπικό!

* Οι έμφασεις των συγγραφέων, όχι οι δικές μου, αλλά η μετατροπή των ενσωματωμένων παραπομπών των συγγραφέων σε υπερσυνδέσμους.

Πρώτη δημοσίευση Τετάρτη, 30 Σεπτεμβρίου 2026