Ένας ‘Ζεν’ Μέθοδος για να Σταματήσει τα Μοντέλα Γλώσσας από το Hallucinating

Λέγοντας στο ChatGPT να ελέγξει μια τυχαία απάντηση πριν λύσει ένα πραγματικό πρόβλημα, το κάνει να σκέφτεται πιο σκληρά και να πάρει τη σωστή απάντηση πιο συχνά – ακόμη και αν η προηγούμενη ‘τυχαία’ απάντηση δεν έχει καμία σχέση με την πραγματική ερώτησή σας.

Ένα ενδιαφέρον νέο έγγραφο από την Κίνα έχει αναπτύξει μια πολύ χαμηλού κόστους μέθοδο για να σταματήσει τα μοντέλα γλώσσας όπως το ChatGPT από το hallucinating, και να βελτιώσει την ποιότητα των απαντήσεων: να ζητήσετε από το μοντέλο να ελέγξει την απάντηση σε ένα απολύτως μη σχετικό ερώτημα πρώτα:

Ένα παράδειγμα ενός μη σχετικού ερωτήματος που μπορεί να ‘απελευθερώσει το μυαλό’ ενός LLM και να το βοηθήσει να εστιάσει σε μια (πραγματική) επόμενη ερώτηση.

Αυτή η Ζεν σφαλιάρα είναι ένας απίστευτα φθηνός τρόπος για να βελτιώσει την απόδοση, σε σύγκριση με άλλες πιο περίπλοκες μεθόδους, όπως fine-tuning, prompt-crafting και παράλληλη δειγματοληψία, και λειτουργεί σε ανοιχτά και κλειστά μοντέλα όπως.

Οι συγγραφείς περιγράφουν τις οικονομίες κλίμακας που είναι δυνατές με τη βελτίωση της έξοδου με αυτόν τον σπαρτιατικό τρόπο*:

‘Για να εφαρμοστεί με ελάχιστη πρότερη γνώση, το VF μόνο χρειάζεται να παρέχει μια τυχαία/αμελητέα απάντηση στο prompt. Η διαδικασία επαλήθευσης αποδεικνύεται ότι έχει πολύ λιγότερους output tokens από μια κανονική CoT διαδρομή, [μερικές φορές] ακόμη και χωρίς ρητή διαδικασία επαλήθευσης, έτσι [απαιτεί] πολύ [λίγη] πρόσθετη υπολογιστική διαδικασία.

Σε δοκιμές, αυτή η προσέγγιση – που ονομάζεται Verification-First (VF) – ήταν σε θέση να βελτιώσει τις απαντήσεις σε eine ποικιλία εργασιών, συμπεριλαμβανομένης της μαθηματικής λογικής, σε ανοιχτές και εμπορικές πλατφόρμες.

Μέρος του λόγου για τον οποίο αυτή η τεχνική λειτουργεί μπορεί να βασίζεται στον τρόπο με τον οποίο τα μοντέλα γλώσσας απορροφούν και ενσωματώνουν τάσεις στην ανθρώπινη ψυχολογία, ώστε μια άμεση ερώτηση μπορεί να κάνει το μοντέλο ‘αμυντικό’ και ‘νευρικό’, ενώ μια αίτηση για επαλήθευση του έργου ενός άλλου δεν ενεργοποιεί αυτές τις ‘συνεισφορές’.

Η κεντρική ιδέα είναι ότι η επαλήθευση μιας απάντησης παίρνει λιγότερη προσπάθεια από τη δημιουργία μιας από το μηδέν, και μπορεί να ενεργοποιήσει μια διαφορετική διαδρομή σκέψης που συμπληρώνει την τυπική αλυσίδα σκέψης.

Η προτροπή του μοντέλου να κριτικάρει μια δεδομένη απάντηση (δηλ. μια απάντηση που το μοντέλο δεν έχει συμμετάσχει στη δημιουργία της) μπορεί επίσης να ενεργοποιήσει ένα είδος κριτικής σκέψης που βοηθά στην αποφυγή της υπερβολικής αυτοπεποίθησης στο δικό του πρώτο εντύπωμα.

Η εργασία χαρακτηρίζει τη διαδικασία με όρους μιας αντίστροφης διαδρομής σκέψης:

Εκκίνηση από μια προτεινόμενη απάντηση και σκέψη προς τα πίσω προς την ερώτηση μπορεί να αποκαλύψει συντομεύσεις ή ερευνήσεις που είναι khóτερα να βρεθούν όταν σκέφτεται προς τα εμπρός από το πρόβλημα μόνο.

Οι ερευνητές έχουν επίσης συγκεκριμενοποιήσει την κεντρική концепτό σε Iter-VF, μια διαδικασία που επαναλαμβάνει και βελτιώνει τις απαντήσεις, αποφεύγοντας το πρόβλημα της συσσώρευσης σφαλμάτων που είναι κοινό σε στρατηγικές αυτο-διόρθωσης.

Η νέα εργασία τίτλος είναι Ζητώντας LLMs να Επαλήθευσει Πρώτα είναι Σχεδόν Δωρεάν Γεύμα, και προέρχεται από δύο ερευνητές στο Τμήμα Ηλεκτρονικής Μηχανικής στο Πανεπιστήμιο Tsinghua στο Πεκίνο.

Μέθοδος

Η κεντρική ιδέα πίσω από τη νέα εργασία είναι να αναστρέψει τη συνήθη ροή σκέψης στα μοντέλα γλώσσας. Αντί να ζητήσετε από το μοντέλο να λύσει ένα πρόβλημα από το μηδέν, του δίνεται πρώτα μια υποψήφια απάντηση (συχνά λανθασμένη ή τυχαία) και ζητείται να ελέγξει αν αυτή η απάντηση έχει νόημα.

Αυτή η προτροπή κάνει το μοντέλο να σκέφτεται ανάποδα, εργαζόμενη προς τα πίσω από την προτεινόμενη απάντηση προς την ερώτηση. Μόλις ολοκληρωθεί η επαλήθευση, το μοντέλο προχωρεί στη λύση του αρχικού προβλήματος όπως συνήθως.

Αυτή η αναστροφή, το έγγραφο ισχυρίζεται, μειώνει τις αμέλεια λάθη και ενθαρρύνει μια πιο αναστοχαστική τρόπο σκέψης, βοηθώντας το LLM να ανακαλύψει κρυφές δομές και να αποφύγει παραπλανητικές υποθέσεις.

Όπως φαίνεται στα παρακάτω παραδείγματα, ακόμη και η προτροπή του μοντέλου να επαλήθευσει μια προφανώς λανθασμένη εκτίμηση όπως ’10’ μπορεί να το βοηθήσει να ανακάμψει από ελαττωματική λογική και να υπερβεί την τυπική αλυσίδα σκέψης:

Η προτροπή του μοντέλου να επαλήθευσει μια υποψήφια απάντηση πρώτα το βοηθά να εντοπίσει ασυνέπειες και να ασχοληθεί πιο προσεκτικά με το πρόβλημα.

Σχετικά με πολλά πραγματικά προβλήματα, δεν είναι εύκολο να παρέχετε μια εκτίμηση για το μοντέλο να ελέγξει, ιδιαίτερα όταν η εργασία είναι ανοιχτή, όπως η γραφή κώδικα ή η κλήση μιας API. Για αυτό, η μέθοδος δίνει πρώτα την καλύτερη απάντησή της όπως συνήθως και στη συνέχεια την επαναφέρει στο format Verification-First:

Όταν το μοντέλο ζητείται να επαλήθευσει την προηγούμενη απάντησή του, πιάνει το σφάλμα στη λογική του και ξαναγράφει τη λύση σωστά.

Αυτή η προσέγγιση συνιστά την προαναφερθείσα Iter-VF. Το μοντέλο επαναλαμβάνει αυτό το κύκλο, βελτιώνοντας την απάντησή του κάθε φορά, χωρίς την ανάγκη για επαναεκπαίδευση ή εξειδικευμένα εργαλεία. Ανίκανο σε άλλες στρατηγικές αυτο-διόρθωσης, που συσσωρεύουν το προηγούμενο σκέψεις και κινδυνεύουν να μπερδεύσουν το μοντέλο, η Iter-VF εξετάζει μόνο την πιο πρόσφατη απάντηση κάθε φορά, βοηθώντας να διατηρήσει τη σαφήνεια της σκέψης του.

Δεδομένα και Δοκιμές

Οι συγγραφείς αξιολογούν τη μέθοδο σε τέσσερις τομείς: γενικές εργασίες λογικής, όπου το VF γίνεται με μια τυχαία εκτίμηση; χρονο-ευαίσθητες εργασίες, όπου η Iter-VF συγκρίνεται με άλλες μεθόδους κλίμακας; ανοιχτά προβλήματα όπως η γραφή κώδικα και οι κλήσεις API, όπου το VF χρησιμοποιεί την προηγούμενη απάντηση του μοντέλου; και κλειστά εμπορικά LLMs, όπου οι εσωτερικές βήματα σκέψης είναι απρόσιτα.

Για να δοκιμάσουν τη μέθοδο, οι ερευνητές χρησιμοποίησαν τρία reasoning benchmarks: GSM8K και MATH500 για μαθηματικά προβλήματα; και GPQA-Diamond για ερωτήσεις επιστημονικής υψηλού επιπέδου.

Σε κάθε περίπτωση, το μοντέλο έλαβε είτε μια τυχαία εκτίμηση, όπως ‘1’ για αριθμητικές απαντήσεις; είτε μια τυχαία ανακατεμένη επιλογή πολλαπλής επιλογής, ως σημείο εκκίνησης για την επαλήθευση. Δεν προστέθηκε keine ειδική ρύθμιση ή προηγούμενη γνώση, και η βάση σύγκρισης ήταν η τυπική zero-shot αλυσίδα σκέψης.

Οι δοκιμές διεξήχθησαν σε μια πλήρη σειρά Qwen2.5 και Llama3 instruction-tuned μοντέλων, από 1B έως 72B (παράμετροι) σε μέγεθος. Τα Qwen μοντέλα που χρησιμοποιήθηκαν ήταν Qwen2.5-1.5B-Instruct, Qwen2.5-3B-Instruct, Qwen2.5-14B-Instruct, και Qwen2.5-72B-Instruct. Τα Llama3 παραλλαγές ήταν Llama3.2-1B-Instruct, Llama3.2-3B-Instruct, Llama3.1-8B-Instruct, και Llama3.3-70B-Instruct.

Όπως φαίνεται παρακάτω, η βελτίωση από την προτροπή Verification-First διατηρήθηκε σταθερή σε όλες τις κλίμακες μοντέλων, με σαφείς κερδισμένες ορατές ακόμη και στα 1B παραμέτρους και συνεχίζοντας μέχρι τις 72B:

Σε όλες τις μεγεθύνσεις μοντέλων στις οικογένειες Qwen2.5 και Llama3, η προτροπή Verification-First υπερέβη τη τυπική αλυσίδα σκέψης σε GSM8K, MATH500, και GPQA-Diamond.

Η επίδραση αποδείχθηκε ισχυρότερη στα υπολογιστικά-βαρέα μαθηματικά benchmarks όπως το GSM8K και το MATH500, όπου η επαλήθευση μιας λανθασμένης απάντησης προκάλεσε καλύτερη σκέψη από το να προσπαθήσει να λύσει από το μηδέν. Στο GPQA-Diamond, το οποίο εξαρτάται περισσότερο από τη αποθηκευμένη γνώση παρά από την απαγωγική δομή, το πλεονέκτημα ήταν μικρότερο αλλά συνεπές.

Ο υπολογιστικός κόστος της Verification-First ήταν μετριοπαθής: στο παρακάτω πίνακα, μπορούμε να δούμε ότι η γεννήτρια μιας βήματος επαλήθευσης πρόσθεσε περίπου 20-50% περισσότερους output tokens σε σύγκριση με την τυπική αλυσίδα σκέψης:

Ο μέσος αριθμός των output tokens που παράγονται με κάθε μέθοδο, σε GSM8K, MATH500, και GPQA benchmarks.

Παρά τούτο, ο πρόσθετος κόστος παρέμεινε πολύ κάτω από εκείνον των στρατηγικών που απαιτούν πολλαπλά δείγματα ή αναδρομική σχεδίαση.

Στο παρακάτω γράφημα, μπορούμε να δούμε πόσο ευαίσθητη είναι η μέθοδος στην ποιότητα της εκτιμώμενης απάντησης. Παραδόξως, ακόμη και όταν η εκτίμηση είναι τυχαία (‘1’), απίστευτη (‘2025’), ή μια τυχαία επιλογή πολλαπλής επιλογής, η Verification-First υπερέβη τη τυπική προτροπή:

Κέρδη ακρίβειας από την προτροπή Verification-First, όταν το μοντέλο λαμβάνει τυχαίες, απίστευτες, ή σωστές απαντήσεις για επαλήθευση σε GSM8K, MATH500, και GPQA.

Όπως ήταν αναμενόμενο, η ακρίβεια αυξήθηκε ακόμη περισσότερο όταν η εκτίμηση συνέβη να είναι η σωστή απάντηση; αλλά η μέθοδος λειτουργούσε καλά ανεξάρτητα, υποδεικνύοντας ότι τα κέρδη δεν οδηγούνταν από την πληροφορία στην εκτιμώμενη απάντηση, αλλά απλά από την πράξη της επαλήθευσης.

Η Iter-VF συγκρίθηκε επίσης με τέσσερις στρατηγικές κλίμακας που λειτουργούν χωρίς επαναεκπαίδευση ή προσαρμογή σε εργασίες. Στη Αυτο-Διόρθωση, το μοντέλο προτροπήθηκε να αναθεωρήσει τις απαντήσεις του ανα反λέγοντας στις προηγούμενες βήματα σκέψης; στη PHP, οι προηγούμενες απαντήσεις προστέθηκαν στην είσοδο ως περιεχομένο, αν και δεν δόθηκαν οδηγίες για το πώς να τις χρησιμοποιήσει.

Επιπλέον, στη Αυτο-Συνέπεια, πολλαπλά μονοπάτια σκέψης δειγματολήφθηκαν και η τελική απάντηση επιλέχθηκε με ψηφοφορία; και τελικά, στη Best-of-N, πολλαπλές εξόδους παράχθηκαν ανεξάρτητα και βαθμολογήθηκαν χρησιμοποιώντας μια προτροπή επαλήθευσης, με την υψηλότερη βαθμολογία απάντηση να επιλέγεται.

Δύο παραλλαγές της Iter-VF εφαρμόστηκαν: μια που αρχικοποιήθηκε με μια τυχαία εκτίμηση (‘1’), και μια που αρχικοποιήθηκε με μια τυπική CoT έξοδο:

Ακρίβεια και αποδοτικότητα token σε MATH500 με αυξανόμενα output budgets, δείχνοντας ότι και οι δύο παραλλαγές της Iter-VF υπερέβησαν όλες τις βασικές μεθόδους σε όλες τις κλίμακες μοντέλων.

Η Iter-VF έδωσε καλύτερα αποτελέσματα από όλες τις άλλες μεθόδους όταν η διαθέσιμη υπολογιστική ισχύς ήταν χαμηλή, κάτι που οι συγγραφείς απέδωσαν στο τρόπο με τον οποίο ελέγχει τις απαντήσεις, όχι πώς καλές ήταν οι αρχικές απαντήσεις (αφού και οι δύο παραλλαγές της VF και CoT γρήγορα έφτασαν σε παρόμοια ακρίβεια).

Η PHP εκτελέστηκε χειρότερα, ακόμη και αν επαναχρησιμοποίησε προηγούμενες απαντήσεις ως περιεχομένο, πιθανότατα επειδή τα LLMs δεν εκμεταλλεύτηκαν αυτά τα περιεχομένα καλά.

Σε αντίθεση με την PHP και την Αυτο-Διόρθωση, η οποία συσσωρεύει περιεχόμενο σε πολλαπλά βήματα, η Iter-VF εξετάζει μόνο την πιο πρόσφατη απάντηση κάθε φορά. Αυτή η Μαρκοβιανή προσέγγιση αποφεύγει την συσσώρευση της σύγχυσης που προκαλείται από τις επεκταμένες αλυσίδες σκέψης – μια αδυναμία που είναι ιδιαίτερα επιζήμια για την Αυτο-Διόρθωση.

Οι παράλληλες μεθόδους όπως η Αυτο-Συνέπεια και η Best-of-N αποφεύγουν αυτό το ζήτημα, αν και οι βελτιώσεις τους ήταν πιο αργές και πιο μετριοπαθείς.

(Σημείωση: Η ενότητα αποτελεσμάτων, αν και εξαντλητική, είναι μια δυσχερής και πολυσήμαντη ανάγνωση, και πρέπει να κόψουμε την περισσότερη από την εναπομείνασα κάλυψη, αναφέροντας τον αναγνώστη στο αρχικό έγγραφο για περισσότερες λεπτομέρειες).

Όταν δοκιμάστηκε στο GPT-5 Nano και GPT-5 Mini, κλειστά εμπορικά μοντέλα που κρύβουν την πλήρη ιχνηλασία σκέψης και επιστρέφουν μόνο την τελική απάντηση, η Iter-VF βελτίωσε την απόδοση χωρίς να βασίζεται στις ενδιάμεσες εξόδους. Στο παρακάτω πίνακα, μπορούμε να δούμε κέρδη και στα MATH500 και GPQA, επιβεβαιώνοντας ότι η προσέγγιση verify-then-generate παραμένει εφικτή ακόμη και όταν μόνο η είσοδος και η τελική απάντηση είναι προσβάσιμες:

Ακρίβεια στο MATH500 και GPQA όταν η Iter-VF εφαρμόζεται σε GPT-5 μοντέλα με κρυφές ιχνηλασίες σκέψης.

Συμπέρασμα

Αν και το νέο έγγραφο γίνεται αδιαφανές από την ενότητα αποτελεσμάτων και μετά, η φαινομενική ανακάλυψη μιας υπερκατηγορικής ιδιότητας σε μια τάξη μοντέλων AI είναι ωστόσο μια ενδιαφέρουσα εξέλιξη. Όποιος χρησιμοποιεί τακτικά ένα LLM θα έχει αναπτύξει instictively μια σειρά από κόλπα για να εργαστεί γύρω από τα ελαττώματα του μοντέλου, καθώς κάθε ένα γίνεται εμφανές με τον καιρό, και το μοτίβο εμφανίζεται; και όλοι ελπίζουν να βρουν ένα ‘κόλπο’ τόσο εφαρμόσιμο και γενικευμένο όσο αυτό.

Ένα από τα μεγαλύτερα προβλήματα στην εφαρμογή και ενημέρωση ενός παραθύρου контекстου σε ένα LLM φαίνεται να είναι η επίτευξη ισορροπίας μεταξύ διατήρησης της πρόοδου της συνεδρίας και της ικανότητας να ξεκινήσει σε νέες κατευθύνσεις όταν χρειάζεται, χωρίς να πέσει σε ψευδείς οραματισμούς ή εκτός θέματος εξόδους. Στην περίπτωση που παρουσιάζεται από το νέο έγγραφο, βλέπουμε ένα παράδειγμα ενός ήπίου αλλά επιμοντικού ‘ξυπνητήρι’ που φαίνεται να επανασυντονίζει και να επαναρυθμίζει το LLM χωρίς απώλεια контекстου. Θα είναι ενδιαφέρον να δούμε αν επόμενα προγράμματα θα προσαρμόσουν και εξελίξουν τη μέθοδο.

Οι ερευνητές κάνουν πολλά για την οικονομία της νέας μεθόδου τους – μια σκέψη που θα είχε μικρότερη βαρύτητα ακόμη και πριν από 12 μήνες. Αυτές τις μέρες, οι επιπτώσεις της υπερκλίμακας AI καθιστούν σαφές ότι οι οικονομίες που θεωρούνταν pedantic στην ‘καθαρή έρευνα’ εποχή, τώρα γίνονται καρδιακές και απαραίτητες.

* Παρακαλώ σημειώστε ότι είμαι περιορισμένος από το να περιλαμβάνω το συνήθειο αριθμό από αποφθέγματα από το έγγραφο, поскольку το επίπεδο αγγλικών που βρέθηκε σε κάποια μέρη του μπορεί να μπερδέψει τον αναγνώστη. Έτσι, έχω την ελευθερία να συνοψίσω τις κλειδίες ερευνήσεις αντί, και αναφέρω τον αναγνώστη στο αρχικό έγγραφο για επαλήθευση.

Πρώτη δημοσίευση Πέμπτη, 4 Δεκεμβρίου 2025