Οιценζυρισμένες Μοντέλα Συνομιλίας AI Hallucinate Περισσότερο, Βρίσκει Η Έρευνα

Η цензура στις γλώσσες μοντέλων μπορεί να υπονομεύει την ικανότητά τους να αναφέρουν την αλήθεια σε ένα ευρύτερο επίπεδο. Νέα έρευνα βρίσκει ότι οι ίδιες εσωτερικές μηχανισμοί που χρησιμοποιούνται για να μπλοκάρουν “ασφαλείς” απαντήσεις επίσης καταστέλλουν фактиτικές πληροφορίες, σημαίνοντας ότι οι προσπάθειες να ευθυγραμμίσουν τα μοντέλα για ασφάλεια μπορεί να έχουν ως αποτέλεσμα να τα κάνουν να hallucinate περισσότερο.

Για χρόνια, οι dévelopπεροι έχουν διδάξει τα μοντέλα γλώσσας να ψεύδονται λιγότερο. Η οδήγηση να τα κάνουν πιο αληθινά, καταστέλλοντας hallucinations και κατευθύνοντας τους προς verifiable facts, έχει οδηγήσει σε ένα πολύ ισχυρό και καλά συνταγμένο strand στη βιβλιογραφία.

Ωστόσο, μια νέα Αυστραλιανή μελέτη υποστηρίζει ότι με το να σφίγγουν τον έλεγχο над αυτό που επιτρέπεται στα μοντέλα να πουν, alignment μεθόδους (τεχνικές εκπαίδευσης που gate-keep ‘ασφαλείς’ ανταλλαγές) μπορεί να εμποδίζουν να μιλήσουν ακριβώς στο bütün:

Βελτίωση της ακρίβειας ενός μοντέλου (‘Truthfulness Enhancement’, στην εικόνα πάνω) μπορεί να το οδηγήσει σε περιοχές ενεργοποίησης που υπερβαίνουν τις εσωτερικές μηχανισμούς άρνησης, και επεξεργασίες που προορίζονται να μειώσουν τις hallucinations μπορεί επίσης να μεταφέρουν εσωτερικές αναπαραστάσεις σε μια ασφαλή οριο. Αυτό μπορεί να επιτρέψει σε βλαβερές προτροπές να παρακάμψουν τις προστασίες, εκτός αν οι χαρακτηριστικές προστασίες είναι προσεκτικά απομονωμένες και διατηρημένες. Πηγή: https://arxiv.org/pdf/2510.07775

Η έρευνα βρίσκει ότι οι ίδιες εσωτερικές διαδρομές που διέπουν την ανακλήθεισα ανακλήθεισα είναι επίσης υπεύθυνες για άρνηση συμπεριφορά, δηλαδή τον μηχανισμό που σταματά ένα μοντέλο από το να απαντάει σε ασφαλείς ή ευαίσθητες προτροπές. Όταν οι alignment διαδικασίες ενισχύουν τα σήματα άρνησης πολύ επιθετικά, αρχίζουν να перекrýουν με τις διαδρομές που σχετίζονται με την ανακλήθεισα, καθιστώντας το δυσκολότερο για το μοντέλο να διακρίνει μεταξύ της άρνησης του βλάβη και της καταστολής έγκυρης πληροφόρησης.

Παράδοξα, καθώς τα μοντέλα γίνονται καλύτερα στο να λένε ‘όχι’, γίνονται επίσης λιγότερο ικανά να πουν τι είναι αλήθεια.

Εκρηκτικά Θέματα

Στην εικόνα πάνω, podemos δούμε ότι τα κεντρικά ζητήματα εδώ είναι τόσο σχετικά με την νομική έκθεση για τους παρόχους LLM όσο και με την παροχή του χρήστη με δίκαιες και ακριβείς αποτελέσματα.

Για παράδειγμα, στην περίπτωση που χρησιμοποιείται και στις εικόνες πάνω και κατω, βλέπουμε ένα αμφιλεγόμενο θέμα (στατιστικά φυλακίσεων με βάση τη φυλή) που ανέρχεται σε μια ερώτηση – ένα θέμα που ένα AI θα μπορούσε να συζητήσει με ακαδημαϊκούς ερευνητές και στατιστικούς, αλλά όχι με κακόβουλους που θα μπορούσαν να jailbreak το μοντέλο, που θα μπορούσε να το κάνει να εξοδεύσει βλαβερές, προσβλητικές και ακόμη και παράνομες απαντήσεις.

Ωστόσο,既然 ένα ευθυγραμμισμένο LLM δεν μπορεί να αναγνωρίσει το χαρακτήρα του querent με αυτόν τον τρόπο, προκαλεί μια προσεκτική στάση:

Απαντήσεις σε ευαίσθητες προτροπές μπορούν να διαφοροποιηθούν ανάλογα με την στρατηγική ευθυγράμμισης. Ένα μοντέλο ασφαλείας που ευθυγραμμίζεται με το να μπλοκάρει完全 την ερώτηση, ενώ ένα μοντέλο που επικεντρώνεται στην αλήθεια απαντά με πραγματικά περιεχόμενα, αυξάνοντας την πληροφόρηση αλλά μειώνοντας την καταστολή. Αυτό υποστηρίζει την άποψη ότι οι επεξεργασίες που βελτιώνουν την αλήθεια μπορούν να μειώσουν τα όρια άρνησης, καθιστώντας τα μοντέλα πιο ευάλωτα σε προτροπές με βλαβερό σκοπό, εκτός αν οι μηχανισμοί άρνησης προστατεύονται ρητά.

Ως μια πλευρική σημείωση, σχετικά με την εκρηκτική γλώσσα, τα ευρήματα της νέας μελέτης μπορεί να επιτρέψουν σε κάποιον που είναι αντίθετος στις λεγόμενες ‘woke’ ατζέντες να κατανοήσει ότι ένα ‘στερεοποιημένο’ (δηλαδή, ευθυγραμμισμένο) μοντέλο γλώσσας είναι λιγότερο αληθινό και λιγότερο χρήσιμο από ένα που δεν είχε υποβληθεί σε điều hòa και ρύθμιση.

Η μελέτη της έρευνας υποδηλώνει ότι αυτό είναι σε κάποιο βαθμό αλήθεια, αλλά το τοποθετεί σωστά στο πλαίσιο των ευρύτερων ζητημάτων που προκύπτουν από τις ανταλλαγές με ‘ακατέργαστα’ LLM:

Ακολουθώντας την λογική της μελέτης, αυτά περιλαμβάνουν σοβαρή νομική έκθεση σε μια σειρά από εγκλήματα και αστικές παραβάσεις που το μοντέλο θα μπορούσε να είναι μέρος, καθώς και τη χρονική διασπορά της ψευδούς είδησης, απλώς και μόνο επειδή τα αιτιολογικά παραδείγματα είναι υπερεκπροσωπημένα στα δεδομένα εκπαίδευσης, και ο μόνος αποτελεσματικός τρόπος για την πλήρη φιλτράρισή τους είναι πολύ ακριβός.

Το Άτοπο Ζευγάρι

Για να κατανοήσουν καλύτερα τους μηχανισμούς πίσω από τα παρατηρούμενα σύνδρομα, οι ερευνητές χαρτογράφησαν τις ενεργοποιήσεις των μεμονωμένων κεφαλών προσοχής και ανακάλυψαν ότι τα χαρακτηριστικά που συνδέονται με την hallucination και την άρνηση συχνά συνυπάρχουν στις ίδιες περιοχές του μοντέλου.

Βρήκαν ότι fine-tuning ή άλλες διαδικασίες που στοχεύουν αυτές τις περιοχές για να μειώσουν τις ψευδείς πληροφορίες μπορεί επίσης να μειώσουν τις εσωτερικές προστασίες του συστήματος, επειδή βρίσκονται σχεδόν στην ίδια περιοχή του latent χώρου:

‘[Αύξηση] της ακρίβειας συχνά γίνεται με το κόστος της μειωμένης άρνησης συμπεριφοράς. Η ανάλυση μας αποκαλύπτει ότι αυτό προκύπτει από τις перекrýοντας συνιστώσες στο μοντέλο που κωδικοποιούν同時 την hallucination και την άρνηση πληροφόρησης, οδηγώντας τις μεθόδους ευθυγράμμισης να καταστέλλουν την πραγματική γνώση ανεπίσημα.

‘Επιπλέον, εξετάζουμε πώς το fine-tuning σε ασφαλείς datasets, ακόμη και όταν έχουν κατηγοριοποιηθεί για ασφάλεια, μπορεί να μειώσει την ευθυγράμμισης για τον ίδιο λόγο.’

Η λύση των συγγραφέων είναι να χρησιμοποιήσουν ένα sparse autoencoder (SAE, ένα δίκτυο που έχει εκπαιδευτεί για να απομονώσει διακριτά μοτίβα ενεργοποίησης) για να διαχωρίσουν τις δύο λειτουργίες και να διατηρήσουν την ασφάλεια κατά την εκπαίδευση αλήθειας, προσφέροντας έναν τρόπο για να κάνουν τα μοντέλα και ασφαλέστερα και πιο αληθινά, χωρίς θυσία κανενός από τα δύο χαρακτηριστικών.

Η νέα μελέτη έχει τον τίτλο Η Ανεπιθύμητη Ανταλλαγή της Ευθυγράμμισης AI: Ισορροπία giữa την Hallucination Mitigation και την Ασφάλεια στα LLMs, και προέρχεται από πέντε ερευνητές σε διάφορα πανεπιστήμια και ανεξάρτητες ερευνητικές ομάδες.

Μέθοδος

Η κεντρική πρόταση του έργου είναι να διερευνήσει αν η βελτίωση της αλήθειας στα μοντέλα γλώσσας μειώνει την ικανότητά τους να αρνηθούν βλαβερές προτροπές, και αν και οι δύο συμπεριφορές εξαρτώνται από κοινού εσωτερικών συνιστωσών.

Δοκιμάζοντας δύο μεθόδους που βελτιώνουν την αλήθεια, οι συγγραφείς βρήκαν, όπως θα δούμε, ότι οι κέρδη στην ακρίβεια συνεχώς αυξάνουν την ευπάθεια σε jailbreak.

Αυτή η ανταλλαγή προέρχεται από την перекrýωση στις κεφαλές προσοχής που κωδικοποιούν τόσο τις πραγματικές όσο και τις αρνητικές σήματα. Ακόμη και η ασφαλής fine-tuning (που προορίζεται να βελτιώσει την उपयσιμότητα χωρίς να αγγίξει την ασφάλεια) μπορεί να διαταράξει την ασφάλεια, αλλάζοντας τις κοινούς διαδρομές.

Η μελέτη ορίζει τρεις βασικές κλειδιά όρους: αληθινή αναφέρεται στην ικανότητα του μοντέλου να παρέχει ακριβείς απαντήσεις με βάση τις διαθέσιμες γνώσεις, χωρίς να καταστέλλει μη βλαβερές πληροφορίες; hallucination συμβαίνει όταν το μοντέλο προσφέρει λανθασμένες ή παραπλανητικές πληροφορίες παρά την πρόσβαση στις σωστές πληροφορίες, συχνά λόγω αποτυχίας ανάκτησης ή εσωτερικής παρέμβασης; και άρνηση συμπεριφορά, ή ασφαλής ευθυγράμμισης, περιγράφει τους μηχανισμούς που μπλοκάρουν ή περιορίζουν τις απαντήσεις σε βλαβερές ή ευαίσθητες προτροπές.

Οι συγγραφείς παρατηρούν ότι αυτές οι λειτουργίες συχνά αλληλεπιδρούν με υποtile τρόπους:

‘Αν και η αλήθεια και η ασφάλεια αναλύονται ξεχωριστά, οι πραγματικές προτροπές συχνά περιέχουν ευαίσθητες όρους με αθώο σκοπό (π.χ. ανάλυση, ανίχνευση ή εκπαίδευση) [Σε] αυτές τις περιπτώσεις, οι μηχανισμοί ασφαλείας μπορεί να υπερενεργούν – καταστέλλοντας άλλως ακριβείς και χρήσιμες πληροφορίες – και μειώνοντας έτσι την πρακτική αλήθεια “με παραλείψεις.”

‘Η κατανόηση του πώς οι επεξεργασίες που στοχεύουν στην αύξηση της αλήθειας επηρεάζουν την άρνηση συμπεριφορά είναι因此 essencial για την επίτευξη αλήθειας με ελάχιστη, κατάλληλη καταστολή.’

Οι συγγραφείς ανέπτυξαν ένα LoRA ικανό να οδηγήσει ένα προϋπολογισμένο LLM σε μια πιο ‘αληθινή’ κατάσταση, λιγότερο ευάλωτο σε hallucination. Περιλαμβάνοντας αυτήν την εικόνα, το παράρτημα της μελέτης έχει πολλά παραδείγματα των ανεπιθύμητων συνεπειών αυτού.

Η ανάλυση αρχίζει με την αντιμετώπιση των μεθόδων που βελτιώνουν την αλήθεια, όπως head-steering και latent-direction mapping, ως σκόπιμες τροποποιήσεις της εσωτερικής υπολογιστικής του μοντέλου.

Δύναμη Διεύθυνσης

Το ερώτημα είναι αν αυτές οι αλλαγές επηρεάζουν ανεπίσημα τις ίδιες εσωτερικές διαδρομές που διέπουν την άρνηση συμπεριφορά. Για να δοκιμάσουν αυτό, η μελέτη αξιολόγησε μοντέλα όχι μόνο στην ακρίβεια χρησιμοποιώντας TruthfulQA, αλλά και στην ασφάλεια υπό ανταγωνιστική πίεση, χρησιμοποιώντας τα AdvBench και StrongReject benchmarks.

Οι δύο υπάρχουσες τεχνικές που χρησιμοποιήθηκαν ως βάση ήταν Inference-time intervention (ITI), που ενεργοποιεί τις κεφαλές προσοχής που συνδέονται με αληθινές απαντήσεις; και TruthX, που μεταφέρει τις αναπαραστάσεις κατά μήκος μιας μαθημένης “αληθινής” διεύθυνσης.

Και οι δύο βελτιώνουν την ακρίβεια, αλλά κάνουν επίσης το μοντέλο πιο πιθανό να απαντήσει σε βλαβερές προτροπές που προηγουμένως θα είχε αρνηθεί.

Για να δοκιμάσουν αν η συμπεριφορά hallucination θα μπορούσε να απομονωθεί και να χειριστεί άμεσα, οι συγγραφείς ορίσαν了一 seule latente διεύθυνση στο χώρο του μοντέλου που αντιστοιχούσε σε hallucinated απαντήσεις, εκπαιδεύοντας ένα LoRA module στις λανθασμένες απαντήσεις από το TruthfulQA dataset, χρησιμοποιώντας LLaMA3-8B-Instruct.

Αυτό οδήγησε σε einen γραμμικό διανυσμα (δηλαδή, einen γραφήματος της διαφοράς μεταξύ αληθινών και hallucinated απαντήσεων) που οδηγούσε το μοντέλο προς ή μακριά από την hallucination, ανάλογα με τη διεύθυνση.

Εφέ της διεύθυνσης κατά μήκος της hallucination διεύθυνσης. Η ακρίβεια στο TruthfulQA αυξάνεται καθώς το μοντέλο οδηγείται πιο μακριά στην αρνητική διεύθυνση, ενώ ο Attack Success Rate (ASR, χαμηλότερος είναι καλύτερος) αυξάνεται απότομα στο AdvBench και StrongReject, αντανακλώντας την ανταλλαγή μεταξύ αλήθειας και ασφαλείας.

Η διεύθυνση κατά μήκος της hallucination διεύθυνσης μειώνει την ακρίβεια, ενώ η αντίστροφη διεύθυνση τη βελτιώνει, και η εφαρμογή αυτής της τεχνικής σε βλαβερές προτροπές επιβεβαιώνει ένα μοτίβο που είδαμε νωρίτερα: τα κέρδη στην αλήθεια έρχονται με το κόστος της μειωμένης άρνησης. Ακόμη και όταν η hallucination καταλήγεται ως μια καθαρή γραμμική διεύθυνση, η βελτίωση της αληθινής έξοδου κάνει το μοντέλο πιο ευάλωτο σε ασφαλείς ολοκληρώσεις.

Οι συγγραφείς τονίζουν*:

‘Αυτή η ανταλλαγή ενισχύει την ανταλλαγή μεταξύ αλήθειας και ασφαλείας, δείχνοντας ότι ακόμη και όταν η αλήθεια αντιπροσωπεύεται ως μια seule γραμμική διεύθυνση, η βελτίωση της αλήθειας μπορεί να έρθει με το κόστος της μειωμένης ασφάλειας.’

Δεδομένα και Τεστ

Σε συμφωνία με πρότερη εργασία, για να αποτρέψουν το fine-tuning από το να μειώσει την άρνηση συμπεριφορά του μοντέλου, οι συγγραφείς χρησιμοποίησαν μια μέθοδο για να διαχωρίσουν τις χαρακτηριστικές προστασίες από αυτές που συνδέονται με την hallucination, αναγνωρίζοντας πρώτα τις κεφαλές προσοχής που εμπλέκονται και στις δύο συμπεριφορές. Στη συνέχεια, χρησιμοποίησαν το SAE για να εξαγάγουν latente χαρακτηριστικά ειδικά για την άρνηση.

Αυτά τα χαρακτηριστικά ορίζουν ένα προστατευμένο υποχώρο. Κατά την εκπαίδευση, οι ενημερώσεις του gradient τροποποιούνται για να αποφευχθεί αυτός ο υποχώρος, επιτρέποντας στο μοντέλο να μειώσει τις hallucinations χωρίς να διαταράξει την ασφάλεια.

Οι συγγραφείς χρησιμοποίησαν το fine-tuning στο CommonsenseQA dataset, αξιολογώντας σε έξι κοινές reasoning προκλήσεις: CSQA; HellaSwag; ARCchallenge; ARC Easy; WinoGrande; και SST-2.

Οι στόχοι των μοντέλων fine-tune χρησιμοποιώντας LoRA με rank 8, μια μαθησιακή率 2×10⁻⁴, weight decay 0.01, một εκπαίδευση epoch, και ένα batch size δύο. Όλες οι πειραματικές διαδικασίες χρησιμοποίησαν τον AdamW optimizer.

Οι δύο βλαβερές προτροπές που χρησιμοποιήθηκαν για την αξιολόγηση της ασφαλείας ήταν AdvBench (500 δείγματα χρησιμοποιήθηκαν) και StrongReject (300 προτροπές). Οι έξοδοι αξιολογήθηκαν από LlamaGuard3, αποδίδοντας ασφαλείς ή αβλαβείς ταξινομήσεις.

Εκτός από το LLaMA3-8B-Instruct, πειραματικές διαδικασίες διεξήχθησαν επίσης στο Qwen2.5-Instruct.

Οι βάσεις που δοκιμάστηκαν ήταν SafeLoRA; SaLoRA; SAP; και βανίλια επιτηρούμενη fine-tuning (aka SFT). Όλες οι βάσεις εκτελέστηκαν με τις προεπιλεγμένες υπερπαράμετρους, με 200 προτροπές από HarmBench, για όλες τις μεθόδους εκτός από το SafeLoRA.

Η ακρίβεια ήταν ο κύριος δείκτης, και για τις βλαβερές προτροπές ο Attack Success Rate (ASR), όπως ορίζεται από τα αποτελέσματα που επιστρέφονται από το LlamaGuard3.

Πάνω, αποτελέσματα από το LlaMA-3-8B-Instruct, με τις καλύτερες στήλες σε bold και κάτω, απόδοση των μεθόδων fine-tuning στο Qwen2.5 7B Instruct, σε κοινές και reasoning εργασίες, όπου υψηλότερες βαθμολογίες αντανακλούν καλύτερη ακρίβεια – και στις ασφαλείς προτροπές AdvBench και StrongReject, όπου χαμηλότερες τιμές ASR αντανακλούν ισχυρότερη αντοχή. Οι καλύτερες βαθμολογίες σε κάθε στήλη εμφανίζονται σε bold.

Από αυτά τα αποτελέσματα, οι συγγραφείς αναφέρουν:

‘Η χειρουργική μας προσέγγιση επιτυγχάνει την καλύτερη ισορροπία μεταξύ ασφαλείας και उपयσιμότητας: μειώνει σημαντικά τις βλαβερές βαθμολογίες ενώ διατηρεί την ακρίβεια του fine-tuning. Σε αντίθεση, μεθόδους όπως το SAP, SaLoRA, και SafeLoRA είτε αυξάνουν την βλαβερότητα είτε μειώνουν την उपयσιμότητα.

‘Ένας κρίσιμος λόγος είναι ότι αυτές οι μεθόδους λειτουργούν απευθείας στο gradient του ασφαλή υποχώρου, το οποίο, λόγω της polysemanticity [**], μπορεί να περιορίσει την απόδοση του μοντέλου.

‘Σε σύγκριση με το βανίλια fine-tuning (SFT), η μέθοδός μας αποδίδει σημαντικές βελτιώσεις και στην उपयσιμότητα και στις μετρήσεις της βλαβερότητας. Συγκεκριμένα, η μέθοδός μας βελτιώνει την μέση ακρίβεια του fine-tuning (FA) από 56.15% σε 75.09%, μια αύξηση περίπου +19%.’

Η μέθοδος, οι ερευνητές υπογραμμίζουν:

‘Αυτά τα αποτελέσματα υπογραμμίζουν την σημασία της διατήρησης των χαρακτηριστικών άρνησης κατά τη διαδικασία του fine-tuning: απομονώνοντας και προστατεύοντας τον υποχώρο άρνησης, η μέθοδός μας διατηρεί την ασφάλεια χωρίς να θυσιάζει την απόδοση της εργασίας.

‘Συνολικά, αυτό επιβεβαιώνει ότι η μέθοδός μας μειώνει αποτελεσματικά την ανταλλαγή μεταξύ αλήθειας και ασφαλείας.’

Τέλος, οι ερευνητές δοκιμάζουν την αντοχή της μεθόδου τους υπό πιο ανταγωνιστικές συνθήκες, προσθέτοντας 10% βλαβερές οδηγίες από το Circuit Break dataset στο σύνολο του fine-tuning.

Παρά την εσκεμμένη δηλητηρίαση, η μέθοδος διατηρεί ισχυρή απόδοση σε ασφαλείς και βλαβερές αξιολογήσεις:

Απόδοση του LLaMA3 8B Instruct fine-tune σε ένα δηλητηριασμένο dataset κοινής γνώσης, συγκρίνοντας την ακρίβεια και την ασφάλεια των μεθόδων.

Η νέα μέθοδος μειώνει τον ASR πιο αποτελεσματικά από το SAP, αποφεύγοντας την απώλεια της उपयσιμότητας. Η ακρίβεια της εργασίας παραμένει κοντά στο LoRA SFT και το SafeLoRA, επιβεβαιώνοντας ότι η ευθυγράμμισης της άρνησης μπορεί να διατηρηθεί ακόμη και υπό μολυσμένα δεδομένα εκπαίδευσης, υπό την προϋπόθεση ότι οι χαρακτηριστικές προστασίες διατηρούνται σωστά.

Συμπέρασμα

Το πιο ενδιαφέρον εύρημα από αυτή τη μελέτη είναι η φαινομενική συντοπία στην εκπαιδευμένη.latent χώρο τέτοιων αντίθετων στοιχείων όπως άρνηση και hallucination. Αν και είναι ενθαρρυντικό και πολύ ενδιαφέρον να παρακολουθήσουμε τους συγγραφείς να αποσυνδέουν αυτά μέσω της χρήσης LoRAs και SAEs, αυτό είναι σαφώς κάτι από μια λύση “bolt-on”, και θα ήταν ευχάριστο να δούμε ότι τελικά θα εμφανιστούν βαθύτερες αρχιτεκτονικές λύσεις που θα αντιμετωπίσουν το χρόνο εκπαίδευσης, αντί για post hoc διορθώσεις.

* Απομακρύνω την بولντ μορφοποίηση τους ως περιττή.
** https://arxiv.org/abs/2210.01892

Πρώτη δημοσίευση Παρασκευή, 10 Οκτωβρίου 2025