Αντιμετωπίζοντας τις Hallucinations στα Μεγάλα Μοντέλα Γλώσσας: Μια Επισκόπηση των Τελευταίων Τεχνικών

Τα μεγάλα μοντέλα γλώσσας (LLMs) όπως το GPT-4, PaLM και Llama έχουν ξεκλειδώσει αξιοσημείωτες προόδους στις ικανότητες γεννήσεων φυσικής γλώσσας. Ωστόσο, μια επίμονη πρόκληση που περιορίζει την αξιοπιστία και την ασφαλή ανάπτυξή τους είναι η τάση τους να hallucinate – να παράγουν περιεχόμενο που φαίνεται συνεκτικό αλλά είναι faktually λάθος ή αδικαιολόγητο από το контέκστ του εισαγωγικού.

Καθώς τα LLMs συνεχίζουν να μεγαλώνουν περισσότερο ισχυρά και πανταχού παρόντα σε πραγματικές εφαρμογές, η αντιμετώπιση των hallucination γίνεται απαραίτητη. Αυτό το άρθρο παρέχει μια綜合τική επισκόπηση των τελευταίων τεχνικών που έχουν εισαχθεί από ερευνητές για την ανίχνευση, ποσοτικοποίηση και μείωση των hallucination σε LLMs.

Κατανόηση των Hallucination στα LLMs

Hallucination αναφέρεται σε фактиτικές ανακρίβειες ή fabriكات που παράγονται από LLMs που δεν είναι εδραιωμένες στη πραγματικότητα ή στο контέκστ που παρέχεται.

• Εφευρέσεις βιογραφικών λεπτομερειών ή συμβάντων που δεν έχουν αποδειχθεί σε πηγές υλικού όταν παράγεται κείμενο για ένα πρόσωπο.
• Παροχή ελαττωματικής ιατρικής συμβουλής με την fabriκαцию παρενεργειών φαρμάκων ή διαδικασιών θεραπείας.
• Συνθέσεις μη υπαρχουσών δεδομένων, μελετών ή πηγών για την υποστήριξη μιας αξίωσης.

Αυτό το φαινόμενο προκύπτει επειδή τα LLMs εκπαιδεύονται σε τεράστιες ποσότητες δεδομένων κειμένου στο διαδίκτυο. Ενώ αυτό τους επιτρέπει να αποκτήσουν ισχυρές ικανότητες μοντελοποίησης γλώσσας, σημαίνει επίσης ότι μαθαίνουν να εξαγάγουν πληροφορίες, να κάνουν λογικές άλματα και να γεμίσουν κενά με τρόπο που φαίνεται πειστικός αλλά μπορεί να είναι παραπλανητικός ή εσφαλμένος.

Ορισμένα βασικά στοιχεία που ευθύνονται για τις hallucination περιλαμβάνουν:

• Γενίκευση προτύπων – Τα LLMs αναγνωρίζουν και επεκτείνουν πρότυπα στα δεδομένα εκπαίδευσης που μπορεί να μην γενικεύουν καλά.
• Παλιά γνώση – Η στατική προ-εκπαίδευση εμποδίζει την ενσωμάτωση νέων πληροφοριών.
• Αμφιβολία – Αστικές προτροπές επιτρέπουν χώρο για λάθος υποθέσεις.
• Προκαταλήψεις – Τα μοντέλα διατηρούν και ενισχύουν σκευασμένες προοπτικές.
• Ανεπαρκής εδραιώση – Η έλλειψη κατανόησης και λογικής σημαίνει ότι τα μοντέλα παράγουν περιεχόμενο που δεν κατανοούν πλήρως.

Η αντιμετώπιση των hallucination είναι κρίσιμη για την αξιοπιστία και την ασφαλή ανάπτυξη σε ευαίσθητες περιοχές όπως η ιατρική, ο νόμος, η οικονομία και η εκπαίδευση, όπου η παραγωγή λανθασμένων πληροφοριών μπορεί να οδηγήσει σε ζημιά.

Ταξινόμηση των Τεχνικών Mitigation των Hallucination

Οι ερευνητές έχουν εισαγάγει διάφορες τεχνικές για την καταπολέμηση των hallucination στα LLMs, οι οποίες μπορούν να κατηγοριοποιηθούν σε:

1. Prompt Engineering

Αυτό περιλαμβάνει την προσεκτική δημιουργία προτύπων για την παροχή контέκστ και την οδήγηση του LLM προς фактиτικές, εδραιωμένες απαντήσεις.

• Αύξηση αναζήτησης – Αναζήτηση εξωτερικών αποδεικτικών για την εδραιώση του περιεχομένου.
• Βρόχοι ανατροφοδότησης – Επαναλαμβανόμενη παροχή ανατροφοδότησης για την βελτίωση των απαντήσεων.
• Προσαρμογή προτύπων – Προσαρμογή προτύπων κατά τη διάρκεια της εκπαίδευσης για τις επιθυμητές συμπεριφορές.

2. Model Development

Δημιουργία μοντέλων που είναι εγγενώς λιγότερο ευάλωτα σε hallucination μέσω αρχιτεκτονικών αλλαγών.

• Στρατηγικές αποκωδικοποίησης – Γέννηση κειμένου με τρόπους που αυξάνουν την πιστότητα.
• Εδραιώση γνώσης – Ενσωμάτωση εξωτερικών βάσεων γνώσεων.
• Νέες συναρτήσεις απώλειας – Βελτίωση για την πιστότητα κατά τη διάρκεια της εκπαίδευσης.
• Επιτηρούμενη εκπαίδευση – Χρήση ανθρώπινου-ετικεтировμένων δεδομένων για την ενίσχυση της πραγματικότητας.

Στη συνέχεια, επιθεωρούμε τις εξέχουσες τεχνικές κάτω από κάθε προσέγγιση.

Εξέχουσες Τεχνικές Mitigation των Hallucination

Αύξηση Γεννήσεων

Η αύξηση γεννήσεων βελτιώνει τα LLMs με την αναζήτηση και την κατάσταση της γεννήσεων κειμένου σε εξωτερικά έγγραφα αποδεικτικών, αντί να βασίζονται αποκλειστικά στη σιωπηρή γνώση του μοντέλου. Αυτό εδραιώνει το περιεχόμενο σε ενημερωμένες, επιβεβαιωμένες πληροφορίες, μειώνοντας τις hallucination.

Εξέχουσες τεχνικές περιλαμβάνουν:

• RAG – Χρήση ενός retriever module που παρέχει σχετικές περικοπές για ένα seq2seq μοντέλο να γεννήσει από. Και τα δύο συστατικά εκπαιδεύονται από την αρχή.
• RARR – Απασχολεί LLMs για την έρευνα ανεπίσημων αξιώσεων στο γεννημένο κείμενο και την αναθεώρησή τους για να συμμορφωθούν με τα ανακτημένα αποδεικτικά.
• Αναζήτηση Γνώσης – Επιβεβαιώνει τις αβέβαιες γεννήσεις χρησιμοποιώντας ανακτημένη γνώση πριν παράγει κείμενο.
• LLM-Augmenter – Επαναλαμβανόμενα αναζητά γνώση για την κατασκευή αλυσίδων αποδεικτικών για προτύπων LLM.

Ανατροφοδότηση και Λογική

Η χρήση επαναλαμβανόμενης φυσικής γλώσσας ανατροφοδότησης ή αυτο-λογικής επιτρέπει στα LLMs να βελτιώσουν και να verbessύνουν τις αρχικές τους εξόδους, μειώνοντας τις hallucination.

CoVe απασχολεί μια τεχνική αλυσίδας επαλήθευσης. Το LLM πρώτα σχεδιάζει μια απάντηση στην ερώτηση του χρήστη. Στη συνέχεια, γεννά πιθανές ερωτήσεις επαλήθευσης για να ελέγξει την απάντησή του, με βάση την εμπιστοσύνη του σε διάφορες δηλώσεις που έγιναν. Για παράδειγμα, για μια απάντηση που περιγράφει μια νέα ιατρική θεραπεία, το CoVe μπορεί να γεννήσει ερωτήσεις όπως “Τι είναι ο βαθμός αποτελεσματικότητας της θεραπείας;”, “Έχει λάβει ρυθμιστική έγκριση;”, “Ποια είναι οι πιθανές παρενέργειες;”. Κρίσιμο, το LLM στη συνέχεια προσπαθεί να απαντήσει αυτονομamente σε αυτές τις ερωτήσεις επαλήθευσης χωρίς να επηρεαστεί από την αρχική του απάντηση. Αν οι απαντήσεις στις ερωτήσεις επαλήθευσης αντίκρουσαν ή δεν μπορούσαν να υποστηρίξουν δηλώσεις που έγιναν στην αρχική απάντηση, το σύστημα ταυτοποιεί αυτές ως πιθανές hallucination και βελτιώνει την απάντηση πριν την παρουσιάσει στον χρήστη.

DRESS επικεντρώνεται στην προσαρμογή των LLMs για να συμμορφωθούν καλύτερα με τις ανθρώπινες προτιμήσεις μέσω φυσικής γλώσσας ανατροφοδότησης. Η προσέγγιση επιτρέπει στους μη-ειδικούς χρήστες να παρέχουν ελεύθερες κριτικές στις γεννήσεις του μοντέλου, όπως “Οι παρενέργειες που αναφέρθηκαν φαίνονται υπερβολικές” ή οδηγίες βελτίωσης όπως “Παρακαλώ, συζητήστε επίσης την οικονομική αποτελεσματικότητα”. Το DRESS χρησιμοποιεί ενισχυτική μάθηση για να εκπαιδεύσει τα μοντέλα να γεννήσουν απαντήσεις που προϋποθέτουν τέτοιου είδους ανατροφοδότηση που συμμορφώνονται καλύτερα με τις ανθρώπινες προτιμήσεις. Αυτό βελτιώνει την αλληλεπίδραση ενώ μειώνει τις μη πραγματικές ή μη υποστηριζόμενες δηλώσεις.

MixAlign αντιμετωπίζει τις καταστάσεις όπου οι χρήστες κάνουν ερωτήσεις που δεν αντιστοιχούν απευθείας με τις περικοπές που ανακτώνται από το σύστημα. Για παράδειγμα, ένας χρήστης μπορεί να ρωτήσει “Θα χειροτερέψει η ρύπανση στην Κίνα;” ενώ οι ανακτημένες περικοπές συζητούν τις τάσεις ρύπανσης παγκοσμίως. Για να αποφευχθεί η hallucination με ανεπαρκή контέκστ, το MixAlign διευκρινίζει ρητά με τον χρήστη όταν είναι αβέβαιο πώς να συσχετίσει την ερώτησή του με τις ανακτημένες πληροφορίες. Αυτή η ανθρώπινη-στο-βρόχο μηχανισμός επιτρέπει την απόκτηση ανατροφοδότησης για να εδραιώσει και να δώσει контέκστ στις αποδεικτικές, αποτρέποντας αδικαιολόγητες απαντήσεις.

Η τεχνική Αυτο-Αναστοχασμός εκπαιδεύει τα LLMs να αξιολογούν, να παρέχουν ανατροφοδότηση και να βελτιώνουν επαναλαμβανόμενα τις δικές τους απαντήσεις χρησιμοποιώντας μια πολυ-επαγγελματική προσέγγιση. Για παράδειγμα, δεδομένης μιας απάντησης που παράγεται για μια ιατρική ερώτηση, το μοντέλο μαθαίνει να βαθμολογεί την πραγματική ακρίβεια, να αναγνωρίζει τις αντίθετες ή μη υποστηριζόμενες δηλώσεις και να τις επεξεργάζεται ανακτώντας σχετικές γνώσεις. Διδάσκοντας τα LLMs αυτό το βρόχο ανατροφοδότησης ελέγχοντας, κριτικών και επαναλαμβανόμενης βελτίωσης των δικών τους εξόδων, η προσέγγιση μειώνει την τυφλή hallucination.

Προσαρμογή Προτύπων

Η προσαρμογή προτύπων επιτρέπει την προσαρμογή των προτύπων που παρέχονται στα LLMs κατά τη διάρκεια της εκπαίδευσης για τις επιθυμητές συμπεριφορές.

Η μέθοδος SynTra απασχολεί μια συνθετική εργασία περίληψης για να ελαττώσει την hallucination πριν από τη μεταφορά του μοντέλου σε πραγματικές εργασίες περίληψης. Η συνθετική εργασία παρέχει εισαγωγικές περικοπές και ζητά από τα μοντέλα να τις περιλάβουν μέσω αναζήτησης μόνο, χωρίς αφαίρεση. Αυτό εκπαιδεύει τα μοντέλα να βασίζονται αποκλειστικά στο πηγαίο περιεχόμενο και όχι να hallucinate νέα πληροφορίες κατά τη διάρκεια της περίληψης. Η SynTra έχει αποδειχθεί ότι μειώνει τα προβλήματα hallucination όταν τα μοντέλα που έχουν εκπαιδευτεί χρησιμοποιούνται σε στόχους εργασιών.

UPRISE εκπαιδεύει einen καθολικό retriever προτύπων που παρέχει το βέλτιστο μαλακό πρότυπο για την εκμάθηση με λίγες σφαίρες σε μη είδικές κάτω-εργασίες. Ανακτώντας αποτελεσματικά προτύπων που έχουν προσαρμοστεί σε μια ποικιλία εργασιών, το μοντέλο μαθαίνει να γενικεύει και να προσαρμόζεται σε νέες εργασίες όπου δεν έχει εκπαιδευτεί. Αυτό βελτιώνει την απόδοση χωρίς να απαιτεί εργασία-ειδική προσαρμογή.

Νέα Αρχιτεκτονική Μοντέλων

FLEEK είναι ένα σύστημα που επικεντρώνεται στην υποστήριξη ανθρώπινων ελεγκτών και επικυρωτών. Αυτόματα αναγνωρίζει πιθανές να επιβεβαιωθούν фактические αξίωσεις που γίνονται σε ένα δεδομένο κείμενο. Το FLEEK μετατρέπει αυτές τις αξίωσεις σε ερωτήσεις, ανακτά σχετικές αποδεικτικές από βάσεις γνώσεων και παρέχει αυτή την контέκστ πληροφορίας σε ανθρώπινους επικυρωτές για να επιβεβαιώσουν αποτελεσματικά την ακρίβεια του εγγράφου και τις ανάγκες αναθεώρησης.

Η προσέγγιση CAD μειώνει την hallucination στη γεννήση γλώσσας μέσω της контέκστ-εμπευσμένης αποκωδικοποίησης. Συγκεκριμένα, το CAD ενισχύει τις διαφορές μεταξύ της κατανομής εξόδου του LLM όταν συνδέεται με ένα контέκστ και όταν παράγεται ανεξάρτητα. Αυτό αποθαρρύνει την αντίθεση με το контέκστ αποδεικτικών, οδηγώντας το μοντέλο προς εδραιωμένες γεννήσεις.

DoLA μειώνει τις фактиικές hallucination αντιπαραβάλλοντας logits από διαφορετικά επίπεδα δικτύων μετασχηματισμού.既然 οι фактиικές γνώσεις τείνουν να είναι τοπικές σε ορισμένα μεσαία επίπεδα, η ενίσχυση σημάτων από αυτά τα επίπεδα μέσω της αντίθεσης logits του DoLA μειώνει τις λανθασμένες фактиικές γεννήσεις.

Το THAM framework εισάγει einen κανονιστικό όρο κατά τη διάρκεια της εκπαίδευσης για να ελαττώσει την αμοιβαία πληροφορία μεταξύ εισαγωγών και hallucinated εξόδων. Αυτό βοηθά στην αύξηση της εξάρτησης του μοντέλου από το δεδομένο контέκστ αντί για την αδέσμευτη φαντασία, μειώνοντας τις τυφλές hallucination.

Εδραιώση Γνώσης

Η εδραιώση των γεννήσεων LLMs σε δομημένη γνώση αποτρέπει την αχαλίνωτη φαντασία και fabriκα.

Το RHO μοντέλο αναγνωρίζει οντότητες σε einen διαλογικό контέκστ και τις συνδέει με μια βάση γνώσεων (KG). Σχετικές πληροφορίες και σχέσεις για αυτές τις οντότητες ανακτώνται από το KG και συνδυάζονται στην αναπαράσταση контέκστ που παρέχεται στο LLM. Αυτή η γνώση-πλουσιότερη αναπαράσταση οδηγεί τις απαντήσεις, μειώνοντας τις hallucination στη διαалогική με την τήρηση των απαντήσεων σε εδραιωμένες πραγματικές γεγονότα για τις αναφερόμενες οντότητες/γεγονότα.

HAR δημιουργεί counterfactual εκπαιδευτικά δεδομένα που περιέχουν hallucination που παράγονται από το μοντέλο για να διδάξει καλύτερα την εδραιώση. Δεδομένης μιας πραγματικής περικοπής, τα μοντέλα προτρέπονται να εισαγάγουν hallucination ή να διαστρέψουν δημιουργώντας μια counterfactual έκδοση. Η εκπαίδευση σε αυτά τα δεδομένα αναγκάζει τα μοντέλα να εδραιώσουν το περιεχόμενο στις αρχικές πραγματικές πηγές, μειώνοντας την αυθαιρεσία.

Επιτηρούμενη Εκπαίδευση

• Coach – Διαδραστικό πλαίσιο που απαντά σε ερωτήσεις χρηστών αλλά και ζητά διορθώσεις για να βελτιωθεί.
• R-Tuning – Απορρίπτει την υποστήριξη απαντήσεων που αναγνωρίζονται μέσω κενών γνώσεων στα δεδομένα εκπαίδευσης.
• TWEAK – Μέθοδος αποκωδικοποίησης που βαθμολογεί τις γεννήσεις με βάση το πόσο καλά υποστηρίζουν τις εισαγωγικές γεγονότα.

Προκλήσεις και Περιορισμοί

Παρά την υποσχόμενη πρόοδο, ορισμένες κρίσιμες προκλήσεις παραμένουν στην μείωση των hallucination:

• Οι τεχνικές συχνά ανταλλάσσουν ποιότητα, συνεκτικότητα και δημιουργικότητα για αλήθεια.
• Δυσκολία στη ριζική αξιολόγηση πέρα από περιορισμένα домένια. Τα μετρικά δεν καταγράφουν όλες τις νιουάνς.
• Πολλές μεθόδους είναι υπολογιστικά ακριβές, απαιτώντας εκτεταμένη αναζήτηση ή αυτο-λογική.
• Εξαρτώνται σε μεγάλο βαθμό από την ποιότητα των δεδομένων εκπαίδευσης και τις εξωτερικές πηγές γνώσεων.
• Δύσκολο να εγγυηθεί η γενικευσιμότητα σε διαφορετικά домένια και modalities.
• Οι θεμελιώδεις ρίζες της hallucination όπως η υπερ-εξαγωγή παραμένουν ανεπίλυτες.

Η αντιμετώπιση αυτών των προκλήσεων πιθανότατα απαιτεί μια πολυεπίπεδη προσέγγιση που συνδυάζει την ενίσχυση των δεδομένων εκπαίδευσης, τις βελτιώσεις της αρχιτεκτονικής του μοντέλου, τις απώλειες πιστότητας και τις τεχνικές χρόνου inference.

Ο Δρόμος μπροστά

Η μείωση των hallucination για τα LLMs παραμένει ένα ανοιχτό ερευνητικό πρόβλημα με ενεργό πρόοδο. Ορισμένες υποσχόμενες μελλοντικές κατευθύνσεις περιλαμβάνουν:

• Υβριδικές τεχνικές – Συνδυασμός συμπληρωματικών προσεγγίσεων όπως αναζήτηση, εδραιώση γνώσης και ανατροφοδότηση.
• Μοντελοποίηση αιτίας – Βελτίωση της κατανόησης και της λογικής.
• Ενσωμάτωση γνώσης στο διαδίκτυο – Διατήρηση της γνώσης του κόσμου ενημερωμένης.
• Μαθηματική επαλήθευση – Παρέχετε μαθηματικές εγγυήσεις για τις συμπεριφορές του μοντέλου.
• Ερμηνευσιμότητα – Κτίσιμο διαφάνειας στις τεχνικές μείωσης.

Καθώς τα LLMs συνεχίζουν να εξαπλώνονται σε υψηλού κινδύνου domένια, η ανάπτυξη robust λύσεων για την μείωση των hallucination θα είναι κρίσιμη για την εγγύηση της ασφαλής, ηθικής και αξιοπιστής ανάπτυξής τους. Οι τεχνικές που επιθεωρούνται σε αυτό το άρθρο παρέχουν μια επισκόπηση των τεχνικών που έχουν προταθεί μέχρι τώρα, όπου περισσότερες ανοιχτές ερευνητικές προκλήσεις παραμένουν. Συνολικά, υπάρχει μια θετική τάση προς την ενίσχυση της πραγματικότητας του μοντέλου, αλλά η συνεχής πρόοδος απαιτεί την αντιμετώπιση των περιορισμών και την εξέταση νέων κατευθύνσεων όπως η αιτία, η επαλήθευση και οι υβριδικές μεθόδους. Με τις επιμελείες προσπάθειες των ερευνητών σε διάφορους τομείς, ο όνειρος των ισχυρών και αξιοπιστών LLMs μπορεί να μεταφραστεί στην πραγματικότητα.