Λιγότερα Έγγραφα, Καλύτερες Απαντήσεις

Retrieval-Augmented Generation (RAG) είναι μια προσέγγιση για την κατασκευή συστημάτων AI που συνδυάζει ένα μοντέλο γλώσσας με μια εξωτερική πηγή γνώσης. Σε απλά λόγια, το AI πρώτα αναζητά σχετικά έγγραφα (όπως άρθρα ή ιστοσελίδες) που σχετίζονται με μια ερώτηση του χρήστη και στη συνέχεια χρησιμοποιεί αυτά τα έγγραφα για να παράγει μια πιο ακριβή απάντηση. Αυτή η μέθοδος έχει γιορταστεί για τη βοήθεια μεγάλων μοντέλων γλώσσας (LLM) να παραμείνουν πραγματικά και να μειώσουν τις παραισθήσεις με το να βασίζουν τις απαντήσεις τους σε πραγματικά δεδομένα.

Εμφανώς, κάποιος μπορεί να σκεφτεί ότι όσο περισσότερα έγγραφα ανακτά ένα AI, τόσο καλύτερα ενημερωμένη θα είναι η απάντησή του. Ωστόσο, πρόσφατη έρευνα δείχνει μια έκπληξη: όταν πρόκειται για την παροχή πληροφοριών σε ένα AI, đôiες φορές λιγότερα είναι περισσότερα.

Λιγότερα Έγγραφα, Καλύτερες Απαντήσεις

Μια νέα μελέτη από ερευνητές στο Εβραϊκό Πανεπιστήμιο της Ιερουσαλήμ εξέτασε πώς ο αριθμός των εγγράφων που δίνονται σε ένα σύστημα RAG επηρεάζει την απόδοσή του. Κρίσιμο, διατήρησαν το συνολικό ποσό κειμένου σταθερό – σημαίνει ότι αν λιγότερα έγγραφα παρέχονταν, αυτά τα έγγραφα ήταν ελαφρώς επεκταμένα για να γεμίσουν το ίδιο μήκος με πολλά έγγραφα. Αυτό το τρόπο, οποιαδήποτε διαφορά απόδοσης θα μπορούσε να αποδοθεί στον αριθμό των εγγράφων και όχι απλώς στο ότι είχαν ένα μικρότερο εισαγόμενο.

Οι ερευνητές χρησιμοποίησαν ένα σύνολο δεδομένων ερωτήσεων-απαντήσεων (MuSiQue) με ερωτήσεις τριβίας, κάθε μια αρχικά ζευγαρωμένη με 20 παραγράφους του Βικιπαίδεια (μόνο κάποιες από τις οποίες περιέχουν την απάντηση, με τις υπόλοιπες να είναι distractors). Κόβοντας τον αριθμό των εγγράφων από 20 xuống σε μόλις τα 2-4真正 σχετικά – και γεμίζοντας αυτά με λίγο επιπλέον контекст για να διατηρήσουν ένα σταθερό μήκος – δημιούργησαν σενάρια όπου το AI είχε λιγότερα κομμάτια υλικού να εξετάσει, αλλά ακόμα περίπου το ίδιο συνολικό κείμενο να διαβάσει.

Τα αποτελέσματα ήταν εντυπωσιακά. Σε hầu hết τις περιπτώσεις, τα μοντέλα AI απάντησαν με μεγαλύτερη ακρίβεια όταν τους δόθηκαν λιγότερα έγγραφα αντί για το πλήρες σύνολο. Η απόδοση βελτιώθηκε σημαντικά – σε κάποιες περιπτώσεις μέχρι και 10% σε ακρίβεια (F1 score) όταν το σύστημα χρησιμοποίησε μόνο τα λίγα υποστηρικτικά έγγραφα αντί για μια μεγάλη συλλογή. Αυτή η αντίθετη βελτίωση παρατηρήθηκε σε διάφορα ανοιχτά μοντέλα γλώσσας, συμπεριλαμβανομένων παραλλαγών του Llama της Meta και άλλων, υποδεικνύοντας ότι το φαινόμενο δεν είναι συνδεδεμένο με ένα μόνο μοντέλο AI.

Ένα μοντέλο (Qwen-2) ήταν μια αξιοσημείωτη εξαίρεση που χειρίστηκε πολλά έγγραφα χωρίς πτώση στο σκορ, αλλά几乎 όλα τα δοκιμασμένα μοντέλα εκτέλεσαν καλύτερα με λιγότερα έγγραφα συνολικά. Με άλλα λόγια, η προσθήκη περισσότερου αναφορικού υλικού πέρα από τα βασικά σχετικά κομμάτια Actually hurt την απόδοσή τους πιο συχνά από ό,τι βοήθησε.

Source: Levy et al.

Γιατί είναι αυτό μια έκπληξη; Τυπικά, τα συστήματα RAG σχεδιάζονται με την υπόθεση ότι η ανάκτηση ενός ευρύτερου συνόλου πληροφοριών μπορεί μόνο να βοηθήσει το AI –毕竟, αν η απάντηση δεν είναι στο πρώτο έγγραφο, μπορεί να είναι στο δέκατο ή εικοστό.

Αυτή η μελέτη ανατρέπει αυτό το σενάριο, αποδεικνύοντας ότι η αδιακρίτως σωρός επιπλέον εγγράφων μπορεί να αναστρέψει. Ακόμη και όταν το συνολικό μήκος κειμένου διατηρήθηκε σταθερό, η απλή παρουσία πολλών διαφορετικών εγγράφων (κάθε ένα με το δικό του контекст και ιδιαιτερότητες) έκανε την εργασία ερωτήσεων-απαντήσεων πιο δύσκολη για το AI. Φαίνεται ότι πέρα από ένα certo σημείο, κάθε επιπλέον έγγραφο εισήγαγε περισσότερο θόρυβο από σήμα, confounding το μοντέλο και εμποδίζοντας την ικανότητά του να εξαγάγει την σωστή απάντηση.

Γιατί Λιγότερα Μπορούν να Είναι Περισσότερα σε RAG

Αυτό το «λιγότερα είναι περισσότερα» αποτέλεσμα έχει νόημα μια φορά που λαμβάνουμε υπόψη πώς τα μοντέλα γλώσσας AI επεξεργάζονται πληροφορίες. Όταν ένα AI δίνεται μόνο τα πιο σχετικά έγγραφα, ο контекστ που βλέπει είναι εστιασμένος και ελεύθερος από αποersions, πολύ σαν ένα μαθητή που έχει δοθεί μόνο τις σωστές σελίδες για μελέτη.

Στη μελέτη, τα μοντέλα εκτέλεσαν σημαντικά καλύτερα όταν δόθηκαν μόνο τα υποστηρικτικά έγγραφα, με άσχετο υλικό αφαιρεμένο. Ο残りの контекστ wasn’t μόνο μικρότερος αλλά και καθαρότερος – περιείχε γεγονότα που οδηγούσαν直接 στην απάντηση και τίποτα άλλο. Με λιγότερα έγγραφα να χειρίζονται, το μοντέλο μπορούσε να αφοσιωθεί πλήρως στην σχετική πληροφορία, καθιστώντας το λιγότερο πιθανό να απομακρύνεται ή να confounded.

Από την άλλη πλευρά, όταν πολλά έγγραφα ανακτώνταν, το AI είχε να διεισδύσει σε ένα μείγμα σχετικών και άσχετων περιεχομένων. Συχνά αυτά τα επιπλέον έγγραφα ήταν «παρόμοια αλλά άσχετα» – μπορεί να μοιράζονταν ένα θέμα ή λέξεις-κλειδιά με την ερώτηση αλλά δεν περιείχαν την απάντηση. Τέτοιο περιεχόμενο μπορεί να mislead το μοντέλο. Το AI μπορεί να σπαταλήσει προσπάθεια προσπαθώντας να συνδέσει τα σημεία σε έγγραφα που δεν οδηγούν σε μια σωστή απάντηση, ή χειρότερα, μπορεί να συνδυάσει πληροφορίες από πολλές πηγές λανθασμένα. Αυτό αυξάνει τον κίνδυνο παραισθήσεων – περιπτώσεων όπου το AI παράγει μια απάντηση που ακούγεται πιθανή αλλά δεν βασίζεται σε καμία seule πηγή.

Ουσιαστικά, η παροχή πολλών εγγράφων στο μοντέλο μπορεί να διαλύσει την उपयFUL πληροφορία και να εισαγάγει αντίθετες λεπτομέρειες, καθιστώντας το πιο δύσκολο για το AI να αποφασίσει τι είναι αλήθεια.

Ενδιαφέρον είναι ότι οι ερευνητές βρήκαν ότι αν τα επιπλέον έγγραφα ήταν προφανώς άσχετα (για παράδειγμα, τυχαίο μη σχετικό κείμενο), τα μοντέλα ήταν καλύτερα στο να τα αγνοούν. Ο πραγματικός προβληματισμός έρχεται από distracting δεδομένα που φαίνονται σχετικά: όταν όλα τα ανακτημένα κείμενα είναι σε παρόμοια θέματα, το AI υποθέτει ότι πρέπει να τα χρησιμοποιήσει όλα, και μπορεί να δυσκολευτεί να πει ποια λεπτομέρειες είναι πραγματικά σημαντικές. Αυτό συμφωνεί με την παρατήρηση της μελέτης ότι τυχαία distractors προκάλεσαν λιγότερη σύγχυση από realistic distractors στην είσοδο. Το AI μπορεί να φιλτράρει το προφανές ανοησία, αλλά υπονόμευση πληροφορίας είναι ένα σlick παγίδα – κρυβεται κάτω από την εμφάνιση της σχετικότητας και απομακρύνει την απάντηση. Ανακατώντας τον αριθμό των εγγράφων μόνο στα πραγματικά απαραίτητα, αποφεύγουμε να ρίχνουμε αυτές τις παγίδες από την αρχή.

Υπάρχει επίσης ένα πρακτικό όφελος: η ανάκτηση και επεξεργασία λιγότερων εγγράφων μειώνει την υπολογιστική επιβάρυνση για ένα σύστημα RAG. Κάθε έγγραφο που ανακτάται πρέπει να αναλυθεί (εμφυτεύεται, διαβάζεται και προσεχθεί από το μοντέλο), το οποίο χρησιμοποιεί χρόνο και υπολογιστικούς πόρους. Η αφαίρεση περιττών εγγράφων κάνει το σύστημα πιο αποτελεσματικό – μπορεί να βρει απαντήσεις γρηγορότερα και με χαμηλότερο κόστος. Σε σενάρια όπου η ακρίβεια βελτιώθηκε με την εστίαση σε λιγότερες πηγές, κερδίζουμε ένα win-win: καλύτερες απαντήσεις και μια λεπτή, πιο αποτελεσματική διαδικασία.

Source: Levy et al.

Ξανασκέφτηκε RAG: Μελλοντικές Κατευθύνσεις

Αυτή η νέα απόδειξη ότι η ποιότητα συχνά νικά την ποσότητα στην ανάκτηση έχει σημαντικές επιπτώσεις για το μέλλον των συστημάτων AI που βασίζονται σε εξωτερική γνώση. Υποδηλώνει ότι οι σχεδιαστές των συστημάτων RAG πρέπει να προτεραιοποιήσουν την έξυπνη φιλτράρισή και κατάταξη εγγράφων πάνω από την καθαρή ποσότητα. Αντί να ανακτούν 100 πιθανές περικοπές και να ελπίζουν ότι η απάντηση είναι θαμμένη κάπου εκεί, μπορεί να είναι πιο σοφό να ανακτούν μόνο τις κορυφαίες λίγες υψηλά σχετικές.

Οι συγγραφείς της μελέτης τονίζουν την ανάγκη για μεθόδους ανάκτησης να «ισορροπήσουν τη σχετικότητα και την ποικιλία» στις πληροφορίες που παρέχουν σε ένα μοντέλο. Με άλλα λόγια, θέλουμε να παρέχουμε αρκετή κάλυψη του θέματος για να απαντήσουμε στην ερώτηση, αλλά όχι τόσο πολύ που τα βασικά γεγονότα πνίγονται σε μια θάλασσα περιττού κειμένου.

Προχωρώντας, οι ερευνητές είναι πιθανό να εξερευνήσουν τεχνικές που βοηθούν τα μοντέλα AI να χειρίζονται πολλά έγγραφα με μεγαλύτερη χάρη. Μια προσέγγιση είναι η ανάπτυξη καλύτερων συστημάτων ανάκτησης ή re-rankers που μπορούν να αναγνωρίσουν ποια έγγραφα πραγματικά προστίθενται αξία και ποια μόνο εισάγουν σύγκρουση. Μια άλλη γωνία είναι η βελτίωση των μοντέλων γλώσσας themselves: αν ένα μοντέλο (όπως το Qwen-2) κατάφερε να χειριστεί πολλά έγγραφα χωρίς να χάσει ακρίβεια, η εξέταση του πώς εκπαιδεύτηκε ή δομήθηκε θα μπορούσε να προσφέρει ενδείξεις για το πώς να κάνει άλλα μοντέλα πιο robust. Ίσως τα μελλοντικά μεγάλα μοντέλα γλώσσας θα ενσωματώσουν μηχανισμούς για να αναγνωρίσουν όταν δύο πηγές λένε το ίδιο πράγμα (ή αντίθετα) και να εστιάσουν ανάλογα. Ο στόχος θα ήταν να επιτρέψουν στα μοντέλα να χρησιμοποιήσουν eine πλούσια ποικιλία πηγών χωρίς να πέσουν θύματα σύγχυσης – αποτελεσματικά να πάρουν το καλύτερο και από τις δύο πλευρές (πλάτος πληροφοριών και σαφήνεια εστίασης).

Είναι επίσης αξιοσημείωτο ότι καθώς τα συστήματα AI κερδίζουν μεγαλύτερα παράθυρα контекστ (τη δυνατότητα να διαβάσουν περισσότερο κείμενο同時), απλώς να ρίχνουν περισσότερα δεδομένα στο prompt δεν είναι ένα ασημένιο βέλος. Μεγαλύτερο παράθυρο δεν σημαίνει αυτόματα καλύτερη κατανόηση. Αυτή η μελέτη δείχνει ότι ακόμη και αν ένα AI μπορεί τεχνικά να διαβάσει 50 σελίδες同時, να του δώσει 50 σελίδες μικτής ποιότητας πληροφοριών μπορεί να μην οδηγήσει σε ένα καλό αποτέλεσμα. Το μοντέλο εξακολουθεί να ωφελείται από το να έχει καλλιεργημένο, σχετικό περιεχόμενο για να εργαστεί, αντί για μια αδιακρίτως dump. Σε πραγματικότητα, η έξυπνη ανάκτηση μπορεί να γίνει ακόμη πιο κρίσιμη στην εποχή των γιγάντιων παραθύρων контекστ – για να διασφαλιστεί ότι η επιπλέον ικανότητα χρησιμοποιείται για πολύτιμη γνώση και όχι θόρυβο.

Τα ευρήματα από «Περισσότερα Έγγραφα, Ίδιο Μήκος» (το κατάλληλα ονομασμένο έγγραφο) ενθαρρύνουν eine ανασκόπηση των υποθέσεών μας στην έρευνα AI. Κάποιες φορές, η παροχή ενός AI όλων των δεδομένων που έχουμε δεν είναι τόσο αποτελεσματική όσο νομίζουμε. Ανακατώντας τις πιο σχετικές πληροφορίες, όχι μόνο βελτιώνουμε την ακρίβεια των απαντήσεων AI, αλλά κάνουμε επίσης τα συστήματα πιο αποτελεσματικά και πιο εύκολα να εμπιστευτούμε. Είναι μια αντίθετη μάθηση, αλλά μια με ενθουσιαστικές επιπτώσεις: τα μελλοντικά συστήματα RAG μπορεί να είναι και πιο έξυπνα και πιο λεπτά, επιλέγοντας προσεκτικά λιγότερα, καλύτερα έγγραφα για ανάκτηση.