Ο Πραγματικός Λόγος Για Τον Ότι Η Πipeline RAG Συνεχίζει Να Hallucinates

Γνωρίζετε την τελετουργία. Η pipeline hallucinated μπροστά σε έναν πελάτη, οπότε αντάλλαξα το μοντέλο embedding. Στη συνέχεια αναβάθμιζα το LLM. Στη συνέχεια πρόσθεσα ένα σύστημα prompt που λέει, με αυξανόμενα απελπισμένα κεφαλαία γράμματα, ΜΟΝΟ ΧΡΗΣΙΜΟΠΟΙΗΣΤΕ ΤΟ ΠΑΡΕΧΟΜΕΝΟ ΠΕΡΙΕΧΟΜΕΝΟ. Και αυτό το πρωί ανέφερε με σιγουριά ένα έγγραφο πολιτικής που δεν υπάρχει.

Είστε σε καλή εταιρεία. Όταν οι ερευνητές του RegLab και του HAI του Stanford audited τα εργαλεία AI για νομική έρευνα που πωλούνται από την LexisNexis και την Thomson Reuters (TRI ), προϊόντα που διαφημίζονται ως “hallucination-free” χάρη στην αναζήτηση-ενισχυμένη γενεσιουργία, βρήκαν ποσοστά hallucination μεταξύ 17% και 34% σε προ-καταχωρημένες νομικές ερωτήσεις. Η RAG βοήθησε πραγματικά: το raw GPT-4 hallucinated πολύ περισσότερο. Αλλά ο χώρος μεταξύ “μείωσης” και “εξαφάνισης” είναι όπου ζουν τα συστήματα παραγωγής, και αυτός ο χώρος έχει μια δομή.

Hallucination σε μια pipeline RAG σπάνια είναι μια seule αποτυχία. Είναι τρεις, συνωμοτών: η αναζήτηση αποτυγχάνει ήσυχα, το μοντέλο εκπαιδεύτηκε να απαντάει παρόλα αυτά, και τίποτα στην pipeline δεν μετρά τον χώρο μεταξύ αυτών των δύο γεγονότων. Η ανταλλαγή μοντέλων δεν αντιμετωπίζει κανένα από αυτά.

Συνωμότης ένας: η αναζήτηση αποτυγχάνει πιο συχνά από ό,τι νομίζετε

Η πιο φρέσκια απόδειξη εδώ είναι επίσης η πιο άβολη. Σε Νοέμβριο 2025, μια ομάδα που περιελάμβανε 18 ιατρικούς ειδικούς παρήγαγε 80,502 annotations σε 800 RAG outputs σε πραγματικές ερωτήσεις ασθενών και USMLE-στυλ ερωτήσεις. Η τυπική RAG δεν hanya underdeliver; αποσυνθέτησε την πραγματικότητα μέχρι 6% και την πληρότητα μέχρι 5% σε σύγκριση με τα ίδια μοντέλα που εκτελούνταν χωρίς αναζήτηση. Η ριζική αιτία βρισκόταν ανάντι του LLM εντελώς: μόνο το 22% των top-16 ανακτημένων περικοπών ήταν σχετικά με την ερώτηση.

Πριν απορρίψετε αυτό ως ένα σκληρό-περιοχή πρόβλημα, η Anthropic μετρήθηκε την αποτυχία αναζήτησης σε καθαρές, κατηγοριοποιημένες corpora ενώ αναπτύσσει την τεχνική αναζήτησης περιεχομένου και βρήκε την τυπική αναζήτηση embedding αποτύχαινε να επιφέρουν το αναγκαίο chunk στα top 20 αποτελέσματα 5.7% του χρόνου. Μια ερώτηση στα δεκαοκτώ, σε καλοδιατηρημένα δεδομένα, με τίποτα εξωτικό που συμβαίνει.

Αυτό είναι το γιατί η κανονική ταξινόμηση μηχανικής της RAG αποτυχίας, Barnett et al.’s seven failure points, έχει τόσο μεγάλη σημασία: τρεις από τις επτά (λείπει περιεχόμενο, missed top-καταταγμένες εγγραφές, και αποτυχίες ενοποίησης περιεχομένου) συμβαίνουν πριν το γλωσσικό μοντέλο γεννήσει ένα seul token. Το Unite.AI έχει δημοσιεύσει μια περίληψη της ταξινόμησης και των πλαισίων αξιολόγησης που αντιστοιχούν σε αυτήν, οπότε δεν θα την ξαναχτίσω εδώ. Το σημείο που αυτή η стать προσθέτει είναι για τις ενισχύσεις: η ομοιότητα embedding είναι ένα proxy για την σχετικότητα, όχι μια εγγύηση της, και πρόσφατο θεωρητικό έργο από το Google DeepMind δείχνει ότι οι μονο-διανυσματικές ενισχύσεις έχουν σκληρά μαθηματικά όρια για τις συνδυασίες σχετικών εγγράφων που μπορούν να αντιπροσωπεύουν σε όλα.

Συνωμότης δύο: το μοντέλο εκπαιδεύτηκε να μαντέψει

Τώρα δώστε αυτήν την ελαττωματική περικοπή σε ένα γλωσσικό μοντέλο, και ρωτήστε τι το μοντέλο εκπαιδεύτηκε να κάνει με τα κενά.

Η OpenAI απάντησε απευθείας σε αυτό στο χαρτί της Σεπτεμβρίου 2025 Γιατί τα γλωσσικά μοντέλα hallucinate: η τυπική εκπαίδευση και αξιολόγηση ανταμείβουν το μαντέψιμο hơn από την αναγνώριση της αβεβαιότητας. Τα benchmarks βαθμολογούν την δυαδική ακρίβεια, η αποχή βαθμολογεί μηδέν, και έτσι, όπως οι μαθητές που αντιμετωπίζουν ένα πολλαπλό-επίλογη εξέταση, τα μοντέλα μαθαίνουν ότι μια自信 μαντέψιμο νικάει ένα κενό. Το χαρτί της ίδιας σύγκρισης το κάνει συγκεκριμένο: στο SimpleQA, ένα μοντέλο λογικής απέτυχε 1% του χρόνου και ήταν λάθος 75% του χρόνου, ενώ ένα διαφορετικά ρυθμισμένο αδελφό απέτυχε 52% του χρόνου και έκοψε το ποσοστό λάθους του στο 26%.

Τα RAG-ειδικά benchmarks δείχνουν τι αυτή η ενίσχυση κάνει μέσα σε μια pipeline. Το RGB benchmark ελέγχει αν τα μοντέλα αρνούνται να απαντήσουν όταν τους δίνονται μόνο μη-pertinent εγγραφές. Η καλύτερη αρνητική-απώλεια ποσοστό σε όλα τα μοντέλα που ελέγχθηκαν ήταν 45%, που σημαίνει ότι ακόμη και το καλύτερο μοντέλο, με τίποτα άλλο παρά μόνο junk περιεχόμενο, απάντησε παρόλα αυτά περισσότερο από το μισό του χρόνου. ClashEval βρήκε την αντανακλαστική αποτυχία: όταν το ανακτημένο περιεχόμενο αντέκειτο στην γνώση που το μοντέλο είχε ήδη σωστά, τα μοντέλα εγκατέλειψαν την σωστή απάντησή τους υπέρ του λάθους περιεχομένου περισσότερο από 60% του χρόνου. Η πίστη αποτυγχάνει και στις δύο κατευθύνσεις, και Salesforce’s FaithEval προσθέτει την ακαθόριστη κωδική που τα μεγαλύτερα μοντέλα δεν είναι αναξιόπιστα πιο πιστά.

Η ομάδα ερμηνευσιμότητας της Anthropic έχει ακόμη ακολουθήσει το μηχανισμό. Στην ανάλυση τους, η άρνηση είναι το προεπιλεγμένο κύκλωμα του μοντέλου; μια “γνωστή οντότητα” χαρακτηριστικό καταστέλλει αυτήν την άρνηση όταν το μοντέλο αναγνωρίζει κάτι. Hallucination συμβαίνει όταν το χαρακτηριστικό αποτυγχάνει, όταν το μοντέλο αναγνωρίζει το σχήμα της ερώτησής σας, λείπει η ουσία, και συνθέτει ευφράδως στο κενό.

Και αν ελπίζετε ότι το μέλλον θα απλώς ξεπεράσει αυτό: το hallucination leaderboard της Vectara μετράει κάτι πολύ πιο εύκολο από το RAG, συνόψιση ενός seul εγγράφου που τοποθετείται απευθείας μπροστά στο μοντέλο, και ως της ενημέρωσης του Μαΐου 2026, το GPT-4o ακόμη fabriqué σε 9.6% των συνόψιων και το Claude Opus 4 σε 12%. Ακόμη και με την αναζήτηση λυμένη τέλεια, η γενεσιουργία διαρρέει.

Το ενστικτώδες fix χειροτερεύει

Αντιμετωπίζοντας όλα αυτά, οι περισσότερες ομάδες φτάνουν στο όγκο. Ανακτήστε περισσότερα chunks. Αγοράστε το μεγαλύτερο παράθυρο περιεχομένου. Βάλτε μέσα όλα όσα μπορεί να βοηθήσουν και αφήστε το μοντέλο να τα διατάξει.

Αποδεικτικά στοιχεία τρέχουν σκληρά την αντίθετη κατεύθυνση. Η μελέτη context rot της Chroma ελέγχει 18 μοντέλα, συμπεριλαμβανομένων GPT-4.1, Claude 4, και Gemini 2.5, και βρήκε την απόδοση που αυξάνεται “αυξανόμενα αξιόπιστα ως το μήκος εισόδου αυξάνεται”, με ένα seul distractor εγγραφή που κόβει την ακρίβεια και τέσσερις distractors που την κόβουν σημαντικά. Η προηγούμενη Lost in the Middle research βρήκε την famωμένη U-κύρτωση: πληροφορίες που θάφτηκαν mid-περιεχόμενο αγνοούνται ακόμη και από long-περιεχόμενο μοντέλα. Και η ιατρική audit πάνω είναι τι αυτές οι δυναμικές看 seperti end to end, ένα σύστημα που ανακτά δεκαέξι περικοπές από τις οποίες δώδεκα και πλέον είναι μη-pertinent, και στη συνέχεια δίνει το σωρό στο μοντέλο που εκπαιδεύτηκε ποτέ να μην λέει “δεν ξέρω”.

Περισσότερη αναζήτηση χωρίς περισσότερη ακρίβεια απλώς κατασκευάζει distractors. Precision νικά recall σε εδραιωμένη γενεσιουργία, και δεν είναι κοντά.

Συνωμότης τρεις: κανείς δεν μετράει το κενό

Barnett et al. έβαλε την λειτουργική αλήθεια σε μια γραμμή: “η επαλήθευση ενός RAG συστήματος είναι μόνο εφικτή κατά τη λειτουργία”. Δεν μπορείτε να υπογράψετε ένα RAG pipeline σε staging, γιατί οι τρόποι αποτυχίας του είναι μια κοινή ιδιοκτησία του corpora σας, των ερωτημάτων σας, και των χρηστών σας, κανένα από τα οποία δεν κρατάει στάση.

Ωστόσο, οι περισσότερες παραγωγικές pipelines παρακολουθούν την ποιότητα απάντησης από άκρο σε άκρο τουλάχιστον, που συγχέει τους δύο συνωμότες πάνω σε ένα seul ακατανόητο αριθμό. Η τυπική αποσύνθεση, που ονομάζεται đôi fois RAG τριάδα, χωρίζει την σχετικότητα περιεχομένου (βρήκε η αναζήτηση το σωστό υλικό;), την εδραιωμένη (δένεται η απάντηση σε αυτό το υλικό;), και την σχετικότητα απάντησης (απευθύνεται στην ερώτηση;). Πλαίσια όπως RAGAS και TruLens υλοποιούν το. Θα είμαι ειλικρινής ότι δεν υπάρχει αυστηρή έρευνα που να ποσοτικοποιεί πόσο λίγες παραγωγικές ομάδες τρέχουν αυτά; ότι υπάρχει είναι το ρεκόρ του praktikou, και περιγράφει κυρίως την αξιολόγηση από vibes. Αν η ομάδα σας δεν έχει κανένα dashboard που να διακρίνει τις αποτυχίες αναζήτησης από τις αποτυχίες πίστης, κάθε hallucination θα συνεχίσει να φαίνεται σαν ένα πρόβλημα μοντέλου, και θα συνεχίσετε να αγοράζετε λύσεις-μοντέλου.

Τι λειτουργεί πραγματικά, με σειρά

Μετρήστε την αναζήτηση ξεχωριστά από τη γενεσιουργία. Η ακαδημαϊκή λύση που όλοι παραλείπουν, και κατά τη γνώμη μου το υψηλότερο-κερδισμένο στοιχείο σε αυτό το λίστα, γιατί μετατρέπει μια συζήτηση για ποιο μοντέλο να αγοράσετε σε μια διάγνωση. Αν η σχετικότητα περιεχομένου είναι κακή, κανένα γεννήτορας δεν μπορεί να σας σώσει. Αν η εδραιωμένη είναι κακή με καλό περιεχόμενο, κανένα αναζητητής δεν μπορεί.

Δομήστε το σωρό ακρίβειας. Τα δημοσιευμένα αριθμοί της Anthropic είναι η καθαρότερη απόδειξη των στακ-αποκατάστασης αναζήτησης σε όλα: οι chunk-ενισχύσεις”contextual” έκοψαν την αποτυχία αναζήτησης από 5.7% σε 3.7%, η προσθήκη BM25-υβριδικής αναζήτησης (κλασική-κλειδί-ανταπόκριση μαζί με διανυσματική αναζήτηση) την έφερε σε 2.9%, και η προσθήκη ενός reranker, ενός δεύτερου-στάδιου μοντέλου που ξανα-βαθμολογεί τις υποψήφιες περικοπές για πραγματική σχετικότητα, έφτασε 1.9%, μια 67% συνολική μείωση. Το Unite.AI έχει καλύψει γιατί η δύο-στάδιο αναζήτηση χτυπά πάνω από το βάρος της σε λεπτομέρειες.

Ανταμείβει την απώλεια. Η OpenAI συνιστά να ποινικοποιήσει τις自信 λάθους περισσότερο από την εκφρασμένη αβεβαιότητα, και μπορείτε να υλοποιήσετε την τοπική έκδοση σήμερα: να ζητήσετε και να αξιολογήσετε “δεν ξέρω” απαντήσεις, και να προσθέσετε ένα έλεγχο εδραιωμένης, ένα μοντέλο entailment (NLI) που επιβεβαιώνει κάθε γεννημένη αξίωση που υποστηρίζεται από το ανακτημένο κείμενο πριν από την απάντηση. Το RAGTruth εργασία έδειξε ότι ένας μικρός fine-ρυθμισμένος ανιχνευτής μπορεί να ταιριάζει με GPT-4-βασισμένη προώθηση στο πιάσιμο μη-υποστηριζόμενων αξιώσεων.

Ξαναγράψτε τις ερωτήσεις και φιλτράρετε τα αποδεικτικά. Στην ιατρική audit, η αναδιατύπωση ερωτήσεων плюς φιλτράρισμα αποδεικτικών ανέκτησε μέχρι 12 πόντους πραγματικότητας. Φτηνό, βαρετό, αποτελεσματικό.

Συμβουλεύει την agentic αναζήτηση τελευταία. Η αναζήτηση πολλαπλών βημάτων που συλλογίζεται για τι να ανακτήσει επόμενο (πρίνερ εδώ) πραγματικά βοηθάει σκληρά multi-απώλεια ερωτήσεις, αλλά προσθέτει καθυστέρηση, κόστος, και νέες τρόπους αποτυχίας. Είναι ένα καπελάκι, όχι μια βάση.

Το μοντέλο ήταν το λιγότερο κατεστραμμένο μέρος

Κοιτάξτε πίσω στην τελετουργία από την αρχή. Κάθε βήμα από αυτό, η ανταλλαγή embedding, η αναβάθμιση μοντέλου, το φωνάζοντας σύστημα prompt, αντιμετώπισε hallucination ως ένα ελάττωμα στο γεννήτορα. Τα αποδεικτικά στοιχεία λένε ότι ο γεννήτορας έκανε ότι η εκπαίδευσή του ανταμείβει, με τα υλικά που ο αναζητητής σας έδωσε, ανεπαρκώς από οποιοδήποτε μετρικό που θα μπορούσε να πει ποιο από αυτά αποτυγχάνει.

Η pipeline RAG σας δεν είναι κατεστραμμένη. Είναι υπακούων. Κάνει ακριβώς αυτό που οι ενισχύσεις της ανταμείβουν, και μέχρι να μετρήσετε την αναζήτηση και τη γενεσιουργία ξεχωριστά και να κάνετε “δεν ξέρω” μια κατηγορία σκορ αντί για μια αποτυχία, αυτές οι ενισχύσεις λένε: μαντέψτε.