Ευριστικές vs. RAG: Η στροφή της πολιτικής ως οδηγός

Στις περισσότερες περιπτώσεις, η αναζήτηση στο διαδίκτυο βελτιώνει την фактиτική ακρίβεια των απαντήσεων του ChatGPT στις ερωτήσεις μας. Έτσι, σε ένα κλίμα όπου η τεχνητή νοημοσύνη παλεύει για δημόσια αποδοχή, γιατί προτιμά να κάνει “εικασίες”;

Γνώμη είναι λάθος να πιστεύουμε ότι τα LLM όπως το ChatGPT συμμετέχουν कभια σε αποκαλύψεις για τις πιθανώς αμφισβητούμενες πρακτικές των οικοδεσποτών τους, ακόμη και αν μια δαπανηρή και άκαρπη συνεδρία έχει αυξήσει το θυμό σας αρκετά για να μπείτε πραγματικά στο εσωτερικό των ελαττωμάτων του συστήματος:

Εδώ μια συζήτηση για την προτίμηση του ChatGPT για τη δική του εσωτερική λογική (σε σύγκριση με την έρευνα και επαλήθευση του διαδικτύου μέσω RAG – η οποία παράγει λιγότερες ψευδαισθήσεις, αλλά κοστίζει περισσότερο) προκαλεί μια φαινομενική στιγμή ειλικρίνειας· αλλά πάρτε το με μια πιντσάδα αλατιού. Πηγή

Συνήθως – ιδιαίτερα για μοντέλα με μεταγενέστερες ημερομηνίες λήξης γνώσεων – το AI απλώς αυτοσχεδιάζει σε δημοσιεύσεις του Reddit και φόρουμ που είδε κατά την εκπαίδευση. Ακόμη και αν υπήρχε κάποια πραγματική αξία σε τέτοιες “εσωτερικές εποπτείες”, είναι αδύνατο να το αποδείξουμε.

Ωστόσο, μερικές φορές αυτές οι θερμές συζητήσεις οδηγούν στην ανακάλυψη “χάκερ” (ή τουλάχιστον “τρικ”) που υπόσχονται να αποτρέψουν κάποιες από τις χειρότερες επαναλαμβανόμενες συνήθειες ενός LLM – όπως όταν, την περασμένη εβδομάδα, το ChatGPT πρότεινε ότι θα μπορούσα να το κάνω να δουλεύει σκληρότερα και να ψευδαισθάνεται λιγότερο συμπεριλαμβάνοντας την προσευχή ‘χωρίς ευριστικές’:

Έχω χρησιμοποιήσει ‘χωρίς ευριστικές’ πολύ από τότε, και δεν έχει ξαναγυρίσει το μοντέλο στις δικές του εκπαιδευμένες γνώσεις μετά από μια τέτοια εντολή. Αντίθετα, το GPT χρησιμοποιεί αμέσως Retrieval Augmented Generation (RAG), αναζητώντας το διαδίκτυο για φωτιστικές ή επικυρωμένες εγγραφές.

Στην πράξη, για τις περισσότερες αιτήσεις, αυτό δεν διαφέρει πολύ από το να λέτε στο σύστημα να “αναζητήσετε το διαδίκτυο” κάθε φορά που υποβάλλετε μια ερώτηση. Όπου η φράση ‘χωρίς ευριστικές’ πραγματικά μπορεί να βοηθήσει είναι όταν προσπαθείτε να κάνετε το ChatGPT να διαβάσει πραγματικά μια νέα ανεβαμένη PDF αντί να χρησιμοποιήσει τα μεταδεδομένα από προηγούμενες ανεβαμένες PDF σε αυτή τη συνεδρία (ή πολλά άλλα πιθανά σημεία), για να παράγει μια “πιθανή” αλλά εντελώς ψευδαισθητική απάντηση, χωρίς να έχει διαβάσει ή ακόμη και να έχει σκαλίσει το έγγραφο που μόλις παρουσιάσατε.

Λέγοντας αυτό, όσο περισσότερο η συζήτηση έχει διαρκέσει, τόσο λιγότερο πιθανό είναι ότι αυτό θα λειτουργήσει – και θα ήταν λάθος να σκεφτείτε ότι τέτοιο “τρικ” είναι αξιόπιστο ή θα παραμείνει διαθέσιμο καθώς το σύστημα εξελίσσεται.

Η RAG Εμπόριο

Στο πλαίσιο μιας αυξανόμενης κουλτούρας της συσφίξεως, και το γεγονός ότι μεγάλα συστήματα όπως η υποδομή GPT της OpenAI επηρεάζονται enormως από ακόμη και τις μικρότερες ευρείας αλλαγές στη συμπεριφορά, είναι επίσης εύκολο να πιστεύουμε ότι λαμβάνουμε λιγότερο από τις επιλογές που κάνει το ChatGPT.

Επιλογές όπως αν θα προσεγγίσει το διαδίκτυο με RAG· θα ξεκινήσει μια σειρά σκέψης (CoT) που μπορεί να αποκτήσει καλύτερο αποτέλεσμα, αλλά θα κοστίσει περισσότερο για να συναχθεί και μπορεί να κουράσει τον ανυπόμονο χρήστη· ή να καταφύγει στις δικές του εκπαιδευμένες ενσωματώσεις και τοπικά διαθέσιμες γνώσεις – που είναι η φθηνότερη και ταχύτερη λύση.

Υπάρχουν几个 πρακτικοί λόγοι για τους οποίους ένα LLM με ευαίσθητο δημόσιο προφίλ, όπως το ChatGPT, μπορεί να προτιμά να περιορίσει τις κλήσεις RAG, αντί να προτιμά τις δικές του ευριστικές. Πρώτον, από πλευράς δημοσίων σχέσεων, η συχνή μη προκληθείσα χρήση του διαδικτύου υποστηρίζει μια δημοφιλή χαρακτηριστική των LLM ως απλών Googlers-by-proxy, μειώνοντας την αξία των εγγενών και ακριβώς εκπαιδευμένων γνώσεων – και την έλξη μιας πληρωμένης συνδρομής.

Δεύτερον, η υποδομή RAG κοστίζει χρήματα για να τρέξει, να διατηρήσει και να ενημερώσει, σε σύγκριση με το σχετικά αμελητέο κόστος της τοπικής συναγωγής, δηλαδή παραμετρικής γεννήτριας, η οποία είναι φθηνή και γρήγορη.

Τρίτον, το σύστημα μπορεί να μην έχει αποτελεσματικό μέθοδο για να καθορίσει αν η RAG μπορεί να βελτιώσει τα δικά του ευριστικά αποτελέσματα – και συχνά δεν μπορεί να το καθορίσει χωρίς να τρέξει πρώτα τις ευριστικές. Αυτό αφήνει τον τελικό χρήστη με την εργασία της αξιολόγησης ενός ελαττωματικού ευριστικού αποτελέσματος και να ζητήσει μια κλήση RAG στην περίπτωση που το αποτέλεσμα από τις ευριστικές φαινόταν να μην ανταποκρίνεται.

Από την οπτική της “συσφίξεως AI”, ο αριθμός των φορών που το ChatGPT σφάλλει μέσω ευριστικών και πετυχαίνει μέσω RAG μπορεί να υποδείξει, όπως πρόσφατα μου έδειξε, ότι το σύστημα είναι оптимισμένο για κόστος αντί για αποτελέσματα.

Η RAG Γίνεται Αναγκαία Με τον Χρόνο

Παρά την πρόσφατη “ομολογία” του ChatGPT σε μένα ότι αυτό είναι πραγματικά το caso, η “συσφίξη” έχει einen ευρύτερο контекστό σε αυτή τη σχέση. Αν και η RAG δεν είναι φθηνή, ούτε σε όρους τριβής-εμπειρίας (μέσω καθυστέρησης) ούτε σε κόστος-τρέξιμο, είναι πολύ φθηνότερη από την τακτική επεξεργασία ή ακόμη και την επαναεκπαίδευση του βασικού μοντέλου.

Για ένα παλαιότερο μοντέλο AI με μια πιο μακρινή ημερομηνία λήξης γνώσεων, η RAG μπορεί να διατηρήσει την τρέχουσα κατάσταση του συστήματος, με το κόστος των κλήσεων δικτύου και άλλων πόρων· για ένα νεότερο μοντέλο, οι δικές της ανακτήσεις RAG είναι πιο πιθανό να είναι περιττές ή απώλεια της ποιότητας των αποτελεσμάτων, τα οποία σε ορισμένες περιπτώσεις θα ήταν καλύτερα μέσω ευριστικών.

Επομένως, το AI φαίνεται να χρειάζεται τη δυνατότητα όχι μόνο να κρίνει αν πρέπει να καταφύγει στη RAG, αλλά να συνεχώς εξελίσσει την πολιτική του για τη χρήση της RAG καθώς οι εσωτερικοί βαρύτητές του γίνονται όλο και πιο παλιοί.

Την ίδια στιγμή, το σύστημα χρειάζεται να περικλείει “σχετικές σταθερές” στις γνώσεις, όπως οι τροχιές της Σελήνης και η κλασική λογοτεχνία, πολιτισμός και ιστορία· καθώς και βασική γεωγραφία, φυσική και άλλες επιστημονικές αρχές που είναι απίθανο να εξελιχθούν πολύ με τον χρόνο (δηλαδή, ο κίνδυνος “απρόσμενης αλλαγής” δεν είναι μηδενικός, αλλά χαμηλός).

Θέματα Εκτός Τόπου

Στο παρόν, τουλάχιστον όσον αφορά το ChatGPT, οι κλήσεις RAG (δηλαδή η χρήση της έρευνας του διαδικτύου για οποιαδήποτε ερώτηση χρήστη που δεν απαιτεί ρητά ή σιωπηρά έρευνα του διαδικτύου) φαίνονται σπάνια να επιλέγονται αυτόνομα από το σύστημα, ακόμη και όταν αντιμετωπίζει “περιφερειακές” υπο-περιοχές.

Ένα τέτοιο παράδειγμα μιας περιφερειακής περιοχής είναι η “απρόσιτη” χρήση λογισμικού. Σε τέτοια περίπτωση, ελάχιστα διαθέσιμα πηγαία δεδομένα θα έχουν αγωνιστεί για προσοχή κατά την εκπαίδευση, και η κατάσταση “εξόριστου” των δεδομένων ‘εξόριστου’ μπορεί να έχει σηματοδοτήσει για προσοχή ή να έχει θάψει ως “περιφερειακό” ή “ασημαντό” – και ακόμη και μια πρόσθετη δημοσίευση φόρουμ που έγινε μετά την ημερομηνία λήξης γνώσεων του AI μπορεί να αντιπροσωπεύει μια σημαντική αύξηση του συνολικού διαθέσιμου δεδομένου και της ποιότητας της απάντησης για ένα “μικρό” θέμα, καθιστώντας μια κλήση RAG αξιοθρήνητη.

Ωστόσο, το πλεονέκτημα της RAG τείνει να μειώνεται καθώς το βασικό μοντέλο γίνεται πιο ισχυρό. Ενώ τα μικρότερα μοντέλα ωφελούνται σημαντικά από την ανάκτηση, τα μεγαλύτερα συστήματα όπως Qwen3-4B ή GPT-4o-mini/-4o δείχνουν περιφερειακή ή ακόμη και αρνητική βελτίωση από RAG*.

Σε πολλά βENCHMARK, η ανάκτηση εισάγει περισσότερη απόσπαση παρά όφελος, υποδεικνύοντας μια ανταλλαγή μεταξύ επένδυσης σε ένα μεγαλύτερο μοντέλο με περισσότερη εσωτερική κάλυψη ή einem μικρότερου μοντέλου που συνοδεύεται από ανάκτηση.

Επομένως, η RAG φαίνεται πιο χρήσιμη για την αντιστάθμιση των κενών σε μεσαία–μεγέθη μοντέλα, τα οποία ακόμη χρειάζονται εξωτερικές πραγματικές πληροφορίες, αλλά μπορούν να τις αξιολογούν με λιγότερο σύνθετες εσωτερικές ευριστικές.

Χρησιμοποιήστε μόνο σε Περίπτωση Έκτακτης Ανάγκης

Οι οδηγίες του ChatGPT για την απόφαση να χρησιμοποιηθεί η RAG δεν είναι ρητά εκτεθειμένες από την συστήματος προrompt**, αλλά είναι σιωπηλά διευθετημένες (προς το τέλος):

‘Χρησιμοποιήστε το εργαλείο του διαδικτύου για να αποκτήσετε πρόσβαση σε ενημερωμένες πληροφορίες από το διαδίκτυο ή όταν η απάντηση στο χρήστη απαιτεί πληροφορίες για την τοποθεσία του. Ορισμένα παραδείγματα όταν να χρησιμοποιείτε το εργαλείο του διαδικτύου περιλαμβάνουν:

Τοπικές Πληροφορίες: Χρησιμοποιήστε το εργαλείο του διαδικτύου για να απαντήσετε σε ερωτήσεις που απαιτούν πληροφορίες για την τοποθεσία του χρήστη, όπως το καιρό, τοπικές επιχειρήσεις ή εκδηλώσεις.

Νοσότητα: Αν οι ενημερωμένες πληροφορίες για ένα θέμα θα μπορούσαν να αλλάξουν ή να βελτιώσουν την απάντηση, καλέστε το εργαλείο του διαδικτύου οποιαδήποτε φορά θα αρνηθείτε να απαντήσετε σε μια ερώτηση επειδή οι γνώσεις σας μπορεί να είναι ξεπερασμένες.

Ειδικές Πληροφορίες: Αν η απάντηση θα ωφεληθεί από λεπτομερείς πληροφορίες που δεν είναι ευρέως γνωστές ή κατανοητές (οι οποίες μπορεί να βρεθούν στο διαδίκτυο), όπως λεπτομέρειες για μια μικρή γειτονιά, μια λιγότερο γνωστή εταιρεία ή ακαδημαϊκές κανονισμοί, χρησιμοποιήστε πηγές του διαδικτύου απευθείας αντί να βασίζεστε στις αποσταγμένες γνώσεις από την προ-εκπαίδευση.

Ακρίβεια: Αν το κόστος ενός μικρού λάθους ή ξεπερασμένων πληροφοριών είναι υψηλό (π.χ. χρησιμοποιώντας μια παλιά έκδοση μιας βιβλιοθήκης λογισμικού ή μη γνωρίζοντας την ημερομηνία του επόμενου αγώνα για μια ομάδα αθλημάτων), τότε χρησιμοποιήστε το εργαλείο του διαδικτύου.’

Συγκεκριμένα, μπορούμε να παρατηρήσουμε αυτές τις οδηγίες να προωθούν την RAG σε περιπτώσεις όπου οι εγγενώς εκπαιδευμένες δεδομένα είναι σπάνιες. Αλλά πώς φτάνει το σύστημα σε αυτή τη comprensión; Ο τυχαίος χρήστης και παρατηρητής του ChatGPT μπορεί να συμπεράνει ότι στις περιπτώσεις όπου το “αναζήτηση στο διαδίκτυο” widget εμφανίζεται μετά από μια παύση, το μοντέλο έχει απλώς ρωτήσει τις δικές του ευριστικές για την ερώτηση και ήρθε κενό.

Μπορούμε επίσης να παρατηρήσουμε ότι με έμμεσο τρόπο, η RAG συνιστάται μόνο για ένα πολύ περιορισμένο αριθμό χρήσεων. Αυτό αφήνει το GPT να προτιμά να ρωτήσει τις δικές του βαρύτητες, σε όλες τις περιπτώσεις εκτός από μια “κρίσιμη” επείγουσα ανάγκη (‘Ακρίβεια’, στο κάτω μέρος της παραπάνω ερώτησης), για τον τεράστιο αριθμό πραγματικών ερωτήσεων που απαιτούν γνώσεις, όπου η εγγενής τάση του AI να ψευδαισθάνεται μπορεί να είναι ένα σημαντικό ελάττωμα.

Συμπέρασμα

Οι τάσεις της τρέχουσας και πρόσφατης έρευνας δείχνουν ότι η ευριστική γεννήτρια είναι γρήγορη και φθηνή, αλλά λανθασμένη συχνά· ενώ η RAG είναι πιο αργή, πιο ακριβή, αλλά πολύ πιο συχνά σωστή – όσο περισσότερο το μέγεθος του μοντέλου μειώνεται.

Βασισμένος στην δική μου χρήση του ChatGPT, θα επιχειρήσω να πω ότι η OpenAI χρησιμοποιεί την RAG πολύ σπάνια, ως ένα εργαλείο ακρίβειας αντί για einen καθημερινό οδηγό, ιδιαίτερα από τότε που τα προβλήματα με τις αυξανόμενες παράθυρα περιεχομένου κάνουν τα LLM πιο πιθανό να ψευδαισθάνται καθώς οι μακρές συζητήσεις αναπτύσσονται.

Αυτή η κατάσταση θα μπορούσε να ανακουφιστεί σημαντικά ελέγχοντας τις ευριστικές απαντήσεις με πηγές αρχών του διαδικτύου, χωρίς να περιμένουμε τον τελικό χρήστη να αμφισβητήσει την έξοδο ή να πέσει θύμα αυτής, και χωρίς να χρειάζεται να είναι τα εσωτερικά αποτελέσματα τόσο προφανώς μη ικανοποιητικά που η απόφαση να χρησιμοποιηθεί η RAG είναι αναπόφευκτη.

Αντίθετα, το σύστημα θα μπορούσε να εκπαιδευτεί να επιλεκτικά και έξυπνα να αμφισβητεί τον εαυτό του ανάλογα με τις περιπτώσεις, και επομένως να αλληλεπιδρά με το διαδίκτυο μέσω μιας διαδικασίας που θα ήταν, από μόνη της, ευριστική. Δεν είμαι σε θέση να πω αν οι αρχιτεκτονικές των τρεχουσών μοντέλων αφήνουν χώρο για μια προσέγγιση αυτού του είδους, η οποία θα έπρεπε να προστεθεί στη τριβή των API φίλτρων.

Όπως είναι τώρα, δεν μπορώ ούτε να αποδείξω ότι υπάρχει πρόβλημα· ούτε ακόμη και με μια ομολογία^†:

* Παρακαλώ αναφερθείτε στον σύνδεσμο στην κορυφή αυτής της παραγράφου.

** Αυτό είναι ένα ‘αυτο-αποκαλυφθέν’ GPT-5 σύστημα προrompt που, και πάλι, μπορεί απλώς να είναι μια περίληψη από forum posts που επανα-εκπαιδεύονται για το GPT-5, αν και κάποιοι διατηρούν ότι η προrompt είναι γνήσια.

^† Πραγματικά δεν προτείνω ότι η “ειλικρινής ομολογία” του ChatGPT είναι σημαντική εδώ· η τάση μου να ανταποκρίνω την πολιτική γραμμή της OpenAI σε θέματα πολιτικής OpenAI σημαίνει ότι θα συμφωνήσει τελικά μαζί μου, και θα επαναλάβει τις δικές μου σιωπηλές γνώμες σε κάθε περίπτωση. Αυτό είναι πολύ μακριά από το να αποκαλύψει τα λεπτομέρεια των εκβολών της Νορμανδίας υπό πίεση.

Πρώτη δημοσίευση Τετάρτη, 10 Δεκεμβρίου 2025