Ευριστικές vs. RAG: Η shrinkflation ως οδηγός πολιτικής

Στις περισσότερες περιπτώσεις, η αναζήτηση στο διαδίκτυο βελτιώνει την фактиτική ακρίβεια των απαντήσεων του ChatGPT στις ερωτήσεις μας. Έτσι, σε ένα κλίμα όπου η τεχνητή νοημοσύνη αγωνίζεται για δημόσια αποδοχή, γιατί προτιμά να ‘μάντευε’;

Γνώμη Είναι λάθος να πιστεύουμε ότι τα LLM, όπως το ChatGPT, συμμετέχουν कभια σε αποκαλύψεις για τις πιθανώς αμφίβολες πρακτικές των οικοδεσποτών τους, ακόμη και αν μια δαπανηρή και άκαρπη συνεδρία έχει αυξήσει το θυμό σας αρκετά για να σας οδηγήσει στα λάθη του συστήματος:

Εδώ, μια συζήτηση σχετικά με την προτίμηση του ChatGPT για την εσωτερική του λογική (σε σύγκριση με την έρευνα και επαλήθευση στο διαδίκτυο μέσω RAG – η οποία παράγει λιγότερες ψευδαισθήσεις, αλλά κοστίζει περισσότερο) προκαλεί μια φαινομενική στιγμή ειλικρίνειας· αλλά πάρτε το με μια πινελιά αλατιού. Πηγή

Συνήθως – ιδιαίτερα για μοντέλα με μεταγενέστερες ημερομηνίες λήξης γνώσεων – το AI απλώς βασίζεται σε δημοσιεύσεις στο Reddit και σε φόρουμ που είδε κατά τη διάρκεια της εκπαίδευσης. Ακόμη και αν υπήρχε κάποια πραγματική αξία σε τέτοιες ‘εσωτερικές πληροφορίες’, είναι αδύνατο να αποδειχθεί.

Ωστόσο, đôiες φορές αυτές οι θερμές συζητήσεις οδηγούν στην ανακάλυψη ‘χάκερ’ (ή τουλάχιστον ‘τρικ’) που υπόσχονται να αποτρέψουν κάποιες από τις χειρότερες επαναλαμβανόμενες συνήθειες ενός LLM – όπως όταν, την περασμένη εβδομάδα, το ChatGPT πρότεινε ότι θα μπορούσα να το κάνω να δουλέψει σκληρότερα και να ψευδαισθανθεί λιγότερο, συμπεριλαμβάνοντας την προσευχή ‘όχι ευριστικές’:

Έχω χρησιμοποιήσει ‘όχι ευριστικές’ πολλές φορές από τότε, και ούτε μια φορά το μοντέλο δεν έχει καταφύγει στις δικές του εκπαιδευμένες γνώσεις μετά από μια ερώτηση με αυτή τη διαταγή. Αντίθετα, το GPT χρησιμοποιεί αμέσως Retrieval Augmented Generation (RAG), αναζητώντας στο διαδίκτυο για φωτιστικές ή επικυρωτικές εγγραφές.

Στην πράξη, για τις περισσότερες αιτήσεις, αυτό είναι λίγο διαφορετικό από το να λέτε στο σύστημα να ‘αναζητήσετε στο διαδίκτυο’ κάθε φορά που υποβάλλετε μια ερώτηση. Όπου η φράση ‘όχι ευριστικές’ πραγματικά μπορεί να βοηθήσει είναι όταν προσπαθείτε να κάνετε το ChatGPT να διαβάσει πραγματικά ένα νέο ανεβασμένο PDF αντί να χρησιμοποιήσει τα μεταδεδομένα από προηγούμενες ανεβάσεις PDF σε αυτή τη συνεδρία (ή πολλές άλλες πιθανές πηγές), για να παράγει μια ‘πιθανή’ αλλά εντελώς ψευδαισθητική απάντηση, χωρίς να έχει διαβάσει ή ακόμη και να έχει σκαλίσει το έγγραφο που μόλις παρουσίασα.

Είπαμε, όσο περισσότερο η συνεδρία έχει διαρκέσει, το λιγότερο πιθανό είναι ότι αυτό θα λειτουργήσει – και θα ήταν λάθος να σκεφτείτε ότι οποιοδήποτε ‘τρικ’ είναι αξιόπιστο ή θα παραμείνει διαθέσιμο καθώς το σύστημα εξελίσσεται.

Η RAG Εμπορική

Στο контέκστ μιας αυξανόμενης κουλτούρας της shrinkflation, και του γεγονότος ότι μεγάλα συστήματα όπως η υποδομή GPT της OpenAI επηρεάζονται enormως ακόμη και από τις μικρότερες ευρέως διαδεδομένες αλλαγές στη συμπεριφορά, είναι επίσης εύκολο να πιστεύουμε ότι παίρνετε λιγότερο από τις επιλογές που κάνει το ChatGPT.

Επιλογές όπως αν θα προσεγγίσει το διαδίκτυο με RAG· θα ξεκινήσει μια Chain-of-Thought (CoT) διαδικασία που μπορεί να αποφέρει καλύτερο αποτέλεσμα, αλλά θα κοστίσει περισσότερο για να συναχθεί και μπορεί να κουράσει τον ανυπόμονό χρήστη· ή να καταφύγει στις δικές του εκπαιδευμένες εμβυθίσεις και τοπικά διαθέσιμες γνώσεις – που είναι η φθηνότερη και ταχύτερη λύση που είναι δυνατή.

Υπάρχουν πολλές πρακτικές理由 για τις οποίες ένα LLM με ευαίσθητο δημόσιο προφίλ, όπως το ChatGPT, μπορεί να προτιμά να περιορίσει τις κλήσεις RAG, αντί να προτιμά τις δικές του ευριστικές. Πρώτον, από μια προοπτική δημοσίων σχέσεων, η συχνή μη προκαλούμενη χρήση του διαδικτύου υποστηρίζει μια δημοφιλή χαρακτηριστική των LLM ως απλών Googlers-by-proxy, που μειώνει την αξία των εγγενών και ακριβώς εκπαιδευμένων γνώσεων τους – και την ελκυστικότητα μιας πληρωμένης συνδρομής.

Δεύτερον, η υποδομή RAG κοστίζει χρήματα για να τρέξει, να διατηρήσει και να ενημερώσει, σε σύγκριση με το σχετικά αμελητέο κόστος της τοπικής συναγωγής, δηλαδή παραμετρικής γεννήτριας, η οποία είναι φθηνή και γρήγορη.

Τρίτον, το σύστημα μπορεί να μην έχει μια αποτελεσματική μέθοδο για να καθορίσει αν η RAG θα μπορούσε να βελτιώσει τα δικά του ευριστικά αποτελέσματα – και συχνά δεν μπορεί να καθορίσει αυτό χωρίς να τρέξει πρώτα τις ευριστικές. Αυτό αφήνει τον τελικό χρήστη με την εργασία να αξιολογήσει ένα ελαττωματικό ευριστικό αποτέλεσμα και να ζητήσει μια κλήση RAG στην περίπτωση που το αποτέλεσμα από τις ευριστικές φαινόταν να μην ανταποκρίνεται.

Από την οπτική γωνία της ‘AI shrinkflation’, ο αριθμός των φορών που το ChatGPT σφάλλει μέσω ευριστικών και πετυχαίνει μέσω RAG μπορεί να δείξει, όπως πρόσφατα μου έδειξε, ότι το σύστημα βελτιστοποιεί το κόστος αντί για τα αποτελέσματα.

Η RAG Γίνεται Αναγκαία Με τον Χρόνο

Παρά την πρόσφατη ‘ομολογία’ του ChatGPT ότι αυτό είναι πραγματικά το caso, η ‘shrinkflation’ έχει einen ευρύτερο контέκστ σε αυτό το regard. Αν και η RAG δεν είναι φθηνή, ούτε σε όρους τριβής-πείρας (μέσω καθυστέρησης) ούτε κόστους-τρέχουσας, είναι πολύ φθηνότερη από το να κάνεις κανονικά fine-tuning ή ακόμη και επανεκπαίδευση του βασικού μοντέλου.

Για ένα παλαιότερο μοντέλο AI με μια πιο μακρινή ημερομηνία λήξης, η RAG μπορεί να διατηρήσει την τρέχουσα κατάσταση του συστήματος, με το κόστος των κλήσεων στο δίκτυο και άλλων πόρων· για ένα νεότερο μοντέλο, οι δικές του ανακτήσεις RAG είναι πιο πιθανό να είναι περιττές ή ζημιογόνες για την ποιότητα των αποτελεσμάτων, τα οποία σε κάποιες περιπτώσεις θα ήταν καλύτερα μέσω ευριστικών.

Επομένως, το AI θα φαίνεται να χρειάζεται την ικανότητα όχι μόνο να κρίνει αν πρέπει να καταφύγει στη RAG, αλλά και να συνεχώς εξελίσσει την πολιτική του για τη χρήση RAG καθώς τα εσωτερικά του βάρη γίνονται όλο και πιο παλιά.

Την ίδια στιγμή, το σύστημα χρειάζεται να περιορίσει τις ‘σχετικές σταθερές’ στις γνώσεις, όπως οι σεληνιακές τροχιές και η κλασική λογοτεχνία, πολιτισμός και ιστορία· καθώς και βασική γεωγραφία, φυσική και άλλες επιστημονικές αρχές που είναι απίθανο να εξελιχθούν πολύ με τον χρόνο (δηλαδή, ο κίνδυνος ‘απρόσμενης αλλαγής’ δεν είναι μηδενικός, αλλά χαμηλός).

Θέματα Εκτός Τόπου

Στην παρούσα στιγμή, τουλάχιστον όσον αφορά το ChatGPT, οι κλήσεις RAG (δηλαδή η χρήση της έρευνας στο διαδίκτυο για οποιαδήποτε ερώτηση που δεν απαιτεί ρητά ή σιωπηρά έρευνα στο διαδίκτυο) φαίνεται σπάνια να επιλέγονται αυτόματα από το σύστημα, ακόμη και όταν αντιμετωπίζουν ‘περιφερειακά’ υπο-τομείς.

Ένα τέτοιο παράδειγμα περιφερειακού τομέα είναι η ‘απρόσιτη’ χρήση λογισμικού. Σε τέτοια περίπτωση, ελάχιστα διαθέσιμα δεδομένα θα έχουν αγωνιστεί για προσοχή κατά τη διάρκεια της εκπαίδευσης, και η ‘εξόριστη’ κατάσταση των δεδομένων ‘εξόριστη’ status μπορεί να έχει σηματοδοτήσει για προσοχή ή να τα έχει θάψει ως ‘περιφερειακά’ ή ‘ασημαντικά’ – και ακόμη και μια επιπλέον δημοσίευση σε φόρουμ που έγινε μετά την ημερομηνία λήξης γνώσεων του AI θα μπορούσε να αντιπροσωπεύει μια σημαντική αύξηση στο συνολικό διαθέσιμο δεδομένο και στην ποιότητα της απάντησης για ένα ‘μικρό’ θέμα, καθιστώντας μια κλήση RAG αξιο đángου.

Χρήση Μόνο Σε Περίπτωση Έκτακτης Ανάγκης

Οι οδηγίες του ChatGPT σχετικά με την απόφαση να χρησιμοποιηθεί η RAG δεν είναι ρητά εκτεθειμένες από την συστήματος προώθησης**, αλλά αναφέρονται 암υδρά (προς το τέλος):

‘Χρησιμοποιήστε το εργαλείο διαδικτύου για να αποκτήσετε πρόσβαση σε ενημερωμένες πληροφορίες από το διαδίκτυο ή όταν η απάντηση στο χρήστη απαιτεί πληροφορίες σχετικά με την τοποθεσία του. Παραδείγματα όταν να χρησιμοποιηθεί το εργαλείο διαδικτύου περιλαμβάνουν:

Τοπικές Πληροφορίες: Χρησιμοποιήστε το εργαλείο διαδικτύου για να απαντήσετε σε ερωτήσεις που απαιτούν πληροφορίες σχετικά με την τοποθεσία του χρήστη, όπως το καιρό, τοπικές επιχειρήσεις ή εκδηλώσεις.

Νοσότητα: Αν οι ενημερωμένες πληροφορίες για ένα θέμα θα μπορούσαν να αλλάξουν ή να βελτιώσουν την απάντηση, καλέστε το εργαλείο διαδικτύου οποιαδήποτε στιγμή θα αρνηθείτε να απαντήσετε σε μια ερώτηση επειδή οι γνώσεις σας μπορεί να είναι ξεπερασμένες.

Ειδικές Πληροφορίες: Αν η απάντηση θα ωφεληθεί από λεπτομερείς πληροφορίες που δεν είναι ευρέως γνωστές ή κατανοητές (που μπορεί να βρεθούν στο διαδίκτυο), όπως λεπτομέρειες για μια μικρή γειτονιά, μια λιγότερο γνωστή εταιρεία ή ακαδημαϊκούς κανονισμούς, χρησιμοποιήστε trực tiếp τις πηγές του διαδικτύου αντί να βασίζεστε στις αποσταγμένες γνώσεις από την προ-εκπαίδευση.

Ακρίβεια: Αν το κόστος eines μικρού λάθους ή ξεπερασμένων πληροφοριών είναι υψηλό (π.χ. χρησιμοποιώντας μια παλιά έκδοση μιας βιβλιοθήκης λογισμικού ή μη γνώση της ημερομηνίας του επόμενου παιχνιδιού για μια ομάδα), τότε χρησιμοποιήστε το εργαλείο διαδικτύου.’

Συγκεκριμένα podemos να παρατηρήσουμε αυτές τις οδηγίες που προωθούν την RAG σε περιπτώσεις όπου οι εγγενείς δεδομένα είναι σπάνια. Αλλά πώς το σύστημα φτάνει σε αυτή τη comprensión; Ο κασουαλικός χρήστης και παρατηρητής του ChatGPT μπορεί να συμπεράνει ότι στις περιπτώσεις όπου το ‘αναζήτηση στο διαδίκτυο’ widget εμφανίζεται μετά από μια паύση, το μοντέλο έχει προηγουμένως αναζητήσει τις εσωτερικές του ευριστικές για την ερώτηση και ήρθε κενό.

Μπορούμε επίσης να παρατηρήσουμε ότι με την έννοια, η RAG συνιστάται μόνο για einen πολύ περιορισμένο αριθμό χρήσεων. Αυτό αφήνει το GPT να προτείνει να ρωτήσει τις δικές του βάρη, σε όλες τις περιπτώσεις εκτός από одну ‘κρίσιμη’ περιπτωση (‘Ακρίβεια’, στο κάτω μέρος της παραπάνω παραθέματος), για τον τεράστιο αριθμό βασισμένων σε γεγονότα ερωτήσεων όπου η εγγενής τάση του AI να ψευδαισθανθεί θα μπορούσε να είναι ένα σημαντικό ζήτημα.

Συμπέρασμα

Οι τάσεις της τρέχουσας και πρόσφατης έρευνας δείχνουν ότι η ευριστική γεννήτρια είναι γρήγορη και φθηνή, αλλά λανθασμένη πολύ συχνά· ενώ η RAG είναι πιο αργή, πιο ακριβή, αλλά πολύ πιο συχνά σωστή – όσο περισσότερο το μέγεθος του μοντέλου μειώνεται.

Βασισμένος στην δική μου χρήση του ChatGPT, θα επιχειρήσω να πω ότι η OpenAI χρησιμοποιεί την RAG πολύ σπάνια, ως ένα εργαλείο ακρίβειας αντί για einen καθημερινό οδηγό, ιδιαίτερα既然 τα ζητήματα με την αύξηση των παραθύρων контέκστ κάνουν τα LLM πιο πιθανό να ψευδαισθανθούν όσο οι μακρές συζητήσεις αναπτύσσονται.

Αυτή η περισταση θα μπορούσε να ανακουφιστεί σημαντικά ελέγχοντας τις ευριστικές απαντήσεις έναντι των πηγών του διαδικτύου, χωρίς να περιμένει ο τελικός χρήστης να αμφισβητήσει την έξοδο ή να πέσει θύμα της, και χωρίς να χρειάζεται να είναι τα εσωτερικά αποτελέσματα τόσο φανερά μη ικανοποιητικά που η απόφαση να χρησιμοποιηθεί η RAG είναι αναπόφευκτη.

Αντίθετα, το σύστημα θα μπορούσε να εκπαιδευτεί να επιλεκτικά και έξυπνα να αμφισβητεί τον εαυτό του ανάλογα με τις περιπτώσεις, και επομένως να αλληλεπιδράσει με το διαδίκτυο μέσω μιας διαδικασίας που θα ήταν, από μόνη της, ευριστική. Δεν είμαι σε θέση να γνωρίζω αν οι αρχιτεκτονικές των τρέχοντων μοντέλων αφήνουν χώρο για μια προσέγγιση αυτού του τύπου, η οποία θα έπρεπε να προστεθεί στη τριβή των API φίλτρων.

Όπως είναι τώρα, δεν μπορώ ούτε να αποδείξω ότι υπάρχει ένα πρόβλημα· ούτε ακόμη και με μια ομολογία^†:

* Παρακαλώ αναφερθείτε στο σύνδεσμο στην κορυφή αυτής της παραγράφου.

** Αυτή είναι μια ‘αυτο-αποκαλυπτική’ πρόωθηση συστήματος GPT-5 η οποία, και πάλι, μπορεί απλώς να είναι ένας κατάλογος από δημοσιεύσεις φόρουμ που επανα-εκπαιδεύτηκαν για το GPT-5, αν και κάποιοι διατηρούν ότι η πρόωθηση είναι γνήσια.

^† Πραγματικά δεν προτείνω ότι η ‘ειλικρινής’ του ChatGPT είναι σημαντική εδώ· η τάση μου να ανταποκρίνομαι στην γραμμή του κόμματος σε θέματα πολιτικής της OpenAI σημαίνει ότι θα συμφωνήσει τελικά μαζί μου και θα μιμηθεί τις δικές μου σιωπηρές γνώμες σε κάθε περίπτωση. Αυτό είναι πολύ μακριά από το να αποκαλύπτει τα λεπτομέρεια των αποβατών της Νορμανδίας υπό πίεση.  

Πρώτη δημοσίευση Τετάρτη, 10 Δεκεμβρίου 2025