RAG ή λεπτομερής προσαρμογή; Τι μας έμαθαν τα πραγματικά έργα πελατών για την επιλογή

Σχεδόν κάθε συζήτηση για την τεχνητή νοημοσύνη σε επιχειρήσεις στην οποία συμμετέχω φτάνει στο ίδιο δίλημμα μέσα στην πρώτη ώρα. Ο πελάτης διαθέτει ένα μεγάλο γλωσσικό μοντέλο που εντυπωσιάζει στην επίδειξη, αλλά δεν γνωρίζει τα προϊόντα, τις πολιτικές ή τον τρόπο γραφής του. Κάποιος από τους παρευρισκόμενους ρωτά: να προσαρμόσουμε το μοντέλο στα δεδομένα μας ή να δημιουργήσουμε γύρω του παραγωγή με επαυξημένη ανάκτηση (RAG);

Η ειλικρινής απάντηση είναι ότι συνήθως το ερώτημα τίθεται με λάθος τρόπο. Το RAG και η λεπτομερής προσαρμογή λύνουν διαφορετικά προβλήματα. Οι ομάδες που τα αντιμετωπίζουν ως ανταγωνιστικές επιλογές τείνουν να ξοδεύουν μήνες και μεγάλο μέρος του προϋπολογισμού τους για GPU, προσπαθώντας να διορθώσουν το λάθος πρόβλημα. Να πώς αποφασίζουμε στην πράξη και τι έχουμε δει να πετυχαίνει ή να αποτυγχάνει.

Ξεκινήστε από αυτό που λείπει από το μοντέλο

Όταν ένα μοντέλο δίνει κακή απάντηση σε μια επιχειρηματική εργασία, του λείπει ένα από δύο πράγματα.

Του λείπει η γνώση. Δεν γνωρίζει τον πιο πρόσφατο τιμοκατάλογό σας, τον όρο της σύμβασης προμηθευτή του 2025 ή τα βήματα αντιμετώπισης προβλημάτων για ένα προϊόν που κυκλοφόρησε τον περασμένο μήνα. Αυτό είναι πρόβλημα δεδομένων.

Του λείπει η κατάλληλη συμπεριφορά. Γνωρίζει αρκετά, αλλά δεν αποκρίνεται όπως χρειάζεστε. Αγνοεί τη μορφή εξόδου που ζητάτε, γράφει με λάθος ύφος, ερμηνεύει λανθασμένα τους εσωτερικούς σας κωδικούς ή δεν μπορεί να εκτελέσει μια συγκεκριμένη, επαναλαμβανόμενη εργασία, όπως την ταξινόμηση αιτημάτων στις 40 κατηγορίες σας. Αυτό είναι πρόβλημα δεξιοτήτων.

Το RAG είναι το κατάλληλο εργαλείο για το πρώτο πρόβλημα. Η λεπτομερής προσαρμογή είναι το κατάλληλο εργαλείο για το δεύτερο. Οι περισσότερες παρανοήσεις που συναντώ προκύπτουν από την προσπάθεια να χρησιμοποιηθεί η λεπτομερής προσαρμογή για τη διδασκαλία δεδομένων.

Γιατί η λεπτομερής προσαρμογή δεν είναι καλός τρόπος προσθήκης γνώσεων

Είναι δελεαστικό να πιστεύει κανείς ότι, αν εκπαιδεύσει ένα μοντέλο με τα έγγραφά του, το μοντέλο θα τα «γνωρίζει». Στην πράξη, μαθαίνει το ύφος αυτών των εγγράφων πολύ πιο αξιόπιστα απ’ ό,τι τα στοιχεία που περιέχουν. Ερευνητές της Microsoft συνέκριναν άμεσα τις δύο προσεγγίσεις σε ερωτήματα που απαιτούν εκτεταμένη γνώση και διαπίστωσαν ότι το RAG υπερείχε σταθερά της μη επιβλεπόμενης λεπτομερούς προσαρμογής, τόσο για στοιχεία που το μοντέλο είχε συναντήσει κατά την εκπαίδευσή του όσο και για εντελώς νέα.

Υπάρχουν και πρακτικά προβλήματα. Τα δεδομένα αλλάζουν. Κάθε φορά που αλλάζει η πολιτική ή ο κατάλογός σας, ένα μοντέλο που έχει υποβληθεί σε λεπτομερή προσαρμογή είναι παρωχημένο μέχρι να το εκπαιδεύσετε ξανά. Χάνετε επίσης τη δυνατότητα ιχνηλάτησης: όταν ένα τέτοιο μοντέλο αναφέρει έναν αριθμό, δεν μπορείτε να υποδείξετε το έγγραφο από το οποίο προήλθε. Για πελάτες σε ρυθμιζόμενους κλάδους, όπως οι ασφάλειες και η υγειονομική περίθαλψη, αυτό από μόνο του συνήθως τερματίζει τη συζήτηση.

Το RAG, το οποίο περιγράφηκε για πρώτη φορά στη δημοσίευση του 2020 των Lewis και συνεργατών, διατηρεί τη γνώση εκτός του μοντέλου. Κατά τη στιγμή της ερώτησης, ανακτάτε τα σχετικά αποσπάσματα και τα δίνετε στο μοντέλο ως συμφραζόμενα. Για να ενημερώσετε τη γνώση, αρκεί να ενημερώσετε ένα ευρετήριο· δεν χρειάζεται επανεκπαίδευση. Επιπλέον, κάθε απάντηση μπορεί να παραπέμπει στην πηγή της.

Ένα καλό παράδειγμα είναι ένας πελάτης μας στον κλάδο της εφοδιαστικής. Οι πελάτες του ήθελαν άμεσες απαντήσεις για το πού βρίσκονταν τα φορτία τους και ποια έγγραφα έλειπαν. Αυτές οι πληροφορίες αλλάζουν κάθε λίγα λεπτά. Καμία εκπαίδευση δεν θα διατηρούσε το μοντέλο ενημερωμένο, γι’ αυτό ο βοηθός που δημιουργήσαμε απαντά, τη στιγμή της ερώτησης, με βάση δεδομένα ζωντανής παρακολούθησης και IoT, αντί να βασίζεται στη μνήμη του. Η ανάκτηση ήταν η μόνη σχεδίαση που μπορούσε να λειτουργήσει.

Πού είναι χρήσιμη η λεπτομερής προσαρμογή

Η λεπτομερής προσαρμογή δεν έχει ξεπεραστεί. Απλώς έχει πιο περιορισμένες εφαρμογές απ’ όσο περιμένει ο κόσμος. Την επιλέγουμε σε τρεις περιπτώσεις:

• Αυστηρές, επαναλαμβανόμενες μορφές εξόδου. Όταν ένα μοντέλο πρέπει να παράγει την ίδια δομημένη έξοδο χιλιάδες φορές την ημέρα, για παράδειγμα να εξάγει πεδία από τιμολόγια σε ένα προκαθορισμένο σχήμα JSON, ένα μικρό μοντέλο που έχει υποβληθεί σε λεπτομερή προσαρμογή είναι συχνά πιο αξιόπιστο και πολύ φθηνότερο από την υποβολή οδηγιών σε ένα μεγάλο μοντέλο.
• Γλώσσα συγκεκριμένου κλάδου. Σε ορισμένους κλάδους χρησιμοποιούνται συντομογραφίες που το βασικό μοντέλο ερμηνεύει λανθασμένα. Συνήθη παραδείγματα είναι οι κωδικοί κατάστασης στην εφοδιαστική, οι κλινικές συντομογραφίες και οι εσωτερικοί κωδικοί προϊόντων. Μια περιορισμένη λεπτομερής προσαρμογή μπορεί να διορθώσει το πρόβλημα.
• Κόστος και καθυστέρηση σε μεγάλη κλίμακα. Όταν μια εργασία έχει οριστεί με σαφήνεια, ένα μικρό μοντέλο που έχει υποβληθεί σε λεπτομερή προσαρμογή μπορεί να αντικαταστήσει ένα μεγάλο μοντέλο γενικής χρήσης. Μέθοδοι όπως η LoRA καθιστούν αυτή την προσέγγιση προσιτή, επειδή εκπαιδεύετε ένα μικρό σύνολο πρόσθετων παραμέτρων αντί για ολόκληρο το μοντέλο.

Προσέξτε ότι καμία από αυτές τις περιπτώσεις δεν αφορά τα δεδομένα. Αφορούν τη διδασκαλία του μοντέλου ώστε να εκτελεί μια εργασία με συγκεκριμένο τρόπο, την οποία ήδη κατανοείτε καλά.

Οι περισσότερες αποτυχίες του RAG οφείλονται στην ανάκτηση

Όταν κάποιος μου λέει «δοκιμάσαμε το RAG και δεν λειτούργησε», σπάνια φταίει το μοντέλο. Συνήθως φταίει το στάδιο της ανάκτησης. Η ποιότητα του μοντέλου δεν μπορεί να ξεπεράσει την ποιότητα των αποσπασμάτων που του δίνονται.

Οι λύσεις δεν είναι εντυπωσιακές, αλλά είναι αποτελεσματικές:

• Χωρίστε το κείμενο με βάση το νόημα, όχι τον αριθμό χαρακτήρων. Αν χωρίζετε μια σύμβαση κάθε 500 χαρακτήρες, οι όροι κόβονται στη μέση. Ο διαχωρισμός με βάση τις ενότητες και τις επικεφαλίδες διατηρεί ακέραια τα συμφραζόμενα.
• Προσθέστε συμφραζόμενα σε κάθε τμήμα. Ένα τμήμα που αναφέρει «το όριο είναι 30 ημέρες» δεν είναι χρήσιμο αν δεν γνωρίζετε σε ποια πολιτική αναφέρεται. Η Anthropic ανέφερε ότι η προσθήκη σύντομων συμφραζομένων από το έγγραφο σε κάθε τμήμα πριν από την καταχώρισή του στο ευρετήριο —μια προσέγγιση που αποκαλεί ανάκτηση με βάση τα συμφραζόμενα— μείωσε τις αποτυχημένες ανακτήσεις κατά 49% και, όταν συνδυάστηκε με ανακατάταξη αποτελεσμάτων, κατά 67%.
• Συνδυάστε την αναζήτηση με λέξεις-κλειδιά και τη διανυσματική αναζήτηση. Η διανυσματική αναζήτηση είναι αποτελεσματική στην κατανόηση του νοήματος, αλλά λιγότερο αποτελεσματική στους ακριβείς όρους, όπως οι αριθμοί ανταλλακτικών. Η υβριδική αναζήτηση καλύπτει και τα δύο.
• Δοκιμάστε την ανάκτηση ξεχωριστά. Δημιουργήστε ένα σύνολο πραγματικών ερωτήσεων με γνωστά σωστά αποσπάσματα πηγών και μετρήστε αν το σωστό απόσπασμα εμφανίζεται στα κορυφαία αποτελέσματα προτού αξιολογήσετε τις τελικές απαντήσεις.

Πότε να χρησιμοποιείτε και τα δύο

Στην παραγωγή, τα ισχυρότερα συστήματα συχνά συνδυάζουν τις δύο προσεγγίσεις. Το RAG παρέχει τα δεδομένα. Ένα μοντέλο που έχει υποστεί ήπια λεπτορύθμιση αναλαμβάνει τη μορφή, τον τόνο και την ορολογία του πεδίου. Η έρευνα κινείται προς την ίδια κατεύθυνση: η προσέγγιση RAFT του UC Berkeley λεπτορυθμίζει ένα μοντέλο ειδικά για να αξιοποιεί καλύτερα τα έγγραφα που ανακτώνται και να αγνοεί τα άσχετα.

Ωστόσο, η σειρά έχει σημασία. Σχεδόν πάντα ξεκινάμε δημιουργώντας πρώτα το RAG, μετράμε σε ποια σημεία υστερεί και μόνο τότε αποφασίζουμε αν αξίζει η λεπτορύθμιση. Αν ξεκινήσετε με τη λεπτορύθμιση, πληρώνετε για την εκπαίδευση προτού μάθετε ποιο είναι το πραγματικό κενό.

Μια απλή λίστα ελέγχου για τη λήψη απόφασης

1. Εξαρτάται η εργασία από δεδομένα που αλλάζουν περισσότερες από μία φορές το τρίμηνο; Χρησιμοποιήστε RAG.
2. Χρειάζεται οι χρήστες ή οι ελεγκτές να βλέπουν από πού προήλθε μια απάντηση; Χρησιμοποιήστε RAG.
3. Αφορά το πρόβλημα τη μορφή, τον τόνο ή το λεξιλόγιο των απαντήσεων και όχι τα δεδομένα τους; Εξετάστε το ενδεχόμενο λεπτορύθμισης.
4. Πρόκειται για μια εξειδικευμένη εργασία που εκτελείται σε μεγάλη κλίμακα, όπου έχουν σημασία το κόστος ή η ταχύτητα; Εξετάστε το ενδεχόμενο να λεπτορυθμίσετε ένα μικρότερο μοντέλο.
5. Έχετε μετρήσει την ποιότητα της ανάκτησης ξεχωριστά; Αν όχι, κάντε το πριν από οτιδήποτε άλλο.

Το βασικό συμπέρασμα

Το RAG και η λεπτορύθμιση δεν είναι ανταγωνιστικές προσεγγίσεις. Η μία παρέχει στο μοντέλο τις σωστές πληροφορίες, ενώ η άλλη διαμορφώνει τον τρόπο με τον οποίο συμπεριφέρεται. Ξεκαθαρίστε ποιο ακριβώς πρόβλημα αντιμετωπίζετε, βελτιώστε την ανάκτηση προτού κατηγορήσετε το μοντέλο και αντιμετωπίστε τη λεπτορύθμιση ως μια βελτιστοποίηση που δικαιολογείται όταν το σύστημα πλέον λειτουργεί, όχι ως συντόμευση για να το κάνετε να λειτουργήσει.