Αναλογική και Step-Back Προώθηση: Ένα Βουτιά στις Πρόσφατες Προοδοί από το Google DeepMind

Εισαγωγή

Η μηχανική προώθησης εστιάζει στην ανάπτυξη αποτελεσματικών προωθήσεων για την οδήγηση των Μεγάλων Μοντέλων Γλώσσας (LLM) όπως το GPT-4 στην παραγωγή επιθυμητών απαντήσεων. Μια καλά σχεδιασμένη προώθηση μπορεί να κάνει τη διαφορά μεταξύ μιας αόριστης ή ανακριβούς απάντησης και μιας ακριβούς, εποπτικού απάντησης.

Στο ευρύτερο οικοσύστημα του AI, η μηχανική προώθησης είναι μια από τις μεθόδους που χρησιμοποιούνται για την εξαγωγή πιο ακριβών και контекστοποιημένων πληροφοριών από τα μοντέλα γλώσσας. Άλλες μεθόδους περιλαμβάνουν τεχνικές όπως η few-shot μάθηση, όπου το μοντέλο παρέχεται με quelques παραδείγματα για να βοηθήσει στην κατανόηση της εργασίας, και η fine-tuning, όπου το μοντέλο εκπαιδεύεται περαιτέρω σε ένα μικρότερο σύνολο δεδομένων για να εξειδικεύσει τις απαντήσεις του.

Το Google DeepMind (GOOGL ) έχει δημοσιεύσει πρόσφατα δύο έγγραφα που διερευνούν την μηχανική προώθησης και το δυναμικό της για την ενίσχυση των απαντήσεων σε πολλές καταστάσεις.

Αυτά τα έγγραφα είναι μέρος της συνεχιζόμενης διερεύνησης στην κοινότητα του AI για την βελτίωση και την оптимποίηση του τρόπου με τον οποίο επικοινωνούμε με τα μοντέλα γλώσσας, και παρέχουν νέες εποπτικές για τη δομή προωθήσεων για καλύτερη επεξεργασία ερωτημάτων και αλληλεπίδραση με βάσεις δεδομένων.

Αυτό το άρθρο διεισδύει στις λεπτομέρειες των ερευνών, διευκρινίζοντας τις έννοιες, μεθοδολογίες και επιπτώσεις των προτεινόμενων τεχνικών, καθιστώντας το προσβάσιμο ακόμη και σε αναγνώστες με περιορισμένες γνώσεις στο AI και NLP.

Εργασία 1: Μεγάλα Μοντέλα Γλώσσας ως Αναλογικοί Λογιστές

Η πρώτη εργασία, με τίτλο “Μεγάλα Μοντέλα Γλώσσας ως Αναλογικοί Λογιστές”, εισάγει μια νέα προσέγγιση προώθησης με το όνομα Αναλογική Προώθηση. Οι συγγραφείς, Michihiro Yasunaga, Xinyun Chen και άλλοι, εμπνέονται από την αναλογική σκέψη – μια γνωστική διαδικασία όπου οι άνθρωποι χρησιμοποιούν τις προηγούμενες εμπειρίες για να αντιμετωπίσουν новые προβλήματα.

Κλειδιά Έννοιες και Μεθοδολογία

Η Αναλογική Προώθηση ενθαρρύνει τα LLM να αυτο-παράγουν σχετικές παραδείγματα ή γνώσεις στο контέκστ trước να προχωρήσουν στην επίλυση ενός δεδομένου προβλήματος. Αυτή η προσέγγιση εξαλείφει την ανάγκη για ετικετούμενα παραδείγματα, προσφέροντας γενικότητα και ευκολία, και προσαρμόζει τα παραγόμενα παραδείγματα σε κάθε συγκεκριμένο πρόβλημα, εξασφαλίζοντας προσαρμοστικότητα.

Αριστερά: Οι παραδοσιακές μεθόδους προώθησης LLM βασίζονται σε γενικές εισόδους (0-shot CoT) ή απαιτούν ετικετούμενα παραδείγματα (few-shot CoT). Δεξιά: Η νέα προσέγγιση προώθησης LLM να αυτο-δημιουργήσουν σχετικά παραδείγματα πριν από την επίλυση του προβλήματος, αφαιρώντας την ανάγκη για ετικέτες ενώ προσαρμόζει παραδείγματα σε κάθε μοναδικό πρόβλημα

Αυτο-Παραγόμενα Παραδείγματα

Η πρώτη τεχνική που παρουσιάζεται στην εργασία είναι τα αυτο-παραγόμενα παραδείγματα. Η ιδέα είναι να αξιοποιήσει την εκτεταμένη γνώση που τα LLM έχουν αποκτήσει κατά τη διάρκεια της εκπαίδευσής τους για να βοηθήσουν στην επίλυση νέων προβλημάτων. Η διαδικασία περιλαμβάνει την ενίσχυση ενός στόχου προβλήματος με οδηγίες που προωθούν το μοντέλο να ανακαλέσει ή να παράγει σχετικά προβλήματα και λύσεις.

Για παράδειγμα, δεδομένου ενός προβλήματος, το μοντέλο οδηγείται να ανακαλέσει τρία διαφορετικά και σχετικά προβλήματα, να τα περιγράψει και να εξηγήσει τις λύσεις τους. Αυτή η διαδικασία σχεδιάζεται να εκτελεστεί σε μια seule διαδρομή, επιτρέποντας στο LLM να παράγει σχετικά παραδείγματα και να λύσει το αρχικό πρόβλημα ομαλά. Η χρήση των συμβόλων ‘#’ στις προωθήσεις βοηθά στην οργάνωση της απάντησης, καθιστώντας την πιο οργανωμένη και εύκολη για το μοντέλο να ακολουθήσει.

Κλειδιά τεχνικά αποφάσεις που υπογραμμίζονται στην εργασία περιλαμβάνουν την έμφαση στην παραγωγή σχετικών και διαφορετικών παραδειγμάτων, την υιοθέτηση μιας μονοπατικής προσέγγισης για μεγαλύτερη ευκολία και την ανακάλυψη ότι η παραγωγή τριών έως πέντε παραδειγμάτων αποφέρει τα καλύτερα αποτελέσματα.

Αυτο-Παραγόμενα Γνώσεις + Παραδείγματα

Η δεύτερη τεχνική, αυτο-παραγόμενα γνώσεις + παραδείγματα, εισάγεται για να αντιμετωπίσουν προκλήσεις σε πιο σύνθετες εργασίες, όπως η γεννήτρια κώδικα. Σε αυτές τις περιπτώσεις, τα LLM μπορεί να βασιστούν υπερβολικά σε χαμηλού επιπέδου παραδείγματα και να δυσκολεύονται να γενικεύσουν όταν λύνουν το στόχο πρόβλημα. Για να μετριάσει αυτό, οι συγγραφείς προτείνουν την ενίσχυση της προώθησης με μια πρόσθετη οδηγία που ενθαρρύνει το μοντέλο να αναγνωρίσει κεντρικές έννοιες στο πρόβλημα και να παρέχει ένα διδακτικό ή υψηλού επιπέδου λήψη.

Μια κρίσιμη σκέψη είναι η σειρά με την οποία παράγονται γνώσεις και παραδείγματα. Οι συγγραφείς βρήκαν ότι η παραγωγή γνώσεων πριν από τα παραδείγματα οδηγεί σε καλύτερα αποτελέσματα, καθώς βοηθά το LLM να επικεντρωθεί στις θεμελιώδεις προσεγγίσεις επίλυσης προβλημάτων αντί για απλές επιφανειακές ομοιότητες.

Πλεονεκτήματα και Εφαρμογές

Η αναλογική προώθηση προσφέρει πολλά πλεονεκτήματα. Παρέχει λεπτομερή παραδείγματα σκέψης χωρίς την ανάγκη για χειροκίνητη ετικέτα, αντιμετωπίζοντας προκλήσεις που σχετίζονται με 0-shot και few-shot chain-of-thought (CoT) μεθόδους. Επιπλέον, τα παραγόμενα παραδείγματα είναι προσαρμοσμένα σε ατομικά προβλήματα, προσφέροντας πιο σχετικές οδηγίες από τις παραδοσιακές few-shot CoT, οι οποίες χρησιμοποιούν σταθερά παραδείγματα.

Η εργασία αποδεικνύει την αποτελεσματικότητα αυτής της προσέγγισης σε διάφορες εργασίες σκέψης, συμπεριλαμβανομένων μαθηματικών προβλημάτων, γεννήτριας κώδικα και άλλων εργασιών σκέψης στο BIG-Bench.

Οι παρακάτω πίνακες παρουσιάζουν μετρικές απόδοσης για διάφορες μεθόδους προώθησης σε διάφορες αρχιτεκτονικές μοντέλων. Ιδιαίτερα, η μέθοδος “Αυτο-Παραγόμενα Παραδείγματα” υπερέχει συνεχώς άλλων μεθόδων σε όρους ακρίβειας. Σε ακρίβεια GSM8K, αυτή η μέθοδος επιτυγχάνει την υψηλότερη απόδοση στο μοντέλο PaLM2 στο 81,7%. Παρόμοια, για ακρίβεια MATH, βρίσκεται στην κορυφή του πίνακα στο GPT3.5-turbo στο 37,3%.

Απόδοση σε μαθηματικές εργασίες, GSM8K και MATH

Στον δεύτερο πίνακα, για τα μοντέλα GPT3.5-turbo-16k και GPT4, “Αυτο-Παραγόμενα Γνώσεις + Παραδείγματα” δείχνει την καλύτερη απόδοση.

Απόδοση σε εργασία γεννήτριας κώδικα Codeforces

Εργασία 2: Πάρτε Ένα Βήμα Πίσω: Προκαλώντας Λογισμό μέσω Αφαίρεσης σε Μεγάλα Μοντέλα Γλώσσας

Επισκόπηση

Η δεύτερη εργασία, “Πάρτε Ένα Βήμα Πίσω: Προκαλώντας Λογισμό μέσω Αφαίρεσης σε Μεγάλα Μοντέλα Γλώσσας” παρουσιάζει την Προώθηση Step-Back, μια τεχνική που ενθαρρύνει τα LLM να αφηρηθούν υψηλού επιπέδου έννοιες και αρχές από λεπτομερείς περιπτώσεις. Οι συγγραφείς, Huaixiu Steven Zheng, Swaroop Mishra, και άλλοι, στοχεύουν στην βελτίωση των ικανοτήτων λογισμού των LLM οδηγώντας τα να ακολουθήσουν einen σωστό δρόμο λογισμού προς την λύση.

Παρουσιάζοντας την Προώθηση Step-Back μέσω δύο φάσεων Αφαίρεσης και Λογισμού, καθοδηγούμενων από κεντρικές έννοιες και αρχές.

Ας δημιουργήσουμε ένα απλούστερο παράδειγμα χρησιμοποιώντας μια βασική μαθηματική ερώτηση για να δείξουμε την τεχνική “Stepback Question”:

Αρχική Ερώτηση: Αν ένα τρένο ταξιδεύει με ταχύτητα 60 km/h και καλύπτει απόσταση 120 km, πόσο χρόνο θα χρειαστεί;

Επιλογές:

3 ώρες
2 ώρες
1 ώρα
4 ώρες
Αρχική Απάντηση [Λάθος]: Η σωστή απάντηση είναι 1).

Ερώτηση Stepback: Ποια είναι η βασική формуλή για τον υπολογισμό του χρόνου δεδομένης ταχύτητας και απόστασης;

Αρχές:
Για τον υπολογισμό του χρόνου, χρησιμοποιούμε τη формуλή:
Χρόνος = Απόσταση / Ταχύτητα

Τελική Απάντηση:
Χρησιμοποιώντας τη формуλή, Χρόνος = 120 km / 60 km/h = 2 ώρες.
Η σωστή απάντηση είναι 2) 2 ώρες.

Αν και τα LLM σήμερα μπορούν εύκολα να απαντήσουν στην παραπάνω ερώτηση, αυτό το παράδειγμα είναι απλώς για να δείξουμε πώς θα λειτουργούσε η τεχνική stepback. Για πιο απαιτητικές καταστάσεις, η ίδια τεχνική μπορεί να εφαρμοστεί για να αναλύσει και να αντιμετωπίσει το πρόβλημα συστηματικά. Παρακάτω είναι ένα πιο σύνθετο παράδειγμα που παρουσιάζεται στην εργασία:

Προώθηση Step-Back στο σύνολο δεδομένων MMLU-Chemistry

Κλειδιά Έννοιες και Μεθοδολογία

Η ουσία της Προώθησης Step-Back έγκειται στην ικανότητά της να κάνει τα LLM να πάρουν ένα μεταφορικό βήμα πίσω, ενθαρρύνοντας τα να κοιτάξουν το μεγαλύτερο πλάνο αντί να χάνουν την προσοχή τους στα λεπτομέρεια. Αυτό επιτυγχάνεται μέσω μιας σειράς προσεκτικά σχεδιασμένων προωθήσεων που οδηγούν τα LLM να αφηρηθούν πληροφορίες, να εξαγάγουν υψηλού επιπέδου έννοιες και να εφαρμόσουν αυτές τις έννοιες για να λύσουν το δεδομένο πρόβλημα.

Η διαδικασία ξεκινά με το LLM να προωθείται να αφηρηθεί λεπτομέρειες από τις δεδομένες περιπτώσεις, ενθαρρύνοντας το να επικεντρωθεί στις υποκείμενες έννοιες και αρχές. Αυτό το βήμα είναι κρίσιμο, καθώς θέτει τη σκηνή για το LLM να προσεγγίσει το πρόβλημα από μια πιο ενημερωμένη και αρχικοποιημένη προοπτική.

Μόλις εξαχθούν οι υψηλού επιπέδου έννοιες, χρησιμοποιούνται για να οδηγήσουν το LLM μέσω των βημάτων λογισμού προς την λύση. Αυτή η οδήγηση εξασφαλίζει ότι το LLM παραμένει στον σωστό δρόμο, ακολουθώντας einen λογικό και συνεκτικό δρόμο που είναι εδραιωμένος στις αφηρημένες έννοιες και αρχές.

Οι συγγραφείς διεξάγουν μια σειρά πειραμάτων για να επικυρώσουν την αποτελεσματικότητα της Προώθησης Step-Back, χρησιμοποιώντας μοντέλα PaLM-2L σε eine σειρά από απαιτητικές εργασίες που απαιτούν λογισμό. Αυτές οι εργασίες περιλαμβάνουν προβλήματα STEM, Ερωτήσεις Γνώσης και Πολυ-Βήμα Λογισμού, παρέχοντας ένα綜合 testbed για την αξιολόγηση της τεχνικής.

Σημαντικές Βελτιώσεις σε Όλες τις Εργασίες

Τα αποτελέσματα είναι εντυπωσιακά, με την Προώθηση Step-Back να οδηγεί σε σημαντικές βελτιώσεις της απόδοσης σε όλες τις εργασίες. Για παράδειγμα, η τεχνική βελτιώνει την απόδοση του PaLM-2L στο MMLU Physics και Chemistry κατά 7% και 11%, αντίστοιχα. Παρόμοια, αυξάνει την απόδοση στο TimeQA κατά 27% και στο MuSiQue κατά 7%.

Απόδοση της Προώθησης Step-Back

Αυτά τα αποτελέσματα υπογραμμίζουν το δυναμικό της Προώθησης Step-Back να βελτιώσει σημαντικά τις ικανότητες λογισμού των LLM.

Συμπέρασμα

Και οι δύο εργασίες από το Google DeepMind παρουσιάζουν καινοτόμες προσεγγίσεις στην μηχανική προώθησης, στοχεύοντας στην ενίσχυση των ικανοτήτων λογισμού των μεγάλων μοντέλων γλώσσας. Η Αναλογική Προώθηση αξιοποιεί την έννοια της αναλογικής σκέψης, ενθαρρύνοντας τα μοντέλα να παράγουν τα δικά τους παραδείγματα και γνώσεις, οδηγώντας σε πιο προσαρμοστικές και αποτελεσματικές λύσεις προβλημάτων. Από την άλλη πλευρά, η Προώθηση Step-Back εστιάζει στην αφαίρεση, οδηγώντας τα μοντέλα να εξαγάγουν υψηλού επιπέδου έννοιες και αρχές, οι οποίες με τη σειρά τους βελτιώνουν τις ικανότητες λογισμού.

Αυτές οι ερευνες παρέχουν πολύτιμες εποπτικές και μεθοδολογίες που μπορούν να εφαρμοστούν σε διάφορους τομείς, οδηγώντας σε πιο έξυπνα και ικανά μοντέλα γλώσσας. Όσο συνεχίζουμε να εξερευνούμε και να κατανοούμε τις λεπτομέρειες της μηχανικής προώθησης, αυτές οι προσεγγίσεις υπηρετούν ως κρίσιμα βήματα προς την επίτευξη πιο προηγμένων και σοφιστικών συστημάτων AI.