Προτροπές με αναλογίες και Step-Back: Μια ματιά στις νέες έρευνες της Google DeepMind

Εισαγωγή

Η μηχανική διατύπωσης προτροπών εστιάζει στην ανάπτυξη αποτελεσματικών προτροπών για την οδήγηση των Μεγάλων Μοντέλων Γλώσσας (LLM) όπως το GPT-4 στην παραγωγή επιθυμητών απαντήσεων. Μια καλά σχεδιασμένη προτροπή μπορεί να κάνει τη διαφορά μεταξύ μιας αόριστης ή ανακριβούς απάντησης και μιας ακριβούς, διορατικής απάντησης.

Στο ευρύτερο οικοσύστημα του AI, η μηχανική διατύπωσης προτροπών είναι μια από τις μεθόδους που χρησιμοποιούνται για την εξαγωγή πιο ακριβών και ενταγμένων σε πλαίσιο πληροφοριών από τα μοντέλα γλώσσας. Άλλες μέθοδοι περιλαμβάνουν τεχνικές όπως η few-shot μάθηση, όπου το μοντέλο παρέχεται με λίγα παραδείγματα για να βοηθήσει στην κατανόηση της εργασίας, και η fine-tuning, όπου το μοντέλο εκπαιδεύεται περαιτέρω σε ένα μικρότερο σύνολο δεδομένων για να εξειδικεύσει τις απαντήσεις του.

Το Google DeepMind (GOOGL ) έχει δημοσιεύσει πρόσφατα δύο έγγραφα που διερευνούν την μηχανική διατύπωσης προτροπών και το δυναμικό της για την ενίσχυση των απαντήσεων σε πολλές καταστάσεις.

Αυτά τα έγγραφα είναι μέρος της συνεχιζόμενης διερεύνησης στην κοινότητα του AI για την βελτίωση και την βελτιστοποίηση του τρόπου με τον οποίο επικοινωνούμε με τα μοντέλα γλώσσας, και παρέχουν νέες γνώσεις για τη δομή προτροπών για καλύτερη επεξεργασία ερωτημάτων και αλληλεπίδραση με βάσεις δεδομένων.

Αυτό το άρθρο διεισδύει στις λεπτομέρειες των ερευνών, διευκρινίζοντας τις έννοιες, μεθοδολογίες και επιπτώσεις των προτεινόμενων τεχνικών, καθιστώντας το προσβάσιμο ακόμη και σε αναγνώστες με περιορισμένες γνώσεις στο AI και NLP.

Εργασία 1: Μεγάλα Μοντέλα Γλώσσας ως Συστήματα Συλλογισμού με Αναλογίες

Η πρώτη εργασία, με τίτλο “Μεγάλα Μοντέλα Γλώσσας ως Συστήματα Συλλογισμού με Αναλογίες”, εισάγει μια νέα προσέγγιση διατύπωσης προτροπών με το όνομα Αναλογική Προτροπή. Οι συγγραφείς, Michihiro Yasunaga, Xinyun Chen και άλλοι, εμπνέονται από την αναλογική σκέψη – μια γνωστική διαδικασία όπου οι άνθρωποι χρησιμοποιούν τις προηγούμενες εμπειρίες για να αντιμετωπίσουν νέα προβλήματα.

Βασικές Έννοιες και Μεθοδολογία

Η Αναλογική Προτροπή ενθαρρύνει τα LLM να αυτο-παράγουν σχετικά παραδείγματα ή γνώσεις στο πλαίσιο πριν να προχωρήσουν στην επίλυση ενός δεδομένου προβλήματος. Αυτή η προσέγγιση εξαλείφει την ανάγκη για ετικετούμενα παραδείγματα, προσφέροντας γενικότητα και ευκολία, και προσαρμόζει τα παραγόμενα παραδείγματα σε κάθε συγκεκριμένο πρόβλημα, εξασφαλίζοντας προσαρμοστικότητα.

Αριστερά: Οι παραδοσιακές μέθοδοι διατύπωσης προτροπών LLM βασίζονται σε γενικές εισόδους (0-shot CoT) ή απαιτούν ετικετούμενα παραδείγματα (few-shot CoT). Δεξιά: Η νέα προσέγγιση ενθαρρύνει τα LLM να δημιουργήσουν μόνα τους σχετικά παραδείγματα πριν από την επίλυση του προβλήματος, αφαιρώντας την ανάγκη για ετικέτες ενώ προσαρμόζει παραδείγματα σε κάθε μοναδικό πρόβλημα

Αυτο-Παραγόμενα Παραδείγματα

Η πρώτη τεχνική που παρουσιάζεται στην εργασία είναι τα αυτο-παραγόμενα παραδείγματα. Η ιδέα είναι να αξιοποιήσει την εκτεταμένη γνώση που τα LLM έχουν αποκτήσει κατά τη διάρκεια της εκπαίδευσής τους για να βοηθήσουν στην επίλυση νέων προβλημάτων. Η διαδικασία περιλαμβάνει την ενίσχυση ενός στόχου προβλήματος με οδηγίες που προωθούν το μοντέλο να ανακαλέσει ή να παράγει σχετικά προβλήματα και λύσεις.

Για παράδειγμα, δεδομένου ενός προβλήματος, το μοντέλο οδηγείται να ανακαλέσει τρία διαφορετικά και σχετικά προβλήματα, να τα περιγράψει και να εξηγήσει τις λύσεις τους. Αυτή η διαδικασία σχεδιάζεται να εκτελεστεί σε ένα μόνο πέρασμα, επιτρέποντας στο LLM να παράγει σχετικά παραδείγματα και να λύσει το αρχικό πρόβλημα ομαλά. Η χρήση των συμβόλων ‘#’ στις προτροπές βοηθά στην οργάνωση της απάντησης, καθιστώντας την πιο οργανωμένη και εύκολη για το μοντέλο να ακολουθήσει.

Βασικές τεχνικές αποφάσεις που υπογραμμίζονται στην εργασία περιλαμβάνουν την έμφαση στην παραγωγή σχετικών και διαφορετικών παραδειγμάτων, την υιοθέτηση μιας προσέγγισης ενός περάσματος για μεγαλύτερη ευκολία και την ανακάλυψη ότι η παραγωγή τριών έως πέντε παραδειγμάτων αποφέρει τα καλύτερα αποτελέσματα.

Αυτο-Παραγόμενες Γνώσεις + Παραδείγματα

Η δεύτερη τεχνική, αυτο-παραγόμενες γνώσεις + παραδείγματα, εισάγεται για να αντιμετωπίσουν προκλήσεις σε πιο σύνθετες εργασίες, όπως η παραγωγή κώδικα. Σε αυτές τις περιπτώσεις, τα LLM μπορεί να βασιστούν υπερβολικά σε χαμηλού επιπέδου παραδείγματα και να δυσκολεύονται να γενικεύσουν όταν λύνουν το στόχο πρόβλημα. Για να μετριάσει αυτό, οι συγγραφείς προτείνουν την ενίσχυση της διατύπωσης προτροπών με μια πρόσθετη οδηγία που ενθαρρύνει το μοντέλο να αναγνωρίσει κεντρικές έννοιες στο πρόβλημα και να παρέχει μια διδακτική εξήγηση ή ένα συμπέρασμα υψηλού επιπέδου.

Μια κρίσιμη σκέψη είναι η σειρά με την οποία παράγονται γνώσεις και παραδείγματα. Οι συγγραφείς βρήκαν ότι η παραγωγή γνώσεων πριν από τα παραδείγματα οδηγεί σε καλύτερα αποτελέσματα, καθώς βοηθά το LLM να επικεντρωθεί στις θεμελιώδεις προσεγγίσεις επίλυσης προβλημάτων αντί για απλές επιφανειακές ομοιότητες.

Πλεονεκτήματα και Εφαρμογές

Η αναλογική προτροπή προσφέρει πολλά πλεονεκτήματα. Παρέχει λεπτομερή παραδείγματα σκέψης χωρίς την ανάγκη για χειροκίνητη ετικέτα, αντιμετωπίζοντας προκλήσεις που σχετίζονται με 0-shot και few-shot chain-of-thought (CoT) μεθόδους. Επιπλέον, τα παραγόμενα παραδείγματα είναι προσαρμοσμένα σε ατομικά προβλήματα, προσφέροντας πιο σχετικές οδηγίες από τις παραδοσιακές few-shot CoT, οι οποίες χρησιμοποιούν σταθερά παραδείγματα.

Η εργασία αποδεικνύει την αποτελεσματικότητα αυτής της προσέγγισης σε διάφορες εργασίες σκέψης, συμπεριλαμβανομένων μαθηματικών προβλημάτων, παραγωγής κώδικα και άλλων εργασιών σκέψης στο BIG-Bench.

Οι παρακάτω πίνακες παρουσιάζουν μετρικές απόδοσης για διάφορες μεθόδους διατύπωσης προτροπών σε διάφορες αρχιτεκτονικές μοντέλων. Ιδιαίτερα, η μέθοδος “Αυτο-Παραγόμενα Παραδείγματα” υπερέχει συνεχώς άλλων μεθόδων σε όρους ακρίβειας. Σε ακρίβεια GSM8K, αυτή η μέθοδος επιτυγχάνει την υψηλότερη απόδοση στο μοντέλο PaLM2 στο 81,7%. Παρόμοια, για ακρίβεια MATH, βρίσκεται στην κορυφή του πίνακα στο GPT3.5-turbo στο 37,3%.

Απόδοση σε μαθηματικές εργασίες, GSM8K και MATH

Στον δεύτερο πίνακα, για τα μοντέλα GPT3.5-turbo-16k και GPT4, “Αυτο-Παραγόμενες Γνώσεις + Παραδείγματα” δείχνει την καλύτερη απόδοση.

Απόδοση σε εργασία παραγωγής κώδικα Codeforces

Εργασία 2: Πάρτε Ένα Βήμα Πίσω: Ενεργοποιώντας τον Συλλογισμό μέσω Αφαίρεσης σε Μεγάλα Μοντέλα Γλώσσας

Επισκόπηση

Η δεύτερη εργασία, “Πάρτε Ένα Βήμα Πίσω: Ενεργοποιώντας τον Συλλογισμό μέσω Αφαίρεσης σε Μεγάλα Μοντέλα Γλώσσας” παρουσιάζει την Προτροπή Step-Back, μια τεχνική που ενθαρρύνει τα LLM να αφηρηθούν υψηλού επιπέδου έννοιες και αρχές από λεπτομερείς περιπτώσεις. Οι συγγραφείς, Huaixiu Steven Zheng, Swaroop Mishra, και άλλοι, στοχεύουν στην βελτίωση των ικανοτήτων συλλογισμού των LLM οδηγώντας τα να ακολουθήσουν έναν σωστό δρόμο συλλογισμού προς την λύση.

Παρουσιάζοντας την Προτροπή Step-Back μέσω δύο φάσεων Αφαίρεσης και Συλλογισμού, καθοδηγούμενων από κεντρικές έννοιες και αρχές.

Ας δημιουργήσουμε ένα απλούστερο παράδειγμα χρησιμοποιώντας μια βασική μαθηματική ερώτηση για να δείξουμε την τεχνική “Stepback Question”:

Αρχική Ερώτηση: Αν ένα τρένο ταξιδεύει με ταχύτητα 60 km/h και καλύπτει απόσταση 120 km, πόσο χρόνο θα χρειαστεί;

Επιλογές:

3 ώρες
2 ώρες
1 ώρα
4 ώρες
Αρχική Απάντηση [Λάθος]: Η σωστή απάντηση είναι 1).

Ερώτηση Stepback: Ποια είναι η βασική φόρμουλα για τον υπολογισμό του χρόνου δεδομένης ταχύτητας και απόστασης;

Αρχές:
Για τον υπολογισμό του χρόνου, χρησιμοποιούμε τη φόρμουλα:
Χρόνος = Απόσταση / Ταχύτητα

Τελική Απάντηση:
Χρησιμοποιώντας τη φόρμουλα, Χρόνος = 120 km / 60 km/h = 2 ώρες.
Η σωστή απάντηση είναι 2) 2 ώρες.

Αν και τα LLM σήμερα μπορούν εύκολα να απαντήσουν στην παραπάνω ερώτηση, αυτό το παράδειγμα είναι απλώς για να δείξουμε πώς θα λειτουργούσε η τεχνική stepback. Για πιο απαιτητικές καταστάσεις, η ίδια τεχνική μπορεί να εφαρμοστεί για να αναλύσει και να αντιμετωπίσει το πρόβλημα συστηματικά. Παρακάτω είναι ένα πιο σύνθετο παράδειγμα που παρουσιάζεται στην εργασία:

Προτροπή Step-Back στο σύνολο δεδομένων MMLU-Chemistry

Βασικές Έννοιες και Μεθοδολογία

Η ουσία της Προτροπής Step-Back έγκειται στην ικανότητά της να κάνει τα LLM να πάρουν ένα μεταφορικό βήμα πίσω, ενθαρρύνοντας τα να κοιτάξουν το μεγαλύτερο πλάνο αντί να χάνουν την προσοχή τους στις λεπτομέρειες. Αυτό επιτυγχάνεται μέσω μιας σειράς προσεκτικά σχεδιασμένων προτροπών που οδηγούν τα LLM να αφηρηθούν πληροφορίες, να εξαγάγουν υψηλού επιπέδου έννοιες και να εφαρμόσουν αυτές τις έννοιες για να λύσουν το δεδομένο πρόβλημα.

Η διαδικασία ξεκινά με το LLM να προωθείται να αφηρηθεί λεπτομέρειες από τις δεδομένες περιπτώσεις, ενθαρρύνοντας το να επικεντρωθεί στις υποκείμενες έννοιες και αρχές. Αυτό το βήμα είναι κρίσιμο, καθώς θέτει τη σκηνή για το LLM να προσεγγίσει το πρόβλημα από μια πιο ενημερωμένη και προοπτική βασισμένη σε αρχές.

Μόλις εξαχθούν οι υψηλού επιπέδου έννοιες, χρησιμοποιούνται για να οδηγήσουν το LLM μέσω των βημάτων συλλογισμού προς την λύση. Αυτή η οδήγηση εξασφαλίζει ότι το LLM παραμένει στον σωστό δρόμο, ακολουθώντας έναν λογικό και συνεκτικό δρόμο που είναι εδραιωμένος στις αφηρημένες έννοιες και αρχές.

Οι συγγραφείς διεξάγουν μια σειρά πειραμάτων για να επικυρώσουν την αποτελεσματικότητα της Προτροπής Step-Back, χρησιμοποιώντας μοντέλα PaLM-2L σε μια σειρά από απαιτητικές εργασίες που απαιτούν συλλογισμό. Αυτές οι εργασίες περιλαμβάνουν προβλήματα STEM, Ερωτήσεις Γνώσης και Πολυ-Βήμα Συλλογισμού, παρέχοντας ένα ολοκληρωμένο περιβάλλον δοκιμών για την αξιολόγηση της τεχνικής.

Σημαντικές Βελτιώσεις σε Όλες τις Εργασίες

Τα αποτελέσματα είναι εντυπωσιακά, με την Προτροπή Step-Back να οδηγεί σε σημαντικές βελτιώσεις της απόδοσης σε όλες τις εργασίες. Για παράδειγμα, η τεχνική βελτιώνει την απόδοση του PaLM-2L στο MMLU Physics και Chemistry κατά 7% και 11%, αντίστοιχα. Παρόμοια, αυξάνει την απόδοση στο TimeQA κατά 27% και στο MuSiQue κατά 7%.

Απόδοση της Προτροπής Step-Back σε σύγκριση με CoT

Αυτά τα αποτελέσματα υπογραμμίζουν το δυναμικό της Προτροπής Step-Back να βελτιώσει σημαντικά τις ικανότητες συλλογισμού των LLM.

Συμπέρασμα

Και οι δύο εργασίες από το Google DeepMind παρουσιάζουν καινοτόμες προσεγγίσεις στην μηχανική διατύπωσης προτροπών, στοχεύοντας στην ενίσχυση των ικανοτήτων συλλογισμού των μεγάλων μοντέλων γλώσσας. Η Αναλογική Προτροπή αξιοποιεί την έννοια της αναλογικής σκέψης, ενθαρρύνοντας τα μοντέλα να παράγουν τα δικά τους παραδείγματα και γνώσεις, οδηγώντας σε πιο προσαρμοστικές και αποτελεσματικές λύσεις προβλημάτων. Από την άλλη πλευρά, η Προτροπή Step-Back εστιάζει στην αφαίρεση, οδηγώντας τα μοντέλα να εξαγάγουν υψηλού επιπέδου έννοιες και αρχές, οι οποίες με τη σειρά τους βελτιώνουν τις ικανότητες συλλογισμού.

Αυτές οι ερευνες παρέχουν πολύτιμες γνώσεις και μεθοδολογίες που μπορούν να εφαρμοστούν σε διάφορους τομείς, οδηγώντας σε πιο έξυπνα και ικανά μοντέλα γλώσσας. Όσο συνεχίζουμε να εξερευνούμε και να κατανοούμε τις λεπτομέρειες της μηχανικής διατύπωσης προτροπών, αυτές οι προσεγγίσεις υπηρετούν ως κρίσιμα βήματα προς την επίτευξη πιο προηγμένων και σοφιστικών συστημάτων AI.