Μοντέλα και πλατφόρμες AI

EUREKA: Σχεδιασμός Ανταμοιβής σε Επίπεδο Ανθρώπου μέσω Κωδικοποίησης Μεγάλων Γλωσσικών Μοντέλων

Kunal Kejriwal
Προσθέστε το Unite.AI στις προτιμώμενες πηγές σας στο Google
Βασικά σημείαΗ EUREKA χρησιμοποιεί Μεγάλα Γλωσσικά Μοντέλα (LLMs) για τη δημιουργία κώδικα…
Δείτε περισσότερα
  • Η EUREKA χρησιμοποιεί Μεγάλα Γλωσσικά Μοντέλα (LLMs) για τη δημιουργία κώδικα ανταμοιβής που ξεπερνά σε απόδοση τις ανθρώπινης σχεδίασης για εργασίες ρομποτικής χειρισμού.
  • Το πλαίσιο εφαρμόζει εξελικτική αναζήτηση και προτροπή με περιβάλλον-ως-συνθήκη για τη σταδιακή βελτίωση των συναρτήσεων ανταμοιβής, χωρίς ανθρώπινη μηχανική επέμβαση.
  • Η EUREKA εισάγει μια μέθοδο εκμάθησης σε-συνθήκη χωρίς κλίση για την RLHF, επιτρέποντας τη δημιουργία ανταμοιβών ευθυγραμμισμένων με την ανθρώπινη αντίληψη από ανατροφοδότηση.

Χάρη στην πρόοδο των μεγάλων γλωσσικών μοντέλων τα τελευταία χρόνια, τα LLM υπερέχουν ως σημασιολογικοί σχεδιαστές σε διαδοχικές αποφάσεις υψηλού επιπέδου. Παραμένει όμως δύσκολο να αξιοποιηθεί πλήρως το δυναμικό τους στην εκμάθηση σύνθετων εργασιών χειρισμού χαμηλού επιπέδου. Παρά την αποδοτικότητά τους, χρειάζονται σημαντική εξειδίκευση στο εκάστοτε αντικείμενο ακόμη και για απλές δεξιότητες ή για τη διαμόρφωση προτροπών κειμένου. Έτσι, υπάρχει μεγάλο χάσμα ανάμεσα στην απόδοσή τους και την ανθρώπινη επιδεξιότητα.

Για να γεφυρώσουν αυτό το χάσμα, ερευνητές από τη Nvidia (NVDA ), το Caltech, το UPenn και άλλους φορείς παρουσίασαν το EUREKA, έναν αλγόριθμο σχεδιασμού ανταμοιβών ανθρώπινου επιπέδου με τη βοήθεια LLM. Αξιοποιεί δυνατότητες όπως η συγγραφή κώδικα, η βελτίωση μέσα στο παρεχόμενο πλαίσιο και η παραγωγή χωρίς προηγούμενα παραδείγματα, για να βελτιστοποιεί τον κώδικα ανταμοιβής. Σε συνδυασμό με την ενισχυτική μάθηση, αυτός ο κώδικας επιτρέπει την εκμάθηση σύνθετων δεξιοτήτων και εργασιών χειρισμού.

Θα εξετάσουμε την αρχιτεκτονική, τη λειτουργία και τα αποτελέσματα του EUREKA στη δημιουργία συναρτήσεων ανταμοιβής, οι οποίες, σύμφωνα με τους δημιουργούς του, ξεπερνούν εκείνες που σχεδιάζουν άνθρωποι. Θα δούμε επίσης πώς ανοίγει έναν νέο δρόμο για την ενισχυτική μάθηση από ανθρώπινη ανατροφοδότηση (RLHF), μέσω μάθησης μέσα στο παρεχόμενο πλαίσιο χωρίς χρήση κλίσεων.

EUREKA: Εισαγωγή

Προηγμένα πλαίσια μεγάλων γλωσσικών μοντέλων, όπως τα GPT-3 και GPT-4, δίνουν εξαιρετικά αποτελέσματα στον σημασιολογικό σχεδιασμό διαδοχικών αποφάσεων υψηλού επιπέδου. Ωστόσο, η βελτίωση της απόδοσής τους σε εργασίες επιδέξιου χειρισμού, όπως το περιστροφικό παίξιμο ενός στυλό, παραμένει ερευνητικός στόχος. Η ενισχυτική μάθηση μπορεί να δώσει καλά αποτελέσματα σε τέτοιες συνθήκες και σε άλλους τομείς, εφόσον οι ανθρώπινοι σχεδιαστές κατασκευάζουν προσεκτικά συναρτήσεις ανταμοιβής που παρέχουν κατάλληλα σήματα για τις επιθυμητές συμπεριφορές. Οι αραιές ανταμοιβές δυσκολεύουν την εκμάθηση, ενώ η διαμόρφωσή τους παρέχει σταδιακά σήματα μάθησης. Ο σχεδιασμός τους όμως είναι εξαιρετικά απαιτητικός και οι υποβέλτιστες συναρτήσεις συχνά οδηγούν σε ανεπιθύμητη συμπεριφορά.

Το EUREKA, από το Evolution-driven Universal REward Kit for Agent, επιδιώκει:

  • Σχεδιασμό συναρτήσεων ανταμοιβής με απόδοση ανθρώπινου επιπέδου.
  • Αποτελεσματική επίλυση εργασιών χειρισμού χωρίς χειροκίνητη μηχανική ανταμοιβών.
  • Πιο αποδοτικές συναρτήσεις που ευθυγραμμίζονται καλύτερα με τις ανθρώπινες προτιμήσεις, μέσω μιας νέας προσέγγισης μάθησης μέσα στο παρεχόμενο πλαίσιο χωρίς κλίσεις, αντί της παραδοσιακής RLHF.

Τρεις βασικές επιλογές ενισχύουν τη γενικότητα του αλγορίθμου: εξελικτική αναζήτηση, χρήση του περιβάλλοντος ως πλαισίου και αναστοχασμός πάνω στις ανταμοιβές. Αρχικά, ο πηγαίος κώδικας του περιβάλλοντος δίνεται στο LLM ως πλαίσιο, ώστε να παραχθούν εκτελέσιμες συναρτήσεις ανταμοιβής χωρίς προηγούμενα παραδείγματα. Έπειτα, η εξελικτική αναζήτηση προτείνει σε κάθε επανάληψη ομάδες υποψήφιων συναρτήσεων και βελτιώνει τις πιο υποσχόμενες. Τέλος, ο αναστοχασμός αξιοποιεί περιγραφές κειμένου για την ποιότητα των ανταμοιβών, βασισμένες σε στατιστικά εκπαίδευσης της πολιτικής. Έτσι επιτρέπει στοχευμένη και αυτοματοποιημένη επεξεργασία του κώδικα ανταμοιβής. Η παρακάτω εικόνα παρουσιάζει τη συνολική λειτουργία.

EUREKA: Αρχιτεκτονική μοντέλου και ορισμός προβλήματος

Η διαμόρφωση ανταμοιβών αποσκοπεί στην παραγωγή μιας κατάλληλα διαμορφωμένης συνάρτησης για μια αρχική συνάρτηση ανταμοιβής αναφοράς, η οποία μπορεί να είναι δύσκολο να βελτιστοποιηθεί απευθείας, όπως συμβαίνει με τις αραιές ανταμοιβές. Οι σχεδιαστές έχουν πρόσβαση στις συναρτήσεις αναφοράς μόνο μέσω ερωτημάτων. Γι’ αυτό το EUREKA επιλέγει τη δημιουργία ανταμοιβών ως πρόβλημα σύνθεσης προγραμμάτων, με βάση το Πρόβλημα Σχεδιασμού Ανταμοιβής (RDP).

Το RDP περιγράφεται από μια πλειάδα που περιλαμβάνει ένα μοντέλο του κόσμου με χώρο καταστάσεων, χώρο συναρτήσεων ανταμοιβής, συνάρτηση μετάβασης και χώρο ενεργειών. Ένας αλγόριθμος μάθησης βελτιστοποιεί την ανταμοιβή παράγοντας μια πολιτική για τη σχετική μαρκοβιανή διαδικασία. Η αξιολόγηση κάθε πολιτικής δίνει έναν βαθμό καταλληλότητας και είναι προσβάσιμη μόνο μέσω ερωτημάτων πολιτικής. Στόχος είναι να παραχθεί συνάρτηση ανταμοιβής που οδηγεί την πολιτική στη μέγιστη καταλληλότητα. Στο EUREKA όλα τα στοιχεία του RDP ορίζονται με κώδικα. Με δεδομένη μια περιγραφή της εργασίας σε συμβολοσειρά, το ζητούμενο είναι η παραγωγή κώδικα ανταμοιβής που μεγιστοποιεί τη βαθμολογία.

Τα τρία θεμελιώδη συστατικά είναι η εξελικτική αναζήτηση για επαναληπτική πρόταση και βελτίωση υποψηφίων, το περιβάλλον ως πλαίσιο για εκτελέσιμες ανταμοιβές χωρίς παραδείγματα και ο αναστοχασμός για λεπτομερή βελτίωση. Η παρακάτω εικόνα παρουσιάζει τον ψευδοκώδικα.

Το περιβάλλον ως πλαίσιο

Τα LLM συνήθως χρειάζονται προδιαγραφές του περιβάλλοντος για να σχεδιάσουν ανταμοιβές. Το EUREKA τους παρέχει απευθείας τον ακατέργαστο κώδικα του περιβάλλοντος, χωρίς τον κώδικα ανταμοιβής, ώστε να χρησιμοποιήσουν το μοντέλο του κόσμου ως πλαίσιο. Αυτό έχει δύο πλεονεκτήματα. Πρώτον, τα LLM για κώδικα έχουν εκπαιδευτεί σε γλώσσες όπως C, C++, Python και Java, επομένως παράγουν καλύτερα αποτελέσματα όταν μπορούν να γράφουν στη σύνταξη και στο ύφος που γνωρίζουν. Δεύτερον, ο πηγαίος κώδικας αποκαλύπτει τη σημασία του περιβάλλοντος και τις μεταβλητές που είναι κατάλληλες για τη συνάρτηση ανταμοιβής. Το EUREKA ζητά λοιπόν απευθείας εκτελέσιμο κώδικα Python, με μόνο γενικές οδηγίες σχεδιασμού ανταμοιβών και συμβουλές μορφοποίησης.

Εξελικτική αναζήτηση

Η εξελικτική αναζήτηση αντιμετωπίζει τις υποβέλτιστες λύσεις και τα σφάλματα εκτέλεσης. Σε κάθε επανάληψη, το πλαίσιο λαμβάνει πολλά ανεξάρτητα αποτελέσματα από το LLM. Εφόσον τα δείγματα είναι ανεξάρτητα και έχουν την ίδια κατανομή, η αύξηση του αριθμού τους μειώνει εκθετικά την πιθανότητα να είναι όλες οι υποψήφιες συναρτήσεις εσφαλμένες.

Στο επόμενο βήμα χρησιμοποιεί εκτελέσιμες συναρτήσεις από την προηγούμενη επανάληψη για μεταλλάξεις ανταμοιβής μέσα στο παρεχόμενο πλαίσιο. Προτείνει νέες, βελτιωμένες συναρτήσεις βάσει ανατροφοδότησης κειμένου. Σε συνδυασμό με τη βελτίωση μέσα στο πλαίσιο και τις δυνατότητες των μεγάλων γλωσσικών μοντέλων να ακολουθούν οδηγίες, ο τελεστής μετάλλαξης μπορεί να οριστεί ως προτροπή κειμένου. Μια κειμενική σύνοψη της εκπαίδευσης της πολιτικής χρησιμοποιείται για την τροποποίηση του υπάρχοντος κώδικα ανταμοιβής.

Αναστοχασμός πάνω στις ανταμοιβές

Για να βασίζονται οι μεταλλάξεις σε ουσιαστικά στοιχεία, χρειάζεται αξιολόγηση της ποιότητας των ανταμοιβών και περιγραφή της με λόγια. Μια απλή λύση είναι η παροχή αριθμητικών βαθμολογιών. Η συνάρτηση καταλληλότητας της εργασίας δίνει όμως μόνο μια συνολική μετρική: δεν αποδίδει τη συμβολή στα επιμέρους στοιχεία και δεν εξηγεί γιατί μια ανταμοιβή λειτουργεί ή αποτυγχάνει. Για πιο στοχευμένη διάγνωση, το EUREKA συνοψίζει αυτόματα σε κείμενο τη δυναμική εκπαίδευσης της πολιτικής. Ζητά επίσης οι συναρτήσεις να εκθέτουν χωριστά τα συστατικά τους, ώστε να παρακολουθεί τις αριθμητικές τιμές κάθε συστατικού σε σημεία ελέγχου καθ’ όλη την εκπαίδευση.

Παρότι αυτή η διαδικασία είναι απλή στην κατασκευή, είναι σημαντική επειδή η βελτιστοποίηση ανταμοιβών εξαρτάται από τον αλγόριθμο. Η αποτελεσματικότητα μιας συνάρτησης επηρεάζεται άμεσα από τον επιλεγμένο αλγόριθμο ενισχυτικής μάθησης. Αλλαγές υπερπαραμέτρων μπορούν να αλλάξουν την απόδοσή της ακόμη και με τον ίδιο βελτιστοποιητή. Το EUREKA μπορεί έτσι να κάνει πιο αποτελεσματικές και επιλεκτικές αλλαγές και να συνθέτει συναρτήσεις με καλύτερη συνεργασία με τον αλγόριθμο μάθησης.

Εκπαίδευση και μέθοδοι αναφοράς

Υπάρχουν δύο βασικά συστατικά: η εκμάθηση πολιτικής και οι μετρικές αξιολόγησης ανταμοιβών.

Εκμάθηση πολιτικής

Για κάθε εργασία, οι τελικές συναρτήσεις βελτιστοποιούνται με τον ίδιο αλγόριθμο ενισχυτικής μάθησης και το ίδιο σύνολο υπερπαραμέτρων, που έχει ρυθμιστεί ώστε να αποδίδουν καλά οι ανθρώπινα σχεδιασμένες ανταμοιβές.

Μετρικές αξιολόγησης ανταμοιβών

Η κλίμακα και το σημασιολογικό νόημα της μετρικής διαφέρουν ανά εργασία. Το EUREKA αναφέρει επομένως βαθμολογία κανονικοποιημένη ως προς την ανθρώπινη απόδοση, ώστε να συγκρίνει συνολικά την απόδοσή του με τις ανταμοιβές ειδικών, βάσει των μετρικών αναφοράς.

Οι τρεις κύριες μέθοδοι αναφοράς είναι οι L2R, Human και Sparse.

L2R

Το L2R χρησιμοποιεί προτροπές LLM δύο σταδίων για παραγωγή ανταμοιβών βάσει προτύπων. Ένα πρώτο μοντέλο συμπληρώνει ένα πρότυπο φυσικής γλώσσας για το περιβάλλον και την εργασία. Ένα δεύτερο μετατρέπει αυτή την περιγραφή κίνησης σε κώδικα συνάρτησης ανταμοιβής, καλώντας βασικές λειτουργίες ενός χειροκίνητα γραμμένου API ανταμοιβών.

Human

Η μέθοδος Human χρησιμοποιεί τις αρχικές συναρτήσεις ανταμοιβής που έγραψαν ερευνητές ενισχυτικής μάθησης, αντιπροσωπεύοντας το αποτέλεσμα του ανθρώπινου σχεδιασμού ανταμοιβών.

Sparse

Οι αραιές ανταμοιβές της μεθόδου Sparse μοιάζουν με τις συναρτήσεις καταλληλότητας και χρησιμοποιούνται για την αξιολόγηση της ποιότητας των παραγόμενων ανταμοιβών.

Αποτελέσματα

Η αξιολόγηση εξετάζει τη σύγκριση με ανθρώπινες ανταμοιβές, τη βελτίωση με τον χρόνο, την παραγωγή νέων ανταμοιβών, τη στοχευμένη βελτίωση και την αξιοποίηση ανθρώπινης ανατροφοδότησης.

Το EUREKA ξεπερνά τις ανθρώπινες ανταμοιβές

Η παρακάτω εικόνα συνοψίζει τα αποτελέσματα σε διαφορετικά σύνολα αναφοράς. Το EUREKA ξεπερνά ή ισοφαρίζει τις ανθρώπινες ανταμοιβές τόσο στις εργασίες επιδεξιότητας όσο και στις εργασίες Isaac. Το L2R δίνει παρόμοια απόδοση σε εργασίες χαμηλής διάστασης, αλλά παρουσιάζει σημαντικό χάσμα σε εργασίες υψηλής διάστασης.

Συνεχής βελτίωση με τον χρόνο

Ένα σημαντικό χαρακτηριστικό του EUREKA είναι η σταθερή βελτίωση της απόδοσης σε κάθε επανάληψη, όπως δείχνει η επόμενη εικόνα.

Το πλαίσιο δημιουργεί καλύτερες ανταμοιβές σε κάθε βήμα και τελικά ξεπερνά την ανθρώπινη απόδοση, χάρη στην εξελικτική αναζήτηση ανταμοιβών μέσα στο παρεχόμενο πλαίσιο.

Παραγωγή νέων ανταμοιβών

Η καινοτομία των ανταμοιβών αξιολογείται υπολογίζοντας τη συσχέτιση ανάμεσα στις ανθρώπινες ανταμοιβές και σε εκείνες του EUREKA για όλες τις εργασίες Isaac. Οι συσχετίσεις απεικονίζονται σε διάγραμμα διασποράς ως προς τις κανονικοποιημένες ανθρώπινες βαθμολογίες. Κάθε σημείο αντιστοιχεί σε ανταμοιβή μιας εργασίας. Το EUREKA παράγει κυρίως συναρτήσεις με ασθενή συσχέτιση προς τις ανθρώπινες, οι οποίες όμως τις ξεπερνούν σε απόδοση.

Στοχευμένη βελτίωση

Για να εξετάσουν τη σημασία του αναστοχασμού, οι ερευνητές αφαίρεσαν αυτό το συστατικό και περιόρισαν τις προτροπές ανατροφοδότησης σε στιγμιαίες αριθμητικές τιμές. Στις εργασίες Isaac, η απουσία αναστοχασμού οδήγησε σε πτώση περίπου 29% της μέσης κανονικοποιημένης βαθμολογίας.

Αξιοποίηση ανθρώπινης ανατροφοδότησης

Πέρα από τον αυτοματοποιημένο σχεδιασμό, το EUREKA εισάγει μια προσέγγιση RLHF χωρίς κλίσεις, με μάθηση μέσα στο παρεχόμενο πλαίσιο, ώστε να ενσωματώνει διαφορετικές εισόδους και να παράγει πιο αποδοτικές, ανθρώπινα ευθυγραμμισμένες συναρτήσεις. Τα βασικά ευρήματα είναι:

  • Μπορεί να επωφεληθεί από ανθρώπινα σχεδιασμένες συναρτήσεις ανταμοιβής και να τις βελτιώσει.
  • Η ανθρώπινη ανατροφοδότηση στον αναστοχασμό ανταμοιβών ενθαρρύνει ευθυγραμμισμένη συμπεριφορά.

Η παραπάνω εικόνα δείχνει σημαντική βελτίωση της απόδοσης και της αποδοτικότητας όταν χρησιμοποιούνται ανθρώπινες ανταμοιβές για αρχικοποίηση, ανεξάρτητα από την ποιότητά τους. Αυτό υποδηλώνει ότι η ποιότητα της αρχικής ανταμοιβής δεν επηρεάζει σημαντικά τη δυνατότητα βελτίωσης μέσα στο πλαίσιο.

Η παραπάνω εικόνα δείχνει ότι το EUREKA μπορεί τόσο να παράγει πολιτικές που ευθυγραμμίζονται καλύτερα με τις ανθρώπινες προτιμήσεις όσο και να τροποποιεί τις ανταμοιβές ενσωματώνοντας ανθρώπινη ανατροφοδότηση.

Τελικές σκέψεις

Το EUREKA είναι ένας αλγόριθμος σχεδιασμού ανταμοιβών ανθρώπινου επιπέδου με τη βοήθεια LLM. Αξιοποιεί συγγραφή κώδικα, βελτίωση μέσα στο πλαίσιο και παραγωγή χωρίς παραδείγματα για να βελτιστοποιεί τον κώδικα ανταμοιβής. Σε συνδυασμό με την ενισχυτική μάθηση, επιτρέπει την εκμάθηση σύνθετων δεξιοτήτων και εργασιών χειρισμού. Χωρίς ανθρώπινη παρέμβαση ή ειδική μηχανική προτροπών ανά εργασία, προσφέρει παραγωγή ανταμοιβών ανθρώπινου επιπέδου σε ευρύ φάσμα εργασιών. Βασικό πλεονέκτημά του είναι η εκμάθηση σύνθετων εργασιών με προσέγγιση σταδιακού προγράμματος μάθησης.

Η απόδοση και η ευελιξία του δείχνουν ότι ο συνδυασμός εξελικτικών αλγορίθμων και μεγάλων γλωσσικών μοντέλων μπορεί να προσφέρει γενική, κλιμακώσιμη προσέγγιση στον σχεδιασμό ανταμοιβών. Η ίδια ιδέα ενδέχεται να εφαρμοστεί και σε άλλα προβλήματα αναζήτησης ανοιχτού τύπου.

Ο Kunal Kejriwal είναι μηχανικός back‑end που ειδικεύεται στην Python, PostgreSQL, Redis και στην υποδομή cloud στο GCP και το AWS. Με τρία χρόνια εμπειρίας στην κατασκευή και κλιμάκωση συστημάτων παραγωγής, γράφει για την υποδομή AI, τα κατανεμημένα συστήματα και την αρχιτεκτονική πίσω από την ανάπτυξη φορτίων εργασίας μηχανικής μάθησης.