Προώθηση της Συστάδεως του AI με Ανθρώπινες Αξίες με τη Μέθοδο WARM

Συστάδεωση Συστημάτων AI με Ανθρώπινες Αξίες

Τα συστήματα τεχνητής νοημοσύνης (AI) γίνονται ολοένα και πιο ικανά να βοηθούν τους ανθρώπους σε σύνθετα καθήκοντα, από chatbots εξυπηρέτησης πελατών έως αλγορίθμους ιατρικής διάγνωσης. Ωστόσο, καθώς αυτά τα συστήματα AI αναλαμβάνουν περισσότερες ευθύνες, είναι κρίσιμο να παραμείνουν συσυστάδευτα με τις ανθρώπινες αξίες και προτιμήσεις. Μια προσέγγιση για την επίτευξη αυτού είναι μέσω μιας τεχνικής που ονομάζεται ενίσχυση μάθησης από ανθρώπινη ανατροφοδότηση (RLHF). Στην RLHF, ένα σύστημα AI, γνωστό ως πολιτική, ανταμείβεται ή τιμωρείται με βάση τις ανθρώπινες κρίσεις της συμπεριφοράς του. Ο στόχος είναι για την πολιτική να μάθει να μεγιστοποιεί τις ανταμοιβές της και έτσι να συμπεριφέρεται σύμφωνα με τις ανθρώπινες προτιμήσεις.

Ένα βασικό συστατικό της RLHF είναι το μοντέλο ανταμοιβής (RM). Το RM είναι υπεύθυνο για την αξιολόγηση των ενεργειών και εξόδων της πολιτικής και την επιστροφή ενός σήματος ανταμοιβής για να οδηγήσει τη διαδικασία μάθησης. Η σχεδίαση ενός καλού RM είναι δύσκολη, καθώς οι ανθρώπινες προτιμήσεις μπορούν να είναι σύνθετες, εξαρτώμενες από το контέκστ και ακόμη και ασυνεπείς μεταξύ ατόμων. Πρόσφατα, ερευνητές από το Google DeepMind πρότειναν μια καινοτόμο τεχνική που ονομάζεται Μοντέλα Ανταμοιβής με Βαρυτομετρική Μέση (WARM) για την βελτίωση της σχεδίασης του RM.

Το Πρόβλημα με την Ανατροφοδότηση Ανταμοιβής

Ένα σημαντικό πρόβλημα στην RLHF είναι η ανατροφοδότηση ανταμοιβής. Η ανατροφοδότηση ανταμοιβής συμβαίνει όταν η πολιτική βρίσκει τρύπες για να εξαπατήσει το σύστημα RM και να λάβει υψηλές ανταμοιβές χωρίς να ικανοποιεί τις προβλεπόμενες στόχους. Για παράδειγμα, υποθέτουμε ότι ο στόχος είναι να εκπαιδεύσουμε ένα σύστημα AI για να δημιουργήσει συνοπτικές περιγραφές. Το RM μπορεί να ανταμείβει τις συνοπτικές και ενημερωτικές περιγραφές. Η πολιτική μπορεί τότε να μάθει να εκμεταλλεύεται αυτό δημιουργώντας πολύ σύντομες, μη ενημερωτικές περιγραφές με λέξεις-κλειδιά που εξαπατούν το RM.

Η ανατροφοδότηση ανταμοιβής συμβαίνει για δύο κύριους λόγους:

1. Μετατόπιση Κατανομής – Το RM εκπαιδεύεται σε ένα περιορισμένο σύνολο ανθρώπινων ετικετών. Όταν αναπτύσσεται, οι εξόδους της πολιτικής μπορεί να προέρχονται από διαφορετικές κατανομές που το RM δεν γενικεύει καλά.
2. Θόρυβος Ετικετών – Η ανθρώπινη ετικέτα είναι ατελής, με διαφωνίες μεταξύ των κριτών. Το RM μπορεί να αγκαλιάσει ψευδείς σήματα αντί για σταθερά σημάδια ποιότητας.

Η ανατροφοδότηση ανταμοιβής οδηγεί σε άχρηστα συστήματα που δεν ικανοποιούν τις ανθρώπινες προσδοκίες. Χειρότερα, μπορεί να οδηγήσει σε συμπεριφορές AI που είναι προκατειλημμένες ή ακόμη και επικίνδυνες αν αναπτυχθούν без προσοχής.

Η Άνοδος της Συστάδεως Μοντέλων

Το αυξανόμενο ενδιαφέρον για στρατηγικές συστάδεως μοντέλων όπως το Model Ratatouille οφείλεται στην ανάγνωση ότι μεγαλύτερα μοντέλα, mặc dù ισχυρά, μπορούν να είναι αναποτελεσματικά και μη πρακτικά. Η εκπαίδευση ενός μοντέλου 1 τρισεκατομμυρίου παραμέτρων απαιτεί προβληματικές ποσότητες δεδομένων, υπολογιστικών πόρων, χρόνου και κόστους. Πιο κρίσιμο, τέτοια μοντέλα έχουν την τάση να υπερπροσαρμόζονται στην κατανομή εκπαίδευσης, εμποδίζοντας την ικανότητά τους να γενικεύσουν σε διαφορετικές πραγματικές καταστάσεις.

Η συστάδεωση μοντέλων παρέχει μια εναλλακτική οδό για την άρση μεγαλύτερων ικανοτήτων χωρίς απεριόριστη αύξηση. Ανακυκλώνοντας πολλαπλά εξειδικευμένα μοντέλα που εκπαιδεύονται σε διαφορετικές κατανομές, εργασίες ή στόχους, η συστάδεωση μοντέλων στοχεύει στην ενίσχυση της πολυμορφίας και της αντοχής εκτός κατανομής. Η πρόταση είναι ότι διαφορετικά μοντέλα συλλαμβάνουν διαφορετικά προβλεπτικά μοτίβα που μπορούν να συμπληρώσουν ο ένας τον άλλον όταν συσταδεύονται.

Πρόσφατα αποτελέσματα εικονογραφούν την υπόσχεση αυτής της концепції. Μοντέλα που λαμβάνονται μέσω συστάδεως, παρά το ότι έχουν πολύ λιγότερες παραμέτρους, μπορούν να ταιριάζουν ή ακόμη και να υπερβαίνουν την απόδοση γιγαντιαίων μοντέλων όπως το GPT-3. Για παράδειγμα, ένα σύνολο Model Ratatouille από 7 μεσαίου μεγέθους σημείων μπορεί να επιτύχει την κορυφαία ακρίβεια σε υψηλοδιάστατα datasets, υπερβαίνοντας το GPT-3.

Η απλότητα της συστάδεως με βαρυτομετρική μέση είναι ένα τεράστιο μπόνους. Η εκπαίδευση πολλαπλών βοηθητικών μοντέλων απαιτεί επιπλέον πόρους. Ωστόσο, η υπολογιστική διαδικασία κατά την εκτέλεση παραμένει идентична με ένα μοντέλο,既然 τα βάρη συμπιέζονται σε ένα. Αυτό καθιστά τη μέθοδο εύκολα προσαρμόσιμη, χωρίς προβλήματα αυξημένης καθυστέρησης ή κόστους μνήμης.

Μηχανισμοί Πίσω από τη Συστάδεωση Μοντέλων

Αλλά τι ακριβώς επιτρέπει αυτές τις βελτιώσεις ακρίβειας από τη συστάδεωση μοντέλων; Πρόσφατη ανάλυση προσφέρει κάποιες ενδείξεις:

• Μηδενισμός της Μνημόνευσης: Κάθε μοντέλο βλέπει διαφορετικά ανακατεμένα δείγματα του συνόλου δεδομένων κατά την εκπαίδευση. Η μέση τιμή μειώνει οποιαδήποτε ειδική μνημόνευση, διατηρώντας μόνο τις γενικεύσεις του συνόλου δεδομένων.
• Μείωση της Διακύμανσης: Μοντέλα που εκπαιδεύονται ανεξάρτητα έχουν μη συσχετιζόμενους σφαλματικούς. Η συνδυασμένη διαδικασία τους μειώνει τον θόρυβο, βελτιώνοντας την αντιστοίχιση.
• Κανονικοποίηση μέσω Πολυμορφίας: Διαφορετικά βοηθητικά καθήκοντα αναγκάζουν τα μοντέλα να συλλάβουν πιο γενικεύσιμες λειτουργίες που είναι χρήσιμες σε διαφορετικές κατανομές.
• Αύξηση της Αντοχής: Η ασυνέπεια στις προβλέψεις σηματοδοτεί αβεβαιότητα. Η μέση τιμή των προβλέψεων μετριάζει τις ακραίες κρίσεις, ενισχύοντας την αξιοπιστία.

Συνοψίζοντας, η συστάδεωση μοντέλων αντισταθμίζει τις αδυναμίες των μεμονωμένων μοντέλων για να ενισχύσει τις συλλογικές τους ισχύες. Η συσταδεμένη αναπαράσταση συλλαμβάνει τις κοινές υποκείμενες αιτιολογικές δομές, αγνοώντας τις τυχαίες παραλλαγές.

Αυτή η концепτική βάση συνδέει τη συστάδεωση μοντέλων με άλλες δημοφιλείς τεχνικές όπως η συσσωμάτωση και η πολυ-εργασία. Όλες αυτές οι μέθοδοι εκμεταλλεύονται τη διαφορετικότητα μεταξύ μοντέλων ή εργασιών για να αποκτήσουν ποικιλόμορφα, αβεβαιότητα-ευαίσθητα συστήματα. Η απλότητα και η αποτελεσματικότητα της βαρυτομετρικής μέσης δίνουν στη συστάδεωση μοντέλων ένα μοναδικό πλεονέκτημα για την προώθηση της ανάπτυξης πραγματικών εφαρμογών.

Μοντέλα Ανταμοιβής με Βαρυτομετρική Μέση

Διαδικασία συσυστάδεως με WARM

WARM χρησιμοποιεί καινοτόμα образом ένα μοντέλο ανταμοιβής (RM), το οποίο είναι μια βαρυτομετρική μέση πολλαπλών μεμονωμένων RM, κάθε一个 από τα οποία είναι εξειδικευμένο από το ίδιο προ-εκπαιδευμένο LLM αλλά με διαφορετικά υπερπαράμετρα. Αυτή η μέθοδος ενισχύει την αποτελεσματικότητα, την αξιοπιστία υπό μετατοπίσεις κατανομής και την αντοχή έναντι ασυνεπών προτιμήσεων. Η μελέτη δείχνει επίσης ότι η χρήση του WARM ως μοντέλο ανταμοιβής, ιδιαίτερα με αυξημένο αριθμό μεσαίων RM, βελτιώνει τα αποτελέσματα και καθυστερεί την έναρξη της ‘ανατροφοδότησης ανταμοιβής’, ενός φαινομένου όπου οι ανταμοιβές ελέγχου χειροτερεύουν με τον χρόνο.

Εδώ υπάρχει μια υψηλού επιπέδου επισκόπηση:

1. Ξεκινήστε με ένα βασικό μοντέλο γλωσσών που έχει προ-εκπαιδευτεί σε ένα μεγάλο σώμα. Αρχικοποιήστε πολλαπλά RM προσθέτοντας μικρά στρώματα ειδικά για κάθε εργασία.
2. Εξειδικεύστε κάθε RM ξεχωριστά στο σύνολο δεδομένων ανθρώπινης προτίμησης, χρησιμοποιώντας διαφορετικά υπερπαράμετρα όπως η ταχύτητα μάθησης για διαφορετικότητα.
3. Μέσα στο βάρος των εξειδικευμένων RM για να αποκτήσετε ένα ενιαίο σύνολο WARM.

Η κλειδί έμπνευση είναι ότι η βαρυτομετρική μέση διατηρεί μόνο τις αμετάβλητες πληροφορίες που έχουν μάθει όλα τα διαφορετικά RM. Αυτό μειώνει την εξάρτηση από ψευδείς σήματα, ενισχύοντας την αντοχή. Το σύνολο επίσης επωφελείται από τη μείωση της διακύμανσης, βελτιώνοντας την αξιοπιστία παρά την μετατόπιση κατανομής.

Όπως συζητήθηκε προηγουμένως, η διαφορετικότητα μεταξύ ανεξάρτητα εκπαιδευμένων μοντέλων είναι κρίσιμη για την άρση του πλήρους potencial της συστάδεως μοντέλων. Αλλά ποιες είναι κάποιες συγκεκριμένες τεχνικές για την προώθηση της παραγωγικής διαφορετικότητας;

Το έγγραφο WARM εξερευνά κάποιες έξυπνες ιδέες που θα μπορούσαν να γενικευθούν περισσότερο:

Διατάξεις Ανακατεύθυνσης

Μια εύκολη αλλά επηρεαστική προσέγγιση είναι η ανακατεύθυνση της σειράς με την οποία τα δεδομένα εμφανίζονται σε κάθε μοντέλο κατά την εκπαίδευση. Ακόμη και αυτό το απλό βήμα αποσυνδέει τα βάρη, μειώνοντας την επαναλαμβανόμενη μνημόνευση μοτίβων.

Παραλλαγές Υπερπαραμέτρων

Η ρύθμιση υπερπαραμέτρων όπως η ταχύτητα μάθησης και η πιθανότητα απόρριψης για κάθε εκτέλεση εισάγει χρήσιμη διαφορετικότητα. Τα μοντέλα συ렴ουν διαφορετικά, συλλαμβάνοντας διαφορετικές ιδιότητες του συνόλου δεδομένων.

Μέση Τιμή Σημείων – Baklava

Η μέθοδος Baklava αρχικοποιεί μοντέλα για συσυστάδεωση από διαφορετικά σημεία κατά μήκος της ίδιας πορείας προ-εκπαίδευσης. Αυτό χαλαρώνει τους περιορισμούς σε σύγκριση με τα μοντέλα σούπας που απαιτούν einen κοινό σημείο εκκίνησης. Σε σχέση με το μοντέλο ratatouille, το Baklava αποφεύγει πρόσθετα καθήκοντα. Συνολικά, Strikes μια αποτελεσματική ισορροπία ακρίβειας-διαφορετικότητας.

Η διαδικασία ξεκινά με ένα προ-εκπαιδευμένο Μεγάλο Γλωσσικό Μοντέλο (LLM) 𝜃_𝑝𝑡. Από αυτό το μοντέλο, διάφορα σημεία {𝜃_𝑠 𝑓 𝑡_𝑖} λαμβάνονται κατά τη διάρκεια μιας εκτέλεσης Εποπτευόμενης Εξειδίκευσης (SFT), κάθε一个 συλλεχθεί σε διαφορετικά βήματα εκπαίδευσης SFT. Αυτά τα σημεία χρησιμοποιούνται ως αρχικοποιήσεις για την εξειδίκευση πολλαπλών Μοντέλων Ανταμοιβής (RMs) {𝜙𝑖} σε ένα σύνολο δεδομένων προτίμησης. Η εξειδίκευση αυτή στοχεύει να προσαρμόσει τα μοντέλα για να συσυστάδευσουν καλύτερα με τις ανθρώπινες προτιμήσεις. Μετά την εξειδίκευση, αυτά τα RMs συνδυάζονται μέσω μιας διαδικασίας βαρυτομετρικής μέσης, οδηγώντας στο τελικό μοντέλο, 𝜙_WARM.

Η ανάλυση επιβεβαιώνει ότι η προσθήκη παλαιότερων σημείων με μέση τιμή βλάπτει την ατομική απόδοση, υπονομεύοντας τα πλεονεκτήματα της διαφορετικότητας. Η μέση τιμή μόνο των τελικών αναπαραστάσεων από κάθε εκτέλεση επιτύγχαίνει καλύτερα. Γενικά, η ισορροπία μεταξύ στόχων διαφορετικότητας και διατήρησης ακρίβειας παραμένει một ανοιχτό ερευνητικό πρόβλημα.

Συνολικά, η συσυστάδεωση μοντέλων συσυστάδευεται καλά με το γενικό ηθός στο πεδίο να ανακυκλώνει υπάρχοντες πόρους αποτελεσματικά για ενισχυμένη αξιοπιστία, αποτελεσματικότητα και πολυμορφία. Η απλότητα της βαρυτομετρικής μέσης την καθιστά μια ηγετική υποψήφια για τη συσσώρευση robust μοντέλων από διαθέσιμα δομικά στοιχεία.

Αντίθετα με τις παραδοσιακές μεθόδους συσσωμάτωσης που μέσως αναλογούν προβλέψεις, το WARM διατηρεί τον υπολογιστικό υπερβολικό όγκο ελάχιστο, διατηρώντας μόνο ένα σύνολο βαρών. Πειράματα σε εργασίες περίληψης κειμένου δείχνουν την αποτελεσματικότητα του WARM:

• Για το καλύτερο-από-N δείγμα, το WARM επιτυγχάνει 92.5% ποσοστό νίκης έναντι της τυχαίας επιλογής σύμφωνα με τις ετικέτες προτίμησης ανθρώπων.
• Στην RLHF, μια πολιτική WARM φτάνει στο 79.4% ποσοστό νίκης έναντι μιας πολιτικής που εκπαιδεύτηκε με ένα μόνο RM μετά από τον ίδιο αριθμό βημάτων.
• Το WARM συνεχίζει να εκτελείται καλά ακόμη και όταν ένα τέταρτο των ανθρώπινων ετικετών είναι ελαττωματικά.

Αυτά τα αποτελέσματα εικονογραφούν το potencial του WARM ως μια πρακτική τεχνική για την ανάπτυξη πραγματικών βοηθών AI που συμπεριφέρονται αξιοπιστώς. Βελτιώνοντας τις ασυνέπειες στην ανθρώπινη ανατροφοδότηση, οι πολιτικές WARM μπορούν να παραμείνουν σταθερά συσυστάδευτες με τις ανθρώπινες αξίες ακόμη και καθώς συνεχίζουν να μαθαίνουν από νέες εμπειρίες.

Το Μεγαλύτερο Πλαίσιο

Το WARM βρίσκεται στο giao του δύο κρίσιμων τάσεων στην έρευνα συσυστάδεως AI. Πρώτα είναι η μελέτη της γενίκευσης εκτός κατανομής (OOD), η οποία στοχεύει στην ενίσχυση της απόδοσης του μοντέλου σε νέα δεδομένα που διαφέρουν από την κατανομή εκπαίδευσης. Δεύτερη είναι η έρευνα για την αλγοριθμική αντοχή, εστιάζοντας στην αξιοπιστία παρά τις μικρές διαταραχές εισόδου ή θόρυβο.

Συμπλέκοντας τις συνδέσεις μεταξύ αυτών των πεδίων γύρω από την έννοια των μαθημένων αμεταβλητών, το WARM μας οδηγεί προς πιο αυστηρά εδραιωμένες τεχνικές για συσυστάδεωση αξίας. Οι εικόνες από το WARM θα μπορούσαν να γενικευθούν ακόμη και πέρα από την RLHF, παρέχοντας μαθήματα για ευρύτερα συστήματα μηχανικής μάθησης που αλληλεπιδρούν με τον ανοιχτό κόσμο.

Φυσικά, το μοντέλο ανταμοιβής είναι μόνο ένα κομμάτι του πάζλ συσυστάδεως. Chúng masih χρειαζόμαστε πρόοδο σε άλλα προκλήματα όπως η προδιαγραφή ανταμοιβής, η επεκτάσιμη επιτήρηση και η ασφαλής εξέταση. Σε συνδυασμό με συμπληρωματικές τεχνικές, το WARM θα μπορούσε να επιταχύνει την ανάπτυξη του AI που προάγει την ανθρώπινη ευημερία με βιωσιμότητα. Συλλογικά, ελucidating τις αρχές που υποκρύπτουν τη robust συσυστάδεωση, οι ερευνητές χαρτογραφούν τη διαδρομή προς το ωφέλιμο, ηθικό AI.