Οι πρόσφατες προοπτικές στην αρχιτεκτονική και την απόδοση των Πολυμορφικών Μεγάλων Γλωσσικών Μοντέλων ή MLLMs έχουν υπογραμμίσει τη σημασία της κλιμάκωσης των δεδομένων και των μοντέλων για την βελτίωση της απόδοσης. Αν και αυτή η προσέγγιση βελτιώνει την απόδοση, συνεπάγεται σημαντικά υψηλές υπολογιστικές κόsts που περιορίζουν την πρακτικότητα και τη χρηστικότητα τέτοιων προσεγγίσεων. Τα τελευταία χρόνια, τα μοντέλα Μίξης Ειδικών ή MoE έχουν αναδειχθεί ως μια επιτυχημένη εναλλακτική προσέγγιση για την κλιμάκωση των εικόνα-κειμένου και των μεγάλων γλωσσικών μοντέλων με hiệuิภาพ, поскольку τα μοντέλα Μίξης Ειδικών έχουν σημαντικά χαμηλότερες υπολογιστικές κόsts και ισχυρή απόδοση. Ωστόσο, παρά τα πλεονεκτήματά τους, τα μοντέλα Μίξης Ειδικών δεν είναι η ιδανική προσέγγιση για την κλιμάκωση των μεγάλων γλωσσικών μοντέλων, поскольку συχνά εμπλέκονται λιγότεροι ειδικοί και περιορισμένες_modalities, περιορίζοντας τις εφαρμογές.

Για να αντιμετωπιστούν τα εμπόδια που συναντώνται από τις τρέχουσες προσεγγίσεις και για να κλιμακωθούν τα μεγάλα γλωσσικά μοντέλα με αποτελεσματικότητα, σε αυτό το άρθρο, θα μιλήσουμε για το Uni-MoE, ένα ενοποιημένο πολυμορφικό μεγάλο γλωσσικό μοντέλο με αρχιτεκτονική Μίξης Ειδικών ή MoE που είναι ικανό να χειρίζεται eine ευρεία ποικιλία modalities και ειδικών. Το πλαίσιο Uni-MoE εφαρμόζει επίσης μια σπάνια αρχιτεκτονική Μίξης Ειδικών μέσα στα μεγάλα γλωσσικά μοντέλα σε μια προσπάθεια να κάνει την εκπαίδευση και την εύρεση πιο αποτελεσματικές, χρησιμοποιώντας εξειδικευμένο μοντέλο παράλληλο και παράλληλο δεδομένων. Επιπλέον, για να βελτιώσει τη γενίκευση και τη συνεργασία πολλών ειδικών, το πλαίσιο Uni-MoE παρουσιάζει μια προοδευτική στρατηγική εκπαίδευσης που είναι eine συνδυασμός τριών διαφορετικών διαδικασιών. Στην πρώτη, το πλαίσιο Uni-MoE επιτυγχάνει την ευθυγράμμιση δια moda χρησιμοποιώντας διάφορους συνδεσμούς με διαφορετικά δια moda δεδομένα. Δεύτερον, το πλαίσιο Uni-MoE ενεργοποιεί την προτίμηση των组件 ειδικών εκπαιδεύοντας ειδικούς με δια moda οδηγίες δεδομένα. Τέλος, το μοντέλο Uni-MoE εφαρμόζει τη τεχνική Low-Rank Adaptation ή LoRA σε μικτά πολυμορφικά οδηγικά δεδομένα για να điều chỉnh το μοντέλο.

Αυτό το άρθρο έχει ως στόχο να καλύψει το πλαίσιο Uni-MoE σε βάθος, και εξετάζουμε το μηχανισμό, τη μεθοδολογία, την αρχιτεκτονική του πλαισίου μαζί με την σύγκριση με τα state of the art πλαισια. Έτσι, ας ξεκινήσουμε.

Uni-MoE: Κλιμάκωση Ενοποιημένων Πολυμορφικών Μεγάλων Γλωσσικών Μοντέλων

Η έλευση των ανοικτών πολυμορφικών μεγάλων γλωσσικών μοντέλων, συμπεριλαμβανομένων LLama και InstantBlip, έχει υπογραμμίσει την αξιοσημείωτη επιτυχία και πρόοδο στις εργασίες που αφορούν την κατανόηση εικόνας-κειμένου τα τελευταία χρόνια. Επιπλέον, η κοινότητα του AI εργάζεται ενεργά για την κατασκευή ενός ενοποιημένου πολυμορφικού μεγάλου γλωσσικού μοντέλου που θα μπορούσε να φιλοξενήσει eine ευρεία ποικιλία modalities, συμπεριλαμβανομένων εικόνας, κειμένου, ήχου, βίντεο και περισσότερων, πέρα από το παραδοσιακό εικόνας-κειμένου παράδειγμα. Eine κοινή προσέγγιση που ακολουθείται από την κοινότητα ανοικτών πηγών για την ενίσχυση των ικανοτήτων των πολυμορφικών μεγάλων γλωσσικών μοντέλων είναι να αυξήσει το μέγεθος των μοντέλων οράματος και να τα ενσωματώσει με μεγάλα γλωσσικά μοντέλα με δισεκατομμύρια παραμέτρους, χρησιμοποιώντας διάφορα πολυμορφικά δεδομένα για την ενίσχυση της οδηγικής εκπαίδευσης. Αυτές οι εξελίξεις έχουν υπογραμμίσει την αυξανόμενη ικανότητα των πολυμορφικών μεγάλων γλωσσικών μοντέλων να συλλογίζουν και να επεξεργάζονται πολλαπλές modalities, επιδεικνύοντας τη σημασία της επέκτασης των πολυμορφικών οδηγικών δεδομένων και της κλιμάκωσης του μοντέλου.

Αν και η κλιμάκωση ενός μοντέλου είναι eine δοκιμασμένη και επιτυχημένη προσέγγιση που παρέχει σημαντικά αποτελέσματα, η κλιμάκωση ενός μοντέλου είναι eine υπολογιστικά ακριβή διαδικασία και για την εκπαίδευση και την εύρεση.

Για να αντιμετωπιστούν τα προβλήματα των υψηλών υπολογιστικών κοστών, η κοινότητα ανοικτών πηγών κινείται προς την ενσωμάτωση της αρχιτεκτονικής MoE ή Μίξης Ειδικών σε μεγάλα γλωσσικά μοντέλα για την βελτίωση της αποτελεσματικότητας και της εκπαίδευσης. Σε αντίθεση με τα πολυμορφικά μεγάλα γλωσσικά μοντέλα και τα μεγάλα γλωσσικά μοντέλα που χρησιμοποιούν όλες τις διαθέσιμες παραμέτρους για την επεξεργασία κάθε εισόδου, η αρχιτεκτονική Μίξης Ειδικών απαιτεί μόνο από τους χρήστες να ενεργοποιήσουν ένα υποσύνολο ειδικών παραμέτρων για κάθε είσοδο. Ως αποτέλεσμα, η αρχιτεκτονική Μίξης Ειδικών αναδύεται ως eine βιώσιμη οδός για την βελτίωση της αποτελεσματικότητας των μεγάλων μοντέλων χωρίς εκτεταμένη ενεργοποίηση παραμέτρων και υψηλές υπολογιστικές κόsts. Αν και τα υπάρχοντα έργα έχουν υπογραμμίσει την επιτυχημένη εφαρμογή και ενσωμάτωση της αρχιτεκτονικής Μίξης Ειδικών στη κατασκευή των μοντέλων κειμένου-μόνο και κειμένου-εικόνας, οι ερευνητές είναι ακόμη να εξερευνήσουν πλήρως το δυναμικό της ανάπτυξης της αρχιτεκτονικής Μίξης Ειδικών για την κατασκευή ισχυρών ενοποιημένων πολυμορφικών μεγάλων γλωσσικών μοντέλων.

Το Uni-MoE είναι ένα πολυμορφικό μεγάλο γλωσσικό μοντέλο που αξιοποιεί σπάνιες αρχιτεκτονικές Μίξης Ειδικών για την ερμηνεία και τη διαχείριση πολλαπλών modalities, σε μια προσπάθεια να εξερευνήσει την κλιμάκωση ενοποιημένων πολυμορφικών μεγάλων γλωσσικών μοντέλων με την αρχιτεκτονική MoE. Όπως φαίνεται στην ακόλουθη εικόνα, το πλαίσιο Uni-MoE λαμβάνει πρώτα την κωδικοποίηση των διαφορετικών modalities χρησιμοποιώντας ειδικούς κωδικοποιητές, και στη συνέχεια χαρτογραφεί αυτές τις κωδικοποιήσεις στο γλωσσικό χώρο των μεγάλων γλωσσικών μοντέλων χρησιμοποιώντας διάφορους σχεδιασμένους συνδεσμούς. Αυτοί οι συνδεσμοι περιέχουν ένα εκπαιδεύσιμο μετασχηματισμό με επόμενες γραμμικές προβολές για να αποσταλύνουν και να προβληθούν οι αναπαραστάσεις των παγωμένων κωδικοποιητών. Το πλαίσιο Uni-MoE εισάγει στη συνέχεια μια σπάνια αρχιτεκτονική Μίξης Ειδικών μέσα στα εσωτερικά μπλοκ των πυκνών Μεγάλων Γλωσσικών Μοντέλων. Ως αποτέλεσμα, κάθε μπλοκ Μίξης Ειδικών με βάση την αρχιτεκτονική MoE διαθέτει ένα κοινό επίπεδο αυτοπροσοχής που εφαρμόζεται σε όλες τις modalities, einen σπάνιο διανομέα για την 할당 ειδικότητας σε επίπεδο token, και διάφορους ειδικούς με βάση το δίκτυο feedforward. Λόγω αυτής της προσέγγισης, το πλαίσιο Uni-MoE είναι ικανό να κατανοήσει πολλαπλές modalities, συμπεριλαμβανομένων ομιλίας, ήχου, κειμένου, βίντεο, εικόνας, και απαιτεί μόνο την ενεργοποίηση μερικών παραμέτρων κατά την εύρεση.

Επιπλέον, για να βελτιώσει τη συνεργασία πολλών ειδικών και τη γενίκευση, το πλαίσιο Uni-MoE εφαρμόζει eine τρι-στάδιο στρατηγική εκπαίδευσης. Στο πρώτο στάδιο, το πλαίσιο χρησιμοποιεί εκτεταμένα ζευγάρια εικόνας/ήχου/ομιλίας σε κείμενο για την εκπαίδευση των αντίστοιχων συνδεσμών λόγω της ενοποιημένης modality αναπαράστασης στο γλωσσικό χώρο του μεγάλου γλωσσικού μοντέλου. Δεύτερον, το μοντέλο Uni-MoE εκπαιδεύει ειδικούς με δια moda δεδομένα ξεχωριστά, σε μια προσπάθεια να βελτιώσει την ικανότητα κάθε ειδικού μέσα στο αντίστοιχο του domaine. Στο τρίτο στάδιο, το πλαίσιο Uni-MoE ενσωματώνει τους εκπαιδευμένους ειδικούς στο επίπεδο Μίξης Ειδικών του μεγάλου γλωσσικού μοντέλου και εκπαιδεύει το整λό πλαίσιο Uni-MoE με μικτά πολυμορφικά οδηγικά δεδομένα. Για να μειώσει το κόστος εκπαίδευσης περαιτέρω, το πλαίσιο Uni-MoE εφαρμόζει την προσέγγιση LoRA για την εκπαίδευση των αυτοπροσοχών επιπέδων και των προ-εκπαιδευμένων ειδικών.

Uni-MoE : Μεθοδολογία και Αρχιτεκτονική

Η βασική мотивασία πίσω από το πλαίσιο Uni-MoE είναι το υψηλό κόστος εκπαίδευσης και εύρεσης των πολυμορφικών μεγάλων γλωσσικών μοντέλων, μαζί με την αποτελεσματικότητα των μοντέλων Μίξης Ειδικών, και να εξερευνήσει την πιθανότητα δημιουργίας ενός αποτελεσματικού, ισχυρού και ενοποιημένου πολυμορφικού μεγάλου γλωσσικού μοντέλου χρησιμοποιώντας την αρχιτεκτονική MoE. Η ακόλουθη εικόνα παρουσιάζει μια αναπαράσταση της αρχιτεκτονικής που εφαρμόζεται στο πλαίσιο Uni-MoE, δείχνοντας το σχέδιο που περιλαμβάνει ατομικούς κωδικοποιητές για διαφορετικές modalities, δηλαδή ήχου, ομιλίας και οπτικών, μαζί με τους αντίστοιχους συνδεσμούς.

Το πλαίσιο Uni-MoE ενσωματώνει στη συνέχεια την αρχιτεκτονική Μίξης Ειδικών με τα βασικά μπλοκ των πυκνών Μεγάλων Γλωσσικών Μοντέλων, μια διαδικασία που είναι κρίσιμη για την ενίσχυση της συνολικής αποτελεσματικότητας και της εκπαίδευσης. Το πλαίσιο Uni-MoE επιτυγχάνει αυτό εφαρμόζοντας einen σπάνιο μηχανισμό διανομής. Η συνολική διαδικασία εκπαίδευσης του πλαισίου Uni-MoE μπορεί να χωριστεί σε τρεις φάσεις: ευθυγράμμιση δια moda, εκπαίδευση ειδικών με δια moda δεδομένα, και ρύθμιση του Uni-MoE χρησιμοποιώντας eine ποικιλία πολυμορφικών οδηγικών δεδομένων. Για να μετατρέψει αποτελεσματικά διάφορα modal εισόδους σε γλωσσική μορφή, το πλαίσιο Uni-MoE είναι χτισμένο πάνω σε LLaVA, ένα προ-εκπαιδευμένο οπτικό-γλωσσικό πλαίσιο. Το LLaVA μοντέλο βασικής γραμμής ενσωματώνει το CLIP ως οπτικό κωδικοποιητή, μαζί με ένα γραμμικό επίπεδο προβολής που μετατρέπει τις οπτικές χαρακτηριστικές σε αντίστοιχες μαλακές εικόνες-tokens. Επιπλέον, για την επεξεργασία βίντεο, το πλαίσιο Uni-MoE επιλέγει οκτώ αντιπροσωπευτικές καρέ από κάθε βίντεο και τις μετατρέπει σε βίντεο-tokens μέσω της μέσης πισίνης για να συλλέξει την εικόνα- ή καρέ-βασισμένη αναπαράσταση. Για τις εργασίες ήχου, το πλαίσιο Uni-MoE αναπτύσσει δύο κωδικοποιητές, BEATs και τον κωδικοποιητή Whisper, για να βελτιώσει την εξαγωγή χαρακτηριστικών. Το μοντέλο στη συνέχεια αποσταλτώνει τα χαρακτηριστικά ήχου και τα σταθερά μήκη ομιλίας και τα χαρτογραφεί σε ήχο-tokens και μαλακές ήχου-αντίστοιχα μέσω ενός γραμμικού επιπέδου προβολής.

Στρατηγική Εκπαίδευσης

Το πλαίσιο Uni-MoE εισάγει eine προοδευτική στρατηγική εκπαίδευσης για την επέκταση του μοντέλου. Η προοδευτική στρατηγική εκπαίδευσης που εισάγεται προσπαθεί να αξιοποιήσει τις διαφορετικές ικανότητες των ειδικών, να βελτιώσει την αποτελεσματικότητα της συνεργασίας πολλών ειδικών και να ενισχύσει την γενίκευση του πλαισίου. Η διαδικασία εκπαίδευσης χωρίζεται σε τρεις φάσεις με την προσπάθεια να υλοποιήσει την MLLM δομή που είναι χτισμένη πάνω στην ενσωματωμένη Μίξη Ειδικών.

Στάδιο 1 : Ευθυγράμμιση Δια Moda

Στο πρώτο στάδιο, το πλαίσιο Uni-MoE προσπαθεί να καθιερώσει μια σύνδεση μεταξύ διαφορετικών γλωσσικών και modalities. Το πλαίσιο Uni-MoE επιτυγχάνει αυτό μετατρέποντας τα modal δεδομένα σε μαλακές tokens κατασκευάζοντας συνδεσμούς. Ο κύριος στόχος του πρώτου σταδίου εκπαίδευσης είναι να ελαχιστοποιήσει την απώλεια της γενετικής εντροπίας. Μέσα στο πλαίσιο Uni-MoE, το LLM είναι βελτιστοποιημένο για να παράγει περιγραφές για εισόδους σε διαφορετικές modalities, και το μοντέλο υποβάλλεται μόνο τους συνδεσμούς στην εκπαίδευση, μια στρατηγική που επιτρέπει στο πλαίσιο Uni-MoE να ενσωματώσει διαφορετικές modalities μέσα σε ένα ενοποιημένο γλωσσικό πλαίσιο.

Στάδιο 2: Εκπαίδευση Ειδικών με Δια Moda Δεδομένα

Στο δεύτερο στάδιο, το πλαίσιο Uni-MoE επικεντρώνεται στην ανάπτυξη μονο-modal ειδικών με την εκπαίδευση του μοντέλου αφοσιωμένα σε συγκεκριμένα δια moda δεδομένα. Ο κύριος στόχος είναι να βελτιώσει την ικανότητα κάθε ειδικού μέσα στο αντίστοιχο domaine, και έτσι να ενισχύσει την συνολική απόδοση του συστήματος Μίξης Ειδικών σε eine ευρεία ποικιλία πολυμορφικών δεδομένων. Επιπλέον, το πλαίσιο Uni-MoE προσαρμόζει τα δίκτυα feedforward για να ευθυγραμμιστεί πιο στενά με τις ιδιότητες της modality, διατηρώντας την απώλεια της γενετικής εντροπίας ως εστιακό μέτρο εκπαίδευσης.

Στάδιο 3: Ρύθμιση του Uni-MoE

Στο τρίτο και τελευταίο στάδιο, το πλαίσιο Uni-MoE ενσωματώνει τα βάρη που έχουν εκπαιδευτεί από τους ειδικούς κατά τη διάρκεια του 2ου σταδίου στην αρχιτεκτονική Μίξης Ειδικών. Το πλαίσιο Uni-MoE στη συνέχεια ρυθμίζει τα MLLMs χρησιμοποιώντας μικτά πολυμορφικά οδηγικά δεδομένα. Οι καμπύλες απώλειας στην ακόλουθη εικόνα αντανακλούν την πρόοδο της διαδικασίας εκπαίδευσης.

Συγκριτική ανάλυση μεταξύ των ρυθμίσεων της Μίξης Ειδικών αποκάλυψε ότι οι ειδικοί που το μοντέλο βελτίωσε κατά τη διάρκεια του 2ου σταδίου εκπαίδευσης εμφάνισαν βελτιωμένη σταθερότητα και επιτύγχαναν ταχύτερη σύγκλιση σε μικτά-modal δεδομένα. Επιπλέον, σε εργασίες που αφορούν σύνθετα πολυμορφικά δεδομένα, συμπεριλαμβανομένων κειμένου, εικόνας, ήχου, βίντεο, το πλαίσιο Uni-MoE επέδειξε πιο σταθερή απόδοση εκπαίδευσης και μειωμένη μεταβλητότητα απώλειας όταν χρησιμοποίησε τέσσερις ειδικούς παρά όταν χρησιμοποίησε δύο ειδικούς.

Uni-MoE : Πειράματα και Αποτελέσματα

Ο ακόλουθος πίνακας συνοψίζει τις αρχιτεκτονικές προδιαγραφές του πλαισίου Uni-MoE. Ο κύριος στόχος του πλαισίου Uni-MoE, που είναι χτισμένο πάνω στην αρχιτεκτονική LLaMA-7B, είναι να κλιμακωθεί το μέγεθος του μοντέλου.

Ο ακόλουθος πίνακας συνοψίζει το σχέδιο και την βελτίωση του πλαισίου Uni-MoE, όπως καθοδηγείται από εξειδικευμένες εργασίες εκπαίδευσης. Αυτές οι εργασίες είναι κρίσιμες για την ανάπτυξη των ικανοτήτων των στιβάδων MLP, αξιοποιώντας την εξειδικευμένη γνώση για την ενίσχυση της απόδοσης του μοντέλου. Το πλαίσιο Uni-MoE αναλαμβάνει οκτώ εργασίες εκπαίδευσης μονο-modal ειδικών για να επιδείξει τις διαφορετικές επιπτώσεις των διαφορετικών μεθόδων εκπαίδευσης.

Το μοντέλο αξιολογεί την απόδοση των διαφορετικών παραλλαγών του μοντέλου σε eine ευρεία ποικιλία βεντσών που περιλαμβάνει δύο εργασίες κατανόησης βίντεο, τρεις εργασίες κατανόησης ήχου και πέντε εργασίες ομιλίας. Πρώτα, το μοντέλο δοκιμάζεται στην ικανότητά του να κατανοήσει την ομιλία-εικόνα και την ομιλία-κείμενο, και τα αποτελέσματα περιέχονται στον ακόλουθο πίνακα.

Όπως φαίνεται, τα προηγούμενα μοντέλα βάσης παρέχουν κατώτερα αποτελέσματα σε εργασίες κατανόησης ομιλίας, που επηρεάζουν επίσης την απόδοση σε εργασίες λογικής εικόνας-ομιλίας. Τα αποτελέσματα δείχνουν ότι η εισαγωγή της αρχιτεκτονικής Μίξης Ειδικών μπορεί να βελτιώσει τη γενίκευση των MLLMs σε αόρατες εργασίες ομιλίας-εικόνας. Τα ακόλουθα αποτελέσματα δείχνουν τα πειραματικά αποτελέσματα σε εργασίες κατανόησης εικόνας-κειμένου. Όπως φαίνεται, τα καλύτερα αποτελέσματα από τα μοντέλα Uni-MoE υπερβαίνουν τα μοντέλα βάσης και υπερβαίνουν την εργασία εκπαίδευσης με ένα μέσο όρο 4 πόντων.

Τελικές Σκέψεις

Σε αυτό το άρθρο, μιλήσαμε για το Uni-MoE, ένα ενοποιημένο πολυμορφικό μεγάλο γλωσσικό μοντέλο με αρχιτεκτονική Μίξης Ειδικών ή MoE που είναι ικανό να χειρίζεται eine ευρεία ποικιλία modalities και ειδικών. Το πλαίσιο Uni-MoE εφαρμόζει επίσης eine σπάνια αρχιτεκτονική Μίξης Ειδικών μέσα στα μεγάλα γλωσσικά μοντέλα σε μια προσπάθεια να κάνει την εκπαίδευση και την εύρεση πιο αποτελεσματικές, χρησιμοποιώντας εξειδικευμένο μοντέλο παράλληλο και παράλληλο δεδομένων. Επιπλέον, για να βελτιώσει τη γενίκευση και τη συνεργασία πολλών ειδικών, το πλαίσιο Uni-MoE παρουσιάζει eine προοδευτική στρατηγική εκπαίδευσης που είναι eine συνδυασμός τριών διαφορετικών διαδικασιών. Στην πρώτη, το πλαίσιο Uni-MoE επιτυγχάνει την ευθυγράμμιση δια moda χρησιμοποιώντας διάφορους συνδεσμούς με διαφορετικά δια moda δεδομένα. Δεύτερον, το πλαίσιο Uni-MoE ενεργοποιεί την προτίμηση των ειδικών με την εκπαίδευση ειδικών με δια moda οδηγικά δεδομένα. Τέλος, το μοντέλο Uni-MoE εφαρμόζει τη τεχνική LoRA ή Low-Rank Adaptation σε μικτά πολυμορφικά οδηγικά δεδομένα για να điều chỉnh το μοντέλο.