Μοντέλα και πλατφόρμες AI

SALMONN: Προσέγγιση για Γενικές Ικανότητες Ακρόασης σε Μεγάλους Γλωσσικούς Μοντέλους

Kunal Kejriwal
Προσθέστε το Unite.AI στις προτιμώμενες πηγές σας στο Google
Βασικά σημείαΤο SALMONN ενσωματώνει κωδικοποιητές ομιλίας και ήχου με ένα LLM για να επεξεργάζεται…
Δείτε περισσότερα
  • Το SALMONN ενσωματώνει κωδικοποιητές ομιλίας και ήχου με ένα LLM για να επεξεργάζεται απευθείας μουσική, συμβάντα και ομιλία.
  • Το μοντέλο χρησιμοποιεί ένα νέο στάδιο ρύθμισης ενεργοποίησης για να ανακτήσει τις διασταυρούμενες λογικές ικανότητες που χάθηκαν κατά την εκπαίδευση.
  • Η αρχιτεκτονική του χρησιμοποιεί διπλούς κωδικοποιητές και έναν Q-Former για να ευθυγραμμίσει τον μεταβλητού μήκους ήχο με κείμενα-κουπόνια.

Η ακοή, δηλαδή η αντίληψη και κατανόηση γενικών ακουστικών πληροφοριών, είναι κρίσιμη για τους πράκτορες AI σε πραγματικά περιβάλλοντα. Οι πληροφορίες αυτές περιλαμβάνουν τρεις βασικούς τύπους ήχου: μουσική, ηχητικά συμβάντα και ομιλία. Πρόσφατα, τα μεγάλα γλωσσικά μοντέλα (LLM) που βασίζονται σε κείμενο επέδειξαν αξιοσημείωτες ικανότητες, με απόδοση επιπέδου ανθρώπου σε πολλές εργασίες επεξεργασίας φυσικής γλώσσας (NLP). Παράλληλα, έχει διαδοθεί η προσαρμογή μέσω οδηγιών: εκπαίδευση με ζεύγη απαντήσεων αναφοράς και προτροπών χρηστών, ώστε τα μοντέλα να ακολουθούν αποτελεσματικότερα ανοιχτές οδηγίες. Η σύγχρονη έρευνα επιδιώκει επίσης να τους προσδώσει ικανότητα αντίληψης πολυτροπικού περιεχομένου.

Σε αυτό το άρθρο εξετάζουμε το SALMONN ή Speech Audio Language Music Open Neural Network, ένα προηγμένο ανοικτό νευρωνικό δίκτυο για ομιλία, ήχο, γλώσσα και μουσική. Συνδυάζει κωδικοποιητές ομιλίας και ήχου με ένα προεκπαιδευμένο γλωσσικό μοντέλο κειμένου σε ένα ενιαίο πολυτροπικό μοντέλο ήχου–κειμένου. Επιτρέπει στα μεγάλα γλωσσικά μοντέλα να κατανοούν και να επεξεργάζονται απευθείας γενικές ηχητικές εισόδους. Παρέχει ανταγωνιστική απόδοση σε εργασίες που χρησιμοποιούνται στην εκπαίδευση: απάντηση ερωτήσεων από ακουστικές πληροφορίες, αναγνώριση και μετάφραση ομιλίας, επαλήθευση ομιλητή, αναγνώριση συναισθήματος και παραγωγή περιγραφών ήχου και μουσικής. Θα εξετάσουμε τη λειτουργία, την αρχιτεκτονική και τα αποτελέσματά του σε εργασίες NLP.

SALMONN: Εισαγωγή σε ένα ενιαίο πολυτροπικό μεγάλο γλωσσικό μοντέλο ήχου–κειμένου

Το SALMONN είναι το ακρωνύμιο του Speech Audio Language Music Open Neural Network. Πρόκειται για ένα ενιαίο πολυτροπικό γλωσσικό μοντέλο ήχου–κειμένου που αντιλαμβάνεται και κατανοεί ομιλία, ηχητικά συμβάντα και μουσική. Επιτρέπει στα LLM να επεξεργάζονται απευθείας γενικές ηχητικές εισόδους, με ανταγωνιστικά αποτελέσματα σε πολλές εργασίες ήχου και ομιλίας.

Για καλύτερη απόδοση τόσο στην ομιλία όσο και στους μη λεκτικούς ήχους, χρησιμοποιεί δύο κωδικοποιητές: τον κωδικοποιητή ήχου BEATs και έναν κωδικοποιητή ομιλίας από το Whisper. Ένας Q-Former επιπέδου παραθύρου, δηλαδή μετασχηματιστής ερωτημάτων, συνδέει τα μέρη του μοντέλου. Μετατρέπει μια ακολουθία εξόδου κωδικοποιητή μεταβλητού μήκους σε μεταβλητό αριθμό ενισχυμένων ακουστικών διακριτικών, επιτυγχάνοντας υψηλή χρονική ανάλυση για την ευθυγράμμιση ήχου και κειμένου. Η LoRA, ή προσαρμογή χαμηλής τάξης, λειτουργεί ως διατροπικός προσαρμογέας για το Vicuna, ευθυγραμμίζοντας τον χώρο εξόδου με τον ενισχυμένο χώρο εισόδου. Η ικανότητα εκτέλεσης διατροπικών εργασιών που δεν εμφανίστηκαν στην εκπαίδευση ονομάζεται διατροπική αναδυόμενη ικανότητα. Επειδή μπορεί να χαθεί κατά την εκπαίδευση μέσω οδηγιών, προστίθεται στάδιο προσαρμογής ενεργοποίησης με λίγα παραδείγματα για την ανάκτησή της.

Για την αξιολόγηση της γνωστικής ακρόασης χρησιμοποιούνται δοκιμασίες ηχητικών συμβάντων, μουσικής και ομιλίας, χωρισμένες σε τρία επίπεδα. Στο πρώτο υπάρχουν οκτώ εργασίες που χρησιμοποιούνται στην εκπαίδευση μέσω οδηγιών, όπως μετάφραση, περιγραφή ήχου και αναγνώριση ομιλίας. Τα άλλα δύο επίπεδα περιλαμβάνουν εργασίες στις οποίες το μοντέλο δεν έχει εκπαιδευτεί. Το δεύτερο περιέχει πέντε εργασίες NLP από ομιλία, όπως συμπλήρωση πεδίων και μετάφραση σε μη εκπαιδευμένες γλώσσες, βασισμένες σε υψηλής ποιότητας πολυγλωσσική ευθυγράμμιση διακριτικών κειμένου και ομιλίας. Το τρίτο εξετάζει την κατανόηση λεκτικών και μη λεκτικών ακουστικών πληροφοριών για κοινή συλλογιστική και αφήγηση από ήχο.

Συνοπτικά, το SALMONN αποτελεί:

  1. Το πρώτο πολυτροπικό μεγάλο γλωσσικό μοντέλο που επιδιώκει να κατανοεί και να αντιλαμβάνεται γενικές ηχητικές εισόδους, συμπεριλαμβανομένων ηχητικών συμβάντων, ομιλίας και μουσικής, στον μέγιστο δυνατό βαθμό.
  2. Μια προσπάθεια ανάλυσης των διατροπικών αναδυόμενων ικανοτήτων μέσω του συντελεστή κλιμάκωσης LoRA και ενός πρόσθετου, οικονομικού σταδίου ενεργοποίησης κατά την εκπαίδευση.

SALMONN: Αρχιτεκτονική και μεθοδολογία

Ακολουθεί η αρχιτεκτονική, η μέθοδος εκπαίδευσης και η πειραματική διάταξη του SALMONN.

Αρχιτεκτονική μοντέλου

Το μοντέλο συγχρονίζει και συνδυάζει τις εξόδους δύο ακουστικών κωδικοποιητών και εφαρμόζει έναν Q-Former σε επίπεδο καρέ ως μονάδα σύνδεσης. Η ακολουθία που παράγει συνδυάζεται με κειμενικές προτροπές οδηγιών και δίνεται στην προσέγγιση προσαρμογής LoRA για την παραγωγή της απάντησης.

Ακουστικοί κωδικοποιητές

Το SALMONN χρησιμοποιεί τον BEATs για μη λεκτικό ήχο και έναν κωδικοποιητή ομιλίας από το Whisper της OpenAI. Ο BEATs εκπαιδεύεται με επαναληπτική αυτοεπιβλεπόμενη μάθηση για εξαγωγή σημασιολογικών πληροφοριών υψηλού επιπέδου από μη λεκτικούς ήχους. Ο κωδικοποιητής ομιλίας εκπαιδεύεται σε μεγάλο όγκο ασθενώς επιβλεπόμενων δεδομένων αναγνώρισης και μετάφρασης ομιλίας, με χαρακτηριστικά εξόδου που μπορούν να περιλαμβάνουν θόρυβο παρασκηνίου και ομιλία. Το μοντέλο αρχικά μετατρέπει την ηχητική είσοδο σε διακριτικά και, κατά την εκπαίδευση, αποκρύπτει και προβλέπει διακριτικά. Τα χαρακτηριστικά των δύο κωδικοποιητών αλληλοσυμπληρώνονται και εξυπηρετούν λεκτικές και μη λεκτικές πληροφορίες.

Q-Former επιπέδου παραθύρου

Ο Q-Former χρησιμοποιείται συχνά στα LLM για μετατροπή της εξόδου κωδικοποιητή εικόνας σε κειμενικά διακριτικά εισόδου. Για ακουστικά διακριτικά μεταβλητού μήκους απαιτούνται τροποποιήσεις. Συγκεκριμένα, η έξοδος του κωδικοποιητή εικόνας αντιμετωπίζεται ως συνενωμένη ακολουθία. Ο Q-Former χρησιμοποιεί σταθερό αριθμό εκπαιδεύσιμων ερωτημάτων και διαδοχικά στοιβαγμένα μπλοκ για να τη μετατρέψει σε κειμενικά διακριτικά. Κάθε μπλοκ μοιάζει με αποκωδικοποιητή Transformer, αλλά αφαιρεί τις αιτιακές μάσκες από τα επίπεδα αυτοπροσοχής και χρησιμοποιεί σταθερό αριθμό εκπαιδεύσιμων στατικών ερωτημάτων στα αρχικά μπλοκ.

LoRA και LLM

Το SALMONN χρησιμοποιεί επίσης το Vicuna, ένα γλωσσικό μοντέλο LLaMA που έχει προσαρμοστεί ώστε να ακολουθεί οδηγίες με μεγαλύτερη ακρίβεια και αποτελεσματικότητα. Η LoRA είναι διαδεδομένη μέθοδος προσαρμογής αποδοτικής ως προς τις παραμέτρους. Εφαρμόζεται στους πίνακες βαρών ερωτημάτων και τιμών των επιπέδων αυτοπροσοχής.

Μέθοδος εκπαίδευσης

Το SALMONN ακολουθεί διατροπική εκπαίδευση τριών σταδίων. Περιλαμβάνει προεκπαίδευση και προσαρμογή μέσω οδηγιών, όπως τα περισσότερα οπτικά LLM, καθώς και πρόσθετη προσαρμογή ενεργοποίησης για την αντιμετώπιση της υπερπροσαρμογής σε περιγραφή ήχου και αναγνώριση ομιλίας.

Στάδιο προεκπαίδευσης

Για να περιοριστεί το χάσμα μεταξύ προεκπαιδευμένων παραμέτρων, στους κωδικοποιητές και το LLM, και τυχαία αρχικοποιημένων παραμέτρων, στους προσαρμογείς και τις μονάδες σύνδεσης, χρησιμοποιούνται πολλά δεδομένα περιγραφής ήχου και αναγνώρισης ομιλίας για προεκπαίδευση των LoRA και Q-Former. Οι εργασίες περιέχουν βασικές ακουστικές πληροφορίες για λεκτικά και μη λεκτικά ηχητικά συμβάντα. Δεν απαιτούν σύνθετη κατανόηση ή συλλογιστική για να μαθευτεί η ευθυγράμμιση κειμένου και ήχου.

Στάδιο προσαρμογής μέσω οδηγιών

Όπως στα NLP και οπτικά LLM, χρησιμοποιούνται ηχητικά συμβάντα, μουσικές εργασίες και συμβάντα ομιλίας για προσαρμογή σε οδηγίες ήχου–κειμένου. Οι εργασίες ιεραρχούνται βάσει της σημασίας τους σε δοκιμές, όπως αναγνώριση φωνημάτων, αναγνώριση επικαλυπτόμενης ομιλίας και περιγραφή μουσικής. Οι κειμενικές πληροφορίες που συνδυάζονται με ηχητικά δεδομένα αποτελούν τη βάση για τις προτροπές οδηγιών.

Υπερπροσαρμογή στις εργασίες

Ακόμη και με τα δύο πρώτα στάδια, το SALMONN δίνει ανταγωνιστικά αποτελέσματα στις εργασίες προσαρμογής μέσω οδηγιών. Υστερεί όμως σε διατροπικές εργασίες, ιδίως όσες απαιτούν κοινή συλλογιστική. Μερικές φορές παραβιάζει τις οδηγίες, παράγοντας άσχετες ή λανθασμένες απαντήσεις. Το φαινόμενο ονομάζεται υπερπροσαρμογή στις εργασίες και αντιμετωπίζεται με προσαρμογή ενεργοποίησης.

Στάδιο προσαρμογής ενεργοποίησης

Μια αποτελεσματική λύση είναι η κανονικοποίηση των εγγενών υπό συνθήκη γλωσσικών μοντέλων με μεγαλύτερες και πιο ποικίλες απαντήσεις, όπως αφηγήσεις ή απαντήσεις σε ερωτήσεις από ακουστικές πληροφορίες. Τα ζεύγη δεδομένων εκπαίδευσης δημιουργούνται με κείμενα που συνδυάζονται με περιγραφές ήχου, ομιλίας ή μουσικής.

Προδιαγραφές εργασιών

Για αξιολόγηση των διατροπικών αναδυόμενων ικανοτήτων χωρίς προηγούμενα παραδείγματα (zero-shot), οι δημιουργοί συμπεριέλαβαν 15 εργασίες ομιλίας, ήχου και μουσικής, σε τρία επίπεδα.

Επίπεδο 1

Οι εργασίες του πρώτου επιπέδου χρησιμοποιούνται στην προσαρμογή μέσω οδηγιών και είναι συνεπώς οι ευκολότερες για το SALMONN.

Επίπεδο 2

Το δεύτερο επίπεδο περιέχει μη εκπαιδευμένες εργασίες, δυσκολότερες από εκείνες του πρώτου. Πρόκειται για NLP από ομιλία, όπως εξαγωγή συγκεκριμένων λέξεων-κλειδιών για αξιολόγηση της ακρίβειας. Η απάντηση σε προφορικά ερωτήματα (SQQA) αξιολογεί τις γενικές γνώσεις που αξιοποιούνται από προφορικές ερωτήσεις. Η συμπλήρωση πεδίων από ομιλία (SF) εξετάζει την ακρίβεια των τιμών τους. Περιλαμβάνονται επίσης δύο εργασίες μετάφρασης ομιλίας (AST), από αγγλικά σε γερμανικά και από αγγλικά σε ιαπωνικά.

Επίπεδο 3

Το τρίτο επίπεδο έχει τη μεγαλύτερη πολυπλοκότητα. Περιλαμβάνει κοινή συλλογιστική ομιλίας–ήχου (SAC) και αφήγηση από ήχο. Στο SAC, το μοντέλο πρέπει να κατανοήσει μια ερώτηση μέσα σε ηχητικό απόσπασμα, να βρει υποστηρικτικά στοιχεία από ηχητικά συμβάντα ή μουσική παρασκηνίου και να διατυπώσει κατάλληλη αιτιολόγηση για την απάντηση. Στην αφήγηση παράγει μια ιστορία με νόημα από τις ακουστικές πληροφορίες γενικών ηχητικών εισόδων.

Αποτελέσματα

Εργασίες επιπέδου 1

Ο πίνακας δείχνει ανταγωνιστικά αποτελέσματα στις εργασίες επιπέδου 1, τόσο με όσο και χωρίς προσαρμογή ενεργοποίησης.

Εργασίες επιπέδων 2 και 3

Παρότι το SALMONN αποδίδει ανταγωνιστικά στο πρώτο επίπεδο ακόμη και χωρίς προσαρμογή, χωρίς ενεργοποίηση υπερπροσαρμόζεται έντονα στις εργασίες των επιπέδων 2 και 3. Η απόδοση πέφτει περισσότερο στις SQQA, SAC και αφήγηση, που δίνουν έμφαση στις πολυτροπικές αλληλεπιδράσεις, και το μοντέλο δυσκολεύεται να ακολουθήσει οδηγίες. Με προσαρμογή ενεργοποίησης τα αποτελέσματα βελτιώνονται σημαντικά, όπως φαίνεται παρακάτω.

Μείωση του συντελεστή κλιμάκωσης LoRA

Η δοκιμή εξετάζει πώς η μείωση του συντελεστή κλιμάκωσης LoRA κατά τον έλεγχο περιορίζει την υπερπροσαρμογή στις εργασίες. Η μείωσή του σε 2.0 βελτιώνει τη διατροπική συλλογιστική του SALMONN στις εργασίες ASR και PR, SQQA, αφήγησης και SAC, όπως δείχνει η εικόνα.

Αξιολόγηση της υπερπροσαρμογής στις εργασίες

Για να εξετάσει τον ρόλο της προσαρμογής ενεργοποίησης, το SALMONN αναλύει τις αλλαγές στην αμηχανία (perplexity) στα τρία στάδια εκπαίδευσης. Οι τελικές τιμές στις AAC και ASR είναι χαμηλές μετά το πρώτο στάδιο, υποδεικνύοντας ότι το μοντέλο έμαθε τις διατροπικές ευθυγραμμίσεις.

Η αμηχανία της PR μειώνεται επίσης μετά την προσαρμογή μέσω οδηγιών, λόγω της εξάρτησης από τη LoRA για την εκμάθηση διακριτικών εξόδου. Παρότι η προσαρμογή μέσω οδηγιών μειώνει την αμηχανία στην αφήγηση και στο SAC, το χάσμα παραμένει υπερβολικά μεγάλο για επιτυχή εκτέλεση χωρίς πρόσθετο στάδιο ενεργοποίησης ή αφαίρεση της LoRA.

Προσαρμογή ενεργοποίησης

Το SALMONN εξετάζει εκπαίδευση σε κειμενικά ζεύγη ερωτήσεων–απαντήσεων με μεγάλες απαντήσεις, μεγάλες γραπτές ιστορίες βασισμένες σε ήχο και μεγάλες απομαγνητοφωνήσεις για ASR. Οι Q-Former και LoRA προσαρμόζονται με αυτές τις τρεις μεθόδους. Εξετάζεται επίσης παράλειψη των εισόδων ήχου και Q-Former και προσαρμογή των LoRA και Vicuna ως προσαρμοζόμενου γλωσσικού μοντέλου κειμένου. Όπως δείχνουν τα αποτελέσματα, δεν επιτυγχάνεται ενεργοποίηση με ASR και μεγάλες ετικέτες, ούτε με εκπαίδευση μόνο της LoRA από κειμενικές προτροπές για ιστορίες ή κειμενικές ερωταποκρίσεις.

Τελικές σκέψεις

Εξετάσαμε το SALMONN, ένα ενιαίο πολυτροπικό γλωσσικό μοντέλο ήχου–κειμένου που αντιλαμβάνεται και κατανοεί ομιλία, ηχητικά συμβάντα και μουσική. Δίνει στα μεγάλα γλωσσικά μοντέλα δυνατότητα άμεσης κατανόησης και επεξεργασίας γενικών ηχητικών εισόδων, με ανταγωνιστική απόδοση σε πολλές εργασίες ήχου και ομιλίας.

Αποδίδει ανταγωνιστικά σε εκπαιδευμένες εργασίες, όπως περιγραφή ήχου, μετάφραση και αναγνώριση ομιλίας, και γενικεύει σε μη εκπαιδευμένες εργασίες κατανόησης, όπως εξαγωγή λέξεων-κλειδιών από ομιλία και μετάφραση σε μη εκπαιδευμένες γλώσσες. Οι δυνατότητές του το καθιστούν επόμενο βήμα προς γενικότερες ακουστικές ικανότητες των μεγάλων γλωσσικών μοντέλων.

Ο Kunal Kejriwal είναι μηχανικός back‑end που ειδικεύεται στην Python, PostgreSQL, Redis και στην υποδομή cloud στο GCP και το AWS. Με τρία χρόνια εμπειρίας στην κατασκευή και κλιμάκωση συστημάτων παραγωγής, γράφει για την υποδομή AI, τα κατανεμημένα συστήματα και την αρχιτεκτονική πίσω από την ανάπτυξη φορτίων εργασίας μηχανικής μάθησης.