Η ακρόαση, η οποία αφορά την αντίληψη και κατανόηση γενικής ακουστικής πληροφορίας, είναι κρίσιμη για τους πράκτορες του AI σε πραγματικά περιβάλλοντα. Αυτή η ακουστική πληροφορία περιλαμβάνει τρεις основικές κατηγορίες ήχου: μουσική, ακουστικές εκδηλώσεις και ομιλία. Πρόσφατα, τα κείμενο-βασισμένα πλαίσια Μεγάλων Λειτουργικών Μοντέλων Γλώσσας (LLM) έχουν δείξει εξαιρετικές ικανότητες, επιτυγχάνοντας επίπεδο ανθρώπινης απόδοσης σε eine ευρεία γκάμα εργασιών Επεξεργασίας Φυσικής Γλώσσας (NLP). Επιπλέον, η συντονισμένη εκπαίδευση, μια μέθοδος εκπαίδευσης που χρησιμοποιεί ζευγάρια αναφοράς απαντήσεων και προτροπών χρήστη, έχει γίνει δημοφιλής. Αυτή η προσέγγιση εκπαιδεύει τα μεγάλα μοντέλα γλώσσας να ακολουθούν πιο αποτελεσματικά ανοικτές προτροπές χρήστη. Ωστόσο, η τρέχουσα έρευνα εστιάζεται ολοένα και περισσότερο στην ενίσχυση των μεγάλων μοντέλων γλώσσας με την ικανότητα να αντιλαμβάνονται πολυμεσική περιεχόμενο.

Εστιάζοντας στο ίδιο, σε αυτό το άρθρο, θα μιλήσουμε για το SALMONN ή Speech Audio Language Music Open Neural Network, ένα μοντέλο ανοιχτής νευρωνικής δικτύου ομιλίας, ήχου, γλώσσας και μουσικής που κατασκευάζεται με την ενσωμάτωση κωδικοποιητών ομιλίας και ήχου με ένα προ-εκπαιδευμένο κείμενο-βασισμένο μεγάλο μοντέλο γλώσσας σε ένα ενιαίο πολυμεσικό μοντέλο. Το μοντέλο SALMONN ermögňuje τα Μεγάλα Λειτουργικά Μοντέλα Γλώσσας να κατανοούν και να επεξεργάζονται γενικές ακουστικές εισόδους απευθείας, και να παρέχουν ανταγωνιστική απόδοση σε eine ευρεία γκάμα εργασιών ήχου και ομιλίας που χρησιμοποιούνται στην εκπαίδευση, συμπεριλαμβανομένων εργασιών που βασίζονται σε ακουστική πληροφορία, όπως η απάντηση σε ερωτήσεις, η αναγνώριση ομιλίας και μετάφραση, η επαλήθευση ομιλητή, η αναγνώριση συναισθήματος, η περιγραφή ήχου και μουσικής, και πολλά άλλα. Θα αναλύσουμε το πλαίσιο SALMONN, και θα εξετάσουμε την αρχιτεκτονική και τα αποτελέσματα του σε eine ευρεία γκάμα εργασιών NLP. Έτσι, ας ξεκινήσουμε.

SALMONN : Μια Εισαγωγή στα Μοντέλα Πολυμεσικής Γλώσσας

Το SALMONN αντιπροσωπεύει το Speech Audio Language Music Open Neural Network, και είναι ένα μοντέλο πολυμεσικής γλώσσας που μπορεί να αντιλαμβάνεται και να κατανοεί τρεις βασικές κατηγορίες ήχου, συμπεριλαμβανομένης της ομιλίας, των ακουστικών εκδηλώσεων και της μουσικής. Το μοντέλο SALMONN ermögίζει τα Μεγάλα Λειτουργικά Μοντέλα Γλώσσας να κατανοούν και να επεξεργάζονται γενικές ακουστικές εισόδους απευθείας, και να παρέχουν ανταγωνιστική απόδοση σε eine ευρεία γκάμα εργασιών ήχου και ομιλίας.

Για να ενισχύσει την απόδοσή του σε εργασίες ομιλίας και μη ομιλίας, το πλαίσιο SALMONN χρησιμοποιεί μια δυαδική δομή κωδικοποιητή που αποτελείται από einen κωδικοποιητή BEATs ήχου και einen κωδικοποιητή ομιλίας από το μοντέλο Whisper. Επιπλέον, το πλαίσιο SALMONN χρησιμοποιεί ένα Q-Former σε επίπεδο παραθύρου ως μονάδα σύνδεσης για να μετατρέψει μια ακολουθία εξόδου μεταβλητού μήκους σε增ημένα ακουστικά σύμβολα μεταβλητού αριθμού, και τελικά να επιτύχει υψηλή χρονική ανάλυση για την ευθυγράμμιση ήχου-κείμενου. Η LoRA ή Low Rank Adaptation χρησιμοποιείται ως δια-μοντέλο προσαρμογέας στο πλαίσιο Vicuna για να ευθυγραμμίσει τον χώρο εξόδου με τον增ημένο χώρο εισόδου, με σκοπό να ενισχύσει την απόδοσή του. Στο πλαίσιο SALMONN, η ικανότητα να εκτελεί δια-μοντέλο εργασίες που δεν έχουν δει κατά την εκπαίδευση, χάνεται κατά την εκπαίδευση των οδηγιών ως δια-μοντέλο εmergent ικανότητες, και γι’ αυτό το λόγο, το πλαίσιο SALMONN εφαρμόζει ένα επιπλέον στάδιο ενεργοποίησης για να ανακτήσει τις γενικές εmergent ικανότητες του πλαισίου LLM.

Επιπλέον, το πλαίσιο χρησιμοποιεί eine ευρεία γκάμα ακουστικών εκδηλώσεων, μουσικών προτύπων και προτύπων ομιλίας για να αξιολογήσει τις γνωστικές ακουστικές ικανότητές του, και διαιρεί τα πρότυπα σε τρία επίπεδα. Στο πρώτο επίπεδο, το πλαίσιο εκπαιδεύει οκτώ εργασίες σε οδηγίες εκπαίδευσης, συμπεριλαμβανομένης της μετάφρασης, της περιγραφής ήχου και της αναγνώρισης ομιλίας. Τα άλλα δύο επίπεδα είναι εργασίες που δεν έχουν εκπαιδευτεί, και το δεύτερο επίπεδο αποτελείται από πέντε εργασίες NLP που βασίζονται στην ομιλία, όπως η εξαγωγή slot και η μετάφραση σε μη εκπαιδευμένες γλώσσες, που βασίζονται σε υψηλής ποιότητας πολυγλωσσικές ευθυγραμμίσεις μεταξύ κειμένου και ομιλίας. Οι εργασίες του τρίτου επιπέδου επιδιώκουν να κατανοήσουν την ομιλία και τις μη ομιλίες ακουστικές πληροφορίες για την ομιλία-ήχου συλλογισμό και την αφήγηση ιστοριών βασισμένων στον ήχο.

Για να συνοψίσουμε, το πλαίσιο SALMONN είναι

1. Το πρώτο πολυμεσικό μεγάλο μοντέλο γλώσσας που μπορεί να κατανοήσει και να αντιλαμβανθεί γενικές ακουστικές εισόδους, συμπεριλαμβανομένων ακουστικών εκδηλώσεων, ομιλίας και μουσικής, στο μέγιστο της ικανότητάς του.
2. Μια προσπάθεια να αναλύσει τις δια-μοντέλο εmergent ικανότητες που προσφέρονται με την εφαρμογή του LoRA scaling factor, και με την χρήση ενός επιπλέον οικονομικού σταδίου ενεργοποίησης κατά την εκπαίδευση για να ενεργοποιήσει τις δια-μοντέλο εmergent ικανότητες του πλαισίου.

SALMONN : Αρχιτεκτονική και Μεθοδολογία

Σε αυτό το τμήμα, θα εξετάσουμε την αρχιτεκτονική, τη μέθοδο εκπαίδευσης και το πειραματικό στήσιμο για το πλαίσιο SALMONN.

Αρχιτεκτονική Μοντέλου

Στην καρδιά της αρχιτεκτονικής του, το πλαίσιο SALMONN συγχρονίζει και συνδυάζει τις εξόδους από δύο ακουστικούς κωδικοποιητές, και στη συνέχεια εφαρμόζει einen Q-Former σε επίπεδο πλαισίου ως μονάδα σύνδεσης. Η ακολουθία εξόδου που παράγεται από τον Q-Former συνδυάζεται με προτροπές κειμένου και στη συνέχεια παρέχεται ως είσοδος στην προσέγγιση LoRA adaptation για να παράγει την απαιτούμενη απάντηση.

Ακουστικοί Κωδικοποιητές

Το πλαίσιο SALMONN χρησιμοποιεί δύο ακουστικούς κωδικοποιητές: einen μη ομιλίας κωδικοποιητή BEATs ήχου, και einen κωδικοποιητή ομιλίας από το μοντέλο Whisper. Ο κωδικοποιητής BEATs ήχου εκπαιδεύεται να χρησιμοποιήσει την αυτο-επιβεβλημένη επαναληπτική μάθηση για να εξαγάγει μη ομιλίες υψηλού επιπέδου ακουστικές σημασιολογίες, ενώ ο κωδικοποιητής ομιλίας εκπαιδεύεται σε eine μεγάλη ποσότητα αδύναμης εποπτείας δεδομένων για εργασίες αναγνώρισης και μετάφρασης ομιλίας, με τα χαρακτηριστικά εξόδου του κωδικοποιητή να είναι κατάλληλα για να περιλαμβάνουν θόρυβο και πληροφορίες ομιλίας. Το μοντέλο πρώτα αναλύει την είσοδο ήχου, και στη συνέχεια το mask και το προβλέπει κατά την εκπαίδευση. Τα ακουστικά χαρακτηριστικά αυτών των δύο κωδικοποιητών συμπληρώνουν ο ένας τον άλλον, και είναι κατάλληλα και για ομιλία και για μη ομιλία πληροφορίες.

Q-Former σε Επίπεδο Πλαισίου

Η εφαρμογή της δομής Q-Former είναι eine κοινή προσέγγιση που χρησιμοποιείται στα πλαίσια LLM για να μετατρέψει την έξοδο ενός κωδικοποιητή εικόνας σε κειμενικά σύμβολα, και κάποια τροποποίηση είναι απαραίτητη όταν αντιμετωπίζουμε ακουστικά σύμβολα μεταβλητού μήκους. Για να seja πιο συγκεκριμένος, το πλαίσιο θεωρεί την έξοδο του κωδικοποιητή της εισόδου εικόνας ως μια συνδεδεμένη ακολουθία εξόδου κωδικοποιητή, και ο Q-Former αναπτύσσει einen σταθερό αριθμό εκπαιδεύσιμων ερωτημάτων για να μετατρέψει την ακολουθία εξόδου κωδικοποιητή σε κειμενικά σύμβολα χρησιμοποιώντας στοιβάζοντες μπλοκ Q-Former. Ένα στοιβάζον μπλοκ Q-Former μοιάζει με einen μπλοκ αποκωδικοποιητή Transformer με τις εξαιρέσεις που είναι η αφαίρεση των casual μασκών στις αυτο-προσοχές στρώσεις, και η χρήση eines σταθερού αριθμού εκπαιδεύσιμων στατικών ερωτημάτων στις αρχικές στρώσεις.

LoRA και LLM

Το πλαίσιο SALMONN εφαρμόζει επίσης einen Vicuna LLM, который είναι ένα μεγάλο μοντέλο γλώσσας LLaMA που έχει επιτυχηθεί για να ακολουθήσει οδηγίες πιο αποτελεσματικά. Η προσέγγιση LoRA είναι eine κοινή μέθοδος που χρησιμοποιείται για την εκπαίδευση παραμέτρων, και η ένταξή της στο πλαίσιο SALMONN για να αξιολογήσει τις βαρύτητες και να προσαρμόσει την ερώτηση στις αυτο-προσοχές στρώσεις.

Μέθοδος Εκπαίδευσης

Το πλαίσιο SALMONN χρησιμοποιεί eine τρι-στάδιο δια-μοντέλο εκπαίδευσης. Το στάδιο εκπαίδευσης αποτελείται από ένα στάδιο προ-εκπαίδευσης, και ένα στάδιο οδηγίας που περιλαμβάνονται στα περισσότερα οπτικά πλαίσια LLM, και ένα επιπλέον στάδιο ενεργοποίησης εφαρμόζεται για να επιλύσει προβλήματα υπερ-προσαρμογής που αντιμετωπίζονται κατά τις εργασίες περιγραφής ήχου και αναγνώρισης ομιλίας.

Στάδιο Προ-Εκπαίδευσης

Για να περιοριστεί η διαφορά που παρατηρείται μεταξύ προ-εκπαιδευμένων παραμέτρων, συμπεριλαμβανομένων κωδικοποιητών και LLM, και τυχαία αρχικοποιημένων παραμέτρων, συμπεριλαμβανομένων προσαρμογέων και μονάδων σύνδεσης, το πλαίσιο SALMONN χρησιμοποιεί eine μεγάλη ποσότητα δεδομένων περιγραφής ήχου και αναγνώρισης ομιλίας για να προ-εκπαιδεύσει τις συνιστώσες LoRA και Q-Former. Αυτές οι εργασίες περιέχουν κρίσιμες ακουστικές πληροφορίες για τα βασικά περιεχόμενα των ακουστικών εκδηλώσεων, τόσο ομιλίας όσο και μη ομιλίας, και καμία από αυτές δεν απαιτεί σύνθετη κατανόηση ή συλλογισμό για να μάθει την ευθυγράμμιση μεταξύ κειμένου και ήχου.

Στάδιο Οδηγίας

Το στάδιο οδηγίας που εφαρμόζεται στο πλαίσιο SALMONN μοιάζει με εκείνο που εφαρμόζεται στα πλαίσια NLP και οπτικών LLM, χρησιμοποιώντας eine λίστα ακουστικών εκδηλώσεων, μουσικών εργασιών και εργασιών ομιλίας για να οδηγήσει τις οδηγίες ήχου-κείμενου. Οι εργασίες προτεραιοποιούνται με βάση τη σημασία τους σε διάφορες δοκιμές, συμπεριλαμβανομένης της αναγνώρισης τηλεφώνου, της αναγνώρισης ομιλίας και των μουσικών περιγραφών. Επιπλέον, κειμενικές πληροφορίες που ζευγαρώνονται με δεδομένα ήχου αποτελούν τη βάση για τη δημιουργία οδηγικών προτροπών.

Υπερ-Προσαρμογή Εργασιών

Ακόμη και όταν εφαρμόζονται μόνο τα δύο πρώτα στάδια εκπαίδευσης, το πλαίσιο SALMONN παρέχει ανταγωνιστικά αποτελέσματα στις εργασίες οδηγίας, αν και η απόδοση δεν είναι στο μέγιστο όταν εκτελεί δια-μοντέλο εργασίες, ιδιαίτερα σε εργασίες που απαιτούν δια-μοντέλο συλλογισμό. Συγκεκριμένα, το μοντέλο παραβιάζει đôi και då τις οδηγίες που οδηγούν στην παραγωγή μη σχετικών ή λανθασμένων απαντήσεων, και αυτό το φαινόμενο ονομάζεται υπερ-προσαρμογή εργασιών στο πλαίσιο SALMONN, και το στάδιο ενεργοποίησης εφαρμόζεται για να επιλύσει αυτά τα προβλήματα υπερ-προσαρμογής.

Στάδιο Ενεργοποίησης

Μια αποτελεσματική προσέγγιση για να επιλύσει προβλήματα υπερ-προσαρμογής είναι να κανονικοποιήσει τους εσωτερικούς συνθηκτικούς γλωσσικούς μοντέλους χρησιμοποιώντας μακρύτερες και πιο ποικίλες απαντήσεις, όπως η αφήγηση ιστοριών ή η απάντηση σε ερωτήσεις που βασίζονται σε ακουστικές πληροφορίες. Το πλαίσιο στη συνέχεια δημιουργεί τα ζευγάρια δεδομένων εκπαίδευσης για τέτοιες εργασίες χρησιμοποιώντας κειμενικές πληροφορίες που ζευγαρώνονται με ήχο, ομιλία ή μουσικές περιγραφές.

Προδιαγραφές Εργασιών

Για να αξιολογήσει τις δια-μοντέλο εmergent ικανότητες του SALMONN, οι développers έχουν περιλαμβάνει 15 εργασίες ομιλίας, ήχου και μουσικής που διαιρούνται σε τρία επίπεδα.

Επίπεδο 1

Στο πρώτο επίπεδο, οι εργασίες χρησιμοποιούνται για οδηγίες, και επομένως, είναι οι πιο εύκολες εργασίες που το πλαίσιο SALMONN πρέπει να εκτελέσει.

Επίπεδο 2

Το δεύτερο επίπεδο αποτελείται από εργασίες που δεν έχουν εκπαιδευτεί, και το επίπεδο δυσκολίας είναι υψηλότερο σε σύγκριση με τις εργασίες του επιπέδου 1. Στο επίπεδο 2, οι εργασίες είναι εργασίες NLP που βασίζονται στην ομιλία, όπως η εξαγωγή λέξεων-κλειδιών που χρησιμοποιείται για να αξιολογήσει την ακρίβεια του πλαισίου στην εξαγωγή ορισμένων λέξεων-κλειδιών χρησιμοποιώντας ομιλία, η SQQA ή η απάντηση σε ερωτήσεις που βασίζονται σε ομιλία, η οποία αξιολογεί τη γνώση που εξάγει το πλαίσιο χρησιμοποιώντας ερωτήσεις ομιλίας, μια εργασία SF ή Slot Filling που βασίζεται στην ομιλία για να αξιολογήσει την ακρίβεια των τιμών slot, και τελικά, υπάρχουν δύο εργασίες AST για μεταφράσεις από αγγλικά σε γερμανικά και αγγλικά σε ιαπωνικά.

Επίπεδο 3

Η δυσκολία των εργασιών στο επίπεδο 3 είναι η μεγαλύτερη σε σύγκριση με τα άλλα δύο επίπεδα, και περιλαμβάνει εργασίες SAC ή ομιλία-ήχου συλλογισμό, και αφήγηση ιστοριών βασισμένων στον ήχο. Η εργασία SAC απαιτεί από το πλαίσιο SALMONN να κατανοήσει μια ερώτηση που περιλαμβάνεται στην ακουστική κλίση που παρέχεται στο μοντέλο, να βρει υποστηρικτικά στοιχεία χρησιμοποιώντας ακουστικές εκδηλώσεις ή μουσική στο υπόβαθρο, και τελικά να παράγει μια κατάλληλη αιτία για να απαντήσει στην ερώτηση. Οι εργασίες αφήγησης ιστοριών που βασίζονται στον ήχο απαιτούν από το μοντέλο να παράγει μια σημαντική ιστορία με βάση τις ακουστικές πληροφορίες που προέρχονται από γενικές ακουστικές εισόδους.

Αποτελέσματα

Εργασίες Επίπεδου 1

Ο παρακάτω πίνακας δείχνει τα αποτελέσματα στις εργασίες του επιπέδου 1, και όπως μπορεί να παρατηρηθεί, το πλαίσιο SALMONN επιστρέφει ανταγωνιστικά αποτελέσματα στις εργασίες του επιπέδου 1 με ή χωρίς ενεργοποίηση.

Εργασίες Επίπεδου 2 και 3

Αν και το πλαίσιο SALMONN επιστρέφει ανταγωνιστικά αποτελέσματα στις εργασίες του επιπέδου 1 ακόμη και χωρίς την ενεργοποίηση, το ίδιο δεν μπορεί να ειπωθεί για τις εργασίες των επιπέδων 2 και 3, καθώς χωρίς ενεργοποίηση, το πλαίσιο SALMONN υποφέρει nặngία από υπερ-προσαρμογή στις εργασίες. Η απόδοση μειώνεται ακόμη περισσότερο στις εργασίες SQQA, SAC και αφήγησης ιστοριών, με έμφαση στις πολυμεσικές αλληλεπιδράσεις, και το πλαίσιο SALMONN δυσκολεύεται να ακολουθήσει οδηγίες χωρίς ενεργοποίηση. Ωστόσο, με την ενεργοποίηση, τα αποτελέσματα βελτιώνονται σημαντικά, και τα αποτελέσματα περιλαμβάνονται στην ακόλουθη εικόνα.

Μείωση του Συντελεστή LoRA

Η μείωση του συντελεστή LoRA αξιολογεί την επίδραση της χρήσης του LoRA scaling factor για να ελαττώσει τα προβλήματα υπερ-προσαρμογής στις εργασίες. Όπως μπορεί να παρατηρηθεί στην ακόλουθη εικόνα, μια μείωση του συντελεστή LoRA σε 2,0 αυξάνει την δια-μοντέλο συλλογιστική ικανότητα του πλαισίου SALMONN στις εργασίες ASR και PR, SQQA, αφήγησης ιστοριών και SAC, αντίστοιχα.

Αξιολόγηση Υπερ-Προσαρμογής Εργασιών

Για να τονίσει την ενεργοποίηση, το πλαίσιο SALMONN αναλύει τις αλλαγές στην αμηχανία κατά τη διάρκεια των τριών σταδίων εκπαίδευσης, και όπως μπορεί να παρατηρηθεί στην ακόλουθη εικόνα, οι αλλαγές στην αμηχανία για τις εργασίες AAC και ASR έχουν μικρές τελικές τιμές μετά το πρώτο στάδιο εκπαίδευσης, υποδεικνύοντας ότι το μοντέλο έχει μάθει τις δια-μοντέλο ευθυγραμμίσεις.

Επιπλέον, η αμηχανία της εργασίας PR μειώνεται επίσης μετά την οδηγία, λόγω της εξάρτησής της από την συνιστώσα LoRA για να μάθει τα σύμβολα εξόδου. Επίσης, παρατηρείται ότι αν και η οδηγία βοηθά στην μείωση της αμηχανίας στις εργασίες αφήγησης ιστοριών και SAC, η διαφορά είναι ακόμη μεγάλη για να εκτελεστούν οι εργασίες με επιτυχία, εκτός αν προστεθεί ένα επιπλέον στάδιο ενεργοποίησης ή η συνιστώσα LoRA αφαιρεθεί.

Ενεργοποίηση

Το πλαίσιο SALMONN εξετάζει διαφορετικές μεθόδους ενεργοποίησης, συμπεριλαμβανομένης της εκπαίδευσης του μοντέλου σε ζευγάρια εργασιών QA με μακρές απαντήσεις, ή της χρήσης μακρών γραπτών ιστοριών που βασίζονται στον ήχο, ενώ η χρήση μακρών μεταγραφών ομιλίας για εργασίες ASR. Οι συνιστώσες Q-Former και LoRA εκπαιδεύονται με αυτές τις τρεις μεθόδους.

Τελικές Σκέψεις

Σε αυτό το άρθρο, abbiamo μιλήσει για το SALMONN ή Speech Audio Language Music Open Neural Network, ένα μοντέλο πολυμεσικής γλώσσας που μπορεί να αντιλαμβάνεται και να κατανοεί τρεις βασικές κατηγορίες ήχου, συμπεριλαμβανομένης της ομιλίας, των ακουστικών εκδηλώσεων και της μουσικής. Το μοντέλο SALMONN ermögίζει τα Μεγάλα Λειτουργικά Μοντέλα Γλώσσας να κατανοούν και να επεξεργάζονται γενικές ακουστικές εισόδους απευθείας, και να παρέχουν ανταγωνιστική απόδοση σε eine ευρεία γκάμα εργασιών ήχου και ομιλίας.

Το πλαίσιο SALMONN παρέχει ανταγωνιστική απόδοση σε eine ευρεία γκάμα εκπαιδευμένων εργασιών, συμπεριλαμβανομένης της περιγραφής ήχου, της μετάφρασης ομιλίας και αναγνώρισης, και πολλών άλλων, ενώ γενικεύει σε eine ευρεία γκάμα μη εκπαιδευμένων εργασιών κατανόησης, συμπεριλαμβανομένης της μετάφρασης ομιλίας για εξαγωγή λέξεων-κλειδιών και μη εκπαιδευμένες γλώσσες. Λόγω των ικανοτήτων του, το πλαίσιο SALMONN μπορεί να θεωρηθεί ως το επόμενο βήμα για την ενίσχυση των γενικών ακουστικών ικανοτήτων των μεγάλων μοντέλων γλώσσας.