Hörsel, som involverar uppfattning och förståelse av generisk hörselinformation, är avgörande för AI-agenter i verkliga miljöer. Denna hörselinformation omfattar tre primära ljudtyper: musik, ljudhändelser och tal. Nyligen har textbaserade ramverk för stora språkmodeller (LLM) visat anmärkningsvärda förmågor och uppnått prestanda på mänsklig nivå i ett brett spektrum av NLP-uppgifter (Natural Language Processing). Dessutom har instruktionsinställning, en träningsmetod som använder par av referenssvar och användaruppmaningar, blivit populär. Detta tillvägagångssätt tränar stora språkmodeller för att mer effektivt följa öppna användarinstruktioner. Nuvarande forskning fokuseras dock alltmer på att förbättra stora språkmodeller med förmågan att uppfatta multimodalt innehåll.

Fokusera på detsamma, i den här artikeln kommer vi att prata om SALMONN eller Speech Audio Language Music Open Neural Network, ett toppmodernt öppet tal ljudspråk musik neurala nätverk byggt genom att införliva tal- och ljudkodare med en förtränad textbaserad stor språkmodell i en singulär audio-text multimodal modell. SALMONN-modellen möjliggör Stora språkmodeller att förstå och bearbeta generiska ljudingångar direkt, och leverera konkurrenskraftiga prestanda på ett brett utbud av ljud- och taluppgifter som används i utbildningen, inklusive auditiv informationsbaserad frågesvar, taligenkänning och översättning, högtalarverifiering, känsloigenkänning, ljud- och musiktextning, och mycket mer. Vi kommer att ta en djupare dykning i SALMONN-ramverket och utforska dess funktion, arkitektur och resultat inom ett brett spektrum av NLP-uppgifter. Så låt oss börja. 

SALMONN: En introduktion till multimodala stora språkmodeller med en ljud-text

SALMONN står för Speech Audio Language Music Open Neural Network, och det är en enkel audio-text multimodal stor språkmodell ram som kan uppfatta och förstå tre grundläggande ljud- eller ljudtyper inklusive tal, ljudhändelser och musik. SALMONN-modellen gör det möjligt för stora språkmodeller att förstå och bearbeta generiska ljudingångar direkt och leverera konkurrenskraftiga prestanda på ett brett utbud av ljud- och taluppgifter. 

För att öka dess prestanda på både tal- och icke-talljuduppgifter, använder SALMONN-ramverket en dubbel kodarstruktur som består av en BEATs ljudkodare och en talkodare som kommer från Whisper-talmodellen. Dessutom använder SALMONN-ramverket också en Q-Former på fönsternivå eller frågetransformator som en anslutningsmodul för att effektivt konvertera en utdatasekvens av kodare med variabel längd till förstärkta ljudtokens med ett variabelt antal, och i slutändan uppnå hög tidsupplösning för ljud- textjustering. De LoRA eller Low Rank Adaptation tillvägagångssättet används som en tvärmodal adapter till Vicuna-ramverket för att anpassa dess utdatautrymme med dess utökade inmatningsutrymme i ett försök att ytterligare öka dess prestanda. I SALMONN-ramverket förloras förmågan att utföra tvärmodala uppgifter osynliga under träningsfasen under träning av instruktioner som korsmodala framväxande förmågor, vilket är den primära anledningen till att SALMONN-ramverket implementerar ytterligare ett fåstegsaktiveringssteg för att återta LLM ramverkets allmänna framväxande förmågor. 

Dessutom använder ramverket ett brett utbud av ljudhändelser, musikriktmärken och talriktmärken för att utvärdera dess kognitiva hörselförmågor, och delar upp riktmärkena i tre nivåer. På den första benchmarknivån tränar ramverket åtta uppgifter i instruktionsträning inklusive översättning, ljudtextning och taligenkänning. De andra två benchmarknivåerna är otränade uppgifter med den andra nivån benchmark bestående av 5 talbaserade Natural Language Processing-uppgifter som luckfyllning och översättning till otränade språk som förlitar sig på flerspråkiga anpassningar av hög kvalitet mellan text och taltokens. Den sista nivån benchmark uppgifter försöker förstå tal och icke-tal auditiv information för tal-ljud samresonemang och ljudbaserat berättande. 

För att sammanfatta det är LAX-ramverket

1. Den första multimodala stora språkmodellen som kan förstå och uppfatta allmänna ljudingångar inklusive ljudhändelser, tal och musik till det maximala av sin förmåga. 
2. Ett försök att analysera cross-modala emergent förmågor som erbjuds genom att implementera LoRA-skalningsfaktorn och använda ett extra budgetvänligt aktiveringssteg under träning för att aktivera cross-modala emergent förmågor i ramverket. 

SALMONN: Arkitektur och metodik

I det här avsnittet kommer vi att ta en titt på arkitekturen, träningsmetoden och experimentella inställningarna för SALMONN-ramverket. 

Modellarkitektur

I kärnan av sin arkitektur synkroniserar och kombinerar SALMONN-ramverket utsignalerna från två auditiva kodare, varefter ramverket implementerar en Q-Former på ramnivå som en anslutningsmodul. Utdatasekvensen som genereras av Q-Former slås samman med textinstruktionsuppmaningar och den tillhandahålls sedan som en input till LoRA-anpassningsmetoden för att generera det erforderliga svaret. 

Auditiva kodare

SALMONN-ramverket använder sig av två auditiva kodare: en BEATs-ljudkodare utan tal och en talkodare som kommer från OpenAI:s Whisper-ramverk. BEATs ljudkodare är tränad att använda den självövervakade iterativa inlärningsmetoden i ett försök att extrahera icke-tal högnivåljudsemantik medan talkodaren tränas på en stor mängd svagt övervakad data för taligenkänning och talöversättningsuppgifter med utmatningsegenskaper hos kodaren lämpliga att inkludera bakgrundsbrus och talinformation. Modellen tokeniserar först ingångsljudet och följer upp det genom att maskera och förutsäga det under träning. De resulterande hörselegenskaperna hos dessa två kodare kompletterar varandra och är lämpliga för både tal- och icke-talinformation. 

Fönsternivå Q-Former

Implementering av Q-Former-strukturen är ett vanligt tillvägagångssätt som används i LLM-ramverken för att konvertera utdata från en bildkodare till textinmatningstokens, och viss modifiering behövs när man hanterar ljudtokens av varierande längd. För att vara mer specifik betraktar ramverket kodarutdata från ingångsbilden som en sammanlänkade kodarutgångssekvens, och Q-Former distribuerar ett fast antal träningsbara frågor för att omvandla kodarens utdatasekvens till textsymboler med hjälp av staplade block av Q-Former . Ett staplat Q-Former-block liknar ett Transformer-avkodarblock med undantagen att ta bort tillfälliga masker i självuppmärksamhetslagren och användningen av ett fast antal tränarbara statiska frågor i de initiala blocken. 

LoRA och LLM

SALMONN-ramverket distribuerar också ett Vicuna LLM som är ett LLaMA-ramverk för stora språkmodeller som är finjusterat för att följa instruktionerna mer exakt och effektivt. LoRA-ramverket är en vanlig metod som används för parametereffektiv finjustering och dess inkludering i SALMONN-ramverket för att värdera viktmatriser och anpassa frågan i självuppmärksamhetslagren. 

Träningsmetod

SALMONN-ramverket använder sig av en tvärmodal utbildning i tre steg. Utbildningsstadiet består av ett förträningssteg och ett instruktionssteg som ingår i de flesta visuella LLM-ramverk, och ett ytterligare aktiveringsavstämningssteg implementeras för att lösa överanpassningsproblem som uppstår under ljudtextning och taligenkänningsuppgifter. 

Förträningsstadiet

För att begränsa gapet som observeras mellan förtränade parametrar inklusive kodare och LLM, och slumpmässigt initierade parametrar inklusive adapter- och anslutningsmoduler, använder SALMONN-ramverket en stor mängd ljudtextnings- och taligenkänningsdata för att förträna LoRA- och Q-Former-komponenterna . Dessa uppgifter innehåller viktig auditiv information om nyckelinnehållet i ljudhändelser, både tal och icke-tal, och ingen av dem kräver komplex förståelse eller resonemang för att lära sig anpassning mellan text- och auditiv information. 

Instruktionsfinjusteringsstadiet

Instruktionsfinjusteringssteget implementerat i SALMONN-ramverket liknar det som implementerats i NLP- och visuella LLM-ramverk genom att använda en lista över ljudhändelser, musikuppgifter och talhändelser för att finjustera audi-textinstruktioner. Uppgifterna prioriteras utifrån deras betydelse i olika tester inklusive telefonigenkänning, överlappande taligenkänning och musiktexter. Dessutom utgör textinformation parad med ljuddata basen för att generera instruktionsmeddelanden. 

Uppgift Överpassning

Även när man implementerar endast de två första utbildningsstadierna, ger SALMONN-ramverket konkurrenskraftiga resultat på instruktionsjusteringsuppgifter, även om prestandan inte är upp till märket när man utför cross-modala uppgifter, särskilt på uppgifter som kräver cross-modal co-resoning-förmåga. Specifikt bryter modellen ibland mot instruktionsmeddelanden som resulterar i generering av irrelevanta eller felaktiga svar, och detta fenomen hänvisas till som task overfitting i SALMONN-ramverket, och Activation Tuning-steget implementeras för att lösa dessa överanpassningsproblem. 

Aktivering Tuning Stage

Ett effektivt tillvägagångssätt för att lösa överanpassningsproblem är att reglera inneboende villkorade språkmodeller med hjälp av längre och mer varierande svar som berättande eller auditiv informationsbaserad frågesvar. Ramverket genererar sedan parets träningsdata för sådana uppgifter med hjälp av text parad med ljud eller tal eller musiktexter. 

Uppgiftsspecifikationer

För att utvärdera SALMONN:s noll-shot cross-modala emergent-förmågor har utvecklare inkluderat 15 tal-, ljud- och musikuppgifter uppdelade på tre nivåer. 

Nivå 1

På den första nivån används uppgifter för instruktionsinställning, och därför är de den enklaste uppsättningen uppgifter som SALMONN-ramverket måste utföra. 

Nivå 2

Den andra nivån består av otränade uppgifter, och komplexitetsnivån är högre jämfört med nivå 1-uppgifter. På nivå 2 är uppgifterna Natural Language Processing-baserade uppgifter inklusive extrahering av tal nyckelord som används för att utvärdera ramverkets noggrannhet när man extraherar vissa nyckelord med hjälp av tal. Andra uppgifter inkluderar SQQA eller Spoken Query-based Question Answering som utvärderar kunskapen om sunt förnuft som ramverket extraherar med hjälp av talfrågor, en SF- eller Speech-based Slot Filling-uppgift för att utvärdera noggrannheten av slotvärden, och slutligen finns det två AST-uppgifter för Engelska till tyska och engelska till japanska konverteringar. 

Nivå 3

Komplexiteten för uppgifter i nivå 3 är den maximala jämfört med andra två nivåer, och den inkluderar SAC eller Speech Audio Co-Reasoning och ljudbaserade storytelling-uppgifter. SAC-uppgiften kräver att SALMONN-ramverket förstår en fråga som ingår i ljudklippet som matas till modellen, hittar stödjande bevis med hjälp av ljudhändelser eller musik i bakgrunden och slutligen genererar en lämplig anledning att svara på frågan. De ljudbaserade berättaruppgifterna kräver att modellen genererar en meningsfull berättelse baserad på den auditiva informationen som kommer från allmänna ljudingångar.

Resultat

Nivå 1 uppgifter

Följande tabell visar resultaten på nivå 1-uppgifter, och som det kan observeras, returnerar SALMONN-ramverket konkurrenskraftiga resultat på nivå 1-uppgifter med eller utan aktiveringsjustering. 

Nivå 2 och 3 Uppgifter

Även om SALMONN-ramverket ger konkurrenskraftiga resultat på nivå 1-uppgifter även utan finjustering, kan samma sak inte sägas för nivå 2- och nivå 3-uppgifter som utan aktivering, SALMONN-ramverket lider kraftigt av överanpassning av uppgifter. Prestandan sjunker ytterligare på SQQA-, SAC- och Storytelling-uppgifter med tonvikt på multimodala interaktioner, och SALMONN-ramverket kämpar för att följa instruktionerna utan aktiveringsjustering. Men med aktiveringsinställning förbättras resultaten avsevärt, och resultaten ingår i följande bild. 

Rabatterande LoRA-skalningsfaktor

Discounting LoRA Scaling Factor utvärderar inflytandet av att använda tidstestdiskontering av LoRA-skalningsfaktorn för att minimera överanpassningsproblem på uppgifter. Som det kan observeras i följande figur, höjer en minskning av LoRA-skalfaktorn till 2.0 den tvärmodala resonemangsförmågan hos SALMONN-ramverket för ASR- och PR-uppgifter, SQQA-uppgifter, Storytelling-uppgifter respektive SAC-uppgifter. 

Utvärdera Task-Overfitting

För att betona aktiveringsinställningen analyserar SALMONN-ramverket förändringarna i förvirring under de tre träningsstadierna, och som det kan ses i följande bild har förvirringsförändringar för AAC- och ASR-uppgifter små slutvärden efter det första träningsstadiet, vilket indikerar modellens inlärning av tvärmodala anpassningar. 

Dessutom sjunker förvirringen i PR-uppgiften också efter instruktionsinställning på grund av dess beroende av LoRA-komponenten för att lära sig utdatatoken. Det har också observerats att även om instruktionsinställning hjälper till att minska förvirringen kring Storytelling och SAC-uppgifter, är gapet fortfarande tillräckligt stort för att utföra uppgifterna framgångsrikt om inte ett extra aktiveringssteg läggs till eller LoRA-komponenten tas bort. 

Aktiveringsinställning

SALMONN-ramverket dyker ner i olika aktiveringsmetoder, inklusive att träna modellen på textbaserade QA-uppgiftspar med långa svar, eller att använda ljudbaserade långa skrivna berättelser, medan man använder långa taltranskriptioner för ASR-uppgifter. Både Q-Former- och LoRA-komponenterna finjusteras med dessa tre metoder. Dessutom ignorerar ramverket ljud- och Q-Former-ingångarna i ett försök att finjustera LoRA- och Vicuna-komponenterna som en adaptiv textbaserad storspråksmodell, och resultaten visas i följande bild, och som det kan ses , kan modellen inte aktiveras av ASR (träning av ASR med långa etiketter), inte heller Story eller Text-baserad genom att träna LoRA-komponenten med hjälp av textprompt-inmatningar. 

Avslutande tankar

I den här artikeln har vi pratat om SALMONN eller Speech Audio Language Music Open Neural Network, ett enda ljud-text multimodalt ramverk för stora språkmodeller som kan uppfatta och förstå tre grundläggande ljud- eller ljudtyper inklusive tal, ljudhändelser och musik. SALMONN-modellen gör det möjligt för stora språkmodeller att förstå och bearbeta generiska ljudingångar direkt och leverera konkurrenskraftiga prestanda på ett brett utbud av ljud- och taluppgifter. 

SALMONN-ramverket levererar konkurrenskraftiga prestanda för ett brett utbud av tränade uppgifter inklusive ljudtextning, talöversättning och igenkänning och mer samtidigt som den generaliserar till en mängd otränade förståelseuppgifter inklusive talöversättning för att extrahera nyckelord och otränade språk. På grund av sin förmåga kan SALMONN-ramverket ses som nästa steg mot att förbättra den generiska hörselförmågan hos stora språkmodeller.