Hörande, som innefattar perception och förståelse av generisk auditiv information, är avgörande för AI-agenter i verkliga miljöer. Denna auditiva information omfattar tre primära ljudtyper: musik, ljudhändelser och tal. Nyligen har textbaserade stora språkmodellramverk (LLM) visat anmärkningsvärda förmågor, med prestationer på mänsklig nivå i en mängd olika NLP-uppgifter. Dessutom har instruktionsjustering, en träningsmetod som använder par av referenssvar och användarprompt, blivit populär. Denna metod tränar stora språkmodeller för att mer effektivt följa öppna användarinstruktioner. Men nu fokuserar den aktuella forskningen alltmer på att förbättra stora språkmodeller med förmågan att uppfatta multimodalt innehåll.

Med fokus på samma sak kommer vi i den här artikeln att tala om SALMONN eller Speech Audio Language Music Open Neural Network, ett state-of-the-art-öppet tal-ljud-språk-musik-neuronnätverk byggt genom att kombinera tal- och ljudkodare med en förtränad textbaserad stor språkmodell i en enda audio-text multimodal modell. SALMONN-modellen möjliggör för stora språkmodeller att förstå och bearbeta generiska ljudinmatningar direkt och leverera konkurrenskraftig prestanda på en mängd olika ljud- och taltuppgifter som används i träningsprocessen, inklusive auditiv informationsbaserad frågesvar, taligenkänning och översättning, talverifiering, känslouttryck, ljud- och musikbeskrivning och mycket mer. Vi kommer att dyka djupare i SALMONN-ramverket och undersöka dess funktion, arkitektur och resultat över en mängd olika NLP-uppgifter. Så låt oss komma igång.

SALMONN: En introduktion till enkel audio-text multimodala stora språkmodeller

SALMONN står för Speech Audio Language Music Open Neural Network, och det är ett enkelt audio-text multimodalt stort språkmodellramverk som kan uppfatta och förstå tre grundläggande ljudtyper, inklusive tal, ljudhändelser och musik. SALMONN-modellen möjliggör för stora språkmodeller att förstå och bearbeta generiska ljudinmatningar direkt och leverera konkurrenskraftig prestanda på en mängd olika ljud- och taltuppgifter.

För att förbättra prestandan på både tal- och icke-tal ljuduppgifter använder SALMONN-ramverket en dubbelkodarstruktur bestående av en BEATs-ljudkodare och en talskodare från Whisper-talmodellen. Dessutom använder SALMONN-ramverket också en fönsterbaserad Q-Former eller frågetransformator som en anslutningsmodul för att effektivt konvertera en utmatningssekvens av variabel längd från kodarna till förstärkta ljudtoken av en variabel mängd, och slutligen uppnå hög tidsupplösning för audio-text-alignment. LoRA eller Low Rank Adaptation-metoden används som en cross-modalt adapter till Vicuna-ramverket för att justera dess utmatningsutrymme med dess förstärkta inmatningsutrymme i ett försök att ytterligare förbättra dess prestanda. I SALMONN-ramverket är förmågan att utföra cross-modala uppgifter som inte ses under träningsfasen, som förloras under instruktionsutbildning, en primär anledning till att SALMONN-ramverket implementerar en extra flerskottaktiveringsfas för att återfå LLM-ramverkets allmänna emergenta förmågor.

Dessutom använder ramverket en mängd olika ljudhändelser, musikbenchmark och talmätningar för att utvärdera dess kognitiva hörselabiliteter och delar in mätningarna i tre nivåer. På den första mätningsnivån tränar ramverket åtta uppgifter i instruktionsutbildning, inklusive översättning, ljudbeskrivning och taligenkänning. De två andra mätningsnivåerna är outbildade uppgifter, där den andra mätningsnivån består av fem talbaserade NLP-uppgifter, som t.ex. slot-fyllning och översättning till outbildade språk som förlitar sig på högkvalitativa multilingvistiska justeringar mellan text- och taltoken. Den sista mätningsnivån försöker förstå tal- och icke-tal auditiv information för tal-ljudsammanhang och ljudbaserad berättelse.

För att sammanfatta är SALMONN-ramverket

1. Det första multimodala stora språkmodellramverket som kan förstå och uppfatta generiska ljudinmatningar, inklusive ljudhändelser, tal och musik, till sin fulla förmåga.
2. Ett försök att analysera cross-modala emergenta förmågor som erbjuds genom att implementera LoRA-skalfaktorn och använda en extra budgetvänlig aktiveringsfas under utbildning för att aktivera cross-modala emergenta förmågor i ramverket.

SALMONN: Arkitektur och metodik

I det här avsnittet kommer vi att undersöka arkitekturen, träningsmetoden och den experimentella inställningen för SALMONN-ramverket.

Modellarkitektur

I hjärtat av sin arkitektur synkroniserar och kombinerar SALMONN-ramverket utmatningarna från två auditiva kodare, varefter ramverket implementerar en Q-Former på ramnivå som en anslutningsmodul. Utmatningssekvensen som genereras av Q-Former kombineras med textinstruktionsprompt och sedan används som inmatning till LoRA-anpassningsmetoden för att generera det önskade svaret.

Auditiva kodare

SALMONN-ramverket använder två auditiva kodare: en icke-tal BEATs-ljudkodare och en talskodare från OpenAI:s Whisper-ramverk. BEATs-ljudkodaren tränas för att använda den självständiga iterativa inlärningsmetoden för att extrahera icke-tal högnivåljudsemantik, medan talskodaren tränas på en stor mängd svagt övervakad data för taligenkänning och talöversättningsuppgifter, med utmatningsfunktionerna från kodaren lämpliga för att inkludera bakgrundsbrus och talinformation. Modellen tokeniserar först inmatningsljudet och följer sedan upp det med maskering och förutsägelse under utbildning. De resulterande auditiva funktionerna från dessa två kodare kompletterar varandra och är lämpliga för både tal- och icke-tal information.

Fönsterbaserad Q-Former

Att implementera Q-Former-strukturen är en vanlig metod som används i LLM-ramverken för att konvertera utmatningen från en bildkodare till textbaserade inmatningstoken, och vissa modifieringar behövs när man hanterar ljudtoken av varierande längd. Mer specifikt ser ramverket utmatningen från kodaren som en sammanfogad kodarutmatningssekvens, och Q-Former distribuerar ett fast antal tränbara frågor för att omvandla kodarutmatningssekvensen till textbaserade token med hjälp av staplade Q-Former-block. Ett staplat Q-Former-block liknar en Transformer-dekodarblock, med undantag för att ta bort casualmasker i självuppmärksamhetslagren och använda ett fast antal tränbara statiska frågor i de första blocken.

LoRA och LLM

SALMONN-ramverket distribuerar också en Vicuna-LLM, som är ett LLaMA-stort språkmodellramverk som finjusterats för att följa instruktioner mer exakt och effektivt. LoRA-ramverket är en vanlig metod som används för parameter-effektiv finjustering, och dess inkludering i SALMONN-ramverket för att värdera viktmatrixtoken och anpassa frågan i självuppmärksamhetslagren.

Träningsmetod

SALMONN-ramverket använder en tre-stegs cross-modalt träningsmetod. Träningsstadiet består av en förträningsfas och en instruktionsjusteringsfas som ingår i de flesta visuella LLM-ramverken, och en extra aktiveringsfas implementeras för att lösa överanpassningsproblem som uppstår under ljudbeskrivnings- och taligenkänningsuppgifter.

Förträningsfas

För att begränsa gapet som observeras mellan förtränade parametrar, inklusive kodare och LLM, och slumpmässigt initierade parametrar, inklusive adapter och anslutningsmoduler, använder SALMONN-ramverket en stor mängd ljudbeskrivnings- och taligenkänningsdata för att förträna LoRA- och Q-Former-komponenterna. Dessa uppgifter innehåller viktig auditiv information om nyckelinnehållet i ljudhändelser, både tal och icke-tal, och kräver inte komplex förståelse eller resonemang för att lära sig justeringen mellan text och ljud.

Instruktionsjusteringsfas

Instruktionsjusteringsfasen som implementeras i SALMONN-ramverket liknar den som implementeras i NLP- och visuella LLM-ramverken genom att använda en lista med ljudhändelser, musikuppgifter och talskeden för att finjustera audio-text-instruktioner. Uppgifterna prioriteras baserat på deras betydelse över olika tester, inklusive telefonigenkänning, överlappande taligenkänning och musikbeskrivning. Dessutom utgör textinformation som är parat med ljuddata grunden för att generera instruktionsprompt.

Uppgiftsöveranpassning

Även när endast de två första träningsstadierna implementeras, levererar SALMONN-ramverket konkurrenskraftiga resultat på instruktionsjusteringsuppgifter, men prestandan är inte tillräcklig när det gäller att utföra cross-modala uppgifter, särskilt uppgifter som kräver cross-modalt sammanhang. Specifikt kräver modellen ibland instruktionsprompt som resulterar i generering av irrelevanta eller felaktiga svar, och detta fenomen kallas uppgiftsöveranpassning i SALMONN-ramverket, och aktiveringsfasen implementeras för att lösa dessa överanpassningsproblem.

Aktiveringsfas

En effektiv metod för att lösa överanpassningsproblem är att regularisera inbyggda villkorliga språkmodeller med hjälp av längre och mer varierade svar, som t.ex. berättande eller auditiv informationsbaserad frågesvar. Ramverket genererar sedan parträningsdata för sådana uppgifter med hjälp av text parat med ljud eller tal eller musikbeskrivning.

Uppgiftsspecifikationer

För att utvärdera SALMONN:s nollskott cross-modala emergenta förmågor har utvecklare inkluderat 15 tal-, ljud- och musikuppgifter, uppdelade på tre nivåer.

Nivå 1

På den första nivån används uppgifterna för instruktionsjustering, och därmed är de den enklaste uppsättningen uppgifter som SALMONN-ramverket måste utföra.

Nivå 2

Den andra nivån består av outbildade uppgifter, och komplexitetsnivån är högre jämfört med nivå 1-uppgifter. På nivå 2 är uppgifterna NLP-baserade uppgifter, inklusive talsextrahering av nyckelord som används för att utvärdera ramverkets noggrannhet när det gäller att extrahera vissa nyckelord med hjälp av tal. Andra uppgifter inkluderar SQQA eller talbaserad frågesvar, som utvärderar den vanliga kunskap som ramverket extraherar med hjälp av talsfrågor, en SF eller talbaserad slot-fyllningsuppgift för att utvärdera noggrannheten i slot-värden, och slutligen finns det två AST-uppgifter för engelska-tyska och engelska-japanska konverteringar.

Nivå 3

Komplexiteten hos uppgifterna på nivå 3 är den högsta jämfört med de två andra nivåerna, och den inkluderar SAC eller tal-ljudsammanhang och ljudbaserad berättelse. SAC-uppgiften kräver att SALMONN-ramverket förstår en fråga som ingår i ljudklippet som matas in i modellen, hitta stödjande bevis med hjälp av ljudhändelser eller musik i bakgrunden, och slutligen generera en lämplig anledning för att svara på frågan. Ljudbaserade berättelseuppgifter kräver att modellen genererar en meningsfull berättelse baserat på den auditiva informationen som hämtas från generiska ljudinmatningar.

Resultat

Nivå 1-uppgifter

Följande tabell visar resultaten på nivå 1-uppgifter, och som det kan ses, returnerar SALMONN-ramverket konkurrenskraftiga resultat på nivå 1-uppgifter med eller utan aktivering.

Nivå 2 och 3-uppgifter

Även om SALMONN-ramverket returnerar konkurrenskraftiga resultat på nivå 1-uppgifter även utan finjustering, kan samma sak inte sägas om nivå 2 och 3-uppgifter, eftersom SALMONN-ramverket utan aktivering lider av överanpassning på uppgifter. Prestandan sjunker ännu mer på SQQA-, SAC- och berättelseuppgifter med fokus på multimodala interaktioner, och SALMONN-ramverket kämpar för att följa instruktioner utan aktivering. Men med aktivering förbättras resultaten avsevärt, och resultaten visas i följande bild.

LoRA-skalfaktor

LoRA-skalfaktorn utvärderar inflytandet av att använda tidstestdiskontering av LoRA-skalfaktorn för att minimera överanpassningsproblem på uppgifter. Som det kan ses i följande figur, minskar LoRA-skalfaktorn till 2,0 den cross-modala resonemangsabiliteten hos SALMONN-ramverket på ASR- och PR-uppgifter, SQQA-uppgifter, berättelseuppgifter och SAC-uppgifter.

Uppgiftsöveranpassning

För att betona aktiveringsfasen analyserar SALMONN-ramverket förändringarna i förvirring under de tre träningsstadierna, och som det kan ses i följande bild, har förändringarna i förvirring för AAC- och ASR-uppgifter små slutvärden efter den första träningsfasen, vilket indikerar modellens inlärning av cross-modala justeringar.

Dessutom minskar förvirringen för PR-uppgiften efter instruktionsjustering på grund av dess beroende av LoRA-komponenten för att lära sig utmatningstoken. Det observeras också att även om instruktionsjustering hjälper till att minska förvirringen på berättelse- och SAC-uppgifter, är gapet fortfarande tillräckligt stort för att utföra uppgifterna framgångsrikt, såvida inte en extra aktiveringsfas läggs till eller LoRA-komponenten tas bort.

Aktiveringsfas

SALMONN-ramverket undersöker olika aktiveringsmetoder, inklusive träningsmodellen på textbaserade frågesvarspar med långa svar, eller användning av ljudbaserade långa skrivna berättelser, eller användning av långa taltranskriptioner för ASR-uppgifter. Både Q-Former- och LoRA-komponenterna finjusteras med hjälp av dessa tre metoder. Dessutom ignorerar ramverket ljud- och Q-Former-inmatningarna i ett försök att finjustera LoRA- och Vicuna-komponenterna som en adaptiv textbaserad stor språkmodell, och resultaten visas i följande bild, och som det kan ses, kan modellen inte aktiveras av ASR (träning av ASR med långa etiketter), inte heller av berättelse eller textbaserad aktivering av LoRA-komponenten med hjälp av textpromptinmatningar.

Slutliga tankar

I den här artikeln har vi talat om SALMONN eller Speech Audio Language Music Open Neural Network, ett enkelt audio-text multimodalt stort språkmodellramverk som kan uppfatta och förstå tre grundläggande ljudtyper, inklusive tal, ljudhändelser och musik. SALMONN-modellen möjliggör för stora språkmodeller att förstå och bearbeta generiska ljudinmatningar direkt och leverera konkurrenskraftig prestanda på en mängd olika ljud- och taltuppgifter.

SALMONN-ramverket levererar konkurrenskraftig prestanda på en mängd olika tränade uppgifter, inklusive ljudbeskrivning, talöversättning och igenkänning, och generaliserar till en mängd outbildade förståelseuppgifter, inklusive talöversättning för nyckelordsextrahering och outbildade språk. På grund av sina förmågor kan SALMONN-ramverket betraktas som nästa steg mot att förbättra de generiska hörselabiliteterna hos stora språkmodeller.