एआई मॉडल और प्लेटफ़ॉर्म
SALMONN: बड़े भाषा मॉडलों में सामान्य श्रवण क्षमताओं की ओर
मुख्य बिंदुSALMONN भाषण और ऑडियो एनकोडर्स को एक LLM के साथ एकीकृत करता है ताकि संगीत, घटनाओं और…
और देखें
- SALMONN भाषण और ऑडियो एनकोडर्स को एक LLM के साथ एकीकृत करता है ताकि संगीत, घटनाओं और भाषण को सीधे प्रोसेस किया जा सके।
- मॉडल प्रशिक्षण के दौरान खोई हुई क्रॉस-मोडल तर्क क्षमताओं को पुनर्प्राप्त करने के लिए एक नवीन सक्रियण ट्यूनिंग चरण का उपयोग करता है।
- इसकी आर्किटेक्चर परिवर्तनशील लंबाई वाले ऑडियो को टेक्स्ट टोकन के साथ संरेखित करने के लिए दोहरे एनकोडर्स और एक क्यू-फॉर्मर का उपयोग करती है।
श्रवण, जिसमें सामान्य श्रवण जानकारी की धारणा और समझ शामिल है, वास्तविक दुनिया के वातावरण में एआई एजेंटों के लिए महत्वपूर्ण है। यह श्रवण जानकारी तीन प्राथमिक ध्वनि प्रकारों को शामिल करती है: संगीत, ऑडियो घटनाएँ और वाक्। हाल ही में, पाठ-आधारित बड़े भाषा मॉडल (एलएलएम) फ्रेमवर्क ने कई प्राकृतिक भाषा प्रसंस्करण (एनएलपी) कार्यों में मानव-स्तरीय प्रदर्शन हासिल करने में उल्लेखनीय क्षमता दिखाई है। इसके अलावा, निर्देश ट्यूनिंग, एक प्रशिक्षण विधि जो संदर्भ प्रतिक्रियाओं और उपयोगकर्ता प्रॉम्प्ट्स के जोड़े का उपयोग करती है, लोकप्रिय हो गई है। यह दृष्टिकोण बड़े भाषा मॉडलों को अधिक प्रभावी ढंग से खुले अंत वाले उपयोगकर्ता निर्देशों का पालन करने के लिए प्रशिक्षित करता है। हालांकि, वर्तमान अनुसंधान बड़े भाषा मॉडलों को बहुमोडल सामग्री की धारणा क्षमता से लैस करने पर बढ़ता जा रहा है।
इसी पर ध्यान केंद्रित करते हुए, इस लेख में, हम SALMONN या स्पीच ऑडियो लैंग्वेज म्यूजिक ओपन न्यूरल नेटवर्क के बारे में बात करेंगे, जो एक अत्याधुनिक ओपन स्पीच ऑडियो लैंग्वेज म्यूजिक न्यूरल नेटवर्क है जो पूर्व-प्रशिक्षित पाठ-आधारित बड़े भाषा मॉडल के साथ वाक् और ऑडियो एनकोडरों को एकीकृत करके एक एकल ऑडियो-पाठ बहुमोडल मॉडल में बनाया गया है। SALMONN मॉडल बड़े भाषा मॉडलों को सामान्य ऑडियो इनपुट को सीधे समझने और प्रसंस्करण करने में सक्षम बनाता है, और प्रशिक्षण में शामिल विभिन्न ऑडियो और वाक् कार्यों में प्रतिस्पर्धी प्रदर्शन देता है, जैसे श्रवण जानकारी पर आधारित प्रश्नोत्तर, वाक् पहचान और अनुवाद, वक्ता सत्यापन, भावना पहचान तथा ऑडियो और संगीत का वर्णन। हम SALMONN फ्रेमवर्क, इसके कार्य, वास्तुकला, और विभिन्न एनएलपी कार्यों पर इसके परिणामों का गहराई से विश्लेषण करेंगे। तो आइए शुरू करें।
SALMONN: एकल ऑडियो-पाठ बहुमोडल बड़े भाषा मॉडलों की ओर
SALMONN का अर्थ स्पीच ऑडियो लैंग्वेज म्यूजिक ओपन न्यूरल नेटवर्क है, और यह एक एकल ऑडियो-पाठ बहुमोडल बड़ा भाषा मॉडल फ्रेमवर्क है जो तीन मूलभूत ऑडियो या ध्वनि प्रकारों को समझने और धारणा करने में सक्षम है, जिनमें वाक्, ऑडियो घटनाएँ और संगीत शामिल हैं। SALMONN मॉडल बड़े भाषा मॉडलों को सामान्य ऑडियो इनपुट को सीधे समझने और प्रसंस्करण करने में सक्षम बनाता है, और विभिन्न ऑडियो और भाषा कार्यों पर प्रतिस्पर्धी प्रदर्शन प्रदान करता है।
अपने प्रदर्शन को वाक् और गैर-वाक् ऑडियो कार्यों दोनों पर बढ़ाने के लिए, SALMONN फ्रेमवर्क एक दोहरी एनकोडर संरचना का उपयोग करता है, जिसमें एक बीट्स ऑडियो एनकोडर और Whisper वाक् मॉडल से लिया गया वाक् एनकोडर शामिल है। इसके अलावा, SALMONN फ्रेमवर्क एक विंडो-स्तर के क्यू-फॉर्मर या प्रश्न ट्रांसफॉर्मर का उपयोग एक कनेक्शन मॉड्यूल के रूप में करता है ताकि वैरिएबल-लंबाई वाले एनकोडर के आउटपुट अनुक्रम को प्रभावी ढंग से वैरिएबल संख्या में ऑगमेंटेड ऑडियो टोकन में परिवर्तित किया जा सके, और अंततः ऑडियो-पाठ संरेखण के लिए उच्च समय संकल्प प्राप्त किया जा सके। LoRA या लो-रैंक अनुकूलन दृष्टिकोण का उपयोग विकुना फ्रेमवर्क में एक क्रॉस-मोडल अनुकूलक के रूप में किया जाता है ताकि इसके आउटपुट स्थान को इसके ऑगमेंटेड इनपुट स्थान के साथ संरेखित किया जा सके और इसके प्रदर्शन को और बढ़ाया जा सके। प्रशिक्षण के दौरान न देखे गए क्रॉस-मोडल कार्य करने की क्षमता को क्रॉस-मोडल उभरती क्षमता कहा जाता है। निर्देश प्रशिक्षण में यह क्षमता खो सकती है, इसलिए SALMONN कुछ उदाहरणों पर आधारित अतिरिक्त सक्रियण-ट्यूनिंग चरण से LLM की सामान्य उभरती क्षमताएँ पुनः प्राप्त करता है।
इसके अलावा, फ्रेमवर्क ऑडियो इवेंट, संगीत बेंचमार्क, और भाषा बेंचमार्क की एक विस्तृत श्रृंखला का उपयोग अपनी संज्ञानात्मक श्रवण क्षमताओं का मूल्यांकन करने के लिए करता है, और बेंचमार्क को तीन स्तरों में विभाजित करता है। पहले बेंचमार्क स्तर पर, फ्रेमवर्क निर्देश प्रशिक्षण में आठ कार्यों को प्रशिक्षित करता है, जिनमें अनुवाद, ऑडियो कैप्शनिंग, और वाक् पहचान शामिल हैं। दूसरे और तीसरे बेंचमार्क स्तर वे कार्य हैं जिन्हें प्रशिक्षित नहीं किया गया है, जिनमें से दूसरा बेंचमार्क स्तर पाँच वाक्-आधारित प्राकृतिक भाषा प्रसंस्करण कार्यों को शामिल करता है, जैसे कि स्लॉट भरना और अनप्रशिक्षित भाषाओं में अनुवाद, जो उच्च-गुणवत्ता वाले बहुभाषी संरेखण पर निर्भर करते हैं पाठ और वाक् टोकन के बीच। तीसरे स्तर के बेंचमार्क कार्य वाक् और गैर-वाक् श्रवण जानकारी को समझने का प्रयास करते हैं और वाक्–ऑडियो संयुक्त तर्क और ऑडियो-आधारित कहानी सुनाने के लिए।
संक्षेप में, SALMONN फ्रेमवर्क
- सामान्य ऑडियो इनपुट को समझने और धारणा करने में सक्षम पहला बहुमोडल बड़ा भाषा मॉडल, जिसमें ऑडियो घटनाएँ, वाक् और संगीत शामिल हैं।
- लोरा स्केलिंग फैक्टर को लागू करने और प्रशिक्षण के दौरान एक अतिरिक्त बजट-अनुकूल सक्रियण चरण का उपयोग करके क्रॉस-मोडल उत्पन्न क्षमताओं का विश्लेषण करने का प्रयास।
SALMONN: वास्तुकला और विधि
इस अनुभाग में, हम SALMONN फ्रेमवर्क की वास्तुकला, प्रशिक्षण विधि, और प्रयोगात्मक सेटअप पर गहराई से देखेंगे।
मॉडल वास्तुकला
SALMONN फ्रेमवर्क की वास्तुकला के मूल में, यह दो श्रवण एनकोडरों से आउटपुट को सिंक्रोनाइज़ और मिलाता है, जिसके बाद यह एक फ्रेम-स्तरीय क्यू-फॉर्मर को एक कनेक्शन मॉड्यूल के रूप में लागू करता है। क्यू-फॉर्मर द्वारा उत्पन्न आउटपुट अनुक्रम को पाठ निर्देश प्रॉम्प्ट के साथ मिलाया जाता है और फिर लोरा अनुकूलन दृष्टिकोण के लिए आवश्यक प्रतिक्रिया उत्पन्न करने के लिए इनपुट के रूप में प्रदान किया जाता है।
श्रवण एनकोडर
SALMONN फ्रेमवर्क दो श्रवण एनकोडरों का उपयोग करता है: एक गैर-वाक् BEATs ऑडियो एनकोडर, और Whisper वाक् मॉडल से लिया गया वाक् एनकोडर। बीट्स ऑडियो एनकोडर स्व-पर्यवेक्षित पुनरावृत्ति सीखने की दृष्टिकोण का उपयोग करके गैर-वाक् ऑडियो के उच्च-स्तरीय अर्थ को निकालने के लिए प्रशिक्षित किया जाता है, जबकि वाक् एनकोडर वाक् पहचान और वाक् अनुवाद कार्यों के लिए बड़ी मात्रा में कमजोर पर्यवेक्षित डेटा पर प्रशिक्षित किया जाता है, जिसके परिणामस्वरूप एनकोडर की विशेषताएं पृष्ठभूमि शोर और वाक् जानकारी को शामिल करने के लिए उपयुक्त होती हैं। मॉडल पहले इनपुट ऑडियो को टोकनाइज़ करता है, और फिर इसे मास्क और प्रेडिक्ट करता है। इन दोनों एनकोडरों की श्रवण विशेषताएं एक दूसरे के पूरक होती हैं और दोनों वाक् और गैर-वाक् जानकारी के लिए उपयुक्त होती हैं।
विंडो स्तर क्यू-फॉर्मर
क्यू-फॉर्मर संरचना को लागू करना एलएलएम फ्रेमवर्क में एक सामान्य दृष्टिकोण है, जो छवि एनकोडर के आउटपुट को पाठ टोकन में परिवर्तित करता है, और ऑडियो टोकन की विभिन्न लंबाइयों के साथ सौदा करने के लिए कुछ संशोधन की आवश्यकता होती है। विशेष रूप से, फ्रेमवर्क इनपुट छवि के एनकोडर आउटपुट को एक संयोजित एनकोडर आउटपुट अनुक्रम के रूप में मानता है, और क्यू-फॉर्मर एक निश्चित संख्या में प्रशिक्षण योग्य प्रश्नों को तैनात करता है ताकि एनकोडर आउटपुट अनुक्रम को पाठ टोकन में परिवर्तित किया जा सके, स्टैक्ड क्यू-फॉर्मर ब्लॉक का उपयोग करके। एक स्टैक्ड क्यू-फॉर्मर ब्लॉक एक ट्रांसफॉर्मर डिकोडर ब्लॉक के समान होता है, लेकिन स्व-ध्यान परतों में कारणात्मक मास्क को हटाने और प्रारंभिक ब्लॉक में एक निश्चित संख्या में प्रशिक्षण योग्य स्थिर प्रश्नों का उपयोग करने का अपवाद है।
लोरा और एलएलएम
SALMONN फ्रेमवर्क में विकुना एलएलएम भी तैनात किया गया है, जो एक एलएलएमए बड़ा भाषा मॉडल फ्रेमवर्क है जिसे निर्देशों का पालन करने के लिए अधिक सटीक रूप से ट्यून किया गया है। लोरा फ्रेमवर्क एक सामान्य विधि है जिसका उपयोग पैरामीटर-कुशल फाइन-ट्यूनिंग के लिए किया जाता है, और इसका समावेश SALMONN फ्रेमवर्क में स्व-ध्यान परतों में क्वेरी और वैल्यू के भार मैट्रिक्स को अनुकूलित करने के लिए किया जाता है।

प्रशिक्षण विधि
SALMONN फ्रेमवर्क एक तीन-चरण बहुमोडल प्रशिक्षण दृष्टिकोण का उपयोग करता है। प्रशिक्षण चरण में एक पूर्व-प्रशिक्षण चरण और एक निर्देश ट्यूनिंग चरण शामिल होता है, जो अधिकांश दृश्य एलएलएम फ्रेमवर्क में शामिल होते हैं, और एक अतिरिक्त सक्रियण ट्यूनिंग चरण ऑडियो कैप्शनिंग और वाक् पहचान कार्यों पर ओवरफिटिंग समस्याओं को हल करने के लिए लागू किया जाता है।
पूर्व-प्रशिक्षण चरण
पूर्व-प्रशिक्षित पैरामीटर, जिनमें एनकोडर और एलएलएम शामिल हैं, और यादृच्छिक रूप से प्रारंभीकृत पैरामीटर, जिनमें अनुकूलक और कनेक्शन मॉड्यूल शामिल हैं, के बीच अंतर को सीमित करने के लिए, SALMONN फ्रेमवर्क एक बड़ी मात्रा में ऑडियो कैप्शनिंग और वाक् पहचान डेटा का उपयोग लोरा और क्यू-फॉर्मर घटकों को पूर्व-प्रशिक्षित करने के लिए करता है। ये कार्य ऑडियो इवेंट, दोनों वाक् और गैर-वाक्, के मुख्य सामग्री के बारे में महत्वपूर्ण श्रवण जानकारी शामिल करते हैं, और न ही उन्हें जटिल समझ या तर्कसंगतता की आवश्यकता होती है ताकि पाठ और श्रवण जानकारी के बीच संरेखण सीखा जा सके।
निर्देश ट्यूनिंग चरण
निर्देश ट्यूनिंग चरण SALMONN फ्रेमवर्क में एनएलपी और दृश्य एलएलएम फ्रेमवर्क में लागू किए गए चरण के समान है। इस चरण में ऑडियो इवेंट, संगीत कार्य, और वाक् घटनाओं की एक सूची का उपयोग करके ऑडियो-पाठ निर्देशों को ट्यून करना शामिल है। कार्यों को विभिन्न परीक्षणों में उनके महत्व के आधार पर प्राथमिकता दी जाती है, जिनमें स्वनिम पहचान, एक साथ बोलती आवाज़ों की वाक् पहचान, और संगीत कैप्शन शामिल हैं। इसके अलावा, ऑडियो डेटा के साथ जोड़े गए पाठ जानकारी निर्देश प्रॉम्प्ट उत्पन्न करने के लिए आधार बनती है।
कार्य ओवरफिटिंग
यहां तक कि केवल पहले दो प्रशिक्षण चरणों को लागू करने पर, SALMONN फ्रेमवर्क निर्देश ट्यूनिंग कार्यों पर प्रतिस्पर्धी परिणाम प्रदान करता है, हालांकि क्रॉस-मोडल कार्यों पर प्रदर्शन, विशेष रूप से उन कार्यों पर जो क्रॉस-मोडल सह-तर्क क्षमताओं की आवश्यकता होती है, उत्कृष्ट नहीं है। विशेष रूप से, मॉडल कभी-कभी निर्देश प्रॉम्प्ट का उल्लंघन करता है जिसके परिणामस्वरूप असंबंधित या गलत प्रतिक्रियाएं उत्पन्न होती हैं, और इस घटना को SALMONN फ्रेमवर्क में कार्य ओवरफिटिंग के रूप में जाना जाता है, और सक्रियण चरण को इन ओवरफिटिंग समस्याओं को हल करने के लिए लागू किया जाता है।
सक्रियण चरण
ओवरफिटिंग समस्याओं को हल करने के लिए एक प्रभावी दृष्टिकोण आंतरिक सशर्त भाषा मॉडलों को नियमित करना है जो लंबी और अधिक विविध प्रतिक्रियाओं का उपयोग करते हैं, जैसे कि पाठ-आधारित प्रश्न-उत्तर जोड़े या ऑडियो-आधारित लंबी लिखित कहानियां। फ्रेमवर्क तब इन कार्यों के लिए प्रशिक्षण डेटा जोड़े को उत्पन्न करता है जो पाठ के साथ जोड़े गए ऑडियो, वाक् या संगीत विवरण हैं।
कार्य विशिष्टता
SALMONN की शून्य-शॉट क्रॉस-मोडल उत्पन्न क्षमताओं का मूल्यांकन करने के लिए, विकासकर्ताओं ने 15 वाक्, ऑडियो और संगीत कार्यों को तीन स्तरों में विभाजित किया है।
स्तर 1
पहले स्तर में, कार्य निर्देश ट्यूनिंग के लिए उपयोग किए जाते हैं, और इसलिए, वे SALMONN फ्रेमवर्क द्वारा प्रदर्शन किए जाने वाले सबसे आसान सेट कार्य हैं।
स्तर 2
दूसरे स्तर में अप्रशिक्षित कार्य शामिल हैं, और जटिलता स्तर स्तर 1 कार्यों की तुलना में अधिक है। स्तर 2 में, कार्य प्राकृतिक भाषा प्रसंस्करण आधारित कार्य हैं, जिनमें वाक् से कीवर्ड निकालना शामिल है जो फ्रेमवर्क की सटीकता का मूल्यांकन करने के लिए कुछ कीवर्ड निकालने के लिए वाक् का उपयोग करता है। अन्य कार्यों में SQQA (स्पोकन क्वेरी-आधारित प्रश्न-उत्तर) शामिल है जो फ्रेमवर्क द्वारा निकाले गए सामान्य ज्ञान का मूल्यांकन करने के लिए बोले गए प्रश्नों का उपयोग करता है, एसएफ (स्पीच-आधारित स्लॉट भरना) कार्य स्लॉट मानों की सटीकता का मूल्यांकन करने के लिए, और अंत में, दो एएसटी कार्य अंग्रेजी से जर्मन और अंग्रेजी से जापानी रूपांतरण के लिए हैं।
स्तर 3
स्तर 3 में कार्यों की जटिलता अधिकतम है, और इसमें एसएसी (स्पीच ऑडियो को-रीजनिंग) और ऑडियो-आधारित कहानी सुनाने के कार्य शामिल हैं। एसएसी कार्य फ्रेमवर्क को एक ऑडियो क्लिप में शामिल प्रश्न को समझने, ऑडियो इवेंट या संगीत का उपयोग करके साक्ष्य खोजने, और प्रश्न का उत्तर देने के लिए एक उपयुक्त कारण उत्पन्न करने की आवश्यकता है। ऑडियो-आधारित कहानी सुनाने के कार्य फ्रेमवर्क को सामान्य ऑडियो इनपुट से निकाले गए श्रवण जानकारी के आधार पर एक अर्थपूर्ण कहानी उत्पन्न करने की आवश्यकता है।

परिणाम
स्तर 1 कार्य
निम्नलिखित तालिका स्तर 1 कार्यों पर परिणामों को दर्शाती है, और जैसा कि देखा जा सकता है, SALMONN फ्रेमवर्क सक्रियण-ट्यूनिंग के साथ या उसके बिना स्तर 1 कार्यों पर प्रतिस्पर्धी परिणाम प्रदान करता है।

स्तर 2 और 3 कार्य
हालांकि SALMONN फ्रेमवर्क स्तर 1 कार्यों पर प्रतिस्पर्धी परिणाम प्रदान करता है, भले ही सक्रियण-ट्यूनिंग नहीं हो, स्तर 2 और 3 कार्यों पर ऐसा नहीं है। SALMONN फ्रेमवर्क बिना सक्रियण के स्तर 2 और 3 कार्यों पर ओवरफिटिंग से बहुत अधिक पीड़ित है। विशेष रूप से, SQQA, एसएसी और कहानी सुनाने के कार्यों पर, जो बहुमोडल इंटरैक्शन पर जोर देते हैं, SALMONN फ्रेमवर्क निर्देशों का पालन करने में संघर्ष करता है जब तक कि सक्रियण-ट्यूनिंग नहीं किया जाता है। हालांकि, सक्रियण-ट्यूनिंग के साथ, परिणाम काफी हद तक सुधर जाते हैं, और परिणाम निम्नलिखित छवि में शामिल हैं।

लोरा स्केलिंग फैक्टर को कम करना
यह परीक्षण जाँचता है कि परीक्षण के समय LoRA स्केलिंग फैक्टर घटाने का क्या प्रभाव होता है ताकि कार्यों पर ओवरफिटिंग समस्याओं को कम किया जा सके। जैसा कि निम्नलिखित आंकड़े में देखा जा सकता है, लोरा स्केलिंग फैक्टर को 2.0 तक कम करने से SALMONN फ्रेमवर्क की क्रॉस-मोडल तर्क क्षमता एएसआर और पीआर कार्यों पर बढ़ जाती है, SQQA कार्यों पर, कहानी सुनाने के कार्यों पर, और एसएसी कार्यों पर।

कार्य ओवरफिटिंग का मूल्यांकन
सक्रियण-ट्यूनिंग पर जोर देने के लिए, SALMONN फ्रेमवर्क तीन प्रशिक्षण चरणों के दौरान परप्लेक्सिटी में परिवर्तन का विश्लेषण करता है, और जैसा कि निम्नलिखित छवि में देखा जा सकता है, एएसी और एएसआर कार्यों के लिए परप्लेक्सिटी में परिवर्तन पहले प्रशिक्षण चरण के बाद छोटे अंतिम मानों को दर्शाते हैं, जो मॉडल के क्रॉस-मोडल संरेखण सीखने की क्षमता को दर्शाता है।

इसके अलावा, पीआर कार्य का परप्लेक्सिटी भी निर्देश ट्यूनिंग के बाद गिर जाता है, जो लोरा घटक का उपयोग करके आउटपुट टोकन सीखने पर निर्भर करता है। यह भी देखा जाता है कि निर्देश ट्यूनिंग कहानी सुनाने और एसएसी कार्यों पर परप्लेक्सिटी को कम करने में मदद करती है, लेकिन अंतर अभी भी इतना बड़ा है कि कार्यों को सफलतापूर्वक प्रदर्शन करने के लिए एक अतिरिक्त सक्रियण चरण जोड़ना या लोरा घटक को हटाना आवश्यक है।
सक्रियण-ट्यूनिंग
SALMONN फ्रेमवर्क विभिन्न सक्रियण विधियों में गहराई से जाता है, जिनमें लंबी पाठ-आधारित प्रश्न-उत्तर जोड़े पर मॉडल को प्रशिक्षित करना या ऑडियो-आधारित लंबी लिखित कहानियों का उपयोग करना शामिल है। तीसरी विधि ASR कार्यों के लिए लंबी वाक् प्रतिलिपियों का उपयोग करती है। क्यू-फॉर्मर और LoRA, दोनों घटकों को इन तीन विधियों का उपयोग करके फाइन-ट्यून किया जाता है। इसके अलावा, फ्रेमवर्क ऑडियो और क्यू-फॉर्मर इनपुट को अनदेखा करता है और लोरा और विकुना घटकों को एक अनुकूलन योग्य पाठ-आधारित बड़े भाषा मॉडल के रूप में फाइन-ट्यून करता है, और परिणाम निम्नलिखित छवि में दिखाए गए हैं, और जैसा कि देखा जा सकता है, मॉडल को एएसआर (एएसआर को लंबी लेबल के साथ प्रशिक्षित करने) द्वारा सक्रिय नहीं किया जा सकता है, न ही कहानी सुनाने या पाठ-आधारित द्वारा लोरा घटक को प्रशिक्षित करने से सक्रिय किया जा सकता है।

अंतिम विचार
इस लेख में, हमने SALMONN या स्पीच ऑडियो लैंग्वेज म्यूजिक ओपन न्यूरल नेटवर्क के बारे में बात की, जो एक एकल ऑडियो-पाठ बहुमोडल बड़ा भाषा मॉडल फ्रेमवर्क है जो तीन मूलभूत ऑडियो या ध्वनि प्रकारों को समझने और धारणा करने में सक्षम है, जिनमें वाक्, ऑडियो घटनाएँ और संगीत शामिल हैं। SALMONN मॉडल बड़े भाषा मॉडलों को सामान्य ऑडियो इनपुट को सीधे समझने और प्रसंस्करण करने में सक्षम बनाता है, और प्रशिक्षण में उपयोग किए जाने वाले विभिन्न ऑडियो और भाषा कार्यों पर प्रतिस्पर्धी प्रदर्शन प्रदान करता है।
SALMONN फ्रेमवर्क विभिन्न प्रशिक्षित कार्यों पर प्रतिस्पर्धी प्रदर्शन प्रदान करता है, जिनमें ऑडियो का वर्णन, वाक् अनुवाद और वाक् पहचान, और अधिक शामिल हैं, और अनप्रशिक्षित समझ कार्यों की एक श्रृंखला में सामान्यीकरण करता है, जिनमें वाक् से कीवर्ड निकालना और उन भाषाओं में अनुवाद करना जिन पर प्रशिक्षण नहीं हुआ शामिल है। अपनी क्षमताओं के कारण, SALMONN फ्रेमवर्क को बड़े भाषा मॉडलों की सामान्य श्रवण क्षमताओं को बढ़ाने के लिए अगले चरण के रूप में माना जा सकता है।












