एआई मॉडल और प्लेटफ़ॉर्म
टेक्स्ट-टू-म्यूजिक जेनरेटिव एआई: स्टेबिलिटी ऑडियो, गूगल का म्यूजिकएलएम और अधिक
Unite.AI को Google पर अपने पसंदीदा स्रोतों में जोड़ें
संगीत, जो मानव आत्मा के साथ गूंथा हुआ है, हम सभी के लिए एक निरंतर साथी रहा है। कृत्रिम बुद्धिमत्ता का उपयोग करके संगीत बनाने की शुरुआत कई दशक पहले हुई थी। शुरुआत में, प्रयास सरल और सहज थे, जिसमें बुनियादी एल्गोरिदम एकरस सुर बनाते थे। हालांकि, जैसे-जैसे तकनीक आगे बढ़ी, एआई संगीत जनरेटर की जटिलता और क्षमताएं भी बढ़ीं, जिससे गहरे शिक्षण और प्राकृतिक भाषा प्रसंस्करण (एनएलपी) में इसकी भूमिका महत्वपूर्ण हो गई।
आज, स्पॉटिफाई जैसे प्लेटफ़ॉर्म अपने उपयोगकर्ताओं के सुनने के अनुभव को बारीक करने के लिए एआई का लाभ उठा रहे हैं। ये गहरे शिक्षण एल्गोरिदम विभिन्न संगीत तत्वों जैसे ताल और मूड के आधार पर व्यक्तिगत पसंद को विभाजित करते हैं, जिससे व्यक्तिगत गीत सुझाव तैयार होते हैं। वे व्यापक सुनने के पैटर्न का विश्लेषण करते हैं और गीत से संबंधित चर्चाओं के लिए इंटरनेट को खंगालते हैं, जिससे विस्तृत गीत प्रोफ़ाइल बनती है।
संगीत में एआई की उत्पत्ति: एल्गोरिदमिक संरचना से जेनरेटिव मॉडलिंग तक की यात्रा
संगीत जगत में एआई के शुरुआती दौर में, जो 1950 के दशक से 1970 के दशक तक फैला हुआ था, मुख्य रूप से एल्गोरिदमिक संरचना पर ध्यान केंद्रित किया गया था। यह एक ऐसी विधि थी जिसमें कंप्यूटर ने निर्धारित नियमों का उपयोग करके संगीत बनाया था। इस अवधि के दौरान पहली उल्लेखनीय रचना 1957 में इलियाक सुइट फॉर स्ट्रिंग क्वार्टेट थी। इसमें मोंटे कार्लो एल्गोरिदम का उपयोग किया गया था, जो एक यादृच्छिक संख्या प्रक्रिया थी जो पिच और लय को निर्धारित करती थी, जो पारंपरिक संगीत सिद्धांत और सांख्यिकीय संभावनाओं के भीतर थी।
मिडजॉर्नी का उपयोग करके लेखक द्वारा उत्पन्न छवि
इस दौरान, एक और अग्रणी इयानिस ज़ेनाकिस ने संगीत बनाने के लिए स्टोकास्टिक प्रक्रियाओं का उपयोग किया, जो यादृच्छिक संभावना वितरण से संबंधित एक अवधारणा थी। उन्होंने कंप्यूटर और फोरट्रान भाषा का उपयोग करके कई संभावना कार्यों को जोड़ा, जिससे एक पैटर्न बना, जहां विभिन्न ग्राफिकल प्रतिनिधित्व विभिन्न ध्वनि स्थानों से मेल खाते थे।
पाठ को संगीत में अनुवाद करने की जटिलता
संगीत एक समृद्ध और बहुस्तरीय डेटा प्रारूप में संग्रहीत किया जाता है, जिसमें सुर, सामंजस्य, लय, और ताल जैसे तत्व शामिल हैं, जो पाठ को संगीत में अनुवाद करने का कार्य अत्यधिक जटिल बना देता है। एक मानक गीत लगभग एक मिलियन संख्याओं द्वारा कंप्यूटर में प्रस्तुत किया जाता है, जो अन्य डेटा प्रारूपों जैसे छवि और पाठ की तुलना में बहुत अधिक है।
ऑडियो पीढ़ी के क्षेत्र में वास्तविक ध्वनि बनाने की चुनौतियों को पार करने के लिए नए दृष्टिकोणों का सामना किया जा रहा है। एक विधि में स्पेक्ट्रोग्राम को उत्पन्न करना और फिर इसे ऑडियो में परिवर्तित करना शामिल है।
एक अन्य रणनीति संगीत के प्रतीकात्मक प्रतिनिधित्व का लाभ उठाती है, जैसे कि संगीत की पुस्तिका, जिसे संगीतकार व्याख्या कर सकते हैं और बजा सकते हैं। इस विधि को सफलतापूर्वक डिजिटल किया गया है, जिसमें मैगेंटा के चैंबर एन्सेम्बल जनरेटर जैसे उपकरण एमआईडीआई प्रारूप में संगीत बनाते हैं, जो कंप्यूटर और संगीत उपकरणों के बीच संचार को सुविधाजनक बनाने वाला प्रोटोकॉल है।
इन दृष्टिकोणों ने क्षेत्र में प्रगति की है, लेकिन वे अपनी सीमाओं के साथ आते हैं, जो ऑडियो पीढ़ी की जटिल प्रकृति को रेखांकित करते हैं।
ट्रांसफॉर्मर-आधारित स्व-सरंक्षक मॉडल और यू-नेट-आधारित विसरण मॉडल तकनीक के अग्रिम पंक्ति में हैं, जो ऑडियो, पाठ, संगीत और बहुत कुछ में राज्य-ऑफ-द-आर्ट (एसओटीए) परिणाम उत्पन्न कर रहे हैं। ओपनएआई की जीपीटी श्रृंखला और लगभग सभी अन्य एलएलएम वर्तमान में ट्रांसफॉर्मर द्वारा संचालित होते हैं, जो एनकोडर, डिकोडर या दोनों वास्तुकला का उपयोग करते हैं। कला/छवि की ओर, मिडजॉर्नी, स्टेबिलिटी एआई और डीएलएल-ई 2 सभी विसरण ढांचे का लाभ उठाते हैं। ये दो मूल तकनीकें ऑडियो क्षेत्र में एसओटीए परिणाम प्राप्त करने में महत्वपूर्ण रही हैं। इस लेख में, हम गूगल के म्यूजिकएलएम और स्टेबिलिटी ऑडियो में गहराई से जाएंगे, जो इन तकनीकों की उल्लेखनीय क्षमताओं का प्रमाण हैं।
गूगल का म्यूजिकएलएम
गूगल का म्यूजिकएलएम मई में जारी किया गया था। म्यूजिकएलएम उच्च-विश्वसनीयता वाले संगीत टुकड़े बना सकता है, जो पाठ में वर्णित भावना के साथ मेल खाते हैं। स्तरीय क्रम-टू-क्रम मॉडलिंग का उपयोग करके, म्यूजिकएलएम 24 किलोहर्ट्ज़ पर विस्तारित अवधि में संगीत में परिवर्तित होने वाले पाठ विवरणों को बदलने में सक्षम है।
मॉडल एक बहुस्तरीय स्तर पर काम करता है, न केवल पाठ इनपुट पर ध्यान केंद्रित करता है, बल्कि सुर की स्थिति को प्रदर्शित करने में भी सक्षम है। इसका मतलब है कि यह एक गुनगुनाई हुई या सीटी बजाई गई धुन ले सकता है और इसे पाठ के विवरण में वर्णित शैली के अनुसार बदल सकता है।
तकनीकी अंतर्दृष्टि
म्यूजिकएलएम ऑडियोलएम के सिद्धांतों का लाभ उठाता है, जो 2022 में ऑडियो पीढ़ी के लिए एक ढांचा पेश किया गया था। ऑडियोलएम एक विस्तरित प्रतिनिधित्व स्थान में एक भाषा मॉडलिंग कार्य के रूप में ऑडियो को संश्लेषित करता है, जिसमें एक स्तरीय क्रम-टू-फाइन ऑडियो विस्तरित इकाइयों का उपयोग किया जाता है, जिन्हें टोकन के रूप में जाना जाता है। यह दृष्टिकोण उच्च-विश्वसनीयता और लंबी अवधि में सुसंगतता सुनिश्चित करता है।
उत्पादन प्रक्रिया को सुविधाजनक बनाने के लिए, म्यूजिकएलएम ऑडियोलएम की क्षमताओं को विस्तारित करता है ताकि पाठ स्थिति को शामिल किया जा सके, जो एक तकनीक है जो उत्पन्न ऑडियो को इनपुट पाठ की बारीकियों के साथ संरेखित करती है। यह मुलान, एक संयुक्त संगीत-पाठ मॉडल का उपयोग करके एक साझा एम्बेडिंग स्थान बनाकर प्राप्त किया जाता है, जो संगीत और इसके संबंधित पाठ विवरणों को एक ही एम्बेडिंग स्थान में प्रोजेक्ट करने के लिए प्रशिक्षित है। यह रणनीति प्रभावी ढंग से प्रशिक्षण के दौरान कैप्शन की आवश्यकता को समाप्त करती है, जिससे मॉडल को बड़े ऑडियो-केवल निगमों पर प्रशिक्षित किया जा सकता है।
म्यूजिकएलएम मॉडल साउंडस्ट्रीम का भी उपयोग करता है, जो इसका ऑडियो टोकनाइज़र है, जो 24 किलोहर्ट्ज़ संगीत को 6 किलोबिट प्रति सेकंड पर प्रभावशाली विश्वसनीयता के साथ पुनर्निर्माण कर सकता है, शेष वेक्टर क्वांटीकरण (आरवीक्यू) का उपयोग करके कुशल और उच्च-गुणवत्ता वाले ऑडियो संपीड़न के लिए।
म्यूजिकएलएम के मूल मॉडलों के स्वतंत्र पूर्व-प्रशिक्षण प्रक्रिया का एक चित्रण, छवि स्रोत: यहाँ
इसके अलावा, म्यूजिकएलएम अपनी क्षमताओं का विस्तार करता है जिससे सुर की स्थिति की अनुमति मिलती है। यह दृष्टिकोण सुनिश्चित करता है कि यहां तक कि एक सरल गुनगुनाई हुई धुन भी एक शानदार श्रवण अनुभव के लिए आधार बन सकती है, जो पाठ के विवरण में वर्णित शैली के अनुसार बारीकी से तैयार किया जाता है।
म्यूजिकएलएम के विकासकर्ताओं ने म्यूजिककैप्स नामक एक डेटासेट भी खोला है, जिसमें 5.5k संगीत-पाठ जोड़े हैं, प्रत्येक के साथ मानव विशेषज्ञों द्वारा तैयार किए गए समृद्ध पाठ विवरण हैं। आप इसे हगिंग फेस पर म्यूजिककैप्स पर देख सकते हैं।
गूगल के म्यूजिकएलएम के साथ एआई साउंडट्रैक बनाने के लिए तैयार हैं? यहाँ शुरू करने का तरीका है:
- म्यूजिकएलएम की आधिकारिक वेबसाइट पर जाएं और “शुरू करें” पर क्लिक करें।
- प्रतीक्षा सूची में शामिल होने के लिए “रुचि दर्ज करें” चुनें।
- अपने गूगल खाते का उपयोग करके लॉग इन करें।
- एक बार जब आपको पहुंच प्रदान की जाती है, तो “अब आजमाएं” पर क्लिक करके शुरू करें।
नीचे कुछ उदाहरण प्रॉम्प्ट हैं जिन्हें मैंने प्रयोग किया है:
“ध्यान का गीत, शांत और सुखदायक, बांसुरी और गिटार के साथ। संगीत धीमा है, जो शांति और शांति की भावना पैदा करने पर केंद्रित है।”
“सैक्सोफोन के साथ जाज”
पिछले एसओटीए मॉडल जैसे रिफ्यूजन और म्यूबेर्ट की गुणात्मक मूल्यांकन में, म्यूजिकएलएम को 10 सेकंड के ऑडियो क्लिप के साथ पाठ कैप्शन की संगतता के लिए अधिक पसंद किया गया था, जिसमें प्रतिभागियों ने अनुकूल रेटिंग दी थी।
म्यूजिकएलएम प्रदर्शन तुलना, छवि स्रोत: यहाँ
स्टेबिलिटी ऑडियो
स्टेबिलिटी एआई ने हाल ही में “स्टेबल ऑडियो” पेश किया है, जो एक विस्तरित मॉडल आर्किटेक्चर है जो पाठ मेटाडेटा के साथ-साथ ऑडियो फ़ाइल अवधि और प्रारंभ समय पर सशर्त है। यह दृष्टिकोण, गूगल के म्यूजिकएलएम की तरह, उत्पन्न ऑडियो की सामग्री और लंबाई पर नियंत्रण प्रदान करता है, जिससे विशिष्ट लंबाई के ऑडियो क्लिप बनाने की अनुमति मिलती है, जो प्रशिक्षण खिड़की के आकार तक हो सकती है।
तकनीकी अंतर्दृष्टि
स्टेबल ऑडियो में कई घटक शामिल हैं, जिनमें एक वैरिएशनल ऑटोएनकोडर (वीएई) और एक यू-नेट-आधारित सशर्त विसरण मॉडल शामिल है, जो एक पाठ एनकोडर के साथ मिलकर काम करता है।
स्टेबल ऑडियो आर्किटेक्चर, छवि स्रोत: यहाँ
वीएई तेजी से उत्पादन और प्रशिक्षण को सुविधाजनक बनाता है bằng स्टीरियो ऑडियो को एक डेटा-संकुचित, शोर-प्रतिरोधी और व्युत्क्रम योग्य हानिपूर्ण लेटेंट एन्कोडिंग में संकुचित करता है, जो कच्चे ऑडियो नमूनों के साथ काम करने की आवश्यकता को दरकिनार करता है।
पाठ एनकोडर, जो एक सीएलएपी मॉडल से व्युत्पन्न है, संगीत और श्रव्य ध्वनियों के बीच जटिल संबंधों को समझने में एक महत्वपूर्ण भूमिका निभाता है, जो टोकनीकृत इनपुट पाठ का एक सूचकात्मक प्रतिनिधित्व प्रदान करता है। यह सीएलएपी पाठ एनकोडर के पेनअल्टिमेट लेयर से पाठ सुविधाओं का उपयोग करके प्राप्त किया जाता है, जिन्हें तब विसरण यू-नेट में क्रॉस-ध्यान層ों के माध्यम से एकीकृत किया जाता है।
एक महत्वपूर्ण पहलू समय एम्बेडिंग का समावेश है, जो दो गुणों पर आधारित होता है: ऑडियो चंक का प्रारंभिक सेकंड और मूल ऑडियो फ़ाइल की कुल अवधि। ये मान, प्रति सेकंड व्युत्पन्न सीखे हुए एम्बेडिंग में अनुवादित होते हैं, जो प्रॉम्प्ट टोकन के साथ मिलकर यू-नेट की क्रॉस-ध्यान परतों में खिलाया जाता है, जिससे उपयोगकर्ताओं को आउटपुट ऑडियो की कुल लंबाई निर्देशित करने की अनुमति मिलती है।
स्टेबल ऑडियो मॉडल को स्टॉक म्यूजिक प्रदाता ऑडियोस्पार्क्स के सहयोग से 800,000 से अधिक ऑडियो फ़ाइलों के व्यापक डेटासेट का उपयोग करके प्रशिक्षित किया गया था।
स्टेबल ऑडियो विज्ञापन
स्टेबल ऑडियो एक नि:शुल्क संस्करण प्रदान करता है, जो प्रति माह 20 सेकंड के ट्रैक के 20 जनरेशन की अनुमति देता है, और $12/माह प्रो योजना, जो 90 सेकंड के ट्रैक के 500 जनरेशन की अनुमति देती है।
नीचे स्टेबल ऑडियो का उपयोग करके बनाया गया एक ऑडियो क्लिप है।
मिडजॉर्नी का उपयोग करके लेखक द्वारा उत्पन्न छवि
“सिनेमैटिक, साउंडट्रैक शांत वर्षा, एम्बिएंट, सुखदायक, दूरस्थ कुत्तों की भौंक, शांत पत्ती की सरसराहट, सूक्ष्म हवा, 40 बीपीएम”
ऐसे精心 तैयार किए गए ऑडियो टुकड़ों के अनुप्रयोग अंतहीन हैं। फिल्म निर्माता इस तकनीक का उपयोग करके समृद्ध और विसर्जन साउंडस्केप बना सकते हैं। वाणिज्यिक क्षेत्र में, विज्ञापनदाता इन अनुकूलित ऑडियो ट्रैक का उपयोग कर सकते हैं। इसके अलावा, यह उपकरण व्यक्तिगत रचनाकारों और कलाकारों के लिए अनंत संभावनाओं का कैनवास प्रदान करता है, जो कहानियों को सुनाने, भावनाओं को व्यक्त करने और वातावरण को गहराई से बनाने के लिए एक मंच प्रदान करता है, जो पहले बड़े बजट या तकनीकी विशेषज्ञता के बिना असंभव था।
प्रॉम्प्टिंग युक्तियाँ
पाठ प्रॉम्प्ट का उपयोग करके आदर्श ऑडियो बनाएं। यहाँ एक त्वरित मार्गदर्शिका है जिससे आप शुरू कर सकते हैं:
- विस्तार से बताएं: शैलियों, मूड और उपकरणों को निर्दिष्ट करें। उदाहरण के लिए: सिनेमैटिक, वाइल्ड वेस्ट, पर्क्यूशन, तनावपूर्ण, वायुमंडलीय
- मूड सेटिंग: संगीत और भावनात्मक शब्दों को मिलाकर वांछित मूड व्यक्त करें।
- उपकरण चयन: उपकरण नामों को विशेषणों से बढ़ाएं, जैसे “रिवर्बरेटेड गिटार” या “शक्तिशाली कोरस”।
- बीपीएम: शैली के अनुसार ताल को संरेखित करें, जैसे कि ड्रम और बास के लिए 170 बीपीएम।
समापन नोट
मिडजॉर्नी का उपयोग करके लेखक द्वारा उत्पन्न छवि
इस लेख में, हमने एआई-जनित संगीत/ऑडियो की यात्रा में गहराई से जाने का प्रयास किया है, जो एल्गोरिदमिक संरचना से आज के जेनरेटिव एआई ढांचों जैसे गूगल के म्यूजिकएलएम और स्टेबिलिटी ऑडियो तक पहुंचता है। ये तकनीकें, जो गहरे शिक्षण और एसओटीए संपीड़न मॉडल का लाभ उठाती हैं, न केवल संगीत पीढ़ी में सुधार करती हैं बल्कि श्रोताओं के अनुभवों को भी बारीक करती हैं।
हालांकि, यह एक ऐसा क्षेत्र है जो निरंतर विकास में है, जिसमें लंबी अवधि में सुसंगतता बनाए रखने और एआई द्वारा निर्मित संगीत की वैधता पर चल रही बहस जैसी चुनौतियाँ इसके अग्रणियों के सामने खड़ी हैं। कुछ दिनों पहले, एक एआई-निर्मित गीत, जो ड्रेक और द वीकेंड की शैली में था, ने ऑनलाइन ध्यान आकर्षित किया था, लेकिन बाद में ग्रैमी नामांकन सूची से हटा दिया गया था, जो इस क्षेत्र में चल रही बहस को प्रकट करता है (स्रोत)। जैसे ही एआई संगीत और श्रोताओं के बीच की खाई को पाटता है, यह एक पारिस्थितिकी तंत्र को बढ़ावा देता है जहां तकनीक कला के साथ सह-अस्तित्व में रहती है, नवाचार को बढ़ावा देती है और परंपरा का सम्मान करती है।
