शोधकर्ताओं ने ‘ऑडियो’ एआई विकसित किया जो पियानो बजा सकता है

वाशिंगटन विश्वविद्यालय के शोधकर्ताओं की एक टीम ने ऑडियो नामक एक कृत्रिम बुद्धिमत्ता (एआई) प्रणाली विकसित की है जो मौन पियानो प्रदर्शन से ऑडियो बना सकती है। परीक्षण चरण में साउंडहाउंड जैसे संगीत पहचान ऐप्स शामिल थे, जो ऑडियो से संगीत को लगभग 86% समय तक सही ढंग से पहचान सकते थे।

शोध को 8 दिसंबर को न्यूरलपीएस 2020 सम्मेलन में प्रस्तुत किया गया था।

वरिष्ठ लेखक एली श्लिज़रमैन विश्वविद्यालय में अनुप्रयुक्त गणित और इलेक्ट्रिकल और कंप्यूटर इंजीनियरिंग विभागों में एक सहायक प्रोफेसर हैं।

“एक संगीत प्रदर्शन में बजाया जा सकने वाला संगीत बनाना पहले असंभव माना जाता था,” श्लिज़रमैन ने कहा। “एक एल्गोरिदम को वीडियो फ्रेम्स में संकेतों या ‘विशेषताओं’ का पता लगाना होगा जो संगीत उत्पन्न करने से संबंधित हैं, और यह वीडियो फ्रेम्स के बीच होने वाली ध्वनि की ‘कल्पना’ करने की आवश्यकता है। इसके लिए एक ऐसी प्रणाली की आवश्यकता है जो सटीक और कल्पनाशील दोनों हो। यह तथ्य कि हमने काफी अच्छा संगीत प्राप्त किया था, एक आश्चर्य था।”

ऑडियो कैसे काम करता है

ऑडियो प्रणाली एक वीडियो को डिकोड करके और इसे संगीत में अनुवाद करके काम करती है। कई चरणों में से पहला वीडियो फ्रेम्स में दबाए गए कुंजियों का पता लगाना है, और अंततः एक आरेख विकसित करना है। आरेख को तब अनुवादित किया जाता है ताकि एक संगीत सिंथेसाइज़र ध्वनियों को पहचान सके।

अगला चरण डेटा को साफ करना और अतिरिक्त जानकारी जोड़ना है। यह जानकारी प्रत्येक कुंजी दबाव और इसकी अवधि जैसी चीजें हो सकती हैं।

“यदि हम केवल पहले चरण से संगीत को सिंथेसाइज करने का प्रयास करते हैं, तो हम पाएंगे कि संगीत की गुणवत्ता संतोषजनक नहीं है,” श्लिज़रमैन ने कहा। “दूसरा चरण एक शिक्षक की तरह है जो एक छात्र संगीतकार के संगीत पर जाने और इसे बेहतर बनाने में मदद करता है।”

प्रणाली को पॉल बार्टन नामक पियानोवादक के यूट्यूब वीडियоз के साथ प्रशिक्षित और परीक्षण किया गया था, और इसमें विभिन्न शास्त्रीय संगीतकारों जैसे मोजार्ट के 172,000 वीडियो फ्रेम शामिल थे। ऑडियो का परीक्षण 19,000 फ्रेम के साथ किया गया था जिसमें बार्टन विभिन्न संगीत बजा रहे थे।

सिंथेसाइज़र

प्रशिक्षित होने के बाद, ऑडियो संगीत का एक लिप्यंतरण उत्पन्न करता है, जिसे तब एक सिंथेसाइज़र में डाला जाता है ताकि इसे ध्वनि में अनुवादित किया जा सके। सिंथेसाइज़र के आधार पर संगीत अलग-अलग लगता है, जो एक इलेक्ट्रिक कीबोर्ड पर इंस्ट्रूमेंट सेटिंग बदलने के बराबर है।

टीम ने दो अलग-अलग सिंथेसाइज़र का उपयोग किया।

“फ्लूइडसिंथ पियानो ध्वनियों को उत्पन्न करता है जिनसे हम परिचित हैं, जो थोड़े यांत्रिक लगते हैं लेकिन khá सटीक हैं,” श्लिज़रमैन ने कहा। “हमने पर्फनेट का भी उपयोग किया, जो एक नया एआई सिंथेसाइज़र है जो अधिक समृद्ध और अभिव्यंजक संगीत उत्पन्न करता है। लेकिन यह अधिक शोर भी उत्पन्न करता है।”

“इस अध्ययन का उद्देश्य यह देखना था कि क्या कृत्रिम बुद्धिमत्ता एक वीडियो रिकॉर्डिंग में पियानोवादक द्वारा बजाए गए संगीत को उत्पन्न कर सकती है – हालांकि हम पॉल बार्टन की नकल करने का लक्ष्य नहीं रख रहे थे क्योंकि वह इतना महान है, “श्लिज़रमैन ने जारी रखा। “हमें उम्मीद है कि हमारा अध्ययन संगीत के साथ बातचीत करने के नए तरीकों को सक्षम बनाता है। उदाहरण के लिए, एक भविष्य का अनुप्रयोग यह है कि ऑडियो को एक आभासी पियानो में विस्तारित किया जा सकता है जिसमें एक कैमरा केवल एक व्यक्ति के हाथों को रिकॉर्ड कर रहा है। इसके अलावा, एक वास्तविक पियानो के ऊपर एक कैमरा रखने से, ऑडियो छात्रों को सिखाने के नए तरीकों में मदद कर सकता है कि वे कैसे बजा सकते हैं। “

कुंग सू और ज़िउलोंग लियू, इलेक्ट्रिकल और कंप्यूटर इंजीनियरिंग में डॉक्टरेट छात्र, पत्र के सह-लेखक थे।