एआई शोधकर्ता फिल्मों और अन्य मीडिया के लिए ध्वनि प्रभाव उत्पन्न करने के लिए कार्यक्रम डिजाइन करते हैं

टेक्सास सैन एंटोनियो विश्वविद्यालय के शोधकर्ताओं ने एक एआई-आधारित अनुप्रयोग बनाया है जो वीडियो में होने वाली क्रियाओं को देखकर और उन क्रियाओं के अनुसार कृत्रिम ध्वनि प्रभाव बना सकता है। कार्यक्रम द्वारा उत्पन्न ध्वनि प्रभाव इतने वास्तविक हैं कि जब मानव पर्यवेक्षकों से राय ली गई, तो उन्होंने आमतौर पर सोचा कि ध्वनि प्रभाव वास्तविक थे।

ध्वनि प्रभाव उत्पन्न करने वाले कार्यक्रम, ऑडियोफोले, को हाल ही में आईईईई ट्रांजैक्शन ऑन मल्टीमीडिया में प्रकाशित एक अध्ययन में विस्तार से बताया गया है। आईईईई स्पेक्ट्रम के अनुसार, एआई कार्यक्रम को जेफ प्रोवोस्ट, यूटी सैन एंटोनियो में प्रोफेसर, और पीएचडी छात्र संचिता घोष ने विकसित किया था। शोधकर्ताओं ने कई मशीन लर्निंग मॉडल को एक साथ जोड़कर कार्यक्रम बनाया।

ध्वनि प्रभाव उत्पन्न करने का पहला कार्य स्क्रीन पर होने वाली क्रियाओं को पहचानना और उन्हें ध्वनि प्रभावों के साथ मैप करना था। इसे करने के लिए, शोधकर्ताओं ने दो अलग-अलग मशीन लर्निंग मॉडल डिजाइन किए और उनके अलग-अलग दृष्टिकोणों का परीक्षण किया। पहला मॉडल वीडियो से फ्रेम निकालता है और उन्हें प्रासंगिक विशेषताओं जैसे गति और रंग के लिए विश्लेषण करता है। इसके बाद, एक दूसरा मॉडल वस्तु की स्थिति को फ्रेम में बदलने के लिए उपयोग किया जाता है, ताकि समय संबंधी जानकारी निकाली जा सके। यह समय संबंधी जानकारी वीडियो में अगली संभावित क्रियाओं की भविष्यवाणी करने के लिए उपयोग की जाती है। दोनों मॉडल क्रियाओं का विश्लेषण करने के लिए अलग-अलग तरीकों का उपयोग करते हैं, लेकिन वे दोनों क्लिप में निहित जानकारी का उपयोग यह अनुमान लगाने के लिए करते हैं कि कौन सी ध्वनि इसे सबसे अच्छी तरह से साथ देगी।

अगला कार्य ध्वनि को संश्लेषित करना है, और यह गतिविधियों/पूर्वानुमानित गतियों को संभावित ध्वनि नमूनों से मिलाने के द्वारा किया जाता है। घोष और प्रेवोस्ट के अनुसार, ऑटोफोले का उपयोग 1000 छोटे क्लिप के लिए ध्वनि उत्पन्न करने के लिए किया गया था, जिसमें आग, एक दौड़ता घोड़ा, टिक-Tick घड़ियां, और पौधों पर गिरती बारिश जैसी क्रियाएं और वस्तुएं शामिल थीं। जबकि ऑटोफोले उन क्लिप के लिए ध्वनि बनाने में सबसे सफल था जहां क्रियाओं और ध्वनियों के बीच एक पूर्ण मेल की आवश्यकता नहीं थी, और यह उन क्लिप के लिए मेल खाने में परेशानी हुई जहां क्रियाएं अधिक परिवर्तनशीलता के साथ हुईं, कार्यक्रम अभी भी कई मानव पर्यवेक्षकों को अपनी उत्पन्न ध्वनियों को मूल ध्वनि के ऊपर चुनने में सक्षम था।

प्रेवोस्ट और घोष ने 57 कॉलेज के छात्रों को भर्ती किया और उन्हें विभिन्न क्लिप दिखाई। कुछ क्लिप में मूल ऑडियो था, कुछ में ऑटोफोले द्वारा उत्पन्न ऑडियो था। जब पहले मॉडल का परीक्षण किया गया, तो लगभग 73% छात्रों ने संश्लेषित ऑडियो को मूल ऑडियो के रूप में चुना, मूल क्लिप के साथ आने वाली वास्तविक ध्वनि की उपेक्षा की। दूसरा मॉडल थोड़ा खराब प्रदर्शन किया, केवल 66% प्रतिभागियों ने मूल ऑडियो के ऊपर उत्पन्न ऑडियो का चयन किया।

प्रेवोस्ट ने समझाया कि ऑटोफोले का उपयोग फिल्मों, टेलीविजन, और अन्य मीडिया के उत्पादन की प्रक्रिया को तेज करने के लिए किया जा सकता है। प्रेवोस्ट नोट करते हैं कि एक वास्तविक फोले ट्रैक बनाना मीडिया को आकर्षक और विश्वसनीय बनाने के लिए महत्वपूर्ण है, लेकिन फोले प्रक्रिया अक्सर पूरी होने में काफी समय लेती है। एक स्वचालित प्रणाली जो बुनियादी फोले तत्वों के निर्माण को संभाल सकती है, मीडिया का उत्पादन सस्ता और तेज बना सकती है।

वर्तमान में, ऑटोफोले की कुछ उल्लेखनीय सीमाएं हैं। एक के लिए, जबकि मॉडल स्थिर, पूर्वानुमानित गतियों वाली घटनाओं को देखते समय अच्छा प्रदर्शन करता है, यह समय में परिवर्तनशीलता वाली घटनाओं (जैसे तूफान) के लिए ऑडियो उत्पन्न करने में संघर्ष करता है। इसके अलावा, यह आवश्यक है कि वर्गीकरण विषय पूरे क्लिप में मौजूद हो और फ्रेम से बाहर न जाए। शोध टीम भविष्य के आवेदन संस्करणों के साथ इन मुद्दों को संबोधित करने का लक्ष्य रखती है।