गहरे नकली वीडियो में विश्वासनीयता बनाम यथार्थवाद

सभी गहरे नकली अभ्यासकर्ता एक ही उद्देश्य साझा नहीं करते हैं: छवि संश्लेषण अनुसंधान क्षेत्र का प्रोत्साहन – जो प्रभावशाली समर्थकों जैसे एडोब, एनवीडिया और फेसबुक द्वारा समर्थित है – यह है कि मशीन लर्निंग तकनीकें उच्च रिज़ॉल्यूशन और चुनौतीपूर्ण परिस्थितियों में मानव गतिविधि को पुनः बनाने या संश्लेषित करने में सक्षम हों (विश्वासनीयता)

इसके विपरीत, उन लोगों का उद्देश्य जो गहरे नकली प्रौद्योगिकियों का उपयोग गलत सूचना फैलाने के लिए करना चाहते हैं, वे विभिन्न तरीकों से वास्तविक लोगों के विश्वसनीय अनुकरण बनाने का प्रयास करते हैं, न कि केवल गहरे नकली चेहरों की वास्तविकता के माध्यम से। इस परिदृश्य में, संदर्भ और विश्वासनीयता जैसे सहायक कारक वीडियो की चेहरे की अनुकरण क्षमता के बराबर हैं (यथार्थवाद)

यह ‘स्लेट-ऑफ-हैंड’ दृष्टिकोण गहरे नकली वीडियो की अंतिम छवि गुणवत्ता के क्षय तक विस्तारित होता है, ताकि पूरा वीडियो (और न केवल गहरे नकली चेहरे द्वारा प्रतिनिधित्व किया गया भ्रामक भाग) एक सुसंगत ‘देखो’ है जो माध्यम के लिए अपेक्षित गुणवत्ता के अनुरूप है

‘सुसंगत’ का अर्थ आवश्यक रूप से ‘अच्छा’ नहीं है – यह पर्याप्त है कि गुणवत्ता मूल और डाले गए, दूषित सामग्री में संगत है, और अपेक्षाओं का पालन करती है। वीडियो कॉन्फ़्रेंसिंग प्लेटफ़ॉर्म जैसे स्काइप और ज़ूम पर वॉयस ओवर इंटरनेट प्रोटोकॉल (वॉइसओवर इंटरनेट प्रोटोकॉल) स्ट्रीमिंग आउटपुट के संदर्भ में, स्तर आश्चर्यजनक रूप से कम हो सकता है, जिसमें हकलाना, ज़र्की वीडियो, और संभावित संपीड़न कलाकृतियों की एक पूरी श्रृंखला शामिल है, साथ ही साथ ‘स्मूथिंग’ एल्गोरिदम जो उनके प्रभावों को कम करने के लिए डिज़ाइन किए गए हैं – जो स्वयं एक अतिरिक्त श्रृंखला के ‘अप्राकृतिक’ प्रभाव हैं जिन्हें हमने लाइव स्ट्रीमिंग की सीमाओं और विचित्रताओं के प्रति स्वीकार किया है

DeepFaceLive क्रिया में: यह प्रीमियर गहरे नकली सॉफ़्टवेयर DeepFaceLab का स्ट्रीमिंग संस्करण सीमित वीडियो गुणवत्ता के संदर्भ में नकली को प्रस्तुत करके संदर्भ यथार्थवाद प्रदान कर सकता है, जिसमें प्लेबैक मुद्दे और अन्य पुनरावृत्ति कनेक्शन कलाकृतियां शामिल हैं स्रोत: https://www.youtube.com/watch?v=IL517EgYH8U

निर्मित क्षय

वास्तव में, दो सबसे लोकप्रिय गहरे नकली पैकेज (दोनों 2017 के विवादास्पद स्रोत कोड से व्युत्पन्न) में घटक होते हैं जो ‘ऐतिहासिक’ या निम्न-गुणवत्ता वाले वीडियो के संदर्भ में उत्पन्न चेहरे को एकीकृत करने के लिए डिज़ाइन किए गए हैं। DeepFaceLab में, bicubic_degrade_power पैरामीटर यह पूरा करता है, और FaceSwap में, Ffmpeg कॉन्फ़िगरेशन में ‘grain’ सेटिंग नकली चेहरे को एकीकृत करने में मदद करती है*।

FaceSwap में ‘grain’ सेटिंग गैर-एचक्यू वीडियो सामग्री और विरासत सामग्री में नकली चेहरे को एकीकृत करने में मदद करती है जो दुर्लभ फिल्म ग्रेन प्रभावों की विशेषता है

अक्सर, गहरे नकली वीडियो के पूर्ण और एकीकृत आउटपुट के बजाय, गहरे नकली लोग एक अलग श्रृंखला का उत्पादन करेंगे पीएनजी फ़ाइलें जो अल्फा चैनल के साथ होती हैं, जिसमें प्रत्येक छवि केवल संश्लेषित चेहरे का आउटपुट दिखाती है, ताकि छवि स्ट्रीम को वीडियो में परिवर्तित किया जा सके प्लेटफ़ॉर्म जो अधिक परिष्कृत ‘क्षय’ प्रभाव क्षमताओं के साथ हैं, जैसे कि एडोब आफ्टर इफेक्ट्स, नकली और वास्तविक तत्वों को अंतिम वीडियो के लिए एक साथ जोड़ने से पहले

इन जानबूझकर क्षय के अलावा, गहरे नकली कार्य की सामग्री अक्सर पुनः संकुचित होती है, या तो एल्गोरिदमिक रूप से (जहां सोशल मीडिया प्लेटफ़ॉर्म बैंडविड्थ को बचाने के लिए उपयोगकर्ताओं के अपलोड के हल्के संस्करणों का उत्पादन करना चाहते हैं) प्लेटफ़ॉर्म जैसे यूट्यूब और फ़ेसबुक में, या मूल कार्य को एनिमेटेड जीआईएफ़, विवरण अनुभाग, या विविध रूप से प्रेरित कार्य प्रवाह में पुनः संसाधित करने से जो मूल रिलीज़ को एक प्रारंभिक बिंदु के रूप में मानते हैं और बाद में अतिरिक्त संपीड़न पेश करते हैं

वास्तविक गहरे नकली पता संदर्भ

इस बात को ध्यान में रखते हुए, स्विट्जरलैंड से एक नई पेपर ने गहरे नकली पता दृष्टिकोण के पीछे पद्धति को पुनः बनाने का प्रस्ताव दिया है, जिसमें पता सिस्टम को सिखाया जाता है कि वे गहरे नकली सामग्री की विशेषताओं को सीखें जब यह जानबूझकर क्षयित संदर्भों में प्रस्तुत किया जाता है

नई पेपर में उपयोग किए गए डेटासेट में से एक पर स्टोकास्टिक डेटा ऑगमेंटेशन लागू किया गया, जिसमें गॉसियन शोर, गामा सुधार, और गॉसियन धुंधलापन शामिल है, साथ ही जेपीईजी संपीड़न से कलाकृतियां स्रोत: https://arxiv.org/pdf/2203.11807.pdf

नई पेपर में, शोधकर्ता तर्क देते हैं कि अग्रणी गहरे नकली पता पैकेज असली दुनिया के संदर्भों में उनके द्वारा लागू किए जाने वाले मेट्रिक्स के लिए अवास्तविक बेंचमार्क स्थितियों पर निर्भर करते हैं, और ‘क्षयित’ गहरे नकली आउटपुट पता के लिए न्यूनतम गुणवत्ता सीमा से नीचे गिर सकता है, भले ही उनकी वास्तविक ‘ग्रंजी’ सामग्री संदर्भ के प्रति सही ध्यान के कारण दर्शकों को धोखा देने की संभावना है

शोधकर्ताओं ने एक नई ‘वास्तविक दुनिया’ डेटा क्षय प्रक्रिया की स्थापना की है जो अग्रणी गहरे नकली पता सिस्टम की सामान्यीकरण क्षमता में सुधार करने में सफल होती है, मूल ‘साफ’ डेटा पर प्राप्त पता दरों पर केवल सीमित सटीकता हानि के साथ। वे वास्तविक दुनिया की स्थितियों में गहरे नकली पता सिस्टम की लचीलापन का मूल्यांकन करने के लिए एक नई मूल्यांकन ढांचा भी प्रदान करते हैं, जो व्यापक अपघटन अध्ययनों द्वारा समर्थित है

पेपर शीर्षक है वास्तविक स्थितियों में सीखने-आधारित गहरे नकली पता में सुधार के लिए एक नई दृष्टिकोण, और लॉज़ेन में स्थित मीडिया सिग्नल प्रोसेसिंग ग्रुप (एमएमएसपीजी) और इकोले पॉलिटेक्निक फ़ेडेरल डी लॉज़ेन (ईपीएफएल) के शोधकर्ताओं से आता है।

उपयोगी भ्रम

गहरे नकली पता दृष्टिकोण में क्षयित आउटपुट को शामिल करने के पिछले प्रयासों में मिक्सअप न्यूरल नेटवर्क शामिल है, जो 2018 में एमआईटी और एफएआईआर से एक प्रस्ताव है, और ऑगमिक्स, जो 2020 में डीपमाइंड और गूगल के बीच एक सहयोग है, दोनों डेटा ऑगमेंटेशन विधियां जो प्रशिक्षण सामग्री को ‘मैला’ करने का प्रयास करती हैं जो सामान्यीकरण में मदद करने के लिए प्रवृत्त होती हैं

नई कार्य के शोधकर्ता भी पिछले अध्ययनों को नोट करते हैं जिन्होंने प्रशिक्षण डेटा में गॉसियन शोर और संपीड़न कलाकृतियों को लागू किया था ताकि व्युत्पन्न विशेषता और उसमें निहित शोर के बीच संबंध की सीमाओं को स्थापित किया जा सके

नई अध्ययन एक पाइपलाइन प्रदान करता है जो छवि अधिग्रहण प्रक्रिया और वितरण प्रक्रिया में संपीड़न और विविध अन्य एल्गोरिदम द्वारा छवि आउटपुट को और अधिक क्षयित करने के लिए समझौता की गई स्थितियों का अनुकरण करता है। इस वास्तविक दुनिया कार्य प्रवाह को एक मूल्यांकन ढांचे में शामिल करके, यह संभव है कि गहरे नकली पता सिस्टम के लिए प्रशिक्षण डेटा तैयार किया जा सके जो कलाकृतियों के प्रति अधिक प्रतिरोधी है

नई दृष्टिकोण के लिए संकल्पनात्मक तर्क और कार्य प्रवाह

क्षय प्रक्रिया को गहरे नकली पता के लिए दो लोकप्रिय और सफल डेटासेट पर लागू किया गया था: फ़ेसफ़ोरेंसिक्स++ और सेलेब-डीएफवी2। इसके अलावा, अग्रणी गहरे नकली पता फ़्रेमवर्क कैप्सूल-फ़ोरेंसिक्स और एक्सेप्शननेट को दोनों डेटासेट के दूषित संस्करणों पर प्रशिक्षित किया गया था

पता सिस्टम को एडम ऑप्टिमाइज़र के साथ 25 और 10 युगों के लिए प्रशिक्षित किया गया था। डेटासेट परिवर्तन के लिए, प्रत्येक प्रशिक्षण वीडियो से 100 फ़्रेम यादृच्छिक रूप से नमूनाकृत किए गए थे, और 32 फ़्रेम परीक्षण के लिए निकाले गए थे, जो क्षय प्रक्रिया के अलावा

कार्य प्रवाह में विचार किए गए विकृतियों में शोर शामिल था, जहां शून्य-माध्य गॉसियन शोर को छह अलग-अलग स्तरों पर लागू किया गया था; पुनः आकार, जो टिपिकल आउटडोर फ़ुटेज के कम रिज़ॉल्यूशन को अनुकरण करने के लिए था, जो आम तौर पर पता सिस्टम को प्रभावित कर सकता है; संपीड़न, जहां विविध जेपीईजी संपीड़न स्तरों को डेटा पर लागू किया गया था; स्मूथिंग, जहां ‘शोर हटाने’ में उपयोग किए जाने वाले तीन प्रतिनिधि स्मूथिंग फ़िल्टर मूल्यांकन के लिए थे; सुधार, जहां कंट्रास्ट और चमक को समायोजित किया गया था; और संयोजन, जहां उपरोक्त विधियों में से तीन का मिश्रण एक ही छवि पर एक साथ लागू किया गया था

परीक्षण और परिणाम

परीक्षण में, शोधकर्ताओं ने तीन मेट्रिक्स को अपनाया: सटीकता (एसीसी); रिसीवर ऑपरेटिंग कर्व के तहत क्षेत्र (एयूसी); और एफ़1-स्कोर

शोधकर्ताओं ने मानक-प्रशिक्षित संस्करणों को दो गहरे नकली पता सिस्टम के खिलाफ परीक्षण किया और पाया कि वे कमजोर थे:

‘आम तौर पर, अधिकांश वास्तविक विकृतियों और प्रसंस्करण गहरे नकली पता सिस्टम के लिए अत्यधिक हानिकारक होते हैं। उदाहरण के लिए, कैप्सूल-फ़ोरेंसिक्स विधि दोनों अप्रक्षालित एफ़एफपीपी और सेलेब-डीएफवी2 परीक्षण सेट पर उच्च एयूसी स्कोर दिखाती है, लेकिन फिर हमारे मूल्यांकन ढांचे से प्राप्त संशोधित डेटा पर प्रदर्शन में तेजी से गिरावट आती है। एक्सेप्शननेट पता सिस्टम के साथ समान रुझान देखे गए हैं’

इसके विपरीत, दोनों पता सिस्टम का प्रदर्शन परिवर्तित डेटा पर प्रशिक्षित होने से काफी हद तक सुधार हुआ, जिसमें प्रत्येक पता सिस्टम अब अधिक देखे जाने वाले भ्रामक मीडिया का पता लगाने में सक्षम था

‘डेटा ऑगमेंटेशन योजना दोनों पता सिस्टम की लचीलापन में काफी सुधार करती है और साथ ही साथ वे मूल, अपरिवर्तित डेटा पर उच्च प्रदर्शन बनाए रखते हैं’

अध्ययन में मूल्यांकन किए गए दो गहरे नकली पता सिस्टम के बीच प्रदर्शन तुलना

पेपर निष्कर्ष निकालता है:

‘वर्तमान पता विधियां विशिष्ट बेंचमार्क पर संभव के रूप में उच्च प्रदर्शन प्राप्त करने के लिए डिज़ाइन की जाती हैं। यह अक्सर वास्तविक दुनिया की स्थितियों में सामान्यीकरण क्षमता की बलि देता है। इस पेपर में, एक सावधानी से कल्पना की गई डेटा ऑगमेंटेशन योजना प्रस्तावित की गई है जो प्राकृतिक छवि क्षय प्रक्रिया पर आधारित है’

‘व्यापक प्रयोग यह दिखाते हैं कि यह सरल लेकिन प्रभावी तकनीक विभिन्न वास्तविक विकृतियों और प्रसंस्करण संचालन के खिलाफ मॉडल लचीलापन में काफी सुधार करती है जो टिपिकल इमेजिंग कार्य प्रवाह में होती है’

* उत्पन्न चेहरे में मेल खाने वाला अनाज रूपांतरण प्रक्रिया के दौरान शैली हस्तांतरण का एक कार्य है

पहली बार 29 मार्च 2022 को प्रकाशित। 8:33 पूर्वी मानक समय पर Ffmpeg में अनाज के उपयोग को स्पष्ट करने के लिए अद्यतन किया गया