गहराई जानकारी वास्तविक समय में डीपफेक्स का पता लगा सकती है

इटली से नए शोध में पाया गया है कि छवियों से प्राप्त गहराई जानकारी डीपफेक्स का पता लगाने के लिए एक उपयोगी उपकरण हो सकती है – यहां तक कि वास्तविक समय में।

पिछले पांच वर्षों में डीपफेक्स का पता लगाने के लिए किए गए अधिकांश शोध ने कलाकृति पहचान (जिसे बेहतर तकनीकों द्वारा कम किया जा सकता है या खराब वीडियो कोडेक संपीड़न के लिए गलत समझा जा सकता है) पर ध्यान केंद्रित किया है, पर्यावरण प्रकाश, जैवमानिक विशेषताएं, कालिक व्यवधान, और यहां तक कि मानव प्रवृत्ति पर, नए अध्ययन में पहली बार सुझाव दिया गया है कि गहराई जानकारी डीपफेक्स सामग्री के लिए एक मूल्यवान संकेत हो सकती है।

व्युत्पन्न गहराई मानचित्रों के उदाहरण, और वास्तविक और नकली छवियों के बीच संवेदी गहराई जानकारी में अंतर。 स्रोत: https://arxiv.org/pdf/2208.11074.pdf

महत्वपूर्ण रूप से, नए अध्ययन के लिए विकसित किए गए पता लगाने के ढांचे बहुत अच्छी तरह से एक हल्के नेटवर्क जैसे एक्सेप्शन पर काम करते हैं, और मोबाइलनेट पर स्वीकार्य रूप से काम करते हैं, और नए पत्र में स्वीकार किया जाता है कि ऐसे नेटवर्क के माध्यम से प्रस्तावित अंतर्दृष्टि की कम विलंबता वास्तविक समय में डीपफेक्स का पता लगाने की अनुमति दे सकती है, जो हाल ही में बिनांस पर हमले जैसे लाइव डीपफेक्स धोखाधड़ी के खिलाफ।

अनुमान समय में अधिक बचत की जा सकती है क्योंकि प्रणाली को वास्तविक और नकली गहराई मानचित्रों के बीच अंतर का निर्धारण करने के लिए पूर्ण रंग छवियों की आवश्यकता नहीं है, लेकिन गहराई जानकारी की ग्रेस्केल छवियों पर ही काम कर सकती है।

लेखकों का कहना है: ‘यह परिणाम सुझाव देता है कि इस मामले में गहराई वर्गीकरण के लिए रंग कलाकृतियों की तुलना में अधिक प्रासंगिक योगदान जोड़ती है।’

निष्कर्ष एक नए अनुसंधान के हिस्से के रूप में आते हैं जो वास्तविक समय में चेहरे के संश्लेषण प्रणालियों जैसे डीपफेसलाइव के खिलाफ निर्देशित हैं, जो पिछले 3-4 महीनों में तेजी से बढ़ा है, एफबीआई की चेतावनी के बाद वास्तविक समय वीडियो और ऑडियो डीपफेक्स के जोखिम के बारे में।

यह पत्र शीर्षक है डेप्थफेक: एक गहराई-आधारित रणनीति डीपफेक वीडियो का पता लगाने के लिए, और रोम के सापिएंजा विश्वविद्यालय के पांच शोधकर्ताओं से आता है।

किनारे के मामले

प्रशिक्षण के दौरान, ऑटोएनकोडर-आधारित डीपफेक मॉडल चेहरे के आंतरिक क्षेत्रों को प्राथमिकता देते हैं, जैसे कि आंखें, नाक और मुंह। अधिकांश मामलों में, खुले स्रोत वितरण जैसे डीपफेसलैब और फेसस्वैप (दोनों 2017 के रेडिट कोड से फोर्क किए गए) में, चेहरे के बाहरी रेखाचित्र प्रशिक्षण के बहुत देर से चरण में अच्छी तरह से परिभाषित नहीं हो जाते हैं और आंतरिक चेहरे क्षेत्र में संश्लेषण की गुणवत्ता के बराबर नहीं होते हैं।

एक पिछले अध्ययन से, हम चेहरे के ‘सaliency मानचित्र’ का दृश्य देखते हैं। स्रोत: https://arxiv.org/pdf/2203.01318.pdf

आम तौर पर, यह महत्वपूर्ण नहीं है, क्योंकि हमारी प्रवृत्ति पहले आंखों पर ध्यान केंद्रित करने और ‘बाहर की ओर’ कम होती ध्यान के स्तर पर होती है जिसका अर्थ है कि हम परिधीय गुणवत्ता में गिरावट से परेशान नहीं होने की संभावना है – विशेष रूप से यदि हम जिस व्यक्ति के साथ बात कर रहे हैं वह एक अन्य पहचान को नकली बना रहा है, जो सामाजिक सम्मेलनों और प्रसंस्करण सीमाओं को ट्रिगर करता है जो तब नहीं होता जब हम ‘रेंडरेड’ डीपफेक फुटेज का मूल्यांकन करते हैं।

हालांकि, चेहरे के प्रभावित मार्जिन क्षेत्रों में विवरण या सटीकता की कमी को एल्गोरिदम द्वारा पता लगाया जा सकता है। मार्च में, एक प्रणाली जो परिधीय चेहरे क्षेत्र पर कुंजी है, घोषित किया गया था। हालांकि, поскольку यह एक औसत से अधिक प्रशिक्षण डेटा की आवश्यकता है, यह केवल उन हस्तियों के लिए अभिप्रेत है जो संभवतः लोकप्रिय चेहरे डेटासेट (जैसे इमेजनेट) में शामिल होंगे जो वर्तमान कंप्यूटर दृष्टि और डीपफेक्स पता लगाने की तकनीकों में प्रमाणित हैं।

इसके बजाय, नई प्रणाली, जिसे डेप्थफेक कहा जाता है, जेनेरिक रूप से काम कर सकती है, यहां तक कि अस्पष्ट या अज्ञात पहचान पर भी, वास्तविक और नकली वीडियो सामग्री में अनुमानित गहराई मानचित्र जानकारी की गुणवत्ता को भेद करते हुए।

गहराई में जाना

गहराई मानचित्र जानकारी धीरे-धीरे स्मार्टफोन में शामिल की जा रही है, जिसमें एआई-सहायता प्रिस्टेरो कार्यान्वयन शामिल हैं जो कंप्यूटर दृष्टि अध्ययनों के लिए विशेष रूप से उपयोगी हैं। नए अध्ययन में, लेखकों ने आयरलैंड के राष्ट्रीय विश्वविद्यालय के फेसडेप्थ मॉडल का उपयोग किया है, जो एक कनवोल्यूशनल एनकोडर/डिकोडर नेटवर्क है जो एकल-स्रोत छवियों से गहराई मानचित्रों का कुशलता से अनुमान लगा सकता है।

फेसडेप्थ मॉडल कार्रवाई में। स्रोत: https://tinyurl.com/3ctcazma

इसके बाद, शोधकर्ताओं के नए ढांचे की पाइपलाइन विषय के चेहरे का 224×224 पिक्सेल पैच मूल आरजीबी छवि और व्युत्पन्न गहराई मानचित्र दोनों से निकालती है। महत्वपूर्ण रूप से, यह प्रक्रिया को मूल सामग्री की प्रतिलिपि बनाने की अनुमति देती है बिना इसे पुनराकारित किए; यह महत्वपूर्ण है, क्योंकि आकार मानक पुनराकारित एल्गोरिदम लक्षित क्षेत्रों की गुणवत्ता को प्रतिकूल रूप से प्रभावित करेंगे।

इस जानकारी का उपयोग करते हुए, वास्तविक और नकली स्रोतों दोनों से, शोधकर्ताओं ने एक कनवोल्यूशनल न्यूरल नेटवर्क (सीएनएन) प्रशिक्षित किया जो वास्तविक और नकली उदाहरणों के बीच अंतर करने में सक्षम था, संबंधित गहराई मानचित्रों की संवेदी गुणवत्ता में अंतर के आधार पर।

डेप्थफेक के लिए अवधारणात्मक पाइपलाइन。

फेसडेप्थ मॉडल वास्तविक और सिंथेटिक डेटा पर एक हाइब्रिड फंक्शन का उपयोग करके प्रशिक्षित किया जाता है जो चेहरे के बाहरी किनारों पर अधिक विवरण प्रदान करता है, जो इसे डेप्थफेक के लिए अच्छी तरह से अनुकूल बनाता है। यह एक मोबाइलनेट उदाहरण का उपयोग एक सुविधा निकालने वाले के रूप में करता है, और 480×640 इनपुट छवियों का उत्पादन 240×320 गहराई मानचित्र के साथ प्रशिक्षित किया गया था। प्रत्येक गहराई मानचित्र नए परियोजना के भेदभावपूर्ण में उपयोग किए जाने वाले चार इनपुट चैनलों में से एक चौथाई का प्रतिनिधित्व करता है।

गहराई मानचित्र को स्वचालित रूप से मूल आरजीबी छवि में एम्बेड किया जाता है ताकि आधुनिक स्मार्टफोन कैमरे के आउटपुट के समान आरजीबीडी छवि प्रदान की जा सके, जिसमें गहराई जानकारी होती है।

प्रशिक्षण

मॉडल को एक एक्सेप्शन नेटवर्क पर प्रशिक्षित किया गया था जो पहले से ही इमेजनेट पर प्री-ट्रेन्ड था, हालांकि वास्तुकला को अतिरिक्त गहराई जानकारी को समायोजित करने और वजन के सही प्रारंभिकरण को बनाए रखने के लिए कुछ अनुकूलन की आवश्यकता थी।

इसके अलावा, गहराई जानकारी और नेटवर्क द्वारा अपेक्षित मानों के बीच मान श्रृंखला में एक असंगति ने शोधकर्ताओं को मानों को 0-255 तक सामान्य करने की आवश्यकता की।

प्रशिक्षण के दौरान, केवल फ्लिपिंग और घूर्णन लागू किया गया था। कई मामलों में, विभिन्न अन्य दृश्य विकृतियों को मॉडल को प्रस्तुत किया जाएगा ताकि मजबूत अनुमान विकसित किया जा सके, लेकिन स्रोत फोटो में सीमित और बहुत ही नाजुक किनारे गहराई मानचित्र जानकारी को संरक्षित करने की आवश्यकता ने शोधकर्ताओं को एक पेयर-डाउन शासन अपनाने के लिए मजबूर किया।

प्रणाली को सरल 2-चैनल ग्रेस्केल में भी प्रशिक्षित किया गया था, ताकि यह निर्धारित किया जा सके कि काम करने योग्य एल्गोरिदम प्राप्त करने के लिए स्रोत छवियों को कितना जटिल होना चाहिए।

प्रशिक्षण टेंसोरफ्लो एपीआई के माध्यम से एक एनवीडिया जीटीएक्स 1080 पर 8GB के वीआरएएम के साथ हुआ, एडामैक्स ऑप्टिमाइज़र का उपयोग करके, 25 युगों के लिए, 32 के बैच आकार पर। इनपुट रिज़ॉल्यूशन 224×224 पर तय किया गया था दौरान फसल, और चेहरा पता लगाने और निष्कर्षण द्लिब सी ++ लाइब्रेरी के साथ किया गया था।

परिणाम

परिणामों की सटीकता का परीक्षण डीपफेक, फेस2फेस, फेसस्वैप, न्यूरल टेक्सचर, और पूरे डेटासेट के साथ आरजीबी और आरजीबीडी इनपुट का उपयोग करके किया गया था, फेसफोरेंसिक++ ढांचे का उपयोग करके।

चार डीपफेक विधियों और पूरे अनस्प्लिट डेटासेट पर सटीकता पर परिणाम। परिणाम स्रोत आरजीबी छवियों और समान छवियों के साथ एक एम्बेडेड अनुमानित गहराई मानचित्र के विश्लेषण के बीच विभाजित हैं। सर्वोत्तम परिणाम बोल्ड में हैं, और नीचे दिए गए प्रतिशत आंकड़े गहराई मानचित्र जानकारी द्वारा परिणाम में सुधार की程度 को दर्शाते हैं।

सभी मामलों में, गहराई चैनल मॉडल के प्रदर्शन में सुधार करता है सभी कॉन्फ़िगरेशन में। एक्सेप्शन सबसे अच्छे परिणाम प्राप्त करता है, और मोबाइलनेट इसके बाद है। इस पर, लेखक टिप्पणी करते हैं:

‘यह देखना दिलचस्प है कि मोबाइलनेट एक्सेप्शन और गहरे रेसनेट 50 से थोड़ा कम है। यह वास्तविक समय अनुप्रयोगों के लिए अंतर्दृष्टि समय को कम करने के लक्ष्य को देखते हुए एक उल्लेखनीय परिणाम है। जबकि यह इस कार्य का मुख्य योगदान नहीं है, हम इसे भविष्य के विकास के लिए एक प्रोत्साहित करने वाला परिणाम मानते हैं। ‘

शोधकर्ताओं ने यह भी उल्लेख किया कि आरजीबीडी और 2-चैनल ग्रेस्केल इनपुट का एक सुसंगत लाभ है आरजीबी और सीधे ग्रेस्केल इनपुट की तुलना में, यह देखते हुए कि गहराई अनुमानों के ग्रेस्केल रूपांतरण, जो गणनात्मक रूप से बहुत सस्ते हैं, मॉडल को सीमित स्थानीय संसाधनों के साथ बेहतर परिणाम प्राप्त करने की अनुमति देते हैं, जो वास्तविक समय में डीपफेक्स का पता लगाने के लिए गहराई जानकारी पर आधारित भविष्य के विकास की सुविधा प्रदान करता है।

पहली बार 24 अगस्त 2022 को प्रकाशित।