Anderson का एंगल

डीपफेक पहचानने की हमारी अवचेतन क्षमता भविष्य की स्वचालित प्रणालियों को शक्ति दे सकती है

Martin Anderson
Unite.AI को Google पर अपने पसंदीदा स्रोतों में जोड़ें
मुख्य बिंदुईईजी डेटा से पता चलता है कि अवचेतन तंत्रिका संकेत वास्तविक और नकली चेहरों के बीच अंतर…
और देखें
  • ईईजी डेटा से पता चलता है कि अवचेतन तंत्रिका संकेत वास्तविक और नकली चेहरों के बीच अंतर कर सकते हैं, भले ही दर्शक सचेत रूप से असफल हों।
  • अध्ययन से पता चलता है कि डीपफेक डिटेक्टरों को व्यक्तिपरक मानवीय निर्णयों के बजाय मस्तिष्क गतिविधि पर प्रशिक्षित करने से बेहतर सटीकता प्राप्त हो सकती है।
  • प्रतिभागियों ने 69% वास्तविक चेहरों को नकली के रूप में गलत पहचाना, जो डीपफेक पहचान के लिए सचेत धारणा की अविश्वसनीयता को उजागर करता है।

ऑस्ट्रेलिया का नया शोध संकेत देता है कि हमारा मस्तिष्क जटिल डीपफेक को पहचानने में कुशल है, यहां तक कि जब हम सचेत रूप से यह मानते हैं कि हम जो देख रहे हैं वह वास्तविक है।

यह खोज आगे से यह भी संकेत करती है कि डीपफेक चेहरों (उनके कहे गए राय के बजाय) के लिए लोगों की तंत्रिका प्रतिक्रियाओं का उपयोग स्वचालित डीपफेक पता लगाने वाली प्रणालियों को प्रशिक्षित करने के लिए किया जा सकता है। ऐसी प्रणालियाँ छवियों की डीपफेक विशेषताएँ विश्वसनीयता के भ्रमित अनुमानों से नहीं, बल्कि चेहरे की पहचान के हमारे सहज बोध-तंत्र से सीखेंगी।

‘हालांकि मस्तिष्क असली और असली जैसे दिखने वाले नकली चेहरों के बीच अंतर को ‘पहचान’ सकता है, पर्यवेक्षक वास्तविक और नकली चेहरों के बीच अंतर को सचेत रूप से नहीं बता सकते हैं। मस्तिष्क की प्रतिक्रिया और व्यवहार के बीच अलगाव के हमारे निष्कर्ष नकली चेहरों के बोध के अध्ययन, हम जो प्रश्न पूछते हैं जब नकली छवि पहचान के बारे में पूछते हैं, और संभावित तरीकों के लिए निहितार्थ हैं जिनसे हम नकली छवि दुरुपयोग के खिलाफ सुरक्षा मानकों को स्थापित कर सकते हैं।’

परिणाम परीक्षण के कई दौर में सामने आए जो लोगों की प्रतिक्रिया का मूल्यांकन करने के लिए डिज़ाइन किए गए थे, जिसमें स्पष्ट रूप से नकली चेहरे, कारें, आंतरिक स्थान और उल्टे (यानी उल्टे) चेहरे शामिल थे।

प्रयोगों के लिए विभिन्न प्रकार और दृष्टिकोण, जिसमें दो समूहों के परीक्षण विषयों को एक संक्षिप्त दिखाए गए छवि को 'नकली' या 'वास्तविक' के रूप में वर्गीकृत करने की आवश्यकता थी। पहला दौर अमेज़न मैकेनिकल टर्क पर हुआ, जिसमें 200 स्वयंसेवक थे, जबकि दूसरा दौर में कम संख्या में स्वयंसेवक शामिल थे जो परीक्षणों का जवाब दे रहे थे जबकि ईईजी मशीनों से जुड़े हुए थे। स्रोत: https://tijl.github.io/tijl-grootswagers-pdf/Moshel_et_al_-_2022_-_Are_you_for_real_Decoding_realistic_AI-generated_.pdf

प्रयोगों के लिए विभिन्न प्रकार और दृष्टिकोण, जिसमें दो समूहों के परीक्षण विषयों को एक संक्षिप्त दिखाए गए छवि को ‘नकली’ या ‘वास्तविक’ के रूप में वर्गीकृत करने की आवश्यकता थी। पहला दौर अमेज़न मैकेनिकल टर्क पर हुआ, जिसमें 200 स्वयंसेवक थे, जबकि दूसरा दौर में कम संख्या में स्वयंसेवक शामिल थे जो परीक्षणों का जवाब दे रहे थे जबकि ईईजी मशीनों से जुड़े हुए थे। स्रोत: https://tijl.github.io/tijl-grootswagers-pdf/Moshel_et_al_-_2022_-_Are_you_for_real_Decoding_realistic_AI-generated_.pdf

लेख में कहा गया है:

‘हमारे परिणाम यह दिखाते हैं कि दिए गए केवल एक क्षणिक झलक के बाद पर्यवेक्षक नकली चेहरों को पहचान पाने में सक्षम हो सकते हैं। हालांकि, उन्हें वास्तविक चेहरों को नकली चेहरों से अलग करने में कठिनाई होती है और कुछ मामलों में, उन्हें नकली चेहरे वास्तविक चेहरों की तुलना में अधिक वास्तविक लगते हैं। ‘

‘हालांकि, समय-विभेदित ईईजी और बहुचर पैटर्न वर्गीकरण विधियों का उपयोग करके, हमने पाया कि यह संभव था कि मस्तिष्क की गतिविधि के आधार पर अवास्तविक और यथार्थवादी दोनों तरह के नकली चेहरों को असली चेहरों से अलग किया जाए। ‘

‘यथार्थवादी नकली चेहरों के लिए व्यवहार और तंत्रिका प्रतिक्रियाओं के बीच यह विचलन नकली चेहरे की धारणा के लिए महत्वपूर्ण नए साक्ष्य प्रदान करता है, साथ ही जीएएन-जेनरेटेड चेहरों के बढ़ते यथार्थवादी वर्ग के लिए निहितार्थ हैं। ‘

लेख सुझाव देता है कि यह नए काम अनुप्रयुक्त साइबर सुरक्षा में ‘कई निहितार्थ’ हैं और डीपफेक सीखने वाले वर्गीकरणकर्ताओं के विकास को शायद ईईजी रीडिंग पर नकली छवियों के प्रति प्रतिक्रिया के उपसचेतन प्रतिक्रिया से निर्देशित किया जाना चाहिए, न कि दर्शक के वास्तविकता के अनुमान से।

लेखक टिप्पणी करते हैं*:

‘यह उन निष्कर्षों की याद दिलाता है जिनमें प्रोसोपाग्नोसिया से पीड़ित लोग व्यवहारिक परीक्षणों में चेहरों को परिचित या अपरिचित के रूप में वर्गीकृत या पहचान नहीं पाते, फिर भी परिचित चेहरों के प्रति अपरिचित चेहरों की अपेक्षा अधिक मजबूत स्वायत्त तंत्रिका प्रतिक्रियाएँ दिखाते हैं। ‘

‘इसी तरह, हमने इस अध्ययन में जो दिखाया है कि जबकि हम वास्तविक और यथार्थवादी चेहरों के बीच अंतर को तंत्रिका गतिविधि से सटीक रूप से डीकोड कर सकते हैं, वह अंतर व्यवहारिक रूप से नहीं देखा गया था। इसके बजाय, पर्यवेक्षकों ने 69% वास्तविक चेहरों को नकली होने के रूप में गलत तरीके से पहचाना। ‘

नया काम शीर्षक है क्या आप वास्तविक हैं? तंत्रिका गतिविधि से यथार्थवादी एआई-जेनरेटेड चेहरों को डीकोड करना, और सिडनी विश्वविद्यालय, मैक्वेरी विश्वविद्यालय, पश्चिमी सिडनी विश्वविद्यालय और क्वींसलैंड विश्वविद्यालय के चार शोधकर्ताओं से आया है।

डेटा

परिणाम एक व्यापक जांच से उत्पन्न हुए जो मानव की क्षमता को स्पष्ट रूप से झूठे, अति-यथार्थवादी (लेकिन अभी भी झूठे) और वास्तविक छवियों के बीच अंतर करने की क्षमता को देखता है, जो दो परीक्षण दौर में किया गया था।

शोधकर्ताओं ने जेनरेटिव एडवर्सेरियल नेटवर्क (जीएएन) द्वारा बनाई गई छवियों का उपयोग किया, जो साझा की गई थीं NVIDIA द्वारा।

NVIDIA द्वारा उपलब्ध कराई गई जीएएन-जेनरेटेड मानव चेहरे छवियां। स्रोत: https://drive.google.com/drive/folders/1EDYEYR3IB71-5BbTARQkhg73leVB9tam

NVIDIA द्वारा उपलब्ध कराई गई जीएएन-जेनरेटेड मानव चेहरे छवियां। स्रोत: https://drive.google.com/drive/folders/1EDYEYR3IB71-5BbTARQkhg73leVB9tam

डेटा में 25 चेहरे, कार और बेडरूम शामिल थे, जो ‘अवास्तविक’ से लेकर ‘यथार्थवादी’ तक के प्रस्तुतीकरण स्तर पर थे। चेहरे की तुलना के लिए (यानी, उपयुक्त गैर-नकली सामग्री के लिए), लेखकों ने NVIDIA के स्रोत Flickr-Faces-HQ (FFHQ) डेटासेट के स्रोत डेटा का चयन किया। अन्य दृश्यों की तुलना के लिए, उन्होंने LSUN डेटासेट से सामग्री का उपयोग किया।

छवियों को अंततः परीक्षण विषय को या तो सही तरीके से या उल्टा प्रस्तुत किया जाएगा, और विभिन्न आवृत्तियों पर, सभी छवियों को 256×256 पिक्सेल तक बदल दिया जाएगा।

एक बार सभी सामग्री इकट्ठा हो जाने के बाद, 450 प्रेरक छवियों को परीक्षणों के लिए क्यूरेट किया गया था।

परीक्षण डेटा के प्रतिनिधि उदाहरण।

परीक्षण डेटा के प्रतिनिधि उदाहरण।

परीक्षण

परीक्षण शुरू में jsPsych के माध्यम से pavlovia.org पर ऑनलाइन किए गए थे, 200 प्रतिभागियों ने विभिन्न उप-सेटों का निर्णय लिया था कि क्या संक्षिप्त दिखाई गई छवि ‘नकली’ या ‘वास्तविक’ थी। छवियों को 200ms के लिए प्रस्तुत किया गया था, जिसके बाद एक खाली स्क्रीन थी जो तब तक बनी रहेगी जब तक कि दर्शक यह निर्णय नहीं ले लेते कि क्या फ्लैश की गई छवि वास्तविक या नकली थी। प्रत्येक छवि को केवल एक बार प्रस्तुत किया गया था, और पूरा परीक्षण पूरा होने में 3-5 मिनट का समय लगा।

दूसरा और अधिक प्रकट दौर में व्यक्तिगत विषयों को शामिल किया गया था जो ईईजी मॉनिटर से जुड़े हुए थे, और Psychopy2 प्लेटफ़ॉर्म पर प्रस्तुत किया गया था। 20 अनुक्रमों में से प्रत्येक में 40 छवियाँ थीं, जिसमें पूरे परीक्षण डेटा में 18,000 छवियां प्रस्तुत की गईं।

एकत्रित ईईजी डेटा को MATLAB में CoSMoMVPA टूलबॉक्स से डीकोड किया गया। इसमें लीव-वन-आउट क्रॉस-वैलिडेशन और रैखिक विभेदक विश्लेषण (LDA) का उपयोग किया गया।

एलडीए वर्गीकरणकर्ता वह घटक था जो नकली दृश्य उद्दीपनों के प्रति मस्तिष्क की प्रतिक्रिया और विषय की अपनी राय के बीच अंतर करने में सक्षम था।

परिणाम

यह देखने के लिए कि क्या ईईजी परीक्षण विषय वास्तविक और नकली चेहरों के बीच अंतर कर सकते हैं, शोधकर्ताओं ने परिणामों को समाहित और संसाधित किया, जिसमें पाया गया कि प्रतिभागी अवास्तविक चेहरों को वास्तविक चेहरों से आसानी से अलग कर सकते थे, लेकिन यथार्थवादी, जीएएन से बने नकली चेहरों को पहचानने में कठिनाई होती थी। चाहे छवि उल्टी थी या नहीं, इसका बहुत कम अंतर था।

दूसरे दौर में वास्तविक और सिंथेटिक रूप से उत्पन्न चेहरों का व्यवहारिक भेदभाव।

दूसरे दौर में वास्तविक और सिंथेटिक रूप से उत्पन्न चेहरों का व्यवहारिक भेदभाव।

हालांकि, ईईजी डेटा ने एक अलग कहानी सुनाई।

लेख में कहा गया है:

‘हालांकि पर्यवेक्षकों को वास्तविक और नकली चेहरों के बीच अंतर करने में परेशानी होती है और उन्हें नकली चेहरों को अधिक वर्गीकृत करने की प्रवृत्ति होती है, ईईजी डेटा में यह अंतर के लिए प्रासंगिक संकेत जानकारी होती है जो यथार्थवादी और अवास्तविक चेहरों के बीच अर्थपूर्ण रूप से भिन्न होती है, और यह संकेत एक अपेक्षाकृत छोटे प्रसंस्करण चरण तक सीमित लगता है। ‘

यहाँ ईईजी सटीकता और विषयों द्वारा रिपोर्ट की गई राय (यानी, चेहरे की छवियों के नकली या नहीं होने के बारे में) पर आधारित माप एक जैसे नहीं हैं; ईईजी रिकॉर्डिंग प्रतिभागियों की सचेत धारणा की तुलना में वास्तविकता के अधिक निकट आती हैं।

यहाँ ईईजी सटीकता और विषयों द्वारा रिपोर्ट की गई राय (यानी, चेहरे की छवियों के नकली या नहीं होने के बारे में) पर आधारित माप एक जैसे नहीं हैं; ईईजी रिकॉर्डिंग प्रतिभागियों की सचेत धारणा की तुलना में वास्तविकता के अधिक निकट आती हैं।

शोधकर्ता निष्कर्ष निकालते हैं कि हालांकि पर्यवेक्षकों को नकली चेहरों की पहचान करने में परेशानी हो सकती है, उन चेहरों में मानव दृश्य प्रणाली में ‘विशिष्ट प्रतिनिधित्व’ होते हैं।

इस विचलन ने शोधकर्ताओं को भविष्य के सुरक्षा तंत्र के लिए उनके निष्कर्षों के संभावित अनुप्रयोग पर विचार करने के लिए प्रेरित किया है:

‘एक अनुप्रयुक्त सेटिंग जैसे साइबर सुरक्षा या डीपफेक में यथार्थवादी चेहरों का पता लगाने की क्षमता की जांच करने का प्रयास करने के लिए न्यूरोइमेजिंग डेटा पर मशीन लर्निंग वर्गीकरणकर्ताओं को लागू करना सबसे अच्छा हो सकता है, न कि व्यवहारिक प्रदर्शन को लक्षित करना।’

वे निष्कर्ष निकालते हैं:

‘नकली चेहरे का पता लगाने के लिए मस्तिष्क और व्यवहार के बीच विचलन को समझने से कृत्रिम रूप से उत्पन्न जानकारी के संभावित रूप से हानिकारक और सार्वभौमिक प्रसार से निपटने के तरीके के लिए व्यावहारिक निहितार्थ होंगे।’

 

* मैंने पाठ के भीतर दिए गए स्रोत संदर्भों को हाइपरलिंक में बदला है।

पहली बार 11 जुलाई 2022 को प्रकाशित।

Martin Anderson

मशीन लर्निंग पर लेखक, मानव छवि संश्लेषण में डोमेन विशेषज्ञ। Metaphysic.ai में शोध सामग्री के पूर्व प्रमुख, जब तक यह DNEG की Brahma.ai में विलीन नहीं हो गया।
वेबसाइट: martinanderson.ai
संपर्क: martin@martinanderson.ai