डीपफेक पहचान की सटीकता एक वर्ष की एआई वीडियो प्रगति में 49% गिर गई

मैं रुचि के साथ नोट करता हूँ कि एक नई यूक्रेन-नेतृत्व वाली पेपर दर्शाती है कि डीपफेक वीडियो की पुरानी पीढ़ी के डिटेक्टर वर्तमान अत्याधुनिक जनएआई वीडियो पर बहुत खराब प्रदर्शन करते हैं, चाहे वे जेनरेटर ओपन सोर्स हों, स्थानीय एआई इंस्टॉल जैसे अलिबाबा का Wan 2.2 या Hunyuan Video; या केवल API वाले, बंद-स्रोत मॉडल जैसे Grok Imagine या Kling।

चलाने के लिए क्लिक करें (ऑडियो सामग्री)। DF26 डेटासेट में ‘डायरेक्ट टू कैमरा कैज़ुअल’ श्रेणी के तीन उदाहरण। स्रोत 

2024 में, एक अन्य पेपर ने पहले ही स्थापित किया था कि एआई वीडियो का पता लगाने की मानव क्षमता संभावना से अधिक बहुत दूर नहीं थी, 57% पर। नया कार्य (शीर्षक DF26: हम अब नकली को वास्तविक से नहीं पहचान सकते) जो जोड़ता है, वह यह है कि स्वचालित डीपफेक डिटेक्टरों की प्रभावशीलता तब से नाटकीय रूप से गिर गई है – 94% से 48% तक, जब वे सबसे नवीनतम जनएआई वीडियो आउटपुट का सामना करते हैं।

कार्य के लिए उत्पन्न नए डेटासेट से, इमेज-टू-वीडियो और टेक्स्ट-टू-वीडियो जनित वीडियो (नीचे) के उदाहरण, बाईं ओर वास्तविक वीडियो के साथ तुलना किए गए। कॉर्पस ‘प्रेरक’ और विश्वसनीय सिर-और-कंधे सेटअप पर केंद्रित है, जो वर्तमान में सबसे चिंताजनक जनएआई डोमेनों में से हैं। स्रोत

कार्य के लिए किए गए परीक्षणों में सबसे तीव्र गिरावट 49% की गिरावट दर्शाती है। चूँकि प्रारंभिक बेंचमार्क 2025 से है, और नया कार्य नवीनतम 2026-पीढ़ी के वीडियो मॉडलों की एक श्रृंखला का परीक्षण करता है, यह आंकड़ा एआई-वीडियो पहचान की प्रभावशीलता में लगभग एक वर्ष की गिरावट को दर्शाता है।

डिटेक्टर्स के परीक्षण के लिए उपयोग किए गए वीडियो बनाने वाले मॉडलों के विवरण।

इस डिटेक्टर-पराजित आउटपुट को उत्पन्न करने के लिए उपयोग किए गए बंद-स्रोत, व्यावसायिक मॉडल थे Grok 1.0; Kling 3.0; Veo 3.1; और Wan 2.6. केवल टेक्स्ट-टू-वीडियो उदाहरण इनके लिए उत्पन्न किए गए, क्योंकि इमेज-टू-वीडियो (I2V) जनरेशन अक्सर ‘डीपफेक जनरेशन’ संबंधी फ़िल्टर को ट्रिगर करता था, या फिर प्लेटफ़ॉर्म की सेवा शर्तों का उल्लंघन करता।

मेरी आँखों में देखिए

संभवतः ये ट्रिगर इसलिए हुए क्योंकि शोधकर्ता सबसे संभावित रूप से शक्तिशाली, और संभवतः दुष्ट वीडियो-आधारित प्रेरणा रूप पर केंद्रित थे – ‘हेड एंड शोल्डर’ और ‘टॉकिंग हेड’ वीडियो के विविध रूप, जहाँ विषय कैमरे से बात करते हैं, जैसे वे यूट्यूब और टिकटॉक इन्फ्लुएंसर वीडियो में करते हैं, या समाचार रिपोर्टिंग परिदृश्य में (उपग्रह कनेक्शन के माध्यम से साक्षात्कारकर्ताओं सहित)।

लेखक तर्क देते हैं कि ये परिदृश्य डीपफेक गतिविधि के प्रमुख लक्ष्य हैं, न केवल इसलिए क्योंकि वे ‘इन्फ्लुएंसर’ और विभिन्न अन्य ‘सूचनात्मक’ संदर्भों का प्रतिनिधित्व करते हैं – ऐसे संदर्भ जहाँ विश्वास के पूर्व संबंध की धारणा मौजूद होती है, और जहाँ वह संबंध दुरुपयोग की बड़ी संभावनाएँ रखता है (स्वाभाविक रूप से यह कम से कम डीपफेक वीडियो कॉल पर भी समान रूप से लागू होता है, हालांकि शोधकर्ता इस पर चर्चा नहीं करते)।

ऑटोएन्कोडर डीपफेक युग के शिखर से, वास्तविक रिचर्ड निक्सन फुटेज में हेरफेर करके 1969 में अपोलो 9 अंतरिक्ष यात्रियों की मृत्यु की उसकी घोषणा का अनुकरण किया जा सका – एक घटना जो कभी नहीं हुई, लेकिन जिसके लिए वास्तविक‑दुनिया की स्क्रिप्ट का उपयोग करके एक डीपफेक आवाज़ और होंठों की गति लागू की गई।

इस इन्फ्लुएंसर परिदृश्य पर ध्यान केंद्रित करने के अलावा, नया बेंचमार्क – और इसके लिए निर्मित वीडियो – वीडियो के पूरे फ्रेम का मूल्यांकन करने पर केंद्रित हैं, जो ऐतिहासिक डीपफेक डिटेक्शन रणनीतियों के विपरीत है।

वे पुराने रणनीतियाँ चेहरे या अभिव्यक्ति हेरफेर, या वास्तविक वीडियो में चेहरा (या सर्वश्रेष्ठ रूप में, पूरा सिर) प्रतिस्थापन लागू करती थीं – जो वास्तव में एकमात्र उचित दृष्टिकोण था, जब तक कि डिफ्यूजन-आधारित मॉडल पिछले 18-24 महीनों में पर्याप्त प्रभावी नहीं हो गए थे।

चेहरा हटाएँ

अब ऐसा नहीं किया जाता; पुरानी ऑटोएन्कोडर‑आधारित विधि देर 2017 में डीपफेक के प्रारंभिक आगमन तक जाती है; और यह तकनीक, जो केवल चेहरे की बाहरी रेखाओं के भीतर क्षेत्र को बदलती है, 2022 तक पूरी तरह समाप्त हो गई थी।

डीपफेक गतिविधि के लिए प्रमुख स्थान, 2017-2023 – लेकिन नई पीढ़ी के जनएआई वीडियो प्लेटफ़ॉर्म के लिए, ध्यान केंद्रित करने की ऐसी कोई सीमा नहीं है। स्रोत

फिर भी, चूँकि वैज्ञानिक अनुसंधान क्षेत्र लंबी अवधि के स्थिरांक को पसंद करता है – जहाँ लक्ष्य निश्चित होता है, और जहाँ विभिन्न दृष्टिकोणों की विकसित होती श्रृंखला को वर्षों/दशकों में इसके विरुद्ध आज़माया जा सकता है – ‘आंतरिक-चेहरा प्रतिस्थापन/संशोधन’ पर आधारित डीपफेक पहचान विधियाँ साहित्य में, और व्यावसायिक पहचान सेवाओं में, मूल तकनीक की वैधता से बहुत आगे तक बनी रही हैं।

नए कार्य के लिए परीक्षण किए गए तीन बंद-स्रोत मॉडल के अलावा, तीन बहुत सक्षम उपभोक्ता-उपयोगी खुले स्रोत मॉडल भी आज़माए गए: Wan 2.2 A14B; HunyuanVideo 1.5; और LTX 2.3, जो हाल ही में FOSS जनAI समुदाय को चकाचौंध कर रहा है। LTX श्रृंखला आवाज़ उत्पन्न करने में भी सक्षम है:

चलाने के लिए क्लिक करें: r/stablediffusion पर LTX श्रृंखला के प्रयोग, जिसकी समुदाय केवल FOSS मॉडलों से निपटती है। स्रोत 

डेटा डिज़ाइन

लेखकों ने अपने नए डेटासेट DF26 को ‘होल्ड-आउट’ सेट के रूप में अनदेखी सामग्री के मूल्यांकन के लिए तैयार किया है। इस संग्रह में 2,691 वीडियो तीन सार्वजनिक-भाषण परिदृश्यों में शामिल हैं: कैमरे की ओर सीधे या अनौपचारिक संबोधन; आधिकारिक बयान; और स्टूडियो साक्षात्कार।

सभी AI-जनित वीडियो क्लिप्स को OpenVid; TalkingCelebs; और MAVOS-DD से चयनित 271 वास्तविक क्लिप्स पर आधारित बनाया गया था।

OpenVid संग्रह से नमूना, जिससे 271 वास्तविक-विश्व वीडियो को DF26 संग्रह में AI-जनित वीडियो के मूल सामग्री के रूप में उपयोग किया गया। दो अन्य डेटासेट्स ने भी इस गैर-नकली घटक में योगदान दिया। स्रोत

इन 271 वास्तविक वीडियो का उपयोग AI वीडियो उत्पन्न करने के लिए किया गया, उनके फ्रेम्स से मिलते-जुलते दृश्य प्रॉम्प्ट निकाले गए, फिर उन प्रॉम्प्ट्स – और जहाँ समर्थित हो, पहले फ्रेम को स्वयं – सात वीडियो-जनरेशन मॉडलों में फीड किया गया, जिससे कुल 2,420 सिंथेटिक क्लिप्स बनें।

लेखकों ने सुनिश्चित किया कि कोई भी वास्तविक-विश्व फ्रेम जिसमें टेक्स्ट ओवरले (जैसे कि कौन बात कर रहा है आदि) हो, जनरेशन वर्कफ़्लो में न आए, क्योंकि इससे शॉर्टकट और धारणाएँ उत्पन्न हो सकती थीं। उम्मीदवार क्लिप्स का मूल्यांकन Gemini 2.5 द्वारा किया गया।

इसके अतिरिक्त, एक से अधिक चेहरे वाले खंडों को अस्वीकार किया गया, ताकि ‘एकल वक्ता’ सेटिंग लागू रहे।

चलाने के लिए क्लिक करें [NO SOUND]. पेपर से जुड़े डेटासेट में, सात नवीनतम और सबसे सक्षम जनरेटिव मॉडलों, खुले और बंद स्रोत दोनों, के माध्यम से अत्याधुनिक वीडियो जनरेशन के उदाहरण शामिल हैं। डेटासेट में उपयोग किए गए मॉडल उन मॉडलों को भी शामिल करते हैं जो आवाज़ उत्पन्न कर सकते हैं (इस लेख के पहले भाग में उदाहरण देखें)। स्रोत

शोधकर्ताओं ने लोकप्रिय व्यावसायिक Higgsfield AI प्लेटफ़ॉर्म का उपयोग किया, जो विभिन्न स्तरों की गेटकीपिंग और गार्डरेल्स के साथ कई बंद और खुले स्रोत मॉडल उपलब्ध कराता है।

एक NVIDIA H200 (141GB VRAM) को आंतरिक शोध क्लस्टर के बेस GPU मॉडल के रूप में उपयोग करते हुए, संग्रह के लिए 1,626 वीडियो उत्पन्न करने में लगभग 440 GPU घंटे लगे।

आउटपुट में कोई भी टेक्स्ट न दिखाने के अलावा, AI वॉटरमार्किंग को अस्पष्ट करना या सामान्यतः उससे बचना भी आवश्यक था, क्योंकि यह भी मूल्यांकनकर्ता या मूल्यांकन प्रणाली के लिए संभावित ‘शॉर्टकट’ बन सकता था।

परीक्षण

बंद परीक्षण दौर के लिए प्रयुक्त मुख्य मेट्रिक एरिया अंडर रिसीवर ऑपरेटिंग कैरेक्टेरिस्टिक कर्व (AUC / AUROC) था, जिसमें समानुपाती त्रुटि दर (EER) को पूरक माप के रूप में उपयोग किया गया।

फ़्रेम-आधारित डिटेक्टर्स (जो स्थिर फ्रेम्स का स्वतंत्र रूप से मूल्यांकन करते हैं) को प्रत्येक वीडियो के 32 समान अंतराल वाले फ्रेम्स पर परीक्षण किया गया, और स्कोर को फिर एकल परिणाम में औसत किया गया। टेम्पोरल डिटेक्टर्स (जो क्रमिक फ्रेम्स की जानकारी का उपयोग कर सकते हैं) ने इसके बजाय वीडियो अनुक्रम को स्वयं विश्लेषित किया।

टेम्पोरल डिटेक्टर्स DFD-FCG और PwTF-DVD के परिणाम नीचे देखे जा सकते हैं, साथ ही ForAda; Effort; FSFM; GenD-CLIP और GenD-DINO; तथा DFD-HR के परिणाम भी। सभी को प्रतिष्ठित FaceForensics++ डेटासेट पर प्रशिक्षित किया गया था।

CelebDF++ और DF26 पर डीपफेक डिटेक्टर्स की तुलना करने वाले परीक्षण परिणाम। सभी डिटेक्टर्स को FaceForensics++ पर प्रशिक्षित किया गया, जहाँ उच्च AUROC और कम EER बेहतर प्रदर्शन दर्शाते हैं।

लेखकों ने नोट किया कि अधिकांश डिटेक्टर्स Celeb-DF++ (CDFv3) पर अच्छा प्रदर्शन करते हैं, लेकिन अधिक चुनौतीपूर्ण नए DF26 संग्रह पर तीव्र गिरावट दिखाते हैं।

‘[Multiple] अत्याधुनिक डिटेक्टर्स CelebDF++ [16] (CDFv3) बेंचमार्क पर मजबूत प्रदर्शन प्राप्त करते हैं, जहाँ टेम्पोरल विधियों ने क्रमशः 94.3 और 92.3 AUROC हासिल किया।

‘हालांकि, उनका प्रदर्शन DF26 पर काफी गिर जाता है, क्रमशः 48.2 और 61.6 AUROC तक।

‘अधिकांश विधियों का प्रदर्शन काफी घट जाता है, लगभग यादृच्छिक स्तर पर रहता है; सबसे अधिक AUROC 69.7 GenD-PE द्वारा प्राप्त किया गया है।

‘यह दर्शाता है कि DF26 अत्याधुनिक डिटेक्टर्स के लिए अधिक चुनौतीपूर्ण बेंचमार्क है।’

वे देखते हैं कि इमेज‑टू‑वीडियो का पता लगाना टेक्स्ट‑टू‑वीडियो की तुलना में अधिक कठिन साबित हुआ, चाहे वह मानव हो या स्वचालित डिटेक्टर्स, जहाँ PwTF‑DVD ने I2V सामग्री पर सर्वश्रेष्ठ प्रदर्शन किया, और GenD‑PE ने T2V पर अग्रणी रहा।

प्रदर्शन में नाटकीय अंतर इस बात पर निर्भर करता था कि नकली वीडियो किस जेनरेटर ने बनाया, जिससे संकेत मिलता है कि डिटेक्टर्स अक्सर जेनरेटर‑विशिष्ट निशानों को सीख रहे थे न कि सिंथेटिक वीडियो की सामान्य विशेषता। उदाहरण के लिए, PwTF‑DVD ने Wan 2.2 के टेक्स्ट‑टू‑वीडियो आउटपुट पर 92.9 AUROC हासिल किया, लेकिन HunyuanVideo 1.5 पर लगभग यादृच्छिक स्तर तक गिर गया – जबकि दोनों एक ही आधुनिक पीढ़ी परिदृश्य में आते हैं:

व्यावसायिक और ओपन‑सोर्स वीडियो जेनरेटरों में डिटेक्टर प्रदर्शन। स्तंभों के बीच व्यापक विविधता दर्शाती है कि पहचान की विश्वसनीयता काफी हद तक इस बात पर निर्भर करती है कि वीडियो किस मॉडल ने बनाया, जहाँ GenD‑PE ने कुल औसत AUROC में सबसे अधिक हासिल किया।

नीचे हम देखते हैं कि नए DF26 सामग्री पर GenD‑PE को पुनः प्रशिक्षित करने से उन जेनरेटरों के वीडियो का पता लगाने की उसकी क्षमता में उल्लेखनीय सुधार हुआ, जिन्हें उसने प्रशिक्षण के दौरान नहीं देखा था:

GenD‑PE के लिए अनदेखे वीडियो जेनरेटरों पर पुनः प्रशिक्षण परिणाम। नए DF26 सामग्री पर प्रशिक्षण करने से मूल FaceForensics++ प्रशिक्षण की तुलना में क्रॉस‑जेनरेटर प्रदर्शन में सामान्यतः सुधार हुआ।

HunyuanVideo 1.5 पर प्रशिक्षण करने से Grok Imagine 1.0, Veo 3.1 और Wan 2.6 पर AUROC कम से कम 93.1 तक बढ़ गया, जो इस पेपर के तर्क का समर्थन करता है कि केवल पुराने डेटासेट जैसे FaceForensics++ पर प्रशिक्षित डिटेक्टर्स वर्तमान जेनरेटिव वीडियो के साथ खराब मेल खाते हैं।

शायद अनुमानित रूप से, दोनों टेम्पोरल डिटेक्टर्स को ओपन‑सोर्स वीडियो के साथ व्यावसायिक मॉडलों के क्लिप की तुलना में बहुत आसान लगा। DFD‑FCG का AUROC ओपन‑सोर्स सामग्री पर 57.4 से घटकर बंद‑सोर्स वीडियो पर 34.5 हो गया; जबकि PwTF‑DVD 70.5 से 48.3 तक गिर गया:

दो टेम्पोरल डिटेक्टर्स के जेनरेटर स्रोत और बोलने के परिदृश्य के बीच तुलना परिणाम। दोनों बंद‑सोर्स वीडियो पर काफी खराब प्रदर्शन करते हैं, जबकि दृश्य प्रकारों के बीच अंतर छोटा है।

हालांकि, यह पेपर यह घोषणा करने से नहीं रुकता कि व्यावसायिक मॉडल केवल अधिक कठिन हैं, क्योंकि मॉडल परिवार, पोस्ट‑प्रोसेसिंग और दृश्य गुणवत्ता में अंतर भी कारक हो सकते हैं।

दृश्य का प्रकार बहुत कम मायने रखता था: DFD‑FCG सीधे‑कैमरा क्लिप, आधिकारिक बयानों और स्टूडियो साक्षात्कारों में लगभग यादृच्छिक स्तर पर रहा, जबकि PwTF‑DVD ने आधिकारिक बयानों पर सर्वश्रेष्ठ प्रदर्शन किया। पेपर के अनुसार, जेनरेटर स्वयं प्रस्तुति शैली से अधिक महत्वपूर्ण प्रतीत होता है।

एक मानव अध्ययन भी किया गया यह देखने के लिए कि क्या लोग DF26 के साथ स्वचालित डिटेक्टर्स की तरह ही संघर्ष करते हैं। 232 लेबलिंग सत्रों में, प्रतिभागियों ने DF26, CelebDF++ और DeepSpeak v2 के छोटे क्लिप को वास्तविक या नकली के रूप में मूल्यांकित किया, बिना यह बताए कि प्रत्येक वर्ग के कितने उदाहरण देखेंगे।

मानव सटीकता DF26, CelebDF++ और DeepSpeak v2 में। प्रतिभागियों ने सभी तीन डेटासेट में वास्तविक वीडियो को समान दर पर पहचाना, जबकि नकली DF26 वीडियो पर सटीकता लगभग यादृच्छिक स्तर पर गिर गई।

वास्तविक वीडियो पर प्रदर्शन सभी तीन डेटासेट में समान था, DF26 के लिए 76.0%, CelebDF++ के लिए 75.5% और DeepSpeak v2 के लिए 72.8%। अंतर नकली वीडियो में दिखा, जहाँ DF26 पर सटीकता 52.6% तक गिर गई, जबकि दो पुराने डेटासेट पर क्रमशः 74.5% और 69.8% थी।

इसलिए, पेपर के अनुसार, जबकि प्रतिभागी सामान्यतः DF26 से भ्रमित नहीं थे, वे इसके सिंथेटिक वीडियो के नकली होने का विशिष्ट दृश्य प्रमाण खोजने में संघर्ष करते थे।

निष्कर्ष

पिछले दो वर्षों में डीपफ़ेक की आवृत्ति में रिपोर्टेड 16 गुना वृद्धि के बावजूद, दुर्भावनापूर्ण डीपफ़ेक की वास्तविकता हमारे सामान्य अनुभव में काफी हद तक अनुपस्थित है, जब तक कि हम स्वयं उनका लक्ष्य न बनें।

यौन डीपफेक के पीड़ितों के मामले में, यह पूरी तरह समझ में आता है – लेकिन चूंकि डीपफेक अब धोखाधड़ी के अपराध पर बढ़ता प्रभाव रखते हैं, यह उपयोगी हो सकता है यदि अधिक सामग्री सार्वजनिक के साथ साझा की जा सके, ताकि हमारा संदर्भ ‘स्वर्ण युग’ से अधिक तीव्र और धोखेबाज़ी वाले डिफ्यूजन-आधारित डीपफेक के युग में अपडेट हो जाए।

बेशक, नए अध्ययन में मॉडलों के आउटपुट से संबंधित अधिकांश सामग्री, साथ ही अन्य मॉडलों की सामग्री, सामाजिक मीडिया प्लेटफ़ॉर्म पर पर्याप्त संदर्भ के बिना उभरती है, जहाँ के पर्यवेक्षक या तो AI को वास्तविक से अलग नहीं कर सकते, या वे सिर्फ़ परवाह नहीं करते।

एक अतिरिक्त मापदंड जिसे हम सभी उन वीडियो पर लागू कर सकते हैं जिन पर हमें संदेह हो, वह है उचित विश्वसनीयता – लेकिन यह क्षमता व्यक्तियों में इतनी भिन्न होती है कि इसे अविश्वसनीय माना जा सकता है। इसलिए यह संभव है कि एक संक्रमणकालीन अवधि के दौरान, जब हम इस प्रौद्योगिकी के प्रभाव और इसकी निरंतर बढ़ती क्षमताओं के अभ्यस्त हो रहे हैं, हमें केवल निर्णय को स्थगित करना ही पड़ेगा।

पहली बार प्रकाशित सोमवार, 14 सितंबर, 2026