अस्पष्ट वीडियो कॉल को वास्तविक समय में केवल सीपीयू का उपयोग करके ठीक करना

एक नया तरीका आपके चेहरे का एआई मॉडल कुछ सेकंड में बनाता है, जो वास्तविक समय में अस्पष्ट वीडियो कॉल को ठीक करता है – बिना शक्तिशाली हार्डवेयर या क्लाउड प्रोसेसिंग की आवश्यकता के, केवल एक बुनियादी लैपटॉप सीपीयू पर चलने वाला है।

हालांकि कम संसाधन वाले देशों के उपयोगकर्ता अस्पष्ट वीडियो चैट छवियों से सबसे अधिक प्रभावित होते हैं, यह अक्सर एक ‘पहली दुनिया’ की समस्या भी है – जैसे कि यदि चैट में भाग लेने वालों में से एक ओवर-टैक्स्ड वाई-फाई हॉटस्पॉट का उपयोग कर रहा है, या कुछ अन्य प्रक्रिया या व्यक्ति भाग लेने वाले के घर में उपलब्ध बैंडविथ को प्रभावित कर रहा है; या यहां तक कि अगर वह व्यक्ति एक देश का दौरा कर रहा है जिसमें खराब कनेक्टिविटी है।

चूंकि समस्या सामान्य है, इसलिए इस पर शोध साहित्य में कुछ ध्यान दिया गया है, जिसमें डीब्लॉकिंग, डीनोइज़िंग, सुपर-रेज़ोल्यूशन और विभिन्न अन्य तरीकों के माध्यम से समाधान प्रस्तावित किए गए हैं। वीक्यूएफआर सिस्टम 2022 से है, जो खराब गुणवत्ता वाली छवियों को पुनर्स्थापित करता है और कम गुणवत्ता वाली छवि विशेषताओं को उच्च गुणवत्ता वाले प्रतिनिधित्व से बदल देता है जो एक सीखे हुए कोडबुक से निकाले जाते हैं; 2021 के जीएफपी-जीएन ने एलक्यू छवियों में सुधार करने के लिए उत्पादक चेहरे के प्राथमिक का लाभ उठाया; और आरटीएफवीई: रियलटाइम फेस वीडियो एन्हांसमेंट उच्च गुणवत्ता वाली संदर्भ छवियों का उपयोग करके चेहरे की बहाली करता है:

ज़रूरत पड़ने पर खेलने के लिए क्लिक करें। 2025 आरटीएफवीई चेहरे के सुधार परियोजना से, जीपीयू-त्वरित चेहरे का सुधार। स्रोत

कम संसाधन वाले उपयोगकर्ता के दृष्टिकोण से, इनमें से अधिकांश समाधान व्यवहार्य नहीं हैं, क्योंकि वे काम को जीपीयू पर ऑफलोड करते हैं जो उस उपयोगकर्ता के सेटअप में उपलब्ध नहीं हो सकता है। हालांकि, कंप्यूटर विजन कार्यों के लिए सीपीयू का उपयोग करना आमतौर पर एक ऑफलाइन प्रक्रिया है, जिसका अर्थ है कि आउटपुट उपलब्ध होने से पहले आपको सीपीयू के पूरा होने की प्रतीक्षा करनी होगी।

यह वीडियो चैट परिदृश्य के लिए अस्वीकार्य है, जो संसाधन-भूखा है लेकिन अक्सर संसाधन-वंचित भी होता है: किसी भी वास्तविक लोकतांत्रिक चेहरे में सुधार प्रणाली को कम से कम 24 एफपीएस पर एक सामान्य लैपटॉप सीपीयू पर चलना चाहिए और एक उचित रिज़ॉल्यूशन पर; और यह बहुत कुछ मांगना है。

एक नए शोध प्रस्ताव से यह मांग वाला परिदृश्य पूरा किया जाता है, जो दावा करता है कि देखने वाले के चेहरे के कुछ खाली फ्रेम से 100 सेकंड से कम समय में एक मॉडल को प्रशिक्षित करने में सक्षम है, जिसके बाद अंतिम मॉडल वीडियो कॉन्फ़्रेंसिंग अनुप्रयोगों जैसे ज़ूम में आधिकारिक एपीआई परतों के माध्यम से उपयोगकर्ता और सम्मेलन के बीच एक अंतराल परत के रूप में चलता है:

ज़रूरत पड़ने पर खेलने के लिए क्लिक करें। एफएसएफवीई परियोजना पृष्ठ से, नमूना सुधार वेबकैम-दृश्य चेहरे, 3.5 एमबी मॉडल का उपयोग करके जो दो मिनट से कम समय में प्रशिक्षित किया जाता है। स्रोत

लेख में कहा गया है:

‘एफएसएफवीई मॉडल को या तो वीडियो कॉल से ठीक पहले या कॉल की शुरुआत में प्रशिक्षित किया जा सकता है। केवल विषय की कुछ उच्च गुणवत्ता वाली छवियों की आवश्यकता होती है; उदाहरण के लिए, 5 से 30 छवियां जो थोड़ी सी सीखने वाली हैं। ज ust वीडियो कॉल से पहले या कॉल की शुरुआत में, उपयोगकर्ता की कुछ सेकंड की उच्च गुणवत्ता वाली वीडियो प्राप्त की जा सकती है; उदाहरण के लिए, 3 सेकंड, जो 3

‘यह उच्च गुणवत्ता वाला वीडियो जल्दी से वीडियो कॉल के लिए निर्धारित सेटिंग्स के अनुसार कम गुणवत्ता वाले वीडियो में पुनः संग्रहीत किया जा सकता है, और फिर कम और उच्च गुणवत्ता वाले फ्रेम के साथ, मॉडल प्रशिक्षित किया जाता है।’

इस नए सिस्टम की एक उल्लेखनीय विशेषता यह है कि यह मॉडल के प्रसंस्करण के लिए कौन ‘भुगतान’ करता है, इसके संबंध में लचीलापन है; यदि देखने वाला खुद किसी कारण से मॉडल के प्रशिक्षण के लिए सीपीयू पावर प्रदान नहीं कर सकता है, तो यह संवाददाता को ऑफलोड किया जा सकता है, जो कुछ उच्च गुणवत्ता वाले फ्रेम भेजता है, जिसके साथ मॉडल ‘दूरस्थ रूप से’ संसाधन-वंचित उपयोगकर्ता के लिए प्रशिक्षित किया जाता है।

वैकल्पिक रूप से, प्रशिक्षण को एक सर्वर पर सिस्टमatically ऑफलोड किया जा सकता है। लेखकों का remark है:

‘सर्वर का उपयोग उन मामलों के लिए किया जा सकता है जहां भेजने और प्राप्त करने वाले उपकरण प्रशिक्षण के लिए बहुत धीमे हैं (या यदि नहीं, तो उन्हें इस कार्य से राहत देने के लिए)। ‘

‘किसी भी मामले में, मॉडल का आकार अपेक्षाकृत छोटा है (लगभग 3.5 एमबी) और कुछ उच्च गुणवत्ता वाले फ्रेम हैं, और एक बार प्रशिक्षण पूरा हो जाने के बाद, मॉडल एक सामान्य लैपटॉप सीपीयू पर वास्तविक समय में चल सकता है।’

परीक्षणों में, मॉडल को बेसलाइन और पिछले कार्यों (जिसमें उल्लिखित आरटीएफवीई शामिल है, जो नए कार्य का आधार बनता है) के खिलाफ तुलना की गई, एफएसएफवीई ने निरंतर रूप से असुधारित संपीड़ित वीडियो, एक सीपीयू-अनुकूलित रेसनेट, और संशोधित आरटीएफवीई-0 मॉडल को पार किया, जबकि अभी भी एक सीपीयू पर वास्तविक समय में चल रहा था।

नया लेख शीर्षक है एफएसएफवीई: कुछ शॉट्स से संपीड़ित चेहरे वीडियो सुधार, और यह एक डेमो और एक गिटहब रेपो के साथ आता है।

विधि

एफएसएफवीई को खुले फेसफोरेंसिक्स++ डेटासेट पर प्रशिक्षित किया गया था, जिसमें 363 1080पी वीडियो हैं जो अभिनेताओं को बात करते हुए दिखाते हैं, जिसमें लेखकों ने दीवार के खिलाफ बोलते हुए श्रेणी को निकाला, जो एक विशिष्ट वीडियो कॉल के शैली के सबसे करीब है:

ज़रूरत पड़ने पर खेलने के लिए क्लिक करें। फेसफोरेंसिक्स++ डेटासेट के उदाहरण। स्रोत

यह उपसेट 27 वीडियो के बारे में है जो प्रत्येक में लगभग 972 फ्रेम हैं – ज्यादातर सामने के दृश्य, लेकिन, आवश्यक रूप से, कुछ साइड व्यू भी हैं।

वीडियो कॉल कनेक्शन समस्याओं को अनुकरण करने के लिए कम गुणवत्ता वाले वीडियो बनाने के लिए, लेखकों ने डेटासेट को एच264 और एच265 वीडियो कोडेक का उपयोग करके संपीड़ित किया। संपीड़न स्तर सीआरएफ श्रृंखला में 36, 40, और 44 (यह मानते हुए कि शून्य हानिरहित है और 51 बहुत ब्लॉकी है) पर सेट किया गया था।

प्रत्येक फ्रेम को ब्लेज़फेस चेहरा डिटेक्टर का उपयोग करके चेहरे के आसपास 256 × 256 क्षेत्र में फसलाया गया था, जिसके बाद चेहरे को संरेखित करने के लिए चेहरे की कुंजी बिंदुओं का उपयोग किया गया था, जिसमें आंखों को स्थिति में लाने और एक अफाइन वार्प लागू करना शामिल था (जो चेहरे को घुमाता है, स्केल करता है और इसे एक सुसंगत स्थिति में स्थानांतरित करता है), ताकि आंखें स्तर पर रहें और सभी फ्रेम में लगभग एक ही स्थिति में रहें।

यह फेस रिकग्निशन लाइब्रेरी के साथ किया गया था:

फेस रिकग्निशन पाइथन लाइब्रेरी के साथ एक छवि से चेहरे की रेखाओं को निकालने का एक उदाहरण। स्रोत

चूंकि मॉडल को केवल एक ही वीडियो कॉल से कुछ फ्रेम से सीखने के लिए डिज़ाइन किया गया है, प्रशिक्षण फ्रेम को पकड़ने के लिए जितना संभव हो उतना चेहरे की भिन्नता को पकड़ने की आवश्यकता थी। इसलिए के-मीन्स क्लस्टरिंग का उपयोग सरल चयन विधियों (यानी, यादृच्छिक नमूनाकरण या निश्चित अंतराल) के बजाय किया गया था।

प्रत्येक फसलाया गया और संरेखित फ्रेम को उल्लिखित आरटीएफवीई चेहरा एनकोडर से गुजरने के लिए पारित किया गया था, जिससे एक संख्यात्मक प्रतिनिधित्व उत्पन्न हुआ, जिसके बाद के-मीन्स क्लस्टरिंग ने समान फ्रेम को 30 क्लस्टर में समूहित किया। यह क्लस्टरिंग प्रक्रिया पांच बार दोहराई गई ताकि सबसे अच्छा समूहण प्राप्त किया जा सके, और प्रत्येक क्लस्टर के केंद्र के निकटतम फ्रेम का चयन प्रशिक्षण के लिए किया गया। इस प्रक्रिया ने प्रत्येक वीडियो के लिए 30 छवियों का एक विविध सेट उत्पन्न किया।

प्रशिक्षण और परीक्षण

मॉडल को 100 युग के लिए प्रशिक्षित किया गया था, जो बहुत कम है, बहुत कम छवियों की संख्या को देखते हुए। हालांकि, जैसा कि लेखकों का remark है, एक अति-फिट मॉडल वास्तव में इस परिदृश्य में वांछनीय है, यहां तक कि अगर यह सभी संभावित परिस्थितियों को पकड़ नहीं सकता है, जैसे कि असामान्य चेहरे की अभिव्यक्ति, मुद्राएं, या चेहरे की विशेषताओं को छिपाना या धुंधला करना। प्राथमिकताएं, इसके बजाय, मध्यम लचीलापन में सामान्यीकरण हैं, और प्रशिक्षण की गति।

लेख में रैडम ऑप्टिमाइज़र का उपयोग 10^-4 की सीखने की दर पर किया गया था।

प्रारंभिक परीक्षणों के लिए, प्रणाली की तुलना मूल संपीड़ित वीडियो के साथ की गई थी; एक लाइटवेट रेसनेट जो वास्तविक समय सीपीयू अनुमान के लिए कॉन्फ़िगर किया गया था; और उल्लिखित आरटीएफवीई – एकमात्र अन्य वास्तविक समय सीपीयू चेहरे सुधार प्रणाली ज्ञात।

एक निष्पक्ष तुलना सुनिश्चित करने के लिए, आरटीएफवीई को संशोधित किया गया था ताकि यह अनुमान के दौरान उच्च गुणवत्ता वाली संदर्भ छवियों पर अपनी निर्भरता को हटा दे, जबकि एक समान गति और पैरामीटर गणना को बनाए रखा, जिससे एक संस्करण बना जिसे आरटीएफवीई-0 कहा जाता है। रेसनेट और आरटीएफवीई-0 मॉडल को एल1 हानि फ़ंक्शन का उपयोग करके प्रशिक्षित किया गया था। एक निष्पक्ष तुलना सुनिश्चित करने के लिए, सभी मॉडलों ने एक ही रैडम ऑप्टिमाइज़र और प्रशिक्षण सेटिंग्स का उपयोग किया, प्रत्येक वीडियो के लिए एक अलग इंस्टेंस-विशिष्ट मॉडल प्रशिक्षित किया गया था।

प्रशिक्षण को तेज करने के लिए, एक कस्टम फ्रीक्वेंसी-डोमेन फोकल लॉस (प्रशिक्षण के दौरान सबसे दृश्य रूप से महत्वपूर्ण छवि विवरण पर जोर देने वाला) पेश किया गया था, जो कम-आवृत्ति डीसीटी घटकों (छवि जानकारी को आवृत्ति मूल्यों में परिवर्तित करने के बाद) पर अधिक भार देता है, जो दृश्य रूप से सबसे महत्वपूर्ण छवि संरचनाओं पर प्रशिक्षण के दौरान प्राथमिकता देता है।

वजन जेपीईजी ल्यूमिनेंस क्वांटाइजेशन मैट्रिक्स से प्राप्त किया गया था, जिससे मॉडल प्रशिक्षण के दौरान सबसे दृश्य रूप से महत्वपूर्ण छवि संरचनाओं को प्राथमिकता देता है।

मात्रात्मक परीक्षण

दोनों तकनीकी पुनर्निर्माण सटीकता (विकृति) और दृश्य गुणवत्ता को परीक्षणों के लिए मापा गया था। विकृति को पीक सिग्नल-टू-नॉइज़ रेशियो (पीएसएनआर) और संरचनात्मक समानता सूचकांक (एसएसआईएम) द्वारा मापा गया था; और दृश्य गुणवत्ता सीखी गई दृश्य समानता छवि पैच समानता (एलपीआईपीएस) द्वारा मापी गई थी:

एच.264 और एच.265 वीडियो पर तीन संपीड़न स्तरों पर मूल संपीड़ित वीडियो, एक सीपीयू-अनुकूलित रेसनेट, और संशोधित आरटीएफवीई-0 के खिलाफ एफएसएफवीई का प्रदर्शन, जिसमें उच्च पीएसएनआर और एसएसआईएम बेहतर पुनर्निर्माण गुणवत्ता को इंगित करते हैं, और कम एलपीआईपीएस बेहतर दृश्य गुणवत्ता को इंगित करता है।

एफएसएफवीई ने लगातार दोनों मूल संपीड़ित वीडियो और प्रतिस्पर्धी सीपीयू-आधारित सुधार मॉडल को पार किया, हर संपीड़न स्तर पर।

एच.264 वीडियो के साथ, पीएसएनआर में 1.11डीबी, 1.37डीबी, और 1.51डीबी की वृद्धि हुई, क्रमशः 36, 40, और 44 के सीआरएफ मूल्यों पर, एसएसआईएम में सुधार और दो उच्च संपीड़न सेटिंग्स पर एलपीआईपीएस स्कोर में कमी (बेहतर दृश्य गुणवत्ता को इंगित करते हुए)।

एच.265 के साथ समान लाभ दर्ज किए गए, जो दर्शाते हैं कि दृष्टिकोण दोनों प्रमुख वीडियो कोडेक पर प्रभावी रहता है। जैसा कि नीचे दिखाया गया है, सुधार बढ़ती संपीड़न के साथ और अधिक प्रमुख हो गया, जो दर्शाता है कि विधि विशेष रूप से कम-बैंडविथ परिदृश्यों को संबोधित करने के लिए डिज़ाइन की गई थी:

मूल एच.264 वीडियो और सुधारित आउटपुट के लिए बिटरेट बढ़ने के साथ पीएसएनआर। निम्न बिटरेट पर बढ़ती खाई दिखाती है कि एफएसएफवीई अपने सबसे बड़े गुणवत्ता लाभ वीडियो कोडेक के सबसे ज्यादा संपीड़ित, बैंडविथ-सीमित परिदृश्यों में प्रदान करता है।

सीपीयू-अनुकूलित रेसनेट और आरटीएफवीई-0 ने मूल संपीड़ित बेसलाइन पर केवल मामूली सुधार प्रदान किए, जबकि एफएसएफवीई ने दोनों को 1.1डीबी से अधिक से पार किया, जबकि 30.24 एफपीएस पर वास्तविक समय में चलने का प्रदर्शन किया,尽管 इसमें केवल लगभग एक मिलियन पैरामीटर थे।

जैसा कि नीचे दिखाया गया है, प्रदर्शन लगातार बढ़ते प्रशिक्षण फ्रेम के साथ सुधार हुआ। यहां तक कि केवल पांच प्रशिक्षण छवियों के साथ, एफएसएफवीई ने संपीड़ित बेसलाइन पर 0.75डीबी से अधिक पीएसएनआर में सुधार किया, जबकि दस प्रशिक्षण फ्रेम एक 1डीबी से अधिक सुधार के लिए पर्याप्त थे – यह दर्शाता है कि दृष्टिकोण सीमित प्रशिक्षण डेटा के साथ भी प्रभावी रहता है:

सीआरएफ 44 पर अनदेखे एच.264 वीडियो फ्रेम के लिए पीएसएनआर पर प्रशिक्षण सेट के आकार का प्रभाव। यहां तक कि पांच प्रशिक्षण छवियों ने संपीड़ित बेसलाइन पर गुणवत्ता में सुधार किया, जिसमें प्रदर्शन अधिक फ्रेम के साथ बढ़ता रहा।

गुणात्मक परीक्षण

परिणामों में, गुणात्मक परीक्षण के लिए, हम सीआरएफ 44 पर भारी संपीड़ित एच.264 वीडियो फ्रेम और संबंधित एफएसएफवीई आउटपुट देखते हैं:

सीआरएफ 44 पर भारी संपीड़ित एच.264 वीडियो फ्रेम और संबंधित एफएसएफवीई आउटपुट की तुलना। लेख में कहा गया है कि सुधारित परिणाम संपीड़न कलाकृतियों को कम करते हैं, चेहरे की संरचना को बहाल करते हैं और चिकनी, अधिक प्राकृतिक त्वचा का उत्पादन करते हैं, जबकि विषय की पहचान और अभिव्यक्ति को संरक्षित करते हैं। कृपया बेहतर उदाहरणों के लिए स्रोत पीडीएफ और मूल वीडियो देखें।

लेखकों का remark है कि संपीड़ित छवियों में आंखों, नाक और मुंह के आसपास प्रमुख कलाकृतियां हैं, साथ ही अस्वाभाविक रूप से बनावट वाली त्वचा और चेहरे की विशेषताओं में विकृतियां हैं, जबकि सुधारित परिणाम इन दोषों को काफी कम करते हैं:

‘पहले उदाहरण में, आंखें अस्पष्ट दिखाई देती हैं और आंखों की मेकअप काला आंखों के रंग के साथ मिल जाता है। होठों पर एलियासिंग के स्पष्ट संकेत हैं। भौहें परिभाषा से रहित हैं और त्वचा विकृत दिखाई देती है। दूसरे उदाहरण में, त्वचा अत्यधिक बनावट वाली है और इसमें धब्बे जैसी कलाकृतियां हैं। ‘

‘मुंह के नीचे ब्लॉकिंग कलाकृतियां हैं जो ठोड़ी के आकार को बदल देती हैं। वहां ऊल जैसी रेखाएं भी दिखाई देती हैं। ‘

‘हमारा मॉडल इन कलाकृतियों को दूर करने में सक्षम है, जो दृश्य रूप से सुखद आउटपुट का उत्पादन करता है जिसमें स्पष्ट त्वचा और कुछ महीन विवरण हैं जो संपीड़न में खो गए थे। ‘

‘महत्वपूर्ण बात यह है कि सुधारित आउटपुट वीडियो में पहचान के प्रति वफादार रहता है।’

निष्कर्ष

यह लगता है कि वीडियो चैट डेटा की गुणवत्ता को बढ़ाने के लिए उद्योग और अकादमिक दोनों क्षेत्रों में जारी प्रयास अंततः वीडियो कॉल में गहरे नकली वीडियो को पहचानने के प्रयासों के विरुद्ध टकराएंगे।

चूंकि नए लेख में उल्लेख किया गया है, अंतराल प्रणाली जैसे एफएसएफवीई को वैध रूप से वीडियो कॉल वीडियो स्ट्रीम पर आधिकारिक एपीआई के माध्यम से लागू किया जा सकता है, इसलिए यह संभव है कि गैर-प्रोसेस्ड सामग्री गहरे नकली उपायों द्वारा उपयोग के लिए उपलब्ध रहेगी, जो महत्वपूर्ण हो जाएगा।

* नए लेख में ‘डीपफेक डिटेक्टर’ डेटासेट के रूप में उल्लेख किया गया है, हालांकि यह नाम फेसफोरेंसिक्स++ पेपर में भी नहीं है जो लेखकों द्वारा इस संबंध में लिंक किया गया है।

मंगलवार, 14 जुलाई, 2026 को पहली बार प्रकाशित