Anderson का एंगल

एक वीडियो कोडेक जो एआई विश्लेषण के लिए डिज़ाइन किया गया है

Martin Anderson
Unite.AI को Google पर अपने पसंदीदा स्रोतों में जोड़ें
मुख्य बिंदुAccMPEG केवल सर्वर-साइड DNN से संबंधित मैक्रोब्लॉक को एनकोड करता है, जिससे स्थानीय…
और देखें
  • AccMPEG केवल सर्वर-साइड DNN से संबंधित मैक्रोब्लॉक को एनकोड करता है, जिससे स्थानीय कंप्यूटिंग बचती है।
  • यह सिस्टम 10fps पर चलता है और धीमी निगरानी कार्यों जैसे कृषि निगरानी के लिए उपयुक्त है।
  • AccGrad दो फॉरवर्ड प्रसारों के साथ एक DNN से सटीकता अनुमान प्राप्त करता है, जिससे ओवरहेड दस गुना कम हो जाता है।

हालांकि टेक्नो-थ्रिलर द सर्कल (2017) सोशल नेटवर्क्स के नैतिक परिणामों पर टिप्पणी करने के लिए अधिक है, बाहरी वीडियो विश्लेषण के व्यावहारिक पहलुओं पर कम केंद्रित है। लेकिन कहानी के केंद्र में स्थित अविश्वसनीय रूप से छोटा ‘सीचेंज’ कैमरा वास्तव में फिल्म को ‘विज्ञान-कथा’ श्रेणी में धकेलता है।

टेक्नो-थ्रिलर 'द सर्कल' (2017) से 'सीचेंज' कैमरा/सर्विलांस डिवाइस।

टेक्नो-थ्रिलर ‘द सर्कल’ (2017) से ‘सीचेंज’ कैमरा/सर्विलांस डिवाइस।

एक वायरलेस और फ्री-रोमिंग डिवाइस, जो एक बड़े कंचे के आकार का है, यह नहीं है कि यह सौर पैनलों की कमी या अन्य पर्यावरणीय स्रोतों (जैसे रेडियो तरंगें) से शक्ति प्राप्त करने की अकुशलता है, लेकिन यह है कि यह 24/7 वीडियो संपीड़न करने जा रहा है, जो कि यह अपने सीमित चार्ज को बनाए रखने में सक्षम होगा।

सस्ते सेंसर्स को शक्ति प्रदान करना कंप्यूटर विजन (सीवी) और वीडियो विश्लेषण में एक मुख्य अनुसंधान क्षेत्र है, विशेष रूप से गैर-शहरी वातावरण में जहां सेंसर को सीमित शक्ति संसाधनों (बैटरियाँ, सौर, आदि) से अधिकतम प्रदर्शन प्राप्त करना होगा।

ऐसे मामलों में जहां इस प्रकार के एक एज आईओटी/सीवी डिवाइस को एक केंद्रीय सर्वर (आमतौर पर पारंपरिक सेल कवरेज नेटवर्क के माध्यम से) को छवि सामग्री भेजनी होती है, विकल्प कठिन होते हैं: या तो डिवाइस को एक प्रकार का हल्का न्यूरल नेटवर्क स्थानीय रूप से चलाना होगा ताकि केवल अनुकूलित डेटा के खंडों को सर्वर-साइड प्रोसेसिंग के लिए भेजा जा सके; या यह ‘मूर्ख’ वीडियो को भेजना होगा जिसे प्लग्ड-इन क्लाउड संसाधनों द्वारा मूल्यांकन किया जा सकता है।

हालाँकि घटना-आधारित स्मार्ट विज़न सेंसर (SVS) से गति के आधार पर सक्रियण इस अतिरिक्त भार को घटा सकता है, सक्रियण की निगरानी में भी ऊर्जा लगती है।

सीमित ऊर्जा को बचाए रखना

इसके अलावा, यहां तक कि अस्थायी सक्रियण (अर्थात एक भेड़ कभी-कभी दृष्टि में आती है), डिवाइस के पास पर्याप्त शक्ति नहीं है कि यह गिगाबाइट्स के अनकम्प्रेस्ड वीडियो को भेज सके; न ही इसके पास पर्याप्त शक्ति है कि यह लगातार लोकप्रिय वीडियो संपीड़न कोडेक्स जैसे कि एच.264/5 को चला सके, जो कि हार्डवेयर की अपेक्षा करते हैं जो या तो प्लग्ड-इन हैं या अगले चार्जिंग सत्र से बहुत दूर नहीं हैं।

तीन आम कंप्यूटर विजन कार्यों के लिए वीडियो विश्लेषण पाइपलाइनें। वीडियो एन्कोडिंग आर्किटेक्चर को कार्य के लिए प्रशिक्षित किया जाना चाहिए, और आमतौर पर न्यूरल नेटवर्क के लिए जो डेटा प्राप्त करेगा। स्रोत: https://arxiv.org/pdf/2204.12534.pdf

तीन आम कंप्यूटर विजन कार्यों के लिए वीडियो विश्लेषण पाइपलाइनें। वीडियो एन्कोडिंग आर्किटेक्चर को कार्य के लिए प्रशिक्षित किया जाना चाहिए, और आमतौर पर न्यूरल नेटवर्क के लिए जो डेटा प्राप्त करेगा। स्रोत: https://arxiv.org/pdf/2204.12534.pdf

हालांकि व्यापक रूप से प्रसारित एच.264 कोडेक में इसके उत्तराधिकारी एच.265 की तुलना में कम ऊर्जा खपत है, लेकिन इसकी संपीड़न दक्षता खराब है। इसके उत्तराधिकारी, एच.265, में बेहतर संपीड़न दक्षता है, लेकिन उच्च शक्ति खपत है। जबकि गूगल के ओपन-सोर्स वीपी9 कोडेक दोनों क्षेत्रों में उन्हें पार करता है, यह स्थानीय गणना संसाधनों की अधिक आवश्यकता होती है, जो एक सस्ते आईओटी सेंसर में अतिरिक्त समस्याएं प्रस्तुत करता है।

स्थानीय रूप से विश्लेषण करने के लिए: जब आप एक हल्के स्थानीय न्यूरल नेटवर्क चलाते हैं ताकि यह निर्धारित किया जा सके कि कौन से फ्रेम (या एक फ्रेम के क्षेत्र) सर्वर-साइड डीएनएन के लिए भेजने योग्य हैं, तो आप अक्सर उस शक्ति को खर्च कर चुके होते हैं जो आप सिर्फ सभी फ्रेम भेजने से बचा सकते थे।

एक सेंसर के साथ मवेशियों के मास्क्ड प्रतिनिधित्व को निकालना जो ग्रिड-कनेक्टेड नहीं है। क्या यह अपनी सीमित शक्ति क्षमता को स्थानीय सेमांटिक सेगमेंटेशन पर खर्च करता है; सर्वर को सीमित जानकारी भेजने के लिए (लेटेंसी का परिचय देते हुए); या 'मूर्ख' डेटा (बैंडविथ पर ऊर्जा बर्बाद करते हुए) भेजने के लिए?

एक सेंसर के साथ मवेशियों के मास्क्ड प्रतिनिधित्व को निकालना जो ग्रिड-कनेक्टेड नहीं है। क्या यह अपनी सीमित शक्ति क्षमता को स्थानीय सेमांटिक सेगमेंटेशन पर खर्च करता है; सर्वर को सीमित जानकारी भेजने के लिए (लेटेंसी का परिचय देते हुए); या ‘मूर्ख’ डेटा (बैंडविथ पर ऊर्जा बर्बाद करते हुए) भेजने के लिए? स्रोत: https://arxiv.org/pdf/1807.01972.pdf

यह स्पष्ट है कि ‘वाइल्ड’ में कंप्यूटर विजन परियोजनाओं को विशिष्ट न्यूरल नेटवर्क्स की आवश्यकताओं के लिए अनुकूलित वीडियो संपीड़न कोडेक्स की आवश्यकता होती है, जैसे कि सेमांटिक सेगमेंटेशन, कीपॉइंट डिटेक्शन (मानव आंदोलन विश्लेषण) और ऑब्जेक्ट डिटेक्शन, अन्य संभावित अंत उपयोगों के बीच।

यदि वीडियो संपीड़न दक्षता और न्यूनतम डेटा प्रेषण के बीच सही संतुलन मिल जाए, तो SeeChange जैसे उपकरण और प्रतिकूल वातावरण में सस्ते सेंसर नेटवर्क तैनात करने की संभावना एक कदम और निकट आ जाती है।

AccMPEG

शिकागो विश्वविद्यालय से नए शोध ने ऐसे कोडेक की ओर एक कदम बढ़ाया है, जिसे AccMPEG कहा जाता है – एक नवीन वीडियो एन्कोडिंग और स्ट्रीमिंग फ्रेमवर्क जो कम विलंबता, उच्च सटीकता के साथ काम करता है सर्वर-साइड डीप न्यूरल नेटवर्क्स (डीएनएन) के लिए, और जिसमें आश्चर्यजनक रूप से कम स्थानीय गणना आवश्यकताएं हैं।

AccMPEG की आर्किटेक्चर। स्रोत: https://arxiv.org/pdf/2204.12534.pdf

AccMPEG की आर्किटेक्चर। स्रोत: https://arxiv.org/pdf/2204.12534.pdf

सिस्टम पूर्ववर्ती विधियों पर अर्थव्यवस्था करता है क्योंकि यह प्रत्येक 16x16px मैक्रोब्लॉक के प्रभाव का आकलन करता है जो सर्वर-साइड डीएनएन की सटीकता को प्रभावित कर सकता है। पिछली विधियों ने आमतौर पर इस प्रकार की सटीकता का आकलन प्रत्येक पिक्सेल पर या फिर स्थानीय संचालन करने के लिए प्रदर्शन किया है जो छवि के क्षेत्रों का आकलन कर सकते हैं जो सबसे अधिक रुचि के हो सकते हैं।

AccMPEG में, यह सटीकता एक कस्टम मॉड्यूल में अनुमानित है, जिसे AccGrad कहा जाता है, जो मैक्रोब्लॉक की एन्कोडिंग गुणवत्ता के प्रभाव को मापता है जो अंतिम उपयोग के मामले में प्रासंगिक हो सकता है, जैसे कि एक सर्वर-साइड डीएनएन जो लोगों की गिनती करने, मानव आंदोलन पर कंकाल अनुमान लगाने या अन्य सामान्य कंप्यूटर विजन कार्यों का प्रदर्शन करने का प्रयास कर रहा है।

वीडियो का एक फ्रेम आने पर AccMPEG पहले उसे AccModel नाम के कम लागत वाले गुणवत्ता-चयन मॉडल से संसाधित करता है। जो क्षेत्र सर्वर-साइड DNN की उपयोगी गणनाओं में योगदान नहीं देते, वे अतिरिक्त बोझ हैं और उन्हें न्यूनतम गुणवत्ता पर एन्कोड करना चाहिए। महत्वपूर्ण क्षेत्रों को बेहतर गुणवत्ता पर भेजना चाहिए।

इस प्रक्रिया की तीन चुनौतियाँ हैं: क्या ऊर्जा लेने वाले स्थानीय गणना संसाधनों के बिना स्वीकार्य विलंबता के लिए यह पर्याप्त तेज हो सकती है? क्या फ्रेम दर और गुणवत्ता का इष्टतम संबंध बनाया जा सकता है? और क्या किसी खास सर्वर-साइड DNN के लिए मॉडल जल्दी प्रशिक्षित किया जा सकता है?

प्रशिक्षण लॉजिस्टिक्स

आदर्श रूप से, एक कंप्यूटर विजन कोडेक को एक प्लग्ड-इन सिस्टम पर एक विशिष्ट न्यूरल नेटवर्क की आवश्यकताओं के लिए पूर्व-प्रशिक्षित किया जाना चाहिए। AccGrad मॉड्यूल, हालांकि, केवल दो फॉरवर्ड प्रोपेगेशन के साथ एक डीएनएन से सीधे प्राप्त किया जा सकता है, जो मानक ओवरहेड के दस गुना की बचत है।

AccMPEG AccGrad को केवल 15 एपोक्स के लिए प्रशिक्षित करता है, प्रत्येक में तीन प्रोपेगेशन, और इसे संभावित रूप से ‘लाइव’ प्रशिक्षित किया जा सकता है इसकी वर्तमान मॉडल स्थिति का उपयोग करके, कम से कम समान रूप से निर्दिष्ट सीवी कार्यों के लिए।

AccModel प्री-ट्रेन्ड मोबाइलनेट-एसएसडी फीचर एक्सट्रैक्टर का उपयोग करता है, जो सस्ते एज डिवाइसों में सामान्य है। 12 जीएफएलओपीएस पर, मॉडल टाइपिकल रेसनेट18 दृष्टिकोणों का केवल एक तिहाई उपयोग करता है। बैच नॉर्मलाइजेशन और एक्टिवेशन के अलावा, आर्किटेक्चर में केवल कन्वोल्यूशनल लेयर्स होती हैं, और इसका गणना ओवरहेड फ्रेम आकार के अनुपात में होता है।

AccGrad अंतिम डीएनएन अनुमान की आवश्यकता को हटा देता है, तैनाती लॉजिस्टिक्स में सुधार करता है।

AccGrad अंतिम डीएनएन अनुमान की आवश्यकता को हटा देता है, तैनाती लॉजिस्टिक्स में सुधार करता है।

फ्रेम दर

आर्किटेक्चर 10fps पर ऑप्टिमल रूप से चलता है, जो कृषि निगरानी, भवन क्षय निगरानी, उच्च दृश्य यातायात विश्लेषण और मानव आंदोलन में कंकाल अनुमान जैसे उद्देश्यों के लिए उपयुक्त होगा; हालांकि, तेजी से चलती परिदृश्य, जैसे कि निम्न-दृश्य यातायात (कारों या लोगों की), और अन्य स्थितियां जहां उच्च फ्रेम दरें लाभदायक होती हैं, इस दृष्टिकोण के लिए उपयुक्त नहीं हैं।

विधि की मितव्ययिता का एक कारण यह मानना है कि पास-पास के मैक्रोब्लॉक का महत्व समान होगा, जब तक किसी मैक्रोब्लॉक का मान अनुमानित सटीकता से नीचे न आ जाए। इस तरीके से मिले क्षेत्र अधिक स्पष्ट रूप से सीमांकित होते हैं और उनकी गणना अधिक तेजी से हो सकती है।

प्रदर्शन सुधार

शोधकर्ताओं ने सिस्टम का परीक्षण एक $60 जेटसन नैनो बोर्ड पर किया, जिसमें एक 128-कोर मैक्सवेल जीपीयू था, और विभिन्न अन्य सस्ते समकक्षों पर। ओपनवीआईएनओ का उपयोग कुछ ऊर्जा आवश्यकताओं को सीपीयू पर ऑफसेट करने के लिए किया गया था जो बहुत पतले स्थानीय डीएनएन थे।

AccModel को मूल रूप से एक सर्वर पर 8 जीफोर्स आरटीएक्स 2080एस जीपीयू के साथ ऑफलाइन प्रशिक्षित किया गया था। हालांकि यह एक प्रारंभिक मॉडल बिल्ड के लिए एक प्रभावशाली कंप्यूटिंग शक्ति है, लेकिन सिस्टम द्वारा संभव किए गए हल्के पुनः-प्रशिक्षण, और एक मॉडल को विभिन्न डीएनएन के लिए विशिष्ट सहनशीलता पैरामीटर तक समायोजित करने का तरीका, इसका मतलब है कि AccMPEG एक ऐसे सिस्टम का हिस्सा बन सकता है जिसे वाइल्ड में न्यूनतम उपस्थिति की आवश्यकता होती है।

पहली बार 1 मई 2022 को प्रकाशित।

Martin Anderson

मशीन लर्निंग पर लेखक, मानव छवि संश्लेषण में डोमेन विशेषज्ञ। Metaphysic.ai में शोध सामग्री के पूर्व प्रमुख, जब तक यह DNEG की Brahma.ai में विलीन नहीं हो गया।
वेबसाइट: martinanderson.ai
संपर्क: martin@martinanderson.ai