एआई विश्लेषण के लिए डिज़ाइन किया गया एक वीडियो कोडेक

हालांकि टेक्नो-थ्रिलर सर्किल (2017) बाहरी वीडियो एनालिटिक्स की व्यावहारिकताओं की तुलना में सामाजिक नेटवर्क के नैतिक निहितार्थों पर एक टिप्पणी है, कथानक के केंद्र में असंभव रूप से छोटा 'सीचेंज' कैमरा है जो वास्तव में फिल्म को 'साइंस-फिक्शन' श्रेणी में धकेलता है।

टेक्नो-थ्रिलर 'द सर्कल' (2017) से 'सीचेंज' कैमरा/निगरानी उपकरण।

एक बड़े संगमरमर के आकार के बारे में एक वायरलेस और फ्री-रोमिंग डिवाइस, इसका कारण सौर पैनलों की कमी या अन्य परिवेश स्रोतों (जैसे) से बिजली खींचने की अक्षमता नहीं है रेडियो तरंगें) जो SeeChange को एक असंभावित संभावना बनाता है, लेकिन तथ्य यह है कि इसे वीडियो को 24/7 संपीड़ित करना होगा, जो भी कम चार्ज पर यह बनाए रखने में सक्षम है।

इस प्रकार के सस्ते सेंसर को पावर देना कंप्यूटर विज़न (सीवी) और वीडियो एनालिटिक्स में अनुसंधान का एक मुख्य क्षेत्र है, विशेष रूप से गैर-शहरी वातावरण में जहां सेंसर को बहुत सीमित बिजली संसाधनों (बैटरी, सौर, आदि) से अधिकतम प्रदर्शन करना होगा। .).

ऐसे मामलों में जहां इस प्रकार के एज IoT/CV डिवाइस को छवि सामग्री को एक केंद्रीय सर्वर (अक्सर पारंपरिक सेल कवरेज नेटवर्क के माध्यम से) भेजना होता है, विकल्प कठिन होते हैं: या तो डिवाइस को स्थानीय स्तर पर किसी प्रकार के हल्के तंत्रिका नेटवर्क को चलाने की आवश्यकता होती है केवल भेजने के लिए अनुकूलित सर्वर साइड प्रोसेसिंग के लिए प्रासंगिक डेटा के खंड; या इसे मूल्यांकन के लिए प्लग-इन क्लाउड संसाधनों के लिए 'गूंगा' वीडियो भेजना होगा।

हालांकि इवेंट-आधारित स्मार्ट विज़न सेंसर (एसवीएस) के माध्यम से गति-सक्रियण हो सकता है इस उपरिव्यय में कटौती करें, कि सक्रियण निगरानी में भी ऊर्जा खर्च होती है।

सत्ता से चिपके रहना

इसके अलावा, कभी-कभार सक्रिय होने पर भी (यानी भेड़ कभी-कभी भटक कर सामने आ जाती है), डिवाइस में गीगाबाइट असम्पीडित वीडियो भेजने की पर्याप्त शक्ति नहीं है; न ही इसमें H.264/5 जैसे लोकप्रिय वीडियो कम्प्रेशन कोडेक्स को लगातार चलाने के लिए पर्याप्त शक्ति है, जो ऐसे हार्डवेयर की अपेक्षा कर रहे हैं जो या तो प्लग इन है या अगले चार्जिंग सत्र से दूर नहीं है।

तीन विशिष्ट कंप्यूटर विज़न कार्यों के लिए वीडियो एनालिटिक्स पाइपलाइन। वीडियो एन्कोडिंग आर्किटेक्चर को मौजूदा कार्य के लिए और आमतौर पर डेटा प्राप्त करने वाले तंत्रिका नेटवर्क के लिए प्रशिक्षित करने की आवश्यकता होती है। स्रोत: https://arxiv.org/pdf/2204.12534.pdf

यद्यपि व्यापक रूप से फैले हुए H.264 कोडेक में इसके उत्तराधिकारी H.265 की तुलना में कम ऊर्जा खपत है, लेकिन इसमें ख़राब संपीड़न दक्षता. इसके उत्तराधिकारी, H.265 में बेहतर संपीड़न दक्षता है, लेकिन बिजली की खपत अधिक है। जबकि Google का ओपन सोर्स VP9 कोडेक प्रत्येक क्षेत्र में उन दोनों को मात देता है, इसके लिए उच्च स्थानीय गणना संसाधनों की आवश्यकता होती है, जो प्रस्तुत करता है अतिरिक्त समस्याएँ एक कथित सस्ते IoT सेंसर में।

स्थानीय रूप से स्ट्रीम का विश्लेषण करने के लिए: जब तक आप यह निर्धारित करने के लिए सबसे हल्के स्थानीय तंत्रिका नेटवर्क को चलाते हैं कि कौन से फ्रेम (या फ्रेम के क्षेत्र) सर्वर पर भेजने लायक हैं, तब तक आप अक्सर अपनी सारी शक्ति खर्च कर चुके होते हैं। केवल सभी फ़्रेम भेजकर सहेजा गया।

एक सेंसर के साथ मवेशियों के नकाबपोश चित्रण को निकालना, जिसके ग्रिड से जुड़े होने की संभावना नहीं है। क्या यह हल्के तंत्रिका नेटवर्क के साथ स्थानीय अर्थ विभाजन पर अपनी सीमित बिजली क्षमता खर्च करता है; आगे के निर्देशों के लिए सर्वर पर सीमित जानकारी भेजकर (विलंबता का परिचय देकर); या 'गूंगा' डेटा भेजकर (बैंडविड्थ पर ऊर्जा बर्बाद करके)? स्रोत: https://arxiv.org/pdf/1807.01972.pdf

यह स्पष्ट है कि 'जंगली' कंप्यूटर विज़न परियोजनाओं में समर्पित वीडियो संपीड़न कोडेक्स की आवश्यकता होती है जो विशिष्ट और विविध कार्यों जैसे कि सिमेंटिक सेगमेंटेशन, कीपॉइंट डिटेक्शन (मानव आंदोलन विश्लेषण) और ऑब्जेक्ट डिटेक्शन, अन्य संभावित कार्यों के लिए विशिष्ट तंत्रिका नेटवर्क की आवश्यकताओं के लिए अनुकूलित होते हैं। अंतिम उपयोग.

यदि आप वीडियो संपीड़न दक्षता और न्यूनतम डेटा ट्रांसमिशन के बीच सही समझौता प्राप्त कर सकते हैं, तो आप सीचेंज के करीब एक कदम हैं, और अमित्र वातावरण में किफायती सेंसर नेटवर्क तैनात करने की क्षमता रखते हैं।

एसीसीएमपीईजी

शिकागो विश्वविद्यालय के नए शोध ने शायद इस तरह के कोडेक के करीब एक कदम आगे बढ़ाया है एसीसीएमपीईजी - एक नया वीडियो एन्कोडिंग और स्ट्रीमिंग फ्रेमवर्क जो सर्वर-साइड डीप न्यूरल नेटवर्क्स (डीएनएन) के लिए कम विलंबता, उच्च सटीकता पर काम करता है, और जिसकी स्थानीय गणना आवश्यकताएं उल्लेखनीय रूप से कम हैं।

AccMPEG की वास्तुकला। स्रोत: https://arxiv.org/pdf/2204.12534.pdf

यह प्रणाली प्रत्येक 16x16px की सीमा का आकलन करके पूर्व तरीकों की तुलना में अर्थव्यवस्था बनाने में सक्षम है मेक्रोब्लॉक सर्वर-साइड डीएनएन की सटीकता प्रभावित होने की संभावना है। इसके बजाय, पिछले तरीकों में आम तौर पर छवि में प्रत्येक पिक्सेल के आधार पर इस तरह की सटीकता का आकलन करना होता था या फिर छवि के कौन से क्षेत्र सबसे अधिक रुचि के हो सकते हैं, इसका आकलन करने के लिए विद्युत रूप से महंगे स्थानीय संचालन करना पड़ता था।

AccMPEG में, इस सटीकता का अनुमान AccGrad नामक एक कस्टम मॉड्यूल में लगाया जाता है, जो उन तरीकों को मापता है जिनमें मैक्रोब्लॉक की एन्कोडिंग गुणवत्ता अंतिम उपयोग के मामले के लिए प्रासंगिक होने की संभावना है, जैसे कि सर्वर-साइड DNN जो लोगों की गिनती करने की कोशिश कर रहा है, मानव गतिविधि, या अन्य सामान्य कंप्यूटर विज़न कार्यों पर कंकाल का अनुमान लगाना।

जैसे ही वीडियो का एक फ्रेम सिस्टम में आता है, AccMPEG शुरू में इसे एक सस्ते गुणवत्ता चयनकर्ता मॉडल, शीर्षक के माध्यम से संसाधित करता है AccModel. कोई भी क्षेत्र जो सर्वर-साइड डीएनएन की उपयोगी गणना में योगदान करने की संभावना नहीं रखता है, वह अनिवार्य रूप से गिट्टी है, और मुख्य क्षेत्रों के विपरीत, न्यूनतम संभव गुणवत्ता पर एन्कोडिंग के लिए चिह्नित किया जाना चाहिए, जिसे बेहतर गुणवत्ता पर भेजा जाना चाहिए।

यह प्रक्रिया तीन चुनौतियाँ प्रस्तुत करती है: क्या ऊर्जा-खपत करने वाले स्थानीय कंप्यूटिंग संसाधनों का उपयोग किए बिना स्वीकार्य विलंबता प्राप्त करने के लिए प्रक्रिया को इतनी तेज़ी से निष्पादित किया जा सकता है? क्या फ़्रेम-रेट और गुणवत्ता के बीच इष्टतम संबंध स्थापित किया जा सकता है? और क्या किसी मॉडल को व्यक्तिगत सर्वर-साइड DNN के लिए शीघ्रता से प्रशिक्षित किया जा सकता है?

प्रशिक्षण रसद

आदर्श रूप से, एक कंप्यूटर विज़न कोडेक को एक विशिष्ट तंत्रिका नेटवर्क की सटीक आवश्यकताओं के लिए प्लग-इन सिस्टम पर पूर्व-प्रशिक्षित किया जाएगा। हालाँकि, AccGrad मॉड्यूल को मानक ओवरहेड से दस गुना की बचत पर केवल दो आगे के प्रसार के साथ DNN से सीधे प्राप्त किया जा सकता है।

AccMPEG अंतिम DNN के माध्यम से प्रत्येक तीन प्रसार के केवल 15 युगों के लिए AccGrad को प्रशिक्षित करता है, और संभावित रूप से एक टेम्पलेट के रूप में अपने वर्तमान मॉडल स्थिति का उपयोग करके 'लाइव' को फिर से प्रशिक्षित किया जा सकता है, कम से कम समान-निर्दिष्ट सीवी कार्यों के लिए।

AccModel पूर्व-प्रशिक्षित का उपयोग करता है मोबाइलनेट-एसएसडी फीचर एक्सट्रैक्टर, किफायती एज उपकरणों में आम है। 12 GFLOPS के टर्नओवर पर, मॉडल विशिष्ट ResNet18 दृष्टिकोण का केवल एक तिहाई उपयोग करता है। बैच सामान्यीकरण और सक्रियण के अलावा, आर्किटेक्चर में केवल संकेंद्रित परतें होती हैं, और इसकी गणना ओवरहेड फ्रेम आकार के समानुपाती होती है।

AccGrad परिनियोजन लॉजिस्टिक्स में सुधार करते हुए अंतिम DNN अनुमान की आवश्यकता को हटा देता है।

फ्रेम दर

आर्किटेक्चर 10fps पर इष्टतम रूप से चलता है, जो इसे कृषि निगरानी, ​​भवन क्षरण निगरानी, ​​उच्च-दृश्य यातायात विश्लेषण और मानव आंदोलन में प्रतिनिधि कंकाल अनुमान जैसे उद्देश्यों के लिए उपयुक्त बना देगा; हालाँकि, बहुत तेजी से आगे बढ़ने वाले परिदृश्य, जैसे कम-दृश्य ट्रैफ़िक (कारों या लोगों का), और अन्य स्थितियाँ जिनमें उच्च फ्रेम दर फायदेमंद होती है, इस दृष्टिकोण के लिए अनुपयुक्त हैं।

विधि की मितव्ययता का एक हिस्सा इस आधार पर निहित है कि आसन्न मैक्रोब्लॉक समान मूल्य के होने की संभावना है, उस बिंदु तक जहां मैक्रोब्लॉक अनुमानित सटीकता से नीचे नहीं आता है। इस दृष्टिकोण द्वारा प्राप्त क्षेत्रों को अधिक स्पष्ट रूप से चित्रित किया गया है, और अधिक गति से गणना की जा सकती है।

प्रदर्शन में सुधार

शोधकर्ताओं ने $60 जेटसन नैनो बोर्ड पर एकल 128-कोर मैक्सवेल जीपीयू और कई अन्य सस्ते समकक्षों के साथ सिस्टम का परीक्षण किया। OpenVINO का उपयोग सीपीयू के लिए बहुत कम स्थानीय DNN की कुछ ऊर्जा आवश्यकताओं को पूरा करने के लिए किया गया था।

AccModel को मूल रूप से 8 GeForce RTX 2080S GPU वाले सर्वर पर ऑफ़लाइन प्रशिक्षित किया गया था। यद्यपि यह एक प्रारंभिक मॉडल निर्माण के लिए कंप्यूटिंग शक्ति का एक दुर्जेय सरणी है, सिस्टम द्वारा हल्के वजन वाले पुनर्प्रशिक्षण को संभव बनाता है, और जिस तरह से एक मॉडल को विभिन्न DNN में कुछ सहिष्णुता मापदंडों के लिए समायोजित किया जा सकता है जो समान कार्यों पर हमला कर रहे हैं, इसका मतलब है कि AccMPEG कर सकता है एक ऐसी प्रणाली का हिस्सा बनें जिसके लिए जंगल में न्यूनतम उपस्थिति की आवश्यकता होती है।

पहली बार 1 मई 2022 को प्रकाशित।