1970 के दशक की ऊर्जा-संरक्षण वाली एआई निगरानी की भावना

नई शोध से पता चलता है कि अधिकांश वीडियो एआई को रंग की आवश्यकता नहीं होती है, यह केवल महत्वपूर्ण क्षणों में ही चालू होता है और डेटा के उपयोग में 90% से अधिक की कमी करता है, जिसमें सटीकता में बहुत कम नुकसान होता है।

रिमोट स्ट्रीमिंग कैमरे और अन्य अनटेथर्ड, बैटरी से संचालित वीडियो डिवाइसों को टाइटली ऑप्टिमाइज्ड मॉनिटरिंग सेटअप की आवश्यकता होती है, क्योंकि वे अस्थिर पावर स्रोतों पर निर्भर हो सकते हैं – जैसे कि सौर – या मानव हस्तक्षेप की आवश्यकता हो सकती है, जिसमें आदर्श रूप से किसी को उपस्थित नहीं होना चाहिए।

इस शोध के साथ, कैमरा-सुसज्जित वियरेबल्स में रुचि भी बढ़ी है है (हालांकि ऐसे उपकरण पहले से ही शक्ति और गणना सीमाओं से जकड़े हुए थे), क्योंकि एज एआई अब उन्हें अधिक उपयोगी बनाने का वादा करता है।

इन विचारों के अलावा, लंबी अवधि में एज एआई और मॉनिटरिंग लागत को कम करने के लिए प्रेरणा (विशेष रूप से उन मामलों में जहां ऐसे बचत को ग्राहक को पारित करने की आवश्यकता नहीं है) ‘एज’ उपयोग के मामलों में ऊर्जा संरक्षण दृष्टिकोण में नवाचार के लिए एक मजबूत मामला बनाती है।

साउंड ऑफ

स्ट्रीमिंग वीडियो-सेंसिंग के क्षेत्र में, संसाधन-वंचित एज मॉनिटरिंग डिवाइसों को कम से कम संभव ऊर्जा का उपयोग करना चाहिए, जबकि अभी भी ‘रोचक’ घटनाओं की निगरानी के लिए पर्याप्त शक्ति खर्च करना चाहिए – जिस बिंदु पर, अधिक संसाधनों का उपयोग करना उचित होगा।

वास्तव में, यह एक समान उपयोग का मामला है जैसे कि आंदोलन-चालित रोशनी, जो केवल तभी प्रकाश प्रदान करती है जब कम-ऊर्जा-नाली सेंसर यह निर्धारित करते हैं कि कोई ऐसा व्यक्ति है जो इसकी सराहना कर सकता है।

ऑडियो-मॉनिटरिंग और संपीड़न वीडियो की तुलना में काफी कम संसाधन-गहन है, इसलिए हाल के वर्षों में कई दृष्टिकोणों ने सOUND-चालित संकेतों का उपयोग करके सीमित प्रणालियों में ‘ध्यान’ को चालू करने का प्रयास किया है; फ्रेमवर्क जैसे सुनने के लिए देखें और एगोट्रिगर:

एगोट्रिगर सिस्टम में, ऑडियो-चालित ट्रिगरिंग हाथ-वस्तु इंटरैक्शन संकेतों से छवि कैप्चर को चुनिंदा रूप से सक्रिय करता है, लालची फ्रेमों को कम करता है और संसाधन-वंचित स्मार्ट-ग्लासेस सिस्टम में एपिसोडिक मेमोरी प्रदर्शन को बनाए रखता है। स्रोत

स्पष्ट रूप से, ऑडियो दृश्य घटनाओं की खोज के लिए आदर्श माध्यम नहीं है, क्योंकि कई ऐसी घटनाएं हो सकती हैं जिनके पास कोई ऑडियो संकेत नहीं है, या एज माइक्रोफोन की सीमा से बाहर हो सकती हैं।

लाइट स्लीपर

क्या बेहतर हो सकता है, एक नए शोध पत्र का सुझाव है, एक वीडियो स्ट्रीम है जो एआई के साथ मिलकर संसाधनों को बढ़ा सकता है जैसे ही एक देखी जाने वाली घटना होती है। नीचे दी गई सिम्युलेशन एक सामान्य विचार देती है – न्यूनतम सिग्नल-स्तर स्तर पर कम-रिज़ॉल्यूशन मॉनिटरिंग बनाए रखा जाता है वस्तु-पता लगाने फ्रेमवर्क को काम करने के लिए, और प्रणाली को सूचित करने के लिए कि एक घटना के कारण संकल्प को बढ़ाना है:

वांछित व्यवहार की एक सिम्युलेशन – यह कि स्ट्रीमिंग और विश्लेषण अपने न्यूनतम संसाधन खपत स्तर पर संचालित होते हैं; केवल इतना ही कि ‘रोचक’ या मांगी गई घटनाओं का पता लगाने के लिए प्रणाली को सूचित करने के लिए। ग्रेस्केल सर्विलांस शैली काफी ‘पुरानी’ हो सकती है, लेकिन यह आगे की चीजों का संकेत हो सकता है। यह वीडियो केवल इस पत्र के मूल विचारों को पाठक के लिए चित्रित करने के लिए लेखक द्वारा बनाया गया था। स्रोत:

नई कार्य, यूके के विभिन्न संस्थानों और हुआवे के बीच एक अकादमिक सहयोग, एक प्रशिक्षण-मुक्त, एआई-सुविधा प्रदान करने वाले, ग्रेस्केल-हमेशा, रंग-पर-मांग योजना का प्रस्ताव करता है एज मॉनिटरिंग के लिए – डिज़ाइन किया गया जब कोई ‘मुख्य घटनाएं’ नहीं हो रही हैं, तो कम टोकन उपयोग पर संचालित करने के लिए, और केवल घटना की अवधि के लिए उपभोग को बढ़ाने के लिए:

स्ट्रीमिंग वीडियो समझ बेंचमार्क में, नए सिस्टम, कलरट्रिगर नामक, 91.6% पूर्ण-रंग बेसलाइन प्रदर्शन हासिल करने में सक्षम था जबकि केवल 8.1% आरजीबी फ्रेमों का उपयोग करते हुए:

जब मॉडल केवल ग्रेस्केल वीडियो देखता है, तो यह मुख्य विवरणों को भ्रमित करता है और गलत उत्तर देता है; लेकिन रंग को सही क्षणों पर ट्रिगर करने से छवि को अस्पष्टता दूर होती है और रंग पर निर्भर कार्यों से उत्पन्न त्रुटियों को ठीक करता है। स्रोत

शोध पत्र रंग जब यह गिनती: ग्रेस्केल-निर्देशित ऑनलाइन ट्रिगरिंग के लिए हमेशा-चालू स्ट्रीमिंग वीडियो सेंसिंग शीर्षक से है, और क्वीन मैरी यूनिवर्सिटी ऑफ लंदन, डरहम यूनिवर्सिटी, इम्पीरियल कॉलेज लंदन और हुआवे नूह के आर्क लैब से आठ शोधकर्ताओं द्वारा आता है। शोध पत्र का एक साथी परियोजना पृष्ठ भी है।

विधि

नए सिस्टम में लौकिक संरचना को संरक्षित करने के लिए, कोलोरट्रिगर निरंतर कम-बैंडविड्थ ग्रेस्केल निगरानी बनाए रखता है। एक कारण ऑनलाइन ट्रिगर एक स्लाइडिंग विंडो (अर्थात, एक लचीला प्लस-माइनस फ्रेम की सीमा एक निश्चित समय के आसपास, जैसे कि एक घटना ट्रिगर की भावना) का विश्लेषण करता है कम-रिज़ॉल्यूशन स्ट्रीम का:

निरंतर उच्च-रिज़ॉल्यूशन आरजीबी कैप्चर शक्ति को तेजी से निकाल देता है, इसलिए रिकॉर्डिंग जल्दी बंद हो जाती है और महत्वपूर्ण क्षणों को याद किया जा सकता है। इसके विपरीत, कोलोरट्रिगर हमेशा एक कम-शक्ति ग्रेस्केल स्ट्रीम चलाता है, और केवल चुनिंदा क्षणों पर आरजीबी कैमरे को सक्रिय करता है – रिकॉर्डिंग समय को बढ़ाता है, जबकि अभी भी आवश्यक दृश्य विवरणों को कब्जा करता है। स्रोत

जब सिस्टम ‘निष्क्रिय’ मोड (अर्थात, यह अभी तक एक ट्रिगर घटना की पहचान नहीं की है) में है, तो इसका डायनामिक टोकन राउटर सीमित क्षमता को एक असममित डीकोडर को आवंटित करता है, हमेशा लालच और नवीनता के लिए देख रहा है, जिस बिंदु पर टोकन प्रवाह क्षमता को संपीड़न पर प्राथमिकता देता है:

कोलोरट्रिगर के लिए योजना। सिस्टम एक स्लाइडिंग-विंडो विश्लेषण की निगरानी करता है हाल के फ्रेमों को लालच और परिवर्तन का पता लगाने के लिए, केवल जब आवश्यक हो ट्रिगर उच्च-रिज़ॉल्यूशन आरजीबी कैप्चर, एक क्रेडिट-आधारित बजट के तहत। एक डायनामिक टोकन राउटर ग्रेस्केल इनपुट के लिए कम टोकन और चुनिंदा आरजीबी फ्रेमों के लिए अधिक टोकन आवंटित करता है, डाउनस्ट्रीम मल्टीमॉडल लार्ज लैंग्वेज मॉडल (एमएलएलएम) प्रोसेसिंग के लिए लौकिक क्रम को संरक्षित करता है।

प्रत्येक फ्रेम के लिए, सिस्टम को यह तय करने की आवश्यकता है कि क्या वर्तमान क्षण में नए डेटा की लागत के लायक है। स्लाइडिंग विंडो में हाल के ग्रेस्केल फ्रेमों का छोटा हालिया इतिहास कोलोरट्रिगर को वर्तमान फ्रेम की तुलना उसके तत्काल अतीत से करने की अनुमति देता है। प्रत्येक फ्रेम को एक कॉम्पैक्ट फीचर प्रतिनिधित्व में परिवर्तित किया जाता है, और इन विशेषताओं की तुलना एक दूसरे के साथ की जाती है ताकि यह मापा जा सके कि उनके होस्ट फ्रेम कितने समान या भिन्न हैं।

यह तुलना प्रक्रिया एक संरचना में व्यवस्थित की जाती है जो यह सारांशित करती है कितना प्रत्येक फ्रेम दूसरों के साथ ओवरलैप करता है, प्रभावी रूप से कब्जा करता है कि दृश्य दोहराव या परिवर्तन कर रहा है या नहीं। एक हल्के ऑप्टिमाइजेशन चरण प्रत्येक फ्रेम को विंडो में एक महत्व स्कोर सौंपता है, जो नवीनता को प्राथमिकता देता है।

रंग संतुलन

अत्यधिक रंग के उपयोग को रोकने के लिए, एक सरल ‘क्रेडिट प्रणाली’ सीमित करती है कि रंग को कितनी बार ट्रिगर किया जा सकता है। क्रेडिट धीरे-धीरे जमा होते हैं, और जब रंग का अनुरोध किया जाता है तो वे खर्च किए जाते हैं, यह सुनिश्चित करते हुए कि गतिविधि के दौरान उपयोग की अनुमति है, जबकि समग्र उपयोग नियंत्रित रहता है। एक फ्रेम को केवल तभी ‘अपग्रेड’ किया जाता है जब यह जानकारीपूर्ण होता है, और जब पर्याप्त क्रेडिट उपलब्ध होते हैं।

डायनामिक टोकन राउटर नियंत्रित करता है कि प्रत्येक फ्रेम को कितना विवरण मिलता है, प्रत्येक फ्रेम को पूर्ण गुणवत्ता पर संसाधित करने के बजाय। जब कुछ महत्वपूर्ण नहीं पाया जाता है, तो ग्रेस्केल फ्रेम को कम-रिज़ॉल्यूशन पर रखा जाता है और एक छोटे, संपीड़ित सेट में बदल दिया जाता है टोकन। जब एक महत्वपूर्ण क्षण का पता लगाया जाता है, तो सिस्टम रंग में स्विच करता है और फ्रेम को उच्च रिज़ॉल्यूशन पर संसाधित करता है, एक समृद्ध और अधिक विस्तृत प्रतिनिधित्व प्रदान करता है।

दोनों प्रकार के फ्रेम एक ही मॉडल से गुजरते हैं, लेकिन ग्रेस्केल फ्रेमों को एक हल्के तरीके से संसाधित किया जाता है, जबकि चुनिंदा रंग फ्रेमों को अधिक ध्यान दिया जाता है। आउटपुट को उनके मूल क्रम में जोड़ा जाता है और मॉडल को एक निरंतर स्ट्रीम के रूप में भेजा जाता है।

चूंकि अधिकांश फ्रेम हल्के रहते हैं और केवल कुछ को अपग्रेड किया जाता है, सिस्टम एक बड़ी मात्रा में गणना को बचाता है जबकि अभी भी महत्वपूर्ण विवरणों को कब्जा करता है जब वे मायने रखते हैं:

पत्र से, एक और उदाहरण जहां प्रणाली को अस्थायी रूप से संसाधनों को बढ़ाने की आवश्यकता होती है ताकि एक रंग को अलग किया जा सके।

डेटा और परीक्षण

सिस्टम का परीक्षण करने के लिए, शोधकर्ताओं ने स्ट्रीमिंगबेंच और ओवो-बेंच वीडियो बेंचमार्क के खिलाफ मूल्यांकन किया, भविष्य सामग्री (जो ऑफलाइन परीक्षणों में एक संभावित खतरा है) के प्रसंस्करण से बचा:

इस्तेमाल किया गया जमे हुए मल्टीमॉडल लार्ज लैंग्वेज मॉडल (एमएलएलएम) इंटरनवीएल3.5-8बी-इन्स्ट्रक्ट था, जिसमें सीएलआईपी वीआईटी-बी/16 के माध्यम से कारण ऑनलाइन ट्रिगर लागू किया गया था।

ग्रेस्केल स्ट्रीम को सीआईईएलएबी रंग स्थान में ल्यूमिनेंस चैनल तक सीमित किया गया था, पिछले कार्य के अनुसार, परिणामी ग्रेस्केल फ्रेमों को पैचिफिकेशन से पहले 224x224px तक कम कर दिया गया था।

आरजीबी फ्रेम, इसके विपरीत, एक उच्च बिटरेट का आनंद लेते थे, और 448x448px पर संसाधित किए गए थे, 256 टोकन का उत्पादन किया था, ग्रेस्केल फ्रेमों के लिए 64 टोकन की तुलना में।

सामान्य ऑप्टिमाइजेशन टूल्स का उपयोग सिस्टम के निर्णय लेने के लिए किया गया था: सीवीएक्सपीवाई (एक पायथन लाइब्रेरी जो ऑप्टिमाइजेशन समस्याओं को सेट करने के लिए), और ओएसक्यूपी सॉल्वर (एक तेज़ अल्गोरिदम जो यह गणना करता है कि रंग को कब ट्रिगर करना है)।

वीडियो को 1fps पर संसाधित किया गया था, प्रति क्लिप 128 फ्रेम की सीमा के साथ, कम गणना को बनाए रखने के लिए:

प्रोप्राइटरी सिस्टम जो परीक्षण किए गए थे वे थे जेमिनी 1.5 प्रो; जीपीटी-4ओ; और क्लाउड 3.5 सोनेट. ओपन-सोर्स वीडियो एमएलएलएम जो परीक्षण किए गए थे वे थे एलएलवी-वनविजन-7बी; वीडियो-एलएलएमए2-7बी; और क्वेन2.5-वीएल-7बी.

स्ट्रीमिंग एमएलएलएम जो परीक्षण किए गए थे वे थे फ्लैश-वस्ट्रीम-7बी; वीडियोएलएलएम-ऑनलाइन-8बी; डिस्पिडर-7बी; और टाइमचैट-ऑनलाइन-7बी.

इंटरनवीएल-3.5-8बी और क्वेन3-वीएल-8बी विभिन्न कॉन्फ़िगरेशन में परीक्षण किए गए थे, जो पहले परिणाम तालिका में विस्तृत हैं स्ट्रीमिंगबेंच के संबंध में:

वास्तविक समय के दृश्य समझ कार्यों के लिए स्ट्रीमिंगबेंच पर प्रदर्शन, विभिन्न रंग बजट के तहत प्रोप्राइटरी, ओपन-सोर्स और स्ट्रीमिंग एमएलएलएम की तुलना करते हुए। आरजीबी (%) फ्रेमों का अनुपात इंगित करता है जो ट्रिगरिंग के बाद रंग में रखा गया है, जहां 100 पूर्ण रंग और 0 ग्रेस्केल-ओनली इनपुट को दर्शाता है। कोलोरट्रिगर का मूल्यांकन दो ऑपरेटिंग बिंदुओं पर किया जाता है, 8.1% और 34.3% रंग फ्रेमों को बनाए रखना, और पूर्ण-रंग सेटिंग की तुलना में रंग उपयोग में काफी कमी के साथ ग्रेस्केल इंटरनवीएल-3.5-8बी बेसलाइन पर समग्र सटीकता में सुधार दिखाता है।

यहाँ लेखक टिप्पणी करते हैं:

‘कोलोरट्रिगर स्ट्रीमिंगबेंच पर प्रतिस्पर्धी प्रदर्शन प्राप्त करता है।

‘हमारे मॉडल ने 34.3% आरजीबी फ्रेमों के साथ 75.24 स्कोर किया, हाल के ऑनलाइन मॉडल डिस्पिडर-7बी और टाइमचैट-ऑनलाइन-7बी के करीब, और प्रोप्राइटरी मॉडल जैसे जेमिनी 1.5 प्रो (75.69) की तुलना में और जीपीटी-4ओ (73.28) और क्लाउड 3.5 सोनेट (72.44) से बेहतर प्रदर्शन किया।’

इंटरनवीएल-3.5-8बी ने पूर्ण रंग का उपयोग करते हुए 77.20 स्कोर किया, जबकि कोलोरट्रिगर ने 75.24 स्कोर किया जबकि केवल 65.7% कम आरजीबी फ्रेमों का उपयोग किया – और यहां तक कि केवल 8.1% रंग फ्रेमों के साथ, यह 70.72 स्कोर किया, ग्रेस्केल बेसलाइन 62.08 से 8.64% बेहतर प्रदर्शन किया, और अन्य स्ट्रीमिंग मॉडल के साथ प्रतिस्पर्धी बना रहा।

अगला, ओवो-बेंच पर परीक्षण किया गया था:

वास्तविक समय दृश्य धारणा, पीछे की ओर ट्रेसिंग और आगे की सक्रिय प्रतिक्रिया की तीन श्रेणियों में ओवो-बेंच पर प्रदर्शन, विभिन्न रंग बजट के तहत प्रोप्राइटरी, ओपन-सोर्स और स्ट्रीमिंग एमएलएलएम की तुलना करते हुए। आरजीबी (%) फ्रेमों का अनुपात इंगित करता है जो ट्रिगरिंग के बाद रंग में रखा गया है, जहां 100 पूर्ण रंग और 0 ग्रेस्केल-ओनली इनपुट को दर्शाता है। कोलोरट्रिगर का मूल्यांकन दो ऑपरेटिंग बिंदुओं पर किया जाता है, 7.1% और 33.1% रंग फ्रेमों को बनाए रखना, और पूर्ण-रंग सेटिंग की तुलना में रंग उपयोग में काफी कमी के साथ ग्रेस्केल इंटरनवीएल-3.5-8बी बेसलाइन पर समग्र सटीकता में सुधार दिखाता है।

इन परिणामों के बारे में, लेखक कहते हैं:

‘हमारे मॉडल ने 33.1% आरजीबी फ्रेमों के साथ 52.5 का स्कोर किया, जो अधिकांश मौजूदा ओपन-सोर्स ऑनलाइन एमएलएलएम को पार करता है। इंटरनवीएल-3.5-8बी की तुलना में पूर्ण आरजीबी इनपुट (57.7) के साथ, कोलोरट्रिगर 52.5 स्कोर करता है जबकि आरजीबी फ्रेम उपयोग में 66.9% की कमी करता है, जो केवल 5.2-ांक की समग्र प्रदर्शन में गिरावट का प्रतिनिधित्व करता है।’

‘यह मामूली गिरावट किफायती में महत्वपूर्ण लाभ के साथ है, जो हमारी अनुकूली मार्गदर्शन रणनीति की प्रभावशीलता को प्रदर्शित करता है।’

वास्तविक समय दृश्य धारणा 65.2 तक पहुंच गई – ग्रेस्केल-ओनली बेसलाइन 53.8 पर 11.4-ांक की वृद्धि। यहां तक कि केवल 7.1% आरजीबी फ्रेमों (92.9% की कमी) के साथ, कोलोरटिगर ने 50.4 का समग्र स्कोर बनाए रखा, ग्रेस्केल सेटिंग में 2.5 अंकों की वृद्धि की।

अंत में, शोधकर्ताओं ने एक ऑफलाइन वीडियो कार्य (एक विश्लेषणात्मक कार्य जो लेटेंसी या अन्य ‘लाइव’ पर्यावरणीय स्थितियों का परीक्षण करने के लिए डिज़ाइन नहीं किया गया है, वीडियो-एमएमई लंबी अवधि वीडियो समझ बेंचमार्क का उपयोग करके:

वीडियो-एमएमई बेंचमार्क पर परीक्षण किए गए सिस्टम का प्रदर्शन तुलना।

इस परीक्षण में, मॉडल ने 66.1 का समग्र स्कोर हासिल किया, जबकि 37.6% आरजीबी फ्रेमों का उपयोग किया, पूर्ण-रंग इंटरनवीएल-3.5-8बी बेसलाइन स्कोर 65.6 को पार करते हुए,尽管 यह 62.4% कम रंग फ्रेमों का उपयोग करता है।

लेखक टिप्पणी करते हैं:

‘यह दर्शाता है कि हमारा अनुकूली ट्रिगरिंग तंत्र न केवल गणनात्मक लागत को कम करता है, बल्कि वास्तव में सेमैंटिक रूप से महत्वपूर्ण क्षणों पर आरजीबी क्षमता को केंद्रित करके प्रदर्शन में सुधार कर सकता है।

‘विशेष रूप से, कोलोरट्रिगर 62.4 पर टाइमचैट-ऑनलाइन-7बी और 57.2 पर डिस्पिडर-7बी सहित सभी मौजूदा ऑनलाइन एमएलएलएम को पार करता है, लंबी अवधि वीडियो समझ में निरंतर ग्रेस्केल संदर्भ के साथ चुनिंदा आरजीबी अधिग्रहण के संयोजन की प्रभावशीलता की पुष्टि करता है।’

निष्कर्ष

मैं हमेशा इस प्रकार के नवाचारों को देखने का आनंद लेता हूं, कम से कम इसलिए कि एआई की उच्च और बढ़ती बिजली की आवश्यकता लंबे समय से दुखद शीर्षकलेख पैदा कर रही है, और यह देखकर अच्छा लगता है कि शोध जो कम से कम अप्रत्यक्ष रूप से इस मुद्दे को संबोधित करता है।

यह देखना एक निराशाजनक आराम है कि ऐसे प्रयासों में की गई शक्ति-बचत व्यावसायिक विचारों से प्रेरित है, क्योंकि वे अल्पकालिक राजनीतिक निर्णयों की तुलना में ऊर्जा संरक्षण और वैश्विक तापमान वृद्धि के अधिक सम्मानजनक लेकिन अधिक असुरक्षित चिंताओं से कम प्रभावित होने की संभावना है। सौभाग्य से, एक ही अंत अलग-अलग कारणों से प्राप्त किया जाता है।

* मैंने केवल पाठक के लिए पत्र के विचार को संक्षेप में प्रस्तुत करने के लिए बनाया है।

पहली बार गुरुवार, 26 मार्च, 2026 को प्रकाशित हुआ।