SAM 2 का अनावरण: मेटा का वास्तविक समय वस्तु सेगमेंटेशन के लिए नया ओपन-सोर्स फाउंडेशन मॉडल

पिछले कुछ वर्षों में, एआई की दुनिया में टेक्स्ट प्रोसेसिंग के लिए फाउंडेशन एआई में उल्लेखनीय प्रगति हुई है, जिसके साथ उद्योगों को ग्राहक सेवा से लेकर कानूनी विश्लेषण तक परिवर्तित किया है। लेकिन जब यह छवि प्रसंस्करण की बात आती है, तो हम केवल सतह पर खरोंच कर रहे हैं। दृश्य डेटा की जटिलता और मॉडल को सटीक रूप से व्याख्या करने और विश्लेषण करने के लिए प्रशिक्षित करने की चुनौतियों ने महत्वपूर्ण बाधाएं पेश की हैं। जैसे ही शोधकर्ता छवि और वीडियो के लिए फाउंडेशन एआई की खोज जारी रखते हैं, एआई में छवि प्रसंस्करण का भविष्य स्वास्थ्य सेवा, स्वायत्त वाहनों और उससे परे नवाचारों की संभावना रखता है।

वस्तु सेगमेंटेशन, जिसमें एक छवि में रुचि की वस्तु के सटीक पिक्सल को इंगित करना शामिल है, कंप्यूटर दृष्टि में एक महत्वपूर्ण कार्य है। परंपरागत रूप से, इसके लिए विशेषज्ञता वाले एआई मॉडल बनाने की आवश्यकता होती थी, जिसके लिए व्यापक बुनियादी ढांचे और बड़ी मात्रा में एनोटेटेड डेटा की आवश्यकता होती थी। पिछले वर्ष, मेटा ने सेगमेंट एनीथिंग मॉडल (एसएएम) पेश किया, एक फाउंडेशन एआई मॉडल जो इस प्रक्रिया को सरल बनाता है और उपयोगकर्ताओं को एक सरल प्रॉम्प्ट के साथ छवियों को सेगमेंट करने की अनुमति देता है। इस नवाचार ने विशेषज्ञता और व्यापक कंप्यूटिंग संसाधनों की आवश्यकता को कम कर दिया, जिससे छवि सेगमेंटेशन अधिक सुलभ हो गया।

अब, मेटा एसएएम 2 के साथ इसे एक कदम आगे ले जा रहा है। यह नया संस्करण न केवल एसएएम की मौजूदा छवि सेगमेंटेशन क्षमताओं को बढ़ाता है, बल्कि वीडियो प्रसंस्करण तक भी इसका विस्तार करता है। एसएएम 2 छवियों और वीडियो दोनों में किसी भी वस्तु को सेगमेंट कर सकता है, यहां तक कि जिन्हें उसने पहले कभी नहीं देखा है। यह प्रगति कंप्यूटर दृष्टि और छवि प्रसंस्करण के क्षेत्र में एक बड़ा कदम है, जो दृश्य सामग्री का विश्लेषण करने के लिए एक अधिक बहुमुखी और शक्तिशाली उपकरण प्रदान करता है। नीचे, हम एसएएम 2 की रोमांचक प्रगति और इसके द्वारा कंप्यूटर दृष्टि के क्षेत्र को पुनः परिभाषित करने की इसकी संभावना का अन्वेषण करते हैं।

सेगमेंट एनीथिंग मॉडल (एसएएम) का परिचय

पारंपरिक सेगमेंटेशन विधियों के लिए या तो मैनुअल रिफाइनमेंट की आवश्यकता होती है, जिसे इंटरैक्टिव सेगमेंटेशन कहा जाता है, या स्वचालित सेगमेंटेशन के लिए पूर्व-निर्धारित श्रेणियों में व्यापक एनोटेटेड डेटा की आवश्यकता होती है। एसएएम एक फाउंडेशन एआई मॉडल है जो इंटरैक्टिव सेगमेंटेशन को समर्थन देता है, जिसमें क्लिक, बॉक्स या टेक्स्ट इनपुट जैसे बहुमुखी प्रॉम्प्ट शामिल हैं। यह न्यूनतम डेटा और कंप्यूटिंग संसाधनों के साथ स्वचालित सेगमेंटेशन के लिए भी फाइन-ट्यून किया जा सकता है। 1 बिलियन से अधिक विविध छवि एनोटेशन पर प्रशिक्षित, एसएएम नए वस्तुओं और छवियों को संभाल सकता है बिना कस्टम डेटा संग्रह या फाइन-ट्यूनिंग की आवश्यकता के।
एसएएम में दो मुख्य घटक होते हैं: एक छवि एनकोडर जो छवि को संसाधित करता है और एक प्रॉम्प्ट एनकोडर जो क्लिक या टेक्स्ट जैसे इनपुट को संभालता है। ये घटक एक हल्के डिकोडर के साथ मिलकर सेगमेंटेशन मास्क की भविष्यवाणी करने के लिए एक साथ आते हैं। एक बार छवि को संसाधित किया जाता है, एसएएम केवल 50 मिलीसेकंड में एक वेब ब्राउज़र में एक सेगमेंट बना सकता है, जिससे यह वास्तविक समय, इंटरैक्टिव कार्यों के लिए एक शक्तिशाली उपकरण बन जाता है। एसएएम का निर्माण करने के लिए, शोधकर्ताओं ने एक तीन-चरण डेटा संग्रह प्रक्रिया विकसित की: मॉडल-सहायता प्राप्त एनोटेशन, स्वचालित और सहायता प्राप्त एनोटेशन का मिश्रण, और पूरी तरह से स्वचालित मास्क निर्माण। इस प्रक्रिया के परिणामस्वरूप एसए-1बी डेटासेट बना, जिसमें 11 मिलियन लाइसेंस प्राप्त, गोपनीयता-संरक्षण छवियों पर 1.1 बिलियन से अधिक मास्क शामिल हैं – जो कि किसी भी मौजूदा डेटासेट की तुलना में 400 गुना बड़ा है। एसएएम का प्रभावशाली प्रदर्शन इस व्यापक और विविध डेटासेट से आता है, जो विभिन्न भौगोलिक क्षेत्रों में बेहतर प्रतिनिधित्व सुनिश्चित करता है जो पिछले डेटासेट की तुलना में बेहतर है।

एसएएम 2 का अनावरण: छवि से वीडियो सेगमेंटेशन तक एक कदम

एसएएम की नींव पर बने, एसएएम 2 वास्तविक समय, प्रॉम्प्टेबल वस्तु सेगमेंटेशन के लिए डिज़ाइन किया गया है, जो छवियों और वीडियो दोनों में काम करता है। एसएएम के विपरीत, जो केवल स्थिर छवियों पर केंद्रित है, एसएएम 2 वीडियो को एक निरंतर क्रम के रूप में प्रत्येक फ्रेम को संसाधित करके संभालता है। यह डायनामिक दृश्यों और बदलती सामग्री को अधिक प्रभावी ढंग से संभालने में सक्षम बनाता है। छवि सेगमेंटेशन के लिए, एसएएम 2 न केवल एसएएम की क्षमताओं में सुधार करता है, बल्कि इंटरैक्टिव कार्यों में तीन गुना तेजी से काम करता है।

एसएएम 2 एसएएम की समान वास्तुकला बनाए रखता है लेकिन वीडियो प्रसंस्करण के लिए एक मेमोरी तंत्र पेश करता है। यह सुविधा एसएएम 2 को पिछले फ्रेमों से जानकारी को ट्रैक करने की अनुमति देती है, जिससे वस्तु सेगमेंटेशन में निरंतरता सुनिश्चित होती है, भले ही गति, प्रकाश या अवरोधन में परिवर्तन हो। पिछले फ्रेमों को संदर्भित करके, एसएएम 2 वीडियो भर में अपनी मास्क भविष्यवाणियों को परिष्कृत कर सकता है।

मॉडल को एसए-वी डेटासेट पर प्रशिक्षित किया गया है, जिसमें 47 देशों के 51,000 वीडियो पर 600,000 से अधिक मास्कलेट एनोटेशन शामिल हैं। यह विविध डेटासेट पूरे वस्तुओं और उनके हिस्सों दोनों को कवर करता है, जिससे एसएएम 2 की वास्तविक दुनिया की वीडियो सेगमेंटेशन में सटीकता बढ़ जाती है।

एसएएम 2 एपाचे 2.0 लाइसेंस के तहत एक ओपन-सोर्स मॉडल के रूप में उपलब्ध है, जिससे यह विभिन्न उपयोगों के लिए सुलभ है। मेटा ने एसएएम 2 के लिए उपयोग किए जाने वाले डेटासेट को सीसी बाय 4.0 लाइसेंस के तहत साझा किया है। इसके अलावा, एक वेब-आधारित डेमो है जो उपयोगकर्ताओं को मॉडल का अन्वेषण करने और देखने की अनुमति देता है कि यह कैसा प्रदर्शन करता है।

संभावित उपयोग के मामले

एसएएम 2 की छवियों और वीडियो दोनों के लिए वास्तविक समय, प्रॉम्प्टेबल वस्तु सेगमेंटेशन क्षमताओं ने विभिन्न क्षेत्रों में कई नवाचारी अनुप्रयोगों को अनलॉक किया है। उदाहरण के लिए, कुछ ऐसे अनुप्रयोग हैं:

• स्वास्थ्य सेवा निदान: एसएएम 2 ऑपरेटिंग रूम में लाइव वीडियो फीड में शारीरिक संरचनाओं को सेगमेंट करके और असामान्यताओं की पहचान करके वास्तविक समय सर्जिकल सहायता में काफी सुधार कर सकता है। यह चिकित्सा इमेजिंग विश्लेषण में भी सुधार कर सकता है bằng सटीक सेगमेंटेशन प्रदान करके चिकित्सा स्कैन में अंगों या ट्यूमर का।
• स्वायत्त वाहन: एसएएम 2 स्वायत्त वाहन प्रणालियों में वस्तु का पता लगाने की सटीकता में सुधार कर सकता है वीडियो फ्रेम में पैदल यात्री, वाहनों और सड़क संकेतों को निरंतर सेगमेंट और ट्रैक करके। इसकी डायनामिक दृश्यों को संभालने की क्षमता भी वास्तविक समय में पर्यावरणीय परिवर्तनों को पहचानने और प्रतिक्रिया देने के लिए अनुकूली नेविगेशन और टकराव से बचाव प्रणालियों का समर्थन करती है।
• इंटरैक्टिव मीडिया और मनोरंजन: एसएएम 2 ऑगमेंटेड रियलिटी (एआर) अनुप्रयोगों में वस्तुओं को वास्तविक समय में सेगमेंट करके उन्हें वास्तविक दुनिया के साथ मिलाने में मदद कर सकता है। यह वीडियो संपादन में भी लाभ प्रदान करता है वस्तुओं को फुटेज में स्वचालित रूप से सेगमेंट करके, जो पृष्ठभूमि हटाने और वस्तु प्रतिस्थापन जैसी प्रक्रियाओं को सरल बनाता है।
• पर्यावरण निगरानी: एसएएम 2 वाइल्डलाइफ ट्रैकिंग में मदद कर सकता है वीडियो फुटेज में जानवरों को सेगमेंट और मॉनिटर करके, जो प्रजाति अनुसंधान और आवास अध्ययन का समर्थन करता है। आपदा प्रतिक्रिया में, यह प्रभावित क्षेत्रों और वस्तुओं को वीडियो फीड में सटीक रूप से सेगमेंट करके नुकसान का मूल्यांकन करने और प्रतिक्रिया प्रयासों का मार्गदर्शन करने में मदद कर सकता है।
• रिटेल और ई-कॉमर्स: एसएएम 2 ई-कॉमर्स में उत्पाद दृश्यीकरण में सुधार कर सकता है छवियों और वीडियो में उत्पादों को इंटरैक्टिव रूप से सेगमेंट करके, जिससे ग्राहकों को विभिन्न कोणों और संदर्भों में आइटम देखने की क्षमता मिलती है। इन्वेंट्री प्रबंधन के लिए, यह खुदरा विक्रेताओं को अलमारियों पर उत्पादों को वास्तविक समय में सेगमेंट और ट्रैक करने में मदद करता है, जिससे स्टॉक लेने और सामान्य इन्वेंट्री नियंत्रण में सुधार होता है।

एसएएम 2 की सीमाओं को पार करना:

जबकि एसएएम 2 छवियों और छोटे वीडियो के साथ अच्छा प्रदर्शन करता है, इसके लिए व्यावहारिक उपयोग के लिए कुछ सीमाओं पर विचार किया जाना चाहिए। यह महत्वपूर्ण दृश्य परिवर्तन, लंबे समय तक अवरोधन या भीड़भाड़ वाले दृश्यों में, विशेष रूप से लंबे वीडियो में, वस्तुओं को ट्रैक करने में संघर्ष कर सकता है। इंटरैक्टिव क्लिक के साथ मैनुअल सुधार इन मुद्दों को संबोधित करने में मदद कर सकता है।

भीड़भाड़ वाले वातावरण में समान दिखने वाली वस्तुओं के साथ, एसएएम 2 कभी-कभी लक्ष्यों की गलत पहचान कर सकता है, लेकिन बाद के फ्रेम में अतिरिक्त प्रॉम्प्ट इस मुद्दे को हल कर सकते हैं। हालांकि एसएएम 2 एक से अधिक वस्तुओं को सेगमेंट कर सकता है, इसकी कार्यक्षमता कम हो जाती है क्योंकि यह प्रत्येक वस्तु को अलग से संसाधित करता है। भविष्य के अद्यतन में साझा संदर्भ जानकारी को एकीकृत करने से प्रदर्शन में सुधार हो सकता है।

एसएएम 2 तेजी से चलती वस्तुओं के साथ विस्तृत विवरण को याद कर सकता है, और फ्रेम भर में इसकी भविष्यवाणियां अस्थिर हो सकती हैं। हालांकि, आगे के प्रशिक्षण से इस सीमा को संबोधित किया जा सकता है। हालांकि स्वचालित एनोटेशन का जनरेशन बेहतर हो गया है, गुणवत्ता जांच और फ्रेम चयन के लिए मानव एनोटेटर अभी भी आवश्यक हैं, और आगे के स्वचालन से दक्षता में सुधार हो सकता है।

नीचे की रेखा

एसएएम 2 वास्तविक समय में छवियों और वीडियो दोनों के लिए वस्तु सेगमेंटेशन में एक महत्वपूर्ण प्रगति का प्रतिनिधित्व करता है, जो अपने पूर्ववर्ती द्वारा रखी गई नींव पर बनता है। छवि सेगमेंटेशन क्षमताओं में सुधार करके और डायनामिक वीडियो सामग्री तक इसके विस्तार से, एसएएम 2 स्वास्थ्य सेवा, स्वायत्त वाहनों और इंटरैक्टिव मीडिया जैसे क्षेत्रों को बदलने का वादा करता है। जबकि चुनौतियां बनी हुई हैं, विशेष रूप से जटिल और भीड़भाड़ वाले दृश्यों में, एसएएम 2 की ओपन-सोर्स प्रकृति निरंतर सुधार और अनुकूलन को प्रोत्साहित करती है। अपने शक्तिशाली प्रदर्शन और सुलभता के साथ, एसएएम 2 कंप्यूटर दृष्टि और उससे परे में नवाचार को बढ़ावा देने के लिए तैयार है।