एआई मॉडल और प्लेटफ़ॉर्म
विजन ट्रांसफॉर्मर्स ने नई ‘पैच-टू-क्लस्टर अटेंशन’ विधि से चुनौतियों पर काबू पाया
मुख्य बिंदुपैच-टू-क्लस्टर ध्यान (Patch-to-Cluster attention) विज़न ट्रांसफॉर्मर्स की कम्प्यूटेशनल…
और देखें
- पैच-टू-क्लस्टर ध्यान (Patch-to-Cluster attention) विज़न ट्रांसफॉर्मर्स की कम्प्यूटेशनल मांग को द्विघात (quadratic) से रैखिक (linear) तक कम कर देता है।
- यह नई विधि छवि विशेषताओं (image features) के स्पष्टीकरण योग्य क्लस्टर बनाकर एआई की निर्णय-निर्माण प्रक्रिया को स्पष्ट करती है।
- वर्गीकरण और सेगमेंटेशन कार्यों में PaCa, SWin और PVT जैसे अग्रणी मॉडलों से बेहतर प्रदर्शन करता है।
आर्टिफ़िशियल इंटेलिजेंस (एआई) प्रौद्योगिकियों, विशेष रूप से विजन ट्रांसफॉर्मर्स (वीआईटी), ने छवियों में वस्तुओं की पहचान और वर्गीकरण करने में अत्यधिक क्षमता दिखाई है। हालांकि, उनके व्यावहारिक अनुप्रयोग को दो महत्वपूर्ण चुनौतियों द्वारा सीमित किया गया है: उच्च गणनात्मक शक्ति की आवश्यकता और निर्णय लेने में पारदर्शिता की कमी। अब, शोधकर्ताओं के एक समूह ने एक नए समाधान का विकास किया है: एक नए तरीके को “पैच-टू-क्लस्टर अटेंशन” (पैका) कहा जाता है। पैका का उद्देश्य छवियों में वस्तुओं की पहचान, वर्गीकरण और खंडीकरण में वीआईटी की क्षमता बढ़ाना है, साथ ही गणनात्मक मांगों और निर्णय-प्रक्रिया की स्पष्टता से जुड़ी लंबे समय से चली आ रही समस्याओं का समाधान करना है।
वीआईटी की चुनौतियों का सामना करना: नए समाधान की एक झलक
ट्रांसफॉर्मर, अपनी श्रेष्ठ क्षमताओं के कारण, एआई दुनिया में सबसे प्रभावशाली मॉडलों में से एक हैं। वीआईटी के माध्यम से इन मॉडलों की क्षमताएँ दृश्य डेटा तक विस्तारित हुई हैं, जो दृश्य इनपुट के साथ प्रशिक्षित ट्रांसफॉर्मर का एक वर्ग है। वीआईटी द्वारा छवियों को व्याख्या करने और समझने में जो भारी संभावना प्रदान की जाती है, उन्हें दो बड़ी समस्याओं द्वारा रोका गया है।
पहले, छवियों में विशाल डेटा की मात्रा के कारण, वीआईटी को महत्वपूर्ण गणनात्मक शक्ति और स्मृति की आवश्यकता होती है। यह जटिलता कई प्रणालियों की क्षमता से अधिक हो सकती है, विशेष रूप से उच्च-रिज़ॉल्यूशन छवियों को संभालते समय। दूसरा, वीआईटी के भीतर निर्णय लेने की प्रक्रिया अक्सर जटिल और अस्पष्ट होती है। उपयोगकर्ता यह समझने में कठिनाई महसूस करते हैं कि वीआईटी छवि में विभिन्न वस्तुओं या विशेषताओं के बीच कैसे अंतर करते हैं, जो कई अनुप्रयोगों के लिए महत्वपूर्ण है।
हालांकि, नवाचारी पैका विधि इन दोनों चुनौतियों का समाधान प्रदान करती है। “हम क्लस्टरिंग तकनीकों का उपयोग करके गणनात्मक मांगों और मेमोरी की जरूरतों से जुड़ी चुनौती का समाधान करते हैं, जिससे ट्रांसफॉर्मर आर्किटेक्चर छवि में वस्तुओं को बेहतर ढंग से पहचान और उन पर ध्यान केंद्रित कर सकता है,” तियानफू वू, संबंधित शोध पत्र के संवाददाता लेखक और नॉर्थ कैरोलिना स्टेट यूनिवर्सिटी में इलेक्ट्रिकल और कंप्यूटर इंजीनियरिंग के एसोसिएट प्रोफेसर कहते हैं।
पैका में क्लस्टरिंग तकनीकों का उपयोग करके गणनात्मक आवश्यकताओं को काफी कम किया जा सकता है, जो समस्या को एक द्विघात प्रक्रिया से एक प्रबंधनीय रैखिक प्रक्रिया में बदल देता है। वू इस प्रक्रिया को आगे समझाते हैं, “क्लस्टरिंग द्वारा, हम इसे एक रैखिक प्रक्रिया बना सकते हैं, जहां प्रत्येक छोटी इकाई को केवल पूर्वनिर्धारित संख्या में क्लस्टरों से तुलना करने की आवश्यकता होती है।”
क्लस्टरिंग वीआईटी में निर्णय लेने की प्रक्रिया को भी स्पष्ट करने में मदद करता है। क्लस्टर बनाने की प्रक्रिया यह दर्शाती है कि वीआईटी छवि डेटा के खंडों को एक साथ समूहित करने के लिए कौन सी विशेषताएं महत्वपूर्ण हैं। चूंकि एआई केवल एक सीमित संख्या में क्लस्टर बनाता है, उपयोगकर्ता आसानी से निर्णय लेने की प्रक्रिया को समझ और जांच सकते हैं, जो मॉडल की व्याख्या करने योग्यता को काफी बढ़ाता है।
पैका विधि अन्य अत्याधुनिक वीआईटी से बेहतर प्रदर्शन करती है
व्यापक परीक्षण के माध्यम से, शोधकर्ताओं ने पाया कि पैका विधि कई मोर्चों पर अन्य वीआईटी से बेहतर प्रदर्शन करती है। वू बताते हैं, “हमने पाया कि पैका ने Swin और PVT से हर दृष्टि से बेहतर प्रदर्शन किया।” परीक्षण प्रक्रिया से पता चला कि पैका छवियों में वस्तुओं को वर्गीकृत करने और पहचानने में उत्कृष्ट था, साथ ही खंडीकरण में, यानी छवियों में वस्तुओं की सीमाओं को कुशलता से रेखांकित करने में। इसके अलावा, यह अन्य वीआईटी की तुलना में अधिक समय-कुशल पाया गया, जो कार्यों को अधिक तेजी से पूरा करता है।
पैका की सफलता से प्रेरित होकर, शोध टीम इसके विकास को आगे बढ़ाने के लिए इसे बड़े आधारभूत डेटासेट पर प्रशिक्षित करने का लक्ष्य रखती है। ऐसा करके, वे वर्तमान में संभव छवि-आधारित एआई की सीमाओं को आगे बढ़ाने की उम्मीद करते हैं।
शोध पत्र, “पैका-वीआईटी: विजन ट्रांसफॉर्मर्स में पैच-टू-क्लस्टर अटेंशन सीखना,” आगामी आईईईई/सीवीएफ कंप्यूटर विजन और पैटर्न रिकग्निशन सम्मेलन में प्रस्तुत किया जाएगा। यह एक महत्वपूर्ण मील का पत्थर हो सकता है जो अधिक कुशल, पारदर्शी और सुलभ एआई प्रणालियों के लिए मार्ग प्रशस्त कर सकता है।












