рдХреГрддреНрд░рд┐рдо рдмреБрджреНрдзрд┐рдорддреНрддрд╛
рд╕реИрдкрд┐рдПрдВрдЯ рдЗрдВрдЯреЗрд▓рд┐рдЬреЗрдВрд╕ рдиреЗ рдПрдЪрдЖрд░рдПрдо-рдЯреЗрдХреНрд╕реНрдЯ рдХрд╛ рдЕрдирд╛рд╡рд░рдг рдХрд┐рдпрд╛, рдЬреЛ рдПрдХ рдорд╕реНрддрд┐рд╖реНрдХ-рдкреНрд░реЗрд░рд┐рдд рдПрдЖрдИ рдореЙрдбрд▓ рд╣реИ рдЬреЛ рд╕реНрдХреЗрд▓-рдлрд░реНрд╕реНрдЯ рд░реЗрд╕ рдХреЛ рдЪреБрдиреМрддреА рджреЗрдиреЗ рдХреЗ рд▓рд┐рдП рдмрдирд╛рдпрд╛ рдЧрдпрд╛ рд╣реИ
जबकि एआई उद्योग बड़े भाषा मॉडल और विशाल डेटा सेंटर में अरबों डॉलर का निवेश करना जारी रखता है, सिंगापुर स्थित एआई अनुसंधान कंपनी सैपिएंट इंटेलिजेंस एक बहुत अलग दृष्टिकोण अपना रही है।
कंपनी ने एचआरएम-टेक्स्ट की घोषणा की है, जो एक नया 1-बिलियन-पैरामीटर रीजनिंग भाषा मॉडल है जो एक हायरार्किकल रिकरेंट आर्किटेक्चर के आसपास डिज़ाइन किया गया है जो मस्तिष्क को धीमी, जानबूझकर तर्क और तेज, निचले स्तर के प्रोसेसिंग को अलग करने के लिए प्रेरित करता है।
स्केल के माध्यम से जीतने का प्रयास करने के बजाय, सैपिएंट एचआरएम-टेक्स्ट को तर्क देता है कि तर्क गहराई और गणनात्मक दक्षता अगले चरण में एआई विकास में कच्चे पैरामीटर गिनती से अधिक महत्वपूर्ण हो सकती है।
लॉन्च एक व्यापक रुझान को जारी रखता है जो एआई क्षेत्र में उभर रहा है: स्केलिंग ट्रांसफॉर्मर को अनिश्चित रूप से पर्याप्त होने के लिए बढ़ती संदेह।
ट्रांसफॉर्मर प्लेबुक से आगे बढ़ना
अधिकांश आधुनिक बड़े भाषा मॉडल ट्रांसफॉर्मर आर्किटेक्चर पर निर्भर करते हैं जो जानकारी को एक मुख्य रूप से फीड-फॉरवर्ड सिस्टम के माध्यम से संसाधित करते हैं जो अगले टोकन की भविष्यवाणी पर केंद्रित है। सैपिएंट का एचआरएम फ्रेमवर्क इसके बजाय एक हायरार्किकल रिकरेंट संरचना पेश करता है जहां कई तर्क layers आंतरिक रूप से बातचीत करते हैं इससे पहले कि कोई आउटपुट उत्पन्न हो।
कंपनी इस संरचना को दो अंतर्संबंधित प्रणालियों के माध्यम से संचालित करने के रूप में वर्णित करती है: एक उच्च-स्तरीय “धीमी नियंत्रक” जो अमूर्त योजना और तर्क के लिए जिम्मेदार है, और एक निचले स्तर का “तेज़ कार्यकर्ता” जो विस्तृत गणना को संभालता है।
यह चेन-ऑफ-थॉट विधियों से भिन्न है जो वर्तमान में व्यापक रूप से एआई प्रणालियों में उपयोग की जाती हैं, जहां तर्क लंबे दृश्य पाठ अनुक्रम के माध्यम से व्यक्त किया जाता है। एचआरएम-टेक्स्ट इसके बजाय अपने तर्क का अधिकांश हिस्सा उत्पन्न होने से पहले लेटेंट स्पेस के भीतर आंतरिक रूप से करता है।
सैपिएंट का तर्क है कि यह संरचना छोटे प्रणालियों को बड़े मॉडल आकार या बड़े अनुमान लागत पर निर्भर किए बिना अधिक जटिल बहु-चरण तर्क करने की अनुमति देती है।
कंपनी द्वारा प्रदान किए गए बेंचमार्क परिणामों के अनुसार, एचआरएम-टेक्स्ट ने एमएटीएच पर 56.2%, एआरसी-चुनौती पर 81.9%, डीआरओपी पर 82.2% और एमएमएलयू पर 60.7% हासिल किया, इसके तुलनात्मक रूप से छोटे फुटप्रिंट के बावजूद।
दक्षता एक रणनीतिक एआई युद्ध का मैदान बन जाती है
लॉन्च एक समय में आता है जब एआई बुनियादी ढांचे की लागत, ऊर्जा खपत और कंप्यूट अवसरों के बारे में चिंताएं केंद्रीय उद्योग मुद्दे बन रही हैं।
राज्य-of-the-art एआई प्रणालियों को प्रशिक्षित करने और तैनात करने के लिए अब अक्सर बड़े जीपीयू क्लस्टर, हाइपरस्केल डेटा सेंटर और ऊर्जा की खपत की आवश्यकता होती है जो सरकारों और बुनियादी ढांचे प्रदाताओं द्वारा बढ़ती जांच के अधीन हैं। सैपिएंट का तर्क है कि भविष्य के सफलता मॉडल के आकार को बढ़ाने के बजाय स्वयं आर्किटेक्चर को मौलिक रूप से पुनः सोचकर आ सकते हैं।
कंपनी का दावा है कि एचआरएम-टेक्स्ट को लगभग एक दिन में 16 जीपीयू का उपयोग करके दो मशीनों पर प्रशिक्षित किया जा सकता है, जिसकी लागत लगभग $1,000 है। तुलना में, फ्रंटियर-स्केल भाषा मॉडल को प्रशिक्षण बजट की आवश्यकता हो सकती है जो सैकड़ों मिलियन डॉलर तक पहुंच सकती है।
मॉडल का कॉम्पैक्ट डिप्लॉयमेंट प्रोफाइल भी उल्लेखनीय है। इंट 4 क्वांटाइजेशन पर, एचआरएम-टेक्स्ट कथित तौर पर लगभग 0.6 जीबी का स्थान रखता है, जो स्मार्टफोन और एज डिवाइस पर स्थानीय रूप से तैनाती को सैद्धांतिक रूप से संभव बनाता है।
यह छोटे, अधिक तैनाती योग्य प्रणालियों पर ध्यान केंद्रित करना बढ़ती महत्व का हो सकता है क्योंकि उद्यम ऑन-डिवाइस एआई, गोपनीयता-संवेदनशील अनुमान, और ऑफलाइन तर्क प्रणालियों की ओर बढ़ रहे हैं जो पूरी तरह से क्लाउड बुनियादी ढांचे पर निर्भर नहीं हैं।
ब्रेन-इंस्पायर्ड एआई की ओर व्यापक धक्का
सैपिएंट का काम एआई अनुसंधान में एक व्यापक आंदोलन को दर्शाता है जो पारंपरिक ट्रांसफॉर्मर स्केलिंग के विकल्पों की खोज कर रहा है।
कंपनी का एचआरएम आर्किटेक्चर तंत्रिका विज्ञान की अवधारणाओं जैसे हायरार्किकल प्रोसेसिंग, टेम्पोरल सेपरेशन और रिकरेंट कंप्यूटेशन से भारी रूप से उधार लेता है।
अपनी वेबसाइट पर, सैपिएंट अपने दीर्घकालिक उद्देश्य को आर्टिफिशियल जनरल इंटेलिजेंस के माध्यम से आगे बढ़ाने के रूप में वर्णित करता है जो तर्क, योजना और अनुकूली सीखने में सक्षम आर्किटेक्चर के माध्यम से हासिल किया जा सकता है, न कि मुख्य रूप से सांख्यिकीय स्मृति पर निर्भर करता है।
कंपनी की अनुसंधान टीम में डीपमाइंड, डीपसीक, और एक्सएआई जैसे संगठनों के पूर्व योगदानकर्ता शामिल हैं, साथ ही एमआईटी, कार्नेगी मेलन विश्वविद्यालय, त्सिंगहुआ विश्वविद्यालय और कैम्ब्रिज विश्वविद्यालय जैसे संस्थानों से जुड़े शोधकर्ता भी हैं।
सैपिएंट के हायरार्किकल रीजनिंग मॉडल के पहले संस्करण ने पहले ही एआई अनुसंधान सर्कल में ध्यान आकर्षित किया था क्योंकि उन्होंने पारंपरिक एलएलएम की तुलना में नाटकीय रूप से छोटे पैरामीटर गिनती का उपयोग करके मजबूत तर्क प्रदर्शन हासिल किया था।
एआई प्रगति को मापने के तरीके में बदलाव
क्या एचआरएम जैसे आर्किटेक्चर अंततः सबसे बड़े फ्रंटियर मॉडल को पार करेंगे, यह एक खुला प्रश्न बना हुआ है। एआई उद्योग ने बार-बार वादा करने वाले विकल्पों को देखा है जो स्केल के आर्थिकी से पीछे रह गए हैं।
फिर भी, सैपिएंट का लॉन्च एक ऐसे समय में आता है जब उद्योग बड़े पैमाने पर विस्तार की सीमाओं का सामना कर रहा है। जीपीयू की कमी, शक्ति बोतलें, अनुमान लागत और बड़े डेटासेट से कम होते रिटर्न शोधकर्ताओं को उन धारणाओं पर पुनः विचार करने के लिए मजबूर कर रहे हैं जिन्होंने पिछले कुछ वर्षों में एआई विकास को परिभाषित किया है।
यदि एचआरएम-टेक्स्ट जैसी प्रणालियां सुधारित रहती हैं, तो वे एआई में प्रगति को मापने के तरीके को बदल सकती हैं – पैरामीटर गिनती से दूर और दक्षता, तर्क गहराई और अनुकूलन की ओर ध्यान केंद्रित कर सकती हैं।
कंपनी ने लॉन्च के हिस्से के रूप में जीएचटी के माध्यम से एचआरएम-टेक्स्ट को पूरी तरह से ओपन-सोर्स कर दिया है।
