पथवे ने 500 मिलियन डॉलर के मूल्यांकन पर नए फंडिंग को हासिल किया है पोस्ट-ट्रांसफॉर्मर एआई को स्केल करने के लिए

एआई रिसर्च कंपनी पथवे ने 500 मिलियन डॉलर के मूल्यांकन पर अतिरिक्त फंडिंग हासिल की है, जिससे इसकी कुल सीड फंडिंग 30 मिलियन डॉलर हो गई है, क्योंकि यह अपने पोस्ट-ट्रांसफॉर्मर आर्किटेक्चर के आसपास निर्मित एक नए पीढ़ी के मॉडल को स्केल करने के लिए तैयार है।

फंडिंग में आईडी4 वेंचर्स, टीक्यू वेंचर्स, रेड ब्रिज वेंचर्स, कैडमोस कैपिटल, और डब्ल्यूएस इन्वेस्टमेंट कंपनी, विल्सन सोनसिनी की निवेश शाखा, के साथ-साथ डेटाब्रिक्स के मुख्य एआई वैज्ञानिक जोनाथन फ्रैंकले की भागीदारी शामिल है। पथवे ने कहा कि नए पूंजी का अधिकांश हिस्सा कंप्यूट क्षमता का विस्तार करने के लिए जाएगा, जिसमें एनवीडिया जीबी300 सिस्टम शामिल हैं।

निवेश पथवे के बीडीएच-सीक्यू तर्क मॉडल के लिए नए परिणामों के साथ आता है, जो फंडिंग को एक अधिक ठोस तकनीकी पृष्ठभूमि प्रदान करता है जो कि केवल बड़े फाउंडेशन मॉडल बनाने के वादे से अधिक है। पथवे का कहना है कि इसके 150-मिलियन-पैरामीटर मॉडल ने सार्वजनिक एआरसी-एजीआई-1 मूल्यांकन सेट पर 29.5% स्कोर किया, जिसकी अनुमानित अनुमान लागत केवल $0.0007 प्रति कार्य है।

निधि पथवे के ब्रूट-फोर्स स्केलिंग के खिलाफ दांव के रूप में आती है

वर्तमान फ्रंटियर-मॉडल रेस का अधिकांश हिस्सा स्केल पर केंद्रित है: बड़े क्लस्टर, अधिक प्रशिक्षण डेटा, अधिक पैरामीटर, और परीक्षण-समय कंप्यूट में वृद्धि। पथवे एक अलग दृष्टिकोण अपना रहा है, यह तर्क देते हुए कि उद्योग की कुछ लागत और मेमोरी सीमाएं वास्तविक समस्याएं हैं जिन्हें अनिश्चित काल तक हल नहीं किया जा सकता है।

यह थीसिस इसके बीडीएच, या ड्रैगन हैचलिंग, आर्किटेक्चर के केंद्र में है। पथवे बीडीएच को एक पोस्ट-ट्रांसफॉर्मर डिज़ाइन के रूप में वर्णित करता है जो मॉडल के भीतर तर्क, मेमोरी और अनुकूलन को मिलाने के लिए डिज़ाइन किया गया है, न कि मुख्य रूप से एक विस्तारित संदर्भ विंडो या बाहरी मेमोरी सिस्टम पर निर्भर करता है।

आर्किटेक्चर में स्थायी राज्य, स्पार्स गतिविधि, स्थानीय बातचीत और निरंतर समायोजन जैसे विचारों पर आधारित है। पथवे डिजाइन को जैविक रूप से प्रेरित बताता है, न कि मस्तिष्क के काम करने के तरीके को सीधे पुन: उत्पन्न करने का प्रयास।

नई फंडिंग कंपनी को उन विशेषताओं का परीक्षण करने के लिए अतिरिक्त संसाधन प्रदान करती है कि क्या वे बड़े होने पर बीडीएच मॉडल में बनी रहती हैं।

पथवे एडम कुर्जरोक को मुख्य उत्पाद अधिकारी के रूप में जोड़ रहा है। कुर्जरोक ने पहले गूगल डीपमाइंड में जेमिनी के लिए एक समूह उत्पाद प्रबंधक के रूप में काम किया था और बीडीएच-आधारित मॉडल को पैकेजिंग, मूल्यांकन और तैनाती के आसपास उत्पाद दिशा का नेतृत्व करेंगे।

कंपनी एक सलाहकार समूह को औपचारिक रूप दे रही है जिसमें ट्रांसफॉर्मर के सह-आविष्कारक लुकास्ज़ कैसर, फ्रैंकले, एनवाईयू प्रोफेसर मार्टिन फारच-कोल्टन और अर्थशास्त्री जैक्स अटाली शामिल हैं।

बीडीएच-सीक्यू को क्या अलग बनाता है

बीडीएच-सीक्यू संदर्भ में सीखने और पुनरावृत्ति लेटेंट तर्क के आसपास डिज़ाइन की गई बीडीएच आर्किटेक्चर का एक विस्तार है।

मॉडल को मध्यवर्ती तर्क को उत्पन्न पाठ के रूप में व्यक्त करने की आवश्यकता के बजाय, बीडीएच-सीक्यू एक निरंतर लेटेंट वर्कस्पेस के भीतर पुनरावृत्ति गणना करता है। अनुमान के दौरान प्रदान किए गए उदाहरण एक पुनरावृत्ति मेमोरी राज्य को अपडेट करते हैं, जिसके बाद सिस्टम आंतरिक रूप से नए समस्या के माध्यम से काम करता है trước कि यह अपना उत्तर डिकोड करता है। इस प्रक्रिया के दौरान मॉडल के पैरामीटर निर्धारित रहते हैं।

यह महत्वपूर्ण है क्योंकि टोकन-आधारित तर्क लंबे होने पर महंगा हो सकता है। पारंपरिक श्रृंखला में विचार के दृष्टिकोण में, मध्यवर्ती चरण अनुक्रमिक रूप से उत्पन्न किए जाते हैं और फिर तर्क प्रक्रिया के बाद के चरणों में वापस खिलाया जाता है।

बीडीएच-सीक्यू को अपने आंतरिक राज्य के भीतर अधिक गणना रखने के लिए डिज़ाइन किया गया है, न कि मध्यवर्ती तर्क को लगातार पाठ में अनुवादित करना।

यह अंतर यह नहीं意味ा है कि भाषा-आधारित तर्क अवश्य ही पुराना हो गया है। बल्कि, पथवे यह परीक्षण कर रहा है कि क्या कुछ तर्क कार्यभार को अधिक कुशलता से संभाला जा सकता है बिना यह आवश्यकता हो कि हर मध्यवर्ती गणना चरण को पाठ के रूप में श्रृंखलाबद्ध किया जाए।

एआरसी-एजीआई परिणाम लागत दक्षता को केंद्र में रखते हैं

वित्त पोषण के साथ आने वाला सबसे उल्लेखनीय परिणाम एआरसी-एजीआई-1 से आता है, एक बेंचमार्क जो यह परीक्षण करने के लिए डिज़ाइन किया गया है कि क्या एआई सिस्टम कुछ उदाहरणों से परिवर्तनों का अनुमान लगा सकते हैं और उन नियमों को अनदेखे इनपुट पर लागू कर सकते हैं।

पथवे के 150-मिलियन-पैरामीटर बीडीएच-सीक्यू ने सार्वजनिक एआरसी-एजीआई-1 मूल्यांकन सेट पर 29.5% पास@2 स्कोर किया।

तकनीकी मूल्यांकन अनुमान लगाता है कि प्रत्येक कार्य में लगभग 0.85 सेकंड का एनवीडिया एच200 जीपीयू समय लगता है, जो कि लगभग $0.00070 प्रति कार्य की अनुमानित लागत के अनुरूप है, यह मानते हुए कि एच200 की लागत प्रति जीपीयू-घंटे $3 है।

पथवे का तर्क है कि यह बीडीएच-सीक्यू को एआरसी-एजीआई-1 के लिए लागत-दक्षता के साथ-साथ सटीकता के पिछले रिपोर्ट किए गए पैरेटो फ्रंटियर से परे ले जाता है।

महत्व यह नहीं है कि 150-मिलियन-पैरामीटर सिस्टम अब सबसे उच्चतम आरसी स्कोर रखता है। कुछ बड़े तर्क सिस्टम उच्च स्कोर करते हैं। इसके बजाय, पथवे यह देख रहा है कि मॉडल प्रति डॉलर अनुमान लागत के लिए कितना तर्क प्रदर्शन दे सकता है।

यह महत्वपूर्ण हो सकता है क्योंकि उद्यम एआई को कभी-कभी बातचीत इंटरैक्शन से एजेंटों और अन्य प्रणालियों की ओर ले जाते हैं जो लगातार बड़ी संख्या में तर्क संचालन कर सकते हैं।

तकनीकी परिणाम भी दिखाते हैं कि बीडीएच-सीक्यू कहां संघर्ष करता है

व्यापक मूल्यांकन एक अधिक सूक्ष्म चित्र प्रस्तुत करता है जो शीर्षलेख बेंचमार्क से परे है।

कॉन्सेप्टएआरसी पर, जो तर्क समस्याओं को अलग-अलग अवधारणात्मक श्रेणियों में विभाजित करता है, बीडीएच-सीक्यू का प्रदर्शन काफी भिन्न था। यह कुछ कार्यों पर विशेष रूप से अच्छा प्रदर्शन किया, जिनमें सीमा विस्तार और भरे हुए क्षेत्रों को खाली क्षेत्रों से अलग करना शामिल था, जबकि कॉपी करने और ऑर्डर करने वाले क्षेत्र अधिक कठिन साबित हुए।

नियंत्रित प्रयोगों ने एक समान पैटर्न उत्पादित किया।

सीमा प्रसार और कॉपी करना परीक्षण की सीमा के भीतर सटीक रहे, लेकिन ऑर्डर करने वाली क्रम अधिक लंबे होने पर प्रदर्शन में गिरावट आई। नेस्टेड संबंधपरक समस्याएं भी चुनौतीपूर्ण हो गईं जब आवश्यक नेस्टिंग गहराई बढ़ गई।

शोधकर्ताओं ने यह भी पाया कि लक्ष्य समस्या की जटिलता के करीब प्रदर्शन में महत्वपूर्ण सुधार हो सकता है, जो यह सुझाव देता है कि सीमा का एक हिस्सा यह चिंता का विषय है कि सिस्टम कितनी दूर उदाहरणों से अनुमान लगा सकता है।

इन कमजोरियों का महत्व है क्योंकि एआरसी-एजीआई अभी भी एक विशेषज्ञ दृश्य तर्क बेंचमार्क है। एआरसी पर मजबूत लागत दक्षता यह प्रदर्शित नहीं करती है कि समान आर्किटेक्चर सामान्य-उद्देश्य भाषा मॉडल को उत्पादन कार्यभार में पार कर सकता है।

इसके बजाय, परिणाम एक संकीर्ण लेकिन संभावित रूप से महत्वपूर्ण विचार के लिए साक्ष्य प्रदान करते हैं: जटिल तर्क क्षमताएं हमेशा विशाल पैरामीटर गिनती या लंबे टोकन तर्क अनुक्रम की आवश्यकता नहीं होती है।

पथवे वास्तविक समय एआई के लिए भी बुनियादी ढांचा बना रहा है

पथवे का काम बीडीएच में इसके धक्का से पहले का है। बीडीएच के साथ-साथ, कंपनी एक डेटा प्रोसेसिंग फ्रेमवर्क विकसित कर रही है जो स्ट्रीमिंग डेटा, वास्तविक समय विश्लेषण, बड़े भाषा मॉडल अनुप्रयोगों और पुनर्प्राप्ति-संवर्धित पीढ़ी पर केंद्रित है।

मंच को ऐसे एआई सिस्टम में मदद करने के लिए डिज़ाइन किया गया है जो निरंतर बदलते डेटा के साथ काम कर सकते हैं, न कि पूरी तरह से स्थिर डेटासेट या आवर्ती रूप से पुनर्निर्मित सूचकांक पर निर्भर करते हैं।

यह बुनियादी ढांचा पथवे की व्यापक शोध दिशा के साथ密तः जुड़ा हुआ है। इसकी मौजूदा प्रौद्योगिकी एआई अनुप्रयोगों को बदलते बाहरी डेटा के साथ सिंक्रोनाइज़ रखने पर केंद्रित है, जबकि बीडीएच यह अन्वेषण करता है कि क्या स्थायी मेमोरी और अनुकूलन मॉडल आर्किटेक्चर के स्वयं के गुण बन सकते हैं।

यह उन एआई एजेंटों और अन्य लंबे समय तक चलने वाली प्रणालियों के लिए महत्वपूर्ण हो सकता है जिन्हें विस्तारित अवधि के दौरान नए डेटा पर प्रतिक्रिया करते समय स्थिति बनाए रखने की आवश्यकता होती है।

पथवे के लिए आगे क्या है

पथवे नए पूंजी का उपयोग बीडीएच-आधारित प्रणालियों की क्षमता को बढ़ाने और प्रशिक्षित करने के लिए करने का इरादा रखता है।

इसकी सड़कमैप में गणितीय तर्क, एआरसी-एजीआई-2 और एआरसी-एजीआई-3, साथ ही एक बड़े भाषा मॉडल का विकास शामिल है जिसमें लेटेंट तर्क शामिल है।

कंपनी का कहना है कि 1 बिलियन से 600 बिलियन पैरामीटर की सीमा में प्रारंभिक प्री-ट्रेनिंग प्रयोगों ने ट्रांसफॉर्मर जैसे स्केलिंग व्यवहार को दिखाया है, जबकि बीडीएच के लेटेंट तर्क दृष्टिकोण से जुड़ी विशेषताओं को बनाए रखा है।

यह अभी भी एक प्रारंभिक संकेत है, न कि यह प्रमाण कि आर्किटेक्चर के फायदे बड़े, सामान्य-उद्देश्य मॉडल में बने रहेंगे।

पथवे अंततः वित्तीय सेवाओं, स्वास्थ्य सेवा, और प्रौद्योगिकी जैसे क्षेत्रों पर लक्ष्य बना रहा है, जहां स्थायी मेमोरी और बदलते डेटा की जानकारी के साथ-साथ अनुमान लागत एआई प्रणालियों के लिए महत्वपूर्ण हो सकती है क्योंकि वे लंबे समय तक चलने वाले कार्यभार की ओर बढ़ रही हैं।

अब तक, $500 मिलियन का मूल्यांकन उद्योग की प्रमुख स्केलिंग रणनीति के विकल्प पर एक महत्वपूर्ण दांव का प्रतिनिधित्व करता है। अधिक महत्वपूर्ण परीक्षण तब आएगा जब पथवे बीडीएच को अपेक्षाकृत सीमित तर्क बेंचमार्क से परे ले जाएगा और यह प्रदर्शित करेगा कि क्या इसके वास्तुकला लाभ भाषा, गणित, एजेंटों और वास्तविक-विश्व अनुप्रयोगों में बने रहते हैं।