डीपसीक ने $5.6M के साथ लागत बाधा को कैसे तोड़ा

पारंपरिक एआई ज्ञान यह सुझाव देता है कि बड़े भाषा मॉडल (एलएलएम) बनाने के लिए गहरे जेब की आवश्यकता होती है – आमतौर पर अरबों डॉलर का निवेश। लेकिन डीपसीक, एक चीनी एआई स्टार्टअप, ने अपनी नवीनतम उपलब्धि के साथ इस धारणा को तोड़ दिया है: केवल $5.6 मिलियन में एक विश्व-स्तरीय एआई मॉडल विकसित किया है।

डीपसीक का वी3 मॉडल उद्योग के दिग्गजों जैसे गूगल के जेमिनी और ओपनएआई के नवीनतम ऑफर के साथ कंधे से कंधा मिलाकर खड़ा हो सकता है, सभी जबकि एक अंश के साथ टाइपिकल कंप्यूटिंग संसाधनों का उपयोग करते हुए। यह उपलब्धि ने कई उद्योग नेताओं का ध्यान आकर्षित किया, और जो इसे विशेष रूप से उल्लेखनीय बनाता है वह यह है कि कंपनी ने इसे हासिल किया है尽管 उन्हें अमेरिकी निर्यात प्रतिबंधों का सामना करना पड़ा, जिन्होंने उन्हें नवीनतम एनवीडिया चिप्स तक पहुंच से वंचित कर दिया।

कुशल एआई का अर्थशास्त्र

संख्याएं एक प्रभावशाली कहानी बताती हैं कि कुशलता के बारे में है। जबकि अधिकांश उन्नत एआई मॉडलों के लिए 16,000 और 100,000 जीपीयू की आवश्यकता होती है, डीपसीक ने केवल 2,048 जीपीयू के साथ प्रबंधित किया जो 57 दिनों तक चले। मॉडल के प्रशिक्षण ने एनवीडिया एच800 चिप्स पर 2.78 मिलियन जीपीयू घंटे की खपत की – एक 671-बिलियन-पैरामीटर मॉडल के लिए आश्चर्यजनक रूप से विनम्र।

इसे परिप्रेक्ष्य में रखने के लिए, मेटा को अपने लामा 3 मॉडल को प्रशिक्षित करने के लिए लगभग 30.8 मिलियन जीपीयू घंटे की आवश्यकता थी – लगभग 11 गुना अधिक कंप्यूटिंग शक्ति – जो वास्तव में 405 बिलियन पैरामीटर के साथ कम पैरामीटर है। डीपसीक का दृष्टिकोण एक सीमाओं के तहत अनुकूलन में एक मास्टरक्लास की तरह लगता है। एच800 जीपीयू – चीनी बाजार के लिए एनवीडिया द्वारा डिज़ाइन किए गए एआई चिप्स के साथ काम करते हुए – कंपनी ने संभावित सीमाओं को नवाचार में बदल दिया। प्रोसेसर संचार के लिए ऑफ-द-शेल्फ समाधानों का उपयोग करने के बजाय, उन्होंने कुशलता को अधिकतम करने के लिए कस्टम समाधान विकसित किए।

जबकि प्रतिस्पर्धी अभी भी यह मानते हुए काम कर रहे हैं कि बड़े निवेश आवश्यक हैं, डीपसीक यह प्रदर्शित कर रहा है कि उत्कृष्टता और कुशल संसाधन उपयोगिता खेल को बदल सकती है।

छवि: आर्टिफिशियल एनालिसिस

असंभव को इंजीनियरिंग

डीपसीक की उपलब्धि इसके नवाचारी तकनीकी दृष्टिकोण में निहित है, जो दिखाती है कि कभी-कभी सबसे प्रभावशाली ब्रेकथ्रू सीमाओं के भीतर काम करने से आते हैं, न कि समस्या पर असीमित संसाधनों को फेंकने से।

इस नवाचार के दिल में एक रणनीति है जिसे “ऑक्सिलरी-लॉस-फ्री लोड बैलेंसिंग” कहा जाता है। इसे एक विशाल समानांतर प्रसंस्करण प्रणाली की तरह सोचें जहां परंपरागत रूप से, आपको सब कुछ सुचारू रूप से चलाने के लिए जटिल नियमों और दंड की आवश्यकता होगी। डीपसीक ने इस पारंपरिक ज्ञान को उलट दिया, एक ऐसी प्रणाली विकसित की जो पारंपरिक दृष्टिकोणों के ओवरहेड के बिना स्वाभाविक रूप से संतुलन बनाए रखती है।

टीम ने “मल्टी-टोकन प्रेडिक्शन” (एमटीपी) नामक एक तकनीक का भी अनुसंधान किया – एक तकनीक जो मॉडल को एक साथ कई टोकन की भविष्यवाणी करने देती है। व्यवहार में, इसका अर्थ है विभिन्न विषयों में 85-90% स्वीकृति दर, जो पिछले दृष्टिकोणों की तुलना में 1.8 गुना तेजी से प्रसंस्करण गति प्रदान करती है।

तकनीकी वास्तुकला स्वयं एक कुशलता की उत्कृष्ट कृति है। डीपसीक का वी3 एक विशेषज्ञता के मिश्रण के साथ 671 बिलियन कुल पैरामीटर का उपयोग करता है, लेकिन यहाँ चतुर भाग है – यह प्रति टोकन के लिए केवल 37 बिलियन को सक्रिय करता है। यह चयनात्मक सक्रियण यह सुनिश्चित करता है कि वे एक विशाल मॉडल के लाभ प्राप्त करते हुए व्यावहारिक कुशलता बनाए रखें।

उनका एफपी8 मिश्रित सटीकता प्रशिक्षण फ्रेमवर्क एक और कदम आगे है। कम सटीकता की सीमाओं को स्वीकार करने के बजाय, उन्होंने सटीकता को बनाए रखते हुए स्मृति और गणनात्मक आवश्यकताओं को काफी कम करने के लिए कस्टम समाधान विकसित किए।

एआई के पारिस्थितिकी तंत्र में परिणाम

डीपसीक की उपलब्धि का प्रभाव केवल एक सफल मॉडल से परे है।

यूरोपीय एआई विकास के लिए, यह सफलता विशेष रूप से महत्वपूर्ण है। कई उन्नत मॉडल यूरोपीय संघ में नहीं पहुंच पाते हैं क्योंकि कंपनियां जैसे मेटा और ओपनएआई या तो यूरोपीय संघ के एआई अधिनियम के अनुकूल नहीं हो सकती हैं या नहीं होना चाहती हैं। डीपसीक का दृष्टिकोण दिखाता है कि आगे की एआई का निर्माण करने के लिए हमेशा बड़े जीपीयू क्लस्टर की आवश्यकता नहीं होती है – यह केवल उपलब्ध संसाधनों का कुशलता से उपयोग करने के बारे में है।

यह विकास यह भी दिखाता है कि निर्यात प्रतिबंध वास्तव में नवाचार को बढ़ावा दे सकते हैं। डीपसीक की उच्च-अंत हार्डवेयर तक सीमित पहुंच ने उन्हें अलग सोचने के लिए मजबूर किया, जिसके परिणामस्वरूप सॉफ्टवेयर अनुकूलन हुए जो संसाधन-संपन्न वातावरण में कभी नहीं हो सकते थे। यह सिद्धांत वैश्विक स्तर पर एआई विकास के दृष्टिकोण को बदल सकता है।

लोकतांत्रीकरण के परिणाम गहरे हैं। जबकि उद्योग के दिग्गज अरबों डॉलर जला रहे हैं, डीपसीक ने एक कुशल, लागत-प्रभावी एआई विकास के लिए एक नीलाकृति तैयार की है। यह छोटी कंपनियों और शोध संस्थानों के लिए दरवाजे खोल सकता है जो पहले संसाधन सीमाओं के कारण प्रतिस्पर्धा नहीं कर सकते थे।

हालांकि, इसका मतलब यह नहीं है कि बड़े पैमाने पर कंप्यूटिंग बुनियादी ढांचा पुराना हो रहा है। उद्योग अनुमान समय – एक मॉडल को उत्तर देने में कितना समय लगता है – को स्केल करने की ओर ध्यान केंद्रित कर रहा है। जैसा कि यह रुझान जारी रहता है, महत्वपूर्ण कंप्यूटिंग संसाधनों की आवश्यकता अभी भी होगी, संभावित रूप से समय के साथ और भी अधिक।

लेकिन डीपसीक ने मूल रूप से बातचीत को बदल दिया है। दीर्घकालिक परिणाम स्पष्ट हैं: हम एक युग में प्रवेश कर रहे हैं जहां नवाचारी सोच और कुशल संसाधन उपयोग मात्र कंप्यूटिंग शक्ति से अधिक महत्वपूर्ण हो सकते हैं। एआई समुदाय के लिए, इसका मतलब है कि संसाधनों पर ध्यान केंद्रित करने के बजाय हम जो संसाधनों का उपयोग करते हैं उन्हें कैसे रचनात्मक और कुशलता से उपयोग करते हैं।