सेरेब्रास सिस्टम्स के सह-संस्थापक और सीईओ एंड्रू फेल्डमैन – साक्षात्कार श्रृंखला

एंड्रू सेरेब्रास सिस्टम्स के सह-संस्थापक और सीईओ हैं। वह कंप्यूट स्पेस में सीमाओं को आगे बढ़ाने के लिए समर्पित एक उद्यमी हैं। सेरेब्रास से पहले, उन्होंने सीमाइक्रो की सह-स्थापना की और इसके सीईओ थे, जो ऊर्जा-कुशल, उच्च-बैंडविथ माइक्रोसर्वर के पioneer थे। सीमाइक्रो को 2012 में एएमडी द्वारा 357 मिलियन डॉलर में अधिग्रहित किया गया था। सीमाइक्रो से पहले, एंड्रू फोर्स10 नेटवर्क्स में उत्पाद प्रबंधन, विपणन और बीडी के उपाध्यक्ष थे, जिसे बाद में डेल कंप्यूटिंग द्वारा 800 मिलियन डॉलर में बेचा गया था। फोर्स10 नेटवर्क्स से पहले, एंड्रू रिवरस्टोन नेटवर्क्स में विपणन और कॉर्पोरेट विकास के उपाध्यक्ष थे, जो 2001 में आईपीओ के माध्यम से सार्वजनिक हुए थे। एंड्रू के पास स्टैनफोर्ड विश्वविद्यालय से बीए और एमबीए है।

सेरेब्रास सिस्टम्स एक नए प्रकार के कंप्यूटर सिस्टम का निर्माण कर रहा है, जो कि केवल एक ही उद्देश्य के लिए डिज़ाइन किया गया है – एआई को तेज करना और एआई कार्य के भविष्य को बदलना।

क्या आप सेरेब्रास सिस्टम्स के पीछे की कहानी साझा कर सकते हैं?

मेरे सह-संस्थापक और मैंने सभी एक पिछले स्टार्टअप में एक साथ काम किया था, जिसे मेरे सीटीओ गैरी और मैंने 2007 में शुरू किया था, जिसे सीमाइक्रो कहा जाता था (जिसे 2012 में एएमडी द्वारा 334 मिलियन डॉलर में खरीदा गया था)। मेरे सह-संस्थापक उद्योग में अग्रणी कंप्यूटर वास्तुकार और इंजीनियर हैं – गैरी लॉटरबाख, शॉन ली, जेपी फ्रिकर और माइकल जेम्स। जब हम 2015 में फिर से एक साथ आए, तो हमने दो चीजें एक व्हाइटबोर्ड पर लिखीं – कि हम एक साथ काम करना चाहते हैं, और कि हम कुछ ऐसा बनाना चाहते हैं जो उद्योग को बदल देगा और कंप्यूटर हिस्ट्री म्यूजियम में होगा, जो कंप्यूट के हॉल ऑफ फ़ेम के बराबर है। हमें सम्मानित किया गया जब कंप्यूटर हिस्ट्री म्यूजियम ने हमारी उपलब्धियों को मान्यता दी और पिछले साल हमारे डब्ल्यूएसई-2 प्रोसेसर को अपने संग्रह में जोड़ा, जिसने कृत्रिम बुद्धिमत्ता परिदृश्य को कैसे बदल दिया है।

सेरेब्रास सिस्टम्स एक टीम है जो पioneering कंप्यूटर वास्तुकार, कंप्यूटर वैज्ञानिक, गहरे शिक्षण शोधकर्ता, और सभी प्रकार के इंजीनियर हैं जो निडर इंजीनियरिंग करना पसंद करते हैं। जब हम एक साथ आए, तो हमारा मिशन एक नए प्रकार का कंप्यूटर बनाना था जो गहरे शिक्षण को तेज कर सके, जो हमारे समय के सबसे महत्वपूर्ण कार्यभार में से एक है।

हमें एहसास हुआ कि गहरे शिक्षण की विशिष्ट, विशाल और बढ़ती हुई गणनात्मक आवश्यकताएं हैं। और यह विरासत मशीनों जैसे ग्राफिक्स प्रोसेसिंग यूनिट्स (जीपीयू) के साथ अच्छी तरह से मेल नहीं खाता है, जो मूल रूप से अन्य कार्यों के लिए डिज़ाइन किए गए थे। परिणामस्वरूप, आज एआई विचारों या अनुप्रयोगों से नहीं, बल्कि कंप्यूट की उपलब्धता से सीमित है। एक नए हाइपोथेसिस का परीक्षण करने के लिए – एक नए मॉडल को प्रशिक्षित करने के लिए – दिन, सप्ताह, या даже महीनों और सैकड़ों हजारों डॉलर के कंप्यूट समय में ले सकता है। यह नवाचार के लिए एक बड़ा रोडब्लॉक है।

इसलिए, सेरेब्रास का उद्गम एक नए प्रकार का कंप्यूटर बनाने के लिए था जो केवल गहरे शिक्षण के लिए अनुकूलित था, जो एक साफ शीट से शुरू हुआ था। गहरे शिक्षण की विशाल गणनात्मक मांगों को पूरा करने के लिए, हमने सबसे बड़ा चिप डिज़ाइन और निर्मित किया – वेफर-स्केल इंजन (डब्ल्यूएसई)। डब्ल्यूएसई बनाने में, हमने डिज़ाइन, निर्माण और पैकेजिंग में चुनौतियों को पार किया – जो सभी कंप्यूटर के 70 वर्षों के इतिहास के लिए असंभव माने जाते थे। डब्ल्यूएसई के हर तत्व को असाधारण गति और पैमाने पर गहरे शिक्षण अनुसंधान को सक्षम करने के लिए डिज़ाइन किया गया है, जो उद्योग के सबसे तेज़ एआई सुपरकंप्यूटर, सेरेब्रास सीएस-2 को शक्ति प्रदान करता है।

हर घटक को एआई कार्य के लिए अनुकूलित किए जाने के साथ, सीएस-2 कम स्थान और कम शक्ति पर किसी भी अन्य प्रणाली की तुलना में अधिक कंप्यूट प्रदर्शन प्रदान करता है। यह करते हुए, यह क्रांतिकारी रूप से प्रोग्रामिंग जटिलता, वॉल-क्लॉक कंप्यूट समय, और समाधान समय को कम करता है। कार्यभार के आधार पर, एआई से लेकर एचपीसी तक, सीएस-2 विरासत विकल्पों की तुलना में सैकड़ों या हजारों गुना अधिक प्रदर्शन प्रदान करता है। सीएस-2 एकल डिवाइस के प्रोग्रामिंग, प्रबंधन और तैनाती की आसानी के साथ-साथ सैकड़ों जीपीयू के बराबर गहरे शिक्षण कंप्यूट संसाधन प्रदान करता है।

पिछले कुछ महीनों में, सेरेब्रास ने समाचार में बहुत ध्यान आकर्षित किया है, आप हमें अपने नए एआई सुपरकंप्यूटर एंड्रोमेडा के बारे में बता सकते हैं?

हमने पिछले साल नवंबर में एंड्रोमेडा की घोषणा की, और यह सबसे बड़े और सबसे शक्तिशाली एआई सुपरकंप्यूटर में से एक है। 1 एक्साफ्लॉप एआई कंप्यूट और 120 पेटाफ्लॉप्स के घने कंप्यूट की डिलीवरी करते हुए, एंड्रोमेडा में 13.5 मिलियन कोर हैं जो 16 सीएस-2 सिस्टम में फैले हुए हैं, और यह एकमात्र एआई सुपरकंप्यूटर है जिसने बड़े भाषा मॉडल कार्यभार पर लगभग आदर्श रैखिक स्केलिंग का प्रदर्शन किया है। यह उपयोग करने में भी बहुत आसान है।

एक अनुस्मारक के रूप में, पृथ्वी पर सबसे बड़ा सुपरकंप्यूटर – फ्रंटियर – में 8.7 मिलियन कोर हैं। कोर गणना में, एंड्रोमेडा लगभग एक और आधा गुना बड़ा है। यह अलग काम करता है, लेकिन यह दायरे का एक विचार देता है: लगभग 100 टेराबिट्स की आंतरिक बैंडविथ, लगभग 20,000 एएमडी एपिक कोर इसे खिलाते हैं, और – जैसे विशाल सुपरकंप्यूटर जो स्थापित करने में वर्षों लगते हैं – हमने एंड्रोमेडा को तीन दिनों में स्थापित किया और तुरंत बाद, यह लगभग आदर्श रैखिक स्केलिंग के साथ एआई की डिलीवरी कर रहा था।

अर्गोन नेशनल लैब्स हमारा पहला ग्राहक था जिसने एंड्रोमेडा का उपयोग किया, और उन्होंने इसे एक समस्या के लिए लागू किया जो उनके 2,000 जीपीयू क्लस्टर पोलारिस को तोड़ रहा था। समस्या बड़े, जीपीटी-3एक्सएल जेनरेटिव मॉडल चलाने की थी, जबकि कोविड जीनोम को पूरे जीनोम के संदर्भ में प्रत्येक जीन का विश्लेषण करने के लिए सीक्वेंस विंडो में डाला जा रहा था। एंड्रोमेडा ने 1, 2, 4, 8 और 16 नोड्स पर लंबे अनुक्रम लंबाई (एमएसएल 10के) के साथ एक अद्वितीय जेनेटिक कार्यभार को चलाया, लगभग आदर्श रैखिक स्केलिंग के साथ। रैखिक स्केलिंग बड़े क्लस्टर की सबसे अधिक मांग वाली विशेषताओं में से एक है। एंड्रोमेडा ने 16 सीएस-2 सिस्टम के साथ 15.87एक्स थ्रूपुट की डिलीवरी की, एकल सीएस-2 की तुलना में, और प्रशिक्षण समय में कमी के साथ।

क्या आप जैस्पर के साथ साझेदारी के बारे में बता सकते हैं जो नवंबर के अंत में घोषित की गई थी और इसका दोनों कंपनियों के लिए क्या अर्थ है?

जैस्पर एक बहुत ही दिलचस्प कंपनी है। वे विपणन के लिए जेनरेटिव एआई सामग्री में एक नेता हैं, और उनके उत्पादों का उपयोग दुनिया भर में 100,000 से अधिक ग्राहकों द्वारा विपणन, विज्ञापन, पुस्तकों और अधिक के लिए प्रतिलिपि लिखने के लिए किया जाता है। यह स्पष्ट रूप से एक बहुत ही रोमांचक और तेजी से बढ़ता हुआ स्थान है अभी। पिछले साल, हमने एआई को तेज करने और व्यावसायिक और उपभोक्ता अनुप्रयोगों में जेनरेटिव एआई की सटीकता में सुधार करने के लिए एक साझेदारी की घोषणा की। जैस्पर हमारे एंड्रोमेडा सुपरकंप्यूटर का उपयोग अपने अत्यधिक गणनात्मक रूप से गहन मॉडलों को प्रशिक्षित करने के लिए कर रहा है, जो एक अंश में समय में है। यह जेनरेटिव एआई मॉडलों को बड़े पैमाने पर पहुंचाने में मदद करेगा।

सेरेब्रास एंड्रोमेडा सुपरकंप्यूटर की शक्ति के साथ, जैस्पर बड़े पैमाने पर एआई कार्य को आगे बढ़ा सकता है, जिसमें जीपीटी नेटवर्क को एआई आउटपुट को सभी स्तरों की जटिलता और विस्तार के लिए फिट करने के लिए प्रशिक्षित करना शामिल है। यह जेनरेटिव मॉडलों की संदर्भ सटीकता में सुधार करेगा और जैस्पर को जल्दी और आसानी से विभिन्न ग्राहक वर्गों के लिए सामग्री को व्यक्तिगत करने में सक्षम बनाएगा।

हमारी साझेदारी जैस्पर को जेनरेटिव एआई के भविष्य का आविष्कार करने की अनुमति देती है, जो कि पारंपरिक बुनियादी ढांचे के साथ असंभव या अव्यावहारिक है। और जेनरेटिव एआई की संभावना को तेज करने, और इसके लाभों को दुनिया भर में तेजी से बढ़ते ग्राहक आधार तक ले जाने में मदद करने के लिए।

एक हालिया प्रेस विज्ञप्ति में, नेशनल एनर्जी टेक्नोलॉजी लैबोरेटरी और पिट्सबर्ग सुपरकंप्यूटिंग सेंटर ने सेरेब्रास वेफर-स्केल इंजन पर पहली बार कम्प्यूटेशनल फ्लूइड डायनामिक्स सिमुलेशन की घोषणा की। क्या आप वेफर-स्केल इंजन क्या है और यह कैसे काम करता है इसके बारे में बता सकते हैं?

हमारा वेफर-स्केल इंजन (डब्ल्यूएसई) हमारे गहरे शिक्षण कंप्यूटर सिस्टम, सीएस-2 के लिए एक क्रांतिकारी एआई प्रोसेसर है। विरासत, सामान्य-उद्देश्य प्रोसेसर के विपरीत, डब्ल्यूएसई को गहरे शिक्षण को तेज करने के लिए जमीन से बनाया गया था: यह 850,000 एआई-अनुकूलित कोर के लिए स्पार्स टेंसर ऑपरेशन, विशाल उच्च-बैंडविथ ऑन-चिप मेमोरी, और इंटरकonnekt ऑर्डर के साथ आता है जो पारंपरिक क्लस्टर की तुलना में बहुत तेज है। यह आपको एक ही डिवाइस में विरासत मशीनों के एक क्लस्टर के बराबर गहरे शिक्षण कंप्यूट संसाधन प्रदान करता है, जो एकल नोड की तरह प्रोग्राम करने में आसान है – जटिलता, वॉल-क्लॉक कंप्यूट समय, और समाधान समय को क्रांतिकारी रूप से कम करता है।

हमारा दूसरा पीढ़ी का डब्ल्यूएसई-2, जो हमारे सीएस-2 सिस्टम को शक्ति प्रदान करता है, बहुत तेजी से समस्याओं का समाधान कर सकता है। इतनी तेजी से कि यह वास्तविक समय में, उच्च-विश्वसनीयता मॉडल की अनुमति देता है। यह एक दुर्लभ उदाहरण है सफल “स्ट्रॉन्ग स्केलिंग” का, जो एक निश्चित आकार की समस्या के साथ समाधान समय को कम करने के लिए समांतरता का उपयोग है।

और यही कारण है कि नेशनल एनर्जी टेक्नोलॉजी लैबोरेटरी और पिट्सबर्ग सुपरकंप्यूटिंग सेंटर इसका उपयोग कर रहे हैं। हमने हाल ही में एक बहुत ही रोमांचक परिणाम की घोषणा की है एक कम्प्यूटेशनल फ्लूइड डायनामिक्स (सीएफडी) सिमुलेशन की, जो लगभग 200 मिलियन सेल से बना है। यह वीडियो रेले-बेनार्ड कन्वेक्शन की उच्च-रिज़ॉल्यूशन सिमुलेशन दिखाता है, जो तब होता है जब एक तरल परत को नीचे से गर्म किया जाता है और ऊपर से ठंडा किया जाता है। ये थर्मल रूप से चलने वाले द्रव प्रवाह हमारे आसपास हैं – हवादार दिनों से, झील प्रभाव स्नो स्टॉर्म, पृथ्वी के कोर में मैग्मा धाराओं और सूर्य में प्लाज्मा आंदोलन तक। जैसा कि वक्ता कहते हैं, यह सिमुलेशन की दृश्य सुंदरता ही महत्वपूर्ण नहीं है: यह गणना की गति है जो हमें मिलती है।

किस प्रकार का डेटा सिम्युलेट किया जा रहा है?

परीक्षण किया गया कार्यभार थर्मल रूप से चलने वाले द्रव प्रवाह थे, जिसे प्राकृतिक संवहन भी कहा जाता है, जो कम्प्यूटेशनल फ्लूइड डायनामिक्स (सीएफडी) का एक अनुप्रयोग है। द्रव प्रवाह प्राकृतिक रूप से हमारे आसपास होते हैं – हवादार दिनों से, झील प्रभाव स्नो स्टॉर्म, टेक्टोनिक प्लेट गति तक, और पृथ्वी के कोर में मैग्मा धाराओं और सूर्य में प्लाज्मा आंदोलन तक। यह सिमुलेशन, जो लगभग 200 मिलियन सेल से बना है, रेले-बेनार्ड संवहन पर केंद्रित है, जो तब होता है जब एक तरल को नीचे से गर्म किया जाता है और ऊपर से ठंडा किया जाता है। प्राकृतिक रूप से, यह घटना गंभीर मौसम की घटनाओं जैसे डाउनबर्स्ट, माइक्रोबर्स्ट, और डेरेचोस का कारण बन सकती है। यह पृथ्वी के कोर में मैग्मा आंदोलन और सूर्य में प्लाज्मा आंदोलन के लिए भी जिम्मेदार है।

पिछले साल नवंबर में, नेटल ने एक नए फील्ड समीकरण मॉडलिंग एपीआई की शुरुआत की, जो हमारे सीएस-2 सिस्टम द्वारा संचालित था, जो उनके जूल सुपरकंप्यूटर पर संभव होने से 470 गुना तेज था। यह सीएस-2 सिस्टम के साथ वेफर-स्केल प्रोसेसिंग को सक्षम करने वाली एक सरल पाइथन एपीआई के माध्यम से संभव हुआ।

नेटल, पीएससी और सेरेब्रास सिस्टम्स के बीच घनिष्ठ सहयोग जारी है।

हमारे वेफर-स्केल इंजन (डब्ल्यूएसई) द्वारा सीएफडी (कम्प्यूटेशनल फ्लूइड डायनामिक्स) की गति को बदलने से, हम वास्तविक समय में नए उपयोग के मामलों को खोल सकते हैं, और कई अन्य मुख्य एचपीसी अनुप्रयोगों के लिए। हमारा लक्ष्य है कि ग्राहक अधिक प्रयोग कर सकें और बेहतर विज्ञान का आविष्कार कर सकें। नेटल लैब के निदेशक ब्रायन एंडरसन ने हमें बताया है कि यह जलवायु परिवर्तन को कम करने और सुरक्षित ऊर्जा भविष्य को सक्षम करने के लिए उनके द्वारा किए जा रहे बड़े परियोजनाओं के लिए डिजाइन प्रक्रिया को काफी तेज कर देगा – जैसे कार्बन सिक्वेस्ट्रेशन और ब्लू हाइड्रोजन उत्पादन।

सेरेब्रास सुपरकंप्यूटर्स के निर्माण में प्रतिस्पर्धा से बेहतर प्रदर्शन करने के पीछे कुछ चुनौतियां क्या हैं?

विडंबना यह है कि बड़े एआई की सबसे बड़ी चुनौती एआई नहीं है। यह वितरित कंप्यूट है।

आज के राज्य-ऑफ-द-आर्ट न्यूरल नेटवर्क को प्रशिक्षित करने के लिए, शोधकर्ता अक्सर सैकड़ों से लेकर हजारों जीपीयू का उपयोग करते हैं। और यह आसान नहीं है। एक जीपीयू क्लस्टर में बड़े भाषा मॉडल प्रशिक्षण को वितरित करने से डिवाइस मेमोरी आकार और मेमोरी बैंडविथ प्रतिबंधों को संभालना, और संचार और सिंक्रोनाइजेशन ओवरहेड को ध्यान से प्रबंधित करना शामिल है।

हमने अपने सुपरकंप्यूटरों को डिजाइन करने के लिए एक अलग दृष्टिकोण अपनाया है, जो सेरेब्रास वेफर-स्केल क्लस्टर और सेरेब्रास वेट स्ट्रीमिंग निष्पादन मोड के विकास के माध्यम से है। इन प्रौद्योगिकियों के साथ, सेरेब्रास तीन मुख्य बिंदुओं पर आधारित एक नए तरीके से स्केल करने का समाधान प्रदान करता है:

सीपीयू और जीपीयू प्रोसेसिंग को वेफर-स्केल एक्सेलरेटर जैसे सेरेब्रास सीएस-2 सिस्टम द्वारा प्रतिस्थापित करना। यह परिवर्तन स्वीकार्य कंप्यूट गति प्राप्त करने के लिए आवश्यक कंप्यूट इकाइयों की संख्या को कम करता है।

मॉडल आकार की चुनौती का सामना करने के लिए, हम एक ऐसी सिस्टम आर्किटेक्चर का उपयोग करते हैं जो कंप्यूट को मॉडल स्टोरेज से अलग करता है। एक कंप्यूट सेवा जो सीएस-2 सिस्टम के क्लस्टर (पर्याप्त कंप्यूट बैंडविथ प्रदान करने वाले) से जुड़ी हुई है, जो मॉडल के उपसेट को कंप्यूट क्लस्टर को आवश्यकतानुसार प्रदान करती है। जैसा कि आमतौर पर होता है, एक डेटा सेवा कंप्यूट सेवा को प्रशिक्षण डेटा के बैच प्रदान करती है जैसा कि आवश्यक है।

प्रशिक्षण कार्य को सीएस-2 क्लस्टर में डेटा समांतरता के साथ, प्रति परत प्रशिक्षण के साथ, और स्पार्स वजनों को आवश्यकतानुसार स्ट्रीम किया जाता है, और कंप्यूट सेवा में सक्रियण को बनाए रखने के साथ एक नवाचार मॉडल का उपयोग किया जाता है।

मूर के नियम के अंत के बारे में लगभग एक दशक से डर है, और यह कितने और वर्षों तक चल सकता है, और इसके लिए किस प्रकार के नवाचारों की आवश्यकता है?

मुझे लगता है कि हम सभी जिस प्रश्न से जूझ रहे हैं वह यह है कि क्या मूर का नियम – जैसा कि मूर द्वारा लिखा गया है – मर चुका है। यह दो साल में अधिक ट्रांजिस्टर नहीं है। यह अब चार या पांच साल लेता है। और वे ट्रांजिस्टर वही कीमत पर नहीं आ रहे हैं – वे बहुत अधिक कीमत पर आ रहे हैं। तो प्रश्न यह है कि क्या हम अभी भी मूर के नियम के लाभ प्राप्त कर रहे हैं – जैसा कि लिखा गया है।

जैक डोंगरा, एक प्रमुख कंप्यूटर वास्तुकार, ने हाल ही में एक बातचीत में कहा कि “हम फ्लॉप्स और आई/ओ बनाने में बहुत बेहतर हो गए हैं।” यह वास्तव में सच है। हम चिप पर प्रदर्शन बढ़ाने में अपनी क्षमता की तुलना में ऑफ-चिप डेटा ले जाने में बहुत बेहतर हो गए हैं। सेरेब्रास में, हमें यह सुनकर खुशी हुई, क्योंकि यह हमारे निर्णय को मान्य करता है कि एक बड़ा चिप बनाना और कम चीजों को ऑफ-चिप ले जाना। यह हमें भविष्य में बेहतर प्रदर्शन वाले सिस्टम बनाने के लिए मार्गदर्शन भी प्रदान करता है।

क्या आप सेरेब्रास सिस्टम्स के बारे में और कुछ साझा करना चाहेंगे?

बेहतर या बदतर के लिए, लोग अक्सर सेरेब्रास को “वास्तव में बड़े चिप लोग” श्रेणी में रखते हैं। हम बड़े न्यूरल नेटवर्क के लिए आकर्षक समाधान प्रदान करने में सक्षम रहे हैं, जिससे दर्दनाक वितरित कंप्यूट की आवश्यकता समाप्त हो जाती है। मुझे लगता है कि यह बहुत दिलचस्प है और यही कारण है कि हमारे ग्राहक हमें प्यार करते हैं। 2023 के लिए दिलचस्प डोमेन यह होगा कि कैसे बड़े कंप्यूट को उच्च स्तर की सटीकता के साथ, कम फ्लॉप्स का उपयोग करके किया जाए।

हमारा काम स्पार्सिटी पर एक बहुत ही दिलचस्प दृष्टिकोण प्रदान करता है। हम केवल उस काम पर ध्यान केंद्रित करते हैं जो हमें लक्ष्य रेखा की ओर ले जाता है, और शून्य से गुणा करना एक बुरा विचार है। हम जल्द ही स्पार्सिटी पर एक बहुत ही दिलचस्प पत्र जारी करेंगे, और मुझे लगता है कि आगे देखने में अधिक प्रयास होगा कि कैसे हम इन कुशल बिंदुओं तक पहुंचें, और हम यह कैसे कम शक्ति के लिए करते हैं। और न केवल प्रशिक्षण के लिए कम शक्ति; हम कैसे अनुमान में उपयोग की जाने वाली लागत और शक्ति को कम कर सकते हैं? मुझे लगता है कि स्पार्सिटी दोनों मोर्चों पर मदद करती है।

धन्यवाद इन गहन उत्तरों के लिए, पाठक जो और अधिक जानना चाहते हैं उन्हें सेरेब्रास सिस्टम्स पर जाना चाहिए。