बेन कोस्का, एसएफ टेंसर के संस्थापक और सीईओ – साक्षात्कार श्रृंखला

बेन कोस्का, एसएफ टेंसर के संस्थापक और सीईओ, एक एआई अनुसंधानकर्ता और सिस्टम इंजीनियर हैं जो उच्च-प्रदर्शन कंप्यूट, केर्नल ऑप्टिमाइजेशन और कुशल मॉडल प्रशिक्षण पर अपने काम के लिए जाने जाते हैं। उनकी पृष्ठभूमि कम-स्तरीय एआई बुनियादी ढांचे के विकास, प्रशिक्षण के माध्यम से सुधार, और उन्नत मॉडल विकास के लिए उपकरणों को डिजाइन करने में शामिल है जो भारी इंजीनियरिंग ओवरहेड के बिना सुलभ हैं। वह गति, पोर्टेबिलिटी और विभिन्न हार्डवेयर पर विश्वसनीयता की सीमाओं को धक्का देने वाले सिस्टम बनाने पर ध्यान केंद्रित करते हैं।

एसएफ टेंसर वह कंपनी है जिसका उन्होंने नेतृत्व किया है ताकि उस दर्शन को एक व्यावहारिक मंच में बदला जा सके। यह एक एकीकृत प्रोग्रामिंग मॉडल, एक केर्नल ऑप्टिमाइज़र और एक क्रॉस-क्लाउड ऑर्केस्ट्रेशन लेयर पेश करता है जो वितरित एआई कार्यभार की जटिलता को दूर करने के लिए डिज़ाइन किया गया है। मंच का उद्देश्य इंजीनियरों को एक साफ, हार्डवेयर-एज्नोस्टिक वातावरण प्रदान करना है जहां वे एक बार लिख सकते हैं, कहीं भी तैनात कर सकते हैं और स्वचालित रूप से उच्च प्रदर्शन प्राप्त कर सकते हैं। एसएफ टेंसर का मिशन एआई कंप्यूट को नाटकीय रूप से तेज, प्रबंधन में आसान और विक्रेता लॉक-इन से मुक्त बनाना है।

आपने 19 साल की उम्र में एसएफ टेंसर की स्थापना की, जब आप पहले से ही कई स्टार्टअप्स में इंजीनियरिंग का नेतृत्व कर चुके थे। आपके करियर की इतनी कम उम्र में एआई बुनियादी ढांचे को फिर से बनाने की चुनौती को लेने के लिए आपको क्या प्रेरित किया?

हम जिस समस्या का समाधान कर रहे हैं वह एक ऐसी समस्या है जिसकी मुझे गहरी चिंता है, क्योंकि यह एक ऐसी समस्या है जिसका सामना मैंने स्वयं किया है। जब हमने एसएफ टेंसर के मूल स्टैक को विकसित किया, तो हम वास्तव में एक व्यावसायिक परियोजना पर काम नहीं कर रहे थे, यह एक अकादमिक प्रयास था। हमें कुछ दिलचस्प अनुसंधान करने के लिए एक अनुदान मिला था, लेकिन हमने अपना अधिकांश समय बुनियादी ढांचे और अनुकूलन के साथ जूझते हुए बिताया, अनुसंधान करने के बजाय। हमने पाया कि लोग हमारी अनुसंधान परियोजना के बजाय हमारी बुनियादी ढांचे की तकनीक में अधिक रुचि रखते थे।

एसएफ टेंसर एआई की सबसे कठिन समस्याओं में से एक – एनवीडिया के सीउडीए के वर्चस्व से मुक्त होने का प्रयास कर रहा है। आपने एक प्रणाली को डिजाइन करने के लिए कैसे दृष्टिकोण अपनाया जो वास्तविक हार्डवेयर पोर्टेबिलिटी को प्राप्त कर सकता है बिना प्रदर्शन को समझौता किए?

अंत में, एआई का सार बस गणित है। प्रत्येक मॉडल मूल रूप से गणितीय संचालन का एक सेट है जिसके परिणामों की गणना करने की आवश्यकता है। इसे मुख्य रूप से एक गणितीय समस्या के रूप में मानकर, न कि कंप्यूटर विज्ञान की समस्या के रूप में, हम गणना पर सबसे छोटे सेट के प्रतिबंधों की पहचान कर सकते हैं, फिर उन गणनाओं को मशीन कोड में बदलने के लिए लाखों से अरबों अलग-अलग तरीके उत्पन्न कर सकते हैं, सबसे तेज़ एक को खोज सकते हैं। यह कहना आसान है, लेकिन करना मुश्किल है, क्योंकि हम वास्तव में अरबों अलग-अलग कार्यक्रमों को चलाकर सबसे तेज़ एक को खोज नहीं सकते हैं, इसलिए हमें अपने खोज स्थान को काटने के लिए एक सटीक गणितीय मॉडल तैयार करना था जो एक दिए गए हार्डवेयर के लिए एक दिए गए कार्यक्रम की गति का अनुमान लगा सकता है, जो आज हम जो करते हैं उसे संभव बनाने वाले मुख्य नवाचारों में से एक है।

कंपनी के ब्लॉग में कंपाइलर अनुकूलन और क्रॉस-क्लाउड ऑर्केस्ट्रेशन के आसपास नवाचारों पर प्रकाश डाला गया है। क्या आप बता सकते हैं कि एसएफ टेंसर का दृष्टिकोण पायटॉर्च या जैक्स जैसे मौजूदा फ्रेमवर्क से कैसे अलग है?

हमने इसके बारे में अभी तक एक तकनीकी ब्लॉग नहीं लिखा है, लेकिन हम वास्तव में पायटॉर्च और जैक्स जैसे फ्रेमवर्क का समर्थन करते हैं, जो हमारे स्टैक द्वारा अनुकूलित कोड लिखने की अनुमति देते हैं। जैक्स और पायटॉर्च द्वारा किए गए कई वास्तुकला निर्णय हैं जो उन्हें हमारे स्टैक से अलग करते हैं, लेकिन सबसे महत्वपूर्ण बात यह है कि हम पूरे मॉडल को एक ही गणना के रूप में मानते हैं जिसे हल किया जाना है, न कि अलग-अलग मॉड्यूल जिन्हें अलग-अलग और फिर संयुक्त रूप से अनुकूलित किया जाना है। इस सीमा तक, हम पारंपरिक कंपाइलर अनुकूलन तकनीकों को लागू नहीं करते हैं और प्रत्येक व्यक्तिगत अनुकूलन को लागू करने का प्रयास नहीं करते हैं, बल्कि हम एक खोज स्थान बनाते हैं जिसमें लाखों से अरबों संभावित केर्नल होते हैं और दावा करते हैं कि कोई मानव संभावित रूप से किसी भी दिए गए कोड को सबसे तेज़ में बदलने के लिए नियमों का एक सेट नहीं बना सकता है, इसलिए हमें बस हर संयोजन बनाना होगा और फिर सबसे तेज़ की पहचान करनी होगी।

कई स्टार्टअप्स प्रशिक्षण दक्षता पर केंद्रित हैं, लेकिन आपने “बुनियादी ढांचे का कर” – शोधकर्ताओं को प्रबंधन के बजाय नवाचार के लिए खो दिया गया समय पर जोर दिया है। एसएफ टेंसर इस असंतुलन को कैसे संबोधित करता है?

हम मानते हैं कि दोनों समस्याओं का समाधान किया जाना चाहिए, और हमारे बहुत सारे काम प्रशिक्षण दक्षता को संबोधित करने के लिए जाते हैं, लेकिन सबसे तीव्र समस्या जिसे हम अभी बिना किसी भविष्य के नवाचार पर निर्भर हुए हल कर सकते हैं वह बुनियादी ढांचे का कर है क्योंकि यह एक समस्या है जिसे हमने पहले से ही स्वयं के लिए हल किया है।

आपने प्रशिक्षण लागत में 80% की कमी को प्राप्त करने का उल्लेख किया है। कौन से विशिष्ट अनुकूलन या वास्तुकला नवाचार इसे संभव बनाते हैं?

हमारा पूरा सॉफ्टवेयर स्टैक इस विचार पर आधारित है कि एक खोज-आधारित कंपाइलर हमेशा मानव-निर्मित नियमों को हरा देगा। अब तक, इन कंपाइलरों पर सबसे बड़ा प्रतिबंध यह तथ्य है कि यह संभव नहीं है कि अरबों या甚至 लाखों केर्नल को बेंचमार्क और रैंक किया जाए। इसलिए, हमें एक गणितीय मॉडल बनाने की आवश्यकता थी जो एक दिए गए हार्डवेयर पर एक दिए गए गणना या गणनाओं के सेट के लिए समय का अनुमान लगा सकता है। ऐसा करके, हम अपने खोज स्थान को विस्तारित कर सकते हैं और फिर इसे काट सकते हैं, जो सबसे तेज़ केर्नल को लगातार खोजने के लिए आवश्यक है।

इम्मा प्रोग्रामिंग भाषा के निर्माण में आपकी पृष्ठभूमि एसएफ टेंसर के वास्तुकला और प्रदर्शन और अमूर्तता के प्रति दर्शन को कैसे प्रभावित करती है?

मुझे मत बताएं, लेकिन मैं अभी भी एक कंपाइलर इंजीनियर हूं। मैं हमेशा से चीजों को थोड़ा तेज बनाने के तरीके ढूंढने में रुचि रखता था। इम्मा को विकसित करते समय, हमने चार या पांच बार पूरे कंपाइलर को फेंक दिया; हमने शुरू से शुरू किया, हर बार क्योंकि हम एक अनुकूलन में भाग गए जिसे हम वर्तमान प्रतिबंधों के साथ लागू नहीं कर सकते थे, जिससे हमें प्रणाली को फिर से डिजाइन करने के लिए मजबूर होना पड़ा ताकि यह और भी सामान्य हो, फिर भी जब आवश्यक हो तो निम्न स्तर के अनुकूलन पर गिरने की अनुमति दी। उन सीखने और परिणामी वास्तुकला ने लगभग दो साल की ऐसी चीजें दी हैं जो कई लोगों को लगता है कि छोटे अनुकूलन और गलत दांव हैं, लेकिन जो हमें अब उन प्रणालियों की तुलना में तेजी से पुनरावृत्ति करने और अनुकूलन करने की अनुमति देता है जो सामान्य सिद्धांतों का पालन करती हैं क्योंकि वे मूल रूप से सीपीयू, जीपीयू और एआई मॉडल के लिए नहीं बनाए गए हैं।

आपने 4,000+ जीपीयू पर बड़े पैमाने पर प्रशिक्षण रन के साथ काम किया है – क्या कुछ बड़े सबक सीखे गए जो कंप्यूट का प्रबंधन करने से सीखे गए? 

एक बड़ा सबक यह है कि हार्डवेयर विफलता बहुत अधिक प्रचलित है और बहुत अधिक समस्याग्रस्त है जितना कि कोई सोच सकता है। पारंपरिक कार्यक्रमों और कंपाइलर्स के साथ काम करने में बहुत समय बिताने के बाद, आमतौर पर बोलते हुए, एक कंप्यूटर वही करता है जो उसे बताया जाता है, और यदि कुछ गलत हो जाता है, तो यह लगभग हमेशा कोड लिखने वाले व्यक्ति की गलती है। जीपीयू के साथ, दूसरी ओर, हार्डवेयर विफलता एक सामान्य घटना है, विशेष रूप से वितरित प्रशिक्षण रनों में जो अत्यधिक बड़े क्लस्टर पर होते हैं। इसके साथ ही, यह तथ्य है कि सीपीयू की तुलना में जीपीयू कभी-कभी किसी भी स्पष्ट कारण के बिना घड़ी की गति को कम कर देते हैं, जो पूरे प्रशिक्षण प्रक्रिया को धीमा कर देता है क्योंकि एक चिप धीमी गति से चल रही है।

वाई कॉम्बिनेटर ने तकनीक में कुछ सबसे परिवर्तनकारी बुनियादी ढांचे वाली कंपनियों का समर्थन किया है। इस अनुभव ने एसएफ टेंसर के उत्पाद और दृष्टि को स्केल करने के आपके दृष्टिकोण को कैसे आकार दिया है? 

वाई कॉम्बिनेटर में जाने से पहले मैंने सोचा था कि हम तब जो दांव लगाना चाहते थे वह महत्वाकांक्षी था। कुछ हफ्तों के बाद, हमारी महत्वाकांक्षा की परिभाषा बदल गई थी, और हमने एक और बड़े दांव पर दोगुना किया। दूसरी बात, जो कि मुझे लगता है कि सबसे महत्वपूर्ण है, वह यह है कि समुदाय और सीखने की भावना है जो मुझे लगता है कि मैं लगभग किसी भी कंपनी या व्यक्ति से संपर्क कर सकता हूं और कुछ ही घंटों या दिनों के भीतर सलाह प्राप्त कर सकता हूं, जिसने समस्याओं को हल करने और एक महत्वपूर्ण रूप से अधिक सहयोगी दृष्टिकोण को अपनाने के तरीके को बदल दिया है।

आगे देखते हुए, आपने गैर-एलएलएम मॉडल, रोबोटिक्स और सिंथेटिक डेटा में रुचि व्यक्त की है। ये क्षेत्र आपकी कंपनी के लंबी अवधि के दृष्टिकोण में कैसे फिट होते हैं? 

एलएलएम निश्चित रूप से एक दिलचस्प प्रौद्योगिकी हैं और भविष्य में दुनिया को आकार देने में एक महत्वपूर्ण भूमिका निभाएंगे, लेकिन वे इतने अधिक उन्नत हैं क्योंकि उनके विकास में बहुत पैसा लगाया जा रहा है, और पर्याप्त लोग इस समस्या पर सहयोग कर रहे हैं कि वे khá अनुकूलित हो गए हैं। यदि हम प्रवेश की बाधा को कम कर सकते हैं, तो शोधकर्ताओं को देश और ग्रह भर में अनुसंधान करने की अनुमति दे सकते हैं, यहां तक कि सीमित संसाधनों और अनुकूलन में बहुत कम ज्ञान वाले लोगों को भी संभव है, तो मुझे लगता है कि हम देखेंगे एक पूरी नई पीढ़ी के मॉडल जो एलएलएम के लिए उपयुक्त नहीं हैं क्योंकि वे भौतिक दुनिया के साथ बातचीत करते हैं या क्योंकि वे समस्याएं हैं जो भाषा में ठीक से व्यक्त नहीं की जा सकती हैं।

आपको लगता है कि पांच साल में एआई बुनियादी ढांचे का ढांचा कैसा दिखेगा – और आप एसएफ टेंसर की इस ढांचे में भूमिका को कैसे देखते हैं?

पांच साल में, मुझे उम्मीद है कि कई और कंपनियों ने अपने स्वयं के विशेष चिप्स विकसित और जारी किए होंगे, और शोधकर्ता उन्हें बिना कोड लिखे उपयोग कर पाएंगे जो विशेष रूप से उनके लिए है, आदर्श रूप से बिना यह जानते हुए भी कि वे मौजूद हैं। यह वह भविष्य है जिसकी ओर हम काम कर रहे हैं और जिसमें मुझे विश्वास है कि हम एक महत्वपूर्ण भूमिका निभाएंगे।

साक्षात्कार के लिए धन्यवाद, पाठक जो अधिक जानना चाहते हैं उन्हें एसएफ टेंसर पर जाना चाहिए।