अवि बाउम, हैलो के सीटीओ – साक्षात्कार श्रृंखला

अवि बाउम, हैलो के सीटीओ, कंपनी के प्रौद्योगिकी दृष्टि और उत्पाद नवाचार का नेतृत्व करते हैं। उन्होंने पहले टेक्सास इंस्ट्रूमेंट्स में वायरलेस कनेक्टिविटी के लिए सीटीओ के रूप में कार्य किया, जिसमें आईओटी और आईआईओटी बाजारों में जुड़े एमसीयू के लिए रणनीतियों को चलाया, और इज़राइल रक्षा बलों में वरिष्ठ वास्तुकला और नेतृत्व भूमिकाओं में कार्य किया।

हैलो एक इस्राइली एआई-चिप कंपनी है, जो स्वायत्त वाहनों, स्मार्ट कैमरों, और रोबोटिक्स जैसे अनुप्रयोगों के लिए उच्च-प्रदर्शन, कम-शक्ति एआई प्रोसेसर विकसित करती है, जो एक व्यापक सॉफ्टवेयर सूट और वैश्विक भागीदार पारिस्थितिकी तंत्र द्वारा समर्थित है।

आप अपने क्षेत्र में क्या आकर्षित किया और आपके प्रारंभिक इंजीनियरिंग अनुभवों ने प्रोसेसर डिजाइन के बारे में आपकी सोच को कैसे आकार दिया?

मेरा करियर पथ मुझे नए बाजारों के क्षेत्र में ले गया। टेक्सास इंस्ट्रूमेंट्स में मेरे कार्यकाल के दौरान, एक सेमीकंडक्टर नेता जिसकी एक लंबी विरासत है, मुझे सिस्टम-स्तरीय डिजाइन और वास्तुकला का नेतृत्व करने का अवसर मिला, और बाद में मैं इस विभाग के सीटीओ के रूप में कार्य किया। इससे मुझे लगातार आगामी प्रौद्योगिकियों का अन्वेषण करने का अवसर मिला, जो भविष्य को आकार देने वाली हैं।

जब हमने 2017 में हैलो की स्थापना की, तो यह स्पष्ट था कि एआई, जो क्लाउड में पनप रहा था, किनारे के उपकरणों के लिए एक सक्षम प्रौद्योगिकी बनने की क्षमता रखता था। इसलिए, हमने इस यात्रा की शुरुआत की।

किनारे पर बढ़ते एआई के साथ, टेरा ऑपरेशन प्रति सेकंड (टीओपीएस) अब प्रोसेसर प्रदर्शन का मूल्यांकन करने के लिए पर्याप्त बेंचमार्क क्यों नहीं है?

टीओपीएस लंबे समय से एआई हार्डवेयर के मूल्यांकन के लिए एक मानक मापदंड रहा है, लेकिन किनारे पर बढ़ते एआई के युग में, यह अब पर्याप्त नहीं है। पारंपरिक मॉडलों की प्रकृति बड़ी मात्रा में डेटा को अर्थपूर्ण अंतर्दृष्टि में अनुवाद करने की है, इसलिए प्रोसेसिंग के लिए आवश्यक कम्प्यूट की मात्रा डेटा की मात्रा के साथ बढ़ती है जिसे प्रोसेस किया जाना है। इन कार्यों के लिए मॉडल आमतौर पर छोटे होते हैं और डेटा की मात्रा जिसे वे संसाधित करते हैं, इसलिए मॉडल पैरामीटर तक पहुंचने के लिए ओवरहेड बैंडविथ नगण्य है।

जनरेटिव मॉडल, हालांकि, बहुत बड़े होते हैं – अरबों पैरामीटर के क्षेत्र में, और इन मामलों में, मेमोरी बैंडविथ एक महत्वपूर्ण कारक बन जाता है।

टीओपीएस पर ध्यान केंद्रित करने के बजाय, यह मूल्यांकन करना महत्वपूर्ण है कि एक प्रोसेसर वास्तविक दुनिया की स्थितियों में कम्प्यूट और मेमोरी को कैसे संतुलित करता है। यह उच्चतम संख्या का पीछा करने के बारे में नहीं है; यह वास्तविक दुनिया की स्थितियों में काम करने के लिए आर्किटेक्चर को ट्यून करने के बारे में है।

किनारे एआई वर्कलोड में, विशेष रूप से एलएलएम और वीएलएम के लिए, मेमोरी बैंडविथ अब कम्प्यूट की तुलना में एक अधिक महत्वपूर्ण बोतलनेक क्यों बन रहा है?

किनारे एआई वर्कलोड के लिए, विशेष रूप से एलएलएम या वीएलएम जैसे मॉडलों के साथ, मेमोरी बैंडविथ तेजी से प्राथमिक बोतलनेक बन रहा है। इन मॉडलों में आमतौर पर 0.5 से 8 अरब पैरामीटर होते हैं, जो ऑन-चिप मेमोरी की क्षमता से अधिक होते हैं और ऑफ-चिप मेमोरी जैसे डीआरएएम तक पहुंच की आवश्यकता होती है। इससे मेमोरी बैंडविथ पर मांग में तेजी से वृद्धि होती है। उदाहरण के लिए, 1 अरब पैरामीटर वाला मॉडल मानक एलपीडीडीआर4एक्स इंटरफेस के साथ ~40 टोकन प्रति सेकंड तक पहुंचा सकता है, लेकिन 4 अरब मॉडल को बनाए रखने के लिए चार गुना बैंडविथ की आवश्यकता होती है। इसके बिना, प्रदर्शन प्रभावित होता है, न कि सीमित कम्प्यूट के कारण, बल्कि प्रोसेसर डेटा को जल्दी से नहीं खिला सकता है। यह कम्प्यूट और मेमोरी के बीच असंतुलन किनारे पर जनरेटिव एआई को तैनात करने में सबसे दबाव वाली चुनौतियों में से एक है। यह आर्किटेक्चर में भी बढ़ जाता है जो परत दर परत गणना करता है, जहां मध्यवर्ती परिणाम भी मेमोरी ट्रैफिक को बढ़ाते हैं और बैंडविथ पर और अधिक दबाव डालते हैं।

वास्तविक दुनिया के किनारे अनुप्रयोगों के लिए डिजाइन करते समय बेंचमार्किंग रणनीति को कैसे पुनःविचार करना चाहिए?

उत्पाद टीमों को टीओपीएस जैसे एकल प्रदर्शन मापदंड पर निर्भर रहने के बजाय एक बेंचमार्किंग रणनीति अपनानी चाहिए जो किनारे पर तैनाती की वास्तविकता को प्रतिबिंबित करती है। इसका मतलब है कि विशिष्ट उपयोग केस को समझना, प्रोसेसर द्वारा संभाले जाने वाले वास्तविक वर्कलोड को पहचानना, और “कार्य बिंदु” की पहचान करना: शक्ति, लागत और विलंबता प्रतिबंधों का संगम। उसके बाद, यह कम्प्यूट और मेमोरी के बीच कैसे बातचीत करता है, इसका मूल्यांकन करने के बारे में है। एक प्रोसेसर जिसमें उच्च टीओपीएस है, लेकिन मेमोरी बैंडविथ सीमित है, तो यह प्रदर्शन नहीं करेगा, और अधिक मेमोरी कम्प्यूट क्षमता की कमी को पूरा नहीं करेगी।

टीमें यह मूल्यांकन करनी चाहिए कि प्रोसेसर क्या धारणा जैसे कार्यों में स्थिर प्रदर्शन प्रदान कर सकता है, संवर्धन और जनरेटिव वर्कलोड, प्रत्येक के साथ बहुत अलग मांगें। लक्ष्य शीर्ष विशिष्टताओं के लिए अनुकूलन नहीं है, बल्कि यह सुनिश्चित करना है कि वास्तविक दुनिया के परिदृश्यों में अपेक्षित उपयोग के मामलों के पूरे सेट में संतुलित प्रदर्शन हो।

यह ‘स्टेराइल’ उपायों से अधिक जटिल दृष्टिकोणों की ओर एक प्राकृतिक बदलाव है जो मुख्यधारा के अन्य आर्किटेक्चर (जैसे एसपीईसी, कोरमार्क, 3डीमार्क, आदि) के साथ हुआ है।

हैलो प्रोसेसर के पीछे आर्किटेक्चर निर्णयों पर शक्ति और लागत प्रतिबंधों का क्या प्रभाव पड़ता है, विशेष रूप से उपभोक्ता-सामना करने वाले किनारे उपकरणों के लिए?

शक्ति और लागत किनारे उपकरणों के लिए एआई प्रोसेसर डिजाइन करते समय दो सबसे परिभाषित प्रतिबंध हैं, विशेष रूप से उपभोक्ता-सामना करने वाले उत्पादों में। कॉम्पैक्ट उपकरणों जैसे आईओटी सेंसर या स्मार्ट होम सहायकों में, शक्ति बजट तंग है, और अक्सर कोई सक्रिय शीतलन नहीं है, इसलिए ऊर्जा दक्षता महत्वपूर्ण है। प्रत्येक अतिरिक्त कम्प्यूट या मेमोरी संसाधन जोड़ने से शक्ति खींचता है और गर्मी बढ़ती है, जो सीधे उपयोगिता और बैटरी जीवन को प्रभावित करती है।

लागत समान रूप से प्रभावशाली है। उपभोक्ता उपकरणों को प्रतिस्पर्धी मूल्य बिंदुओं के भीतर रहना होगा, जिसका अर्थ है कि प्रोसेसर में केवल इतना टीओपीएस और मेमोरी शामिल की जा सकती है इससे पहले कि यह आर्थिक रूप से व्यवहार्य न हो। ये प्रतिबंध कठिन आर्किटेक्चर व्यापार-बंद को मजबूर करते हैं। हैलो में, हम उन डिज़ाइनों को प्राथमिकता देते हैं जो वास्तविक दुनिया के अनुप्रयोगों की जरूरतों को पूरा करने के लिए कम्प्यूट और मेमोरी का सही संतुलन प्रदान करते हैं, सुनिश्चित करते हुए कि किनारे एआई व्यापक उपभोक्ता उत्पादों में व्यवहार्य, कुशल और स्केलेबल है।

आप एक अनुप्रयोग के लिए “कार्य बिंदु” को कैसे परिभाषित करते हैं और यह किनारे एआई तैनाती में इतना महत्वपूर्ण क्यों है?

“कार्य बिंदु” को परिभाषित करना प्रणाली को डिजाइन करते समय सबसे महत्वपूर्ण चरणों में से एक है। यह शक्ति, लागत और विलंबता प्रतिबंधों का संगम है जो एक विशिष्ट तैनाती में वास्तविक रूप से प्राप्त किया जा सकता है। क्लाउड के विपरीत, जहां आप समस्या पर अधिक कम्प्यूट या मेमोरी फेंक सकते हैं, किनारे उपकरणों में एक निश्चित लिफाफे के भीतर संचालित होते हैं। इसका मतलब है कि आपको अनुप्रयोग की वास्तविक आवश्यकताओं के आधार पर जानबूझकर व्यापार-बंद करना होगा। उदाहरण के लिए, एक आईओटी सेंसर ऊर्जा दक्षता पर प्रदर्शन को प्राथमिकता दे सकता है, जबकि एक स्वायत्त प्रणाली अल्ट्रा-लो लेटेंसी की मांग कर सकती है, शक्ति की खींच की परवाह किए बिना। एक बार “कार्य बिंदु” स्थापित हो जाने के बाद, आप मूल्यांकन कर सकते हैं कि क्या प्रोसेसर के पास उस आवश्यकता को पूरा करने के लिए कम्प्यूट और मेमोरी का सही संतुलन है। यह सभी दिशाओं में विशिष्टताओं को अधिकतम करने के बारे में नहीं है; यह सुनिश्चित करने के बारे में है कि वास्तविक दुनिया की स्थितियों में स्थिर, विश्वसनीय प्रदर्शन हो।

आम तौर पर, “कार्य बिंदु” वह जगह है जहां आप चाहते हैं कि प्रमुख प्रदर्शन संकेतक अपने चरम पर हों। ऐसा न करने से सबसे आम उपयोग परिदृश्यों में उपकरण का उपोत्पादक संचालन हो सकता है।

एक सरल उदाहरण के रूप में, आप एक एआई विश्लेषण प्रणाली बना सकते हैं जो बहुत उच्च रिज़ॉल्यूशन पर बहुत कुशल है, लेकिन अगर यह प्रणालियों में तैनात की जाती है जो कभी भी इस रिज़ॉल्यूशन तक नहीं पहुंचती हैं, तो यह अनुकूलन अर्थहीन है।

वीडियो, ऑडियो और भाषा अक्सर आधुनिक उपकरणों में मिलकर आते हैं, तो आप बहुमोडल मॉडलों के पारितोषिक को कैसे देखते हैं?

बहुमोडल मॉडलों के लिए कम्प्यूट और मेमोरी संसाधनों का सावधानीपूर्वक संतुलन आवश्यक है। प्रत्येक मोडल सिस्टम पर अलग तरह से दबाव डालता है: वीडियो कम्प्यूट-गहन है क्योंकि उच्च रिज़ॉल्यूशन और फ्रेम दर के कारण, जबकि भाषा और ऑडियो अधिक कॉम्पैक्ट हैं लेकिन मेमोरी बैंडविथ पर अधिक दबाव डालते हैं।

हम वर्कफ्लो में इन वर्कलोड के बीच कैसे बातचीत होती है, यह देखकर अनुकूलन की ओर बढ़ते हैं और सुनिश्चित करते हैं कि प्रोसेसर को उन्हें एक साथ समर्थन देने के लिए आर्किटेक्चर किया गया है, एक मोडल दूसरे के प्रदर्शन को समझौता किए बिना।

किनारे पर मॉडल का आकार बढ़ने से विलंबता और शक्ति की खपत कैसे जटिल हो जाती है, और सिस्टम-स्तरीय आर्किटेक्चर इस समस्या को हल करने में क्या भूमिका निभाता है?

किनारे पर मॉडल का आकार बढ़ने से विलंबता और शक्ति की खपत को प्रबंधित करना मुश्किल हो जाता है। बड़े मॉडल अधिक ऑफ-चिप मेमोरी पर निर्भर करते हैं, जो ऊर्जा की खपत और विलंबता को बढ़ाते हैं, खासकर जब मेमोरी बैंडविथ एक बोतलनेक बन जाती है। उदाहरण के लिए, 1 अरब पैरामीटर से 4 अरब पैरामीटर तक स्केल करने से बैंडविथ में चार गुना वृद्धि की आवश्यकता होगी – लेकिन व्यवहार में, प्रदर्शन रैखिक रूप से नहीं बढ़ता है क्योंकि बैंडविथ और सिस्टम-स्तरीय प्रतिबंधों के कारण।

यह कम्प्यूट और मेमोरी के बीच संतुलन के बारे में है, न कि केवल उच्च टीओपीएस या बड़ी मेमोरी के बारे में। एक संतुलित डिज़ाइन सुनिश्चित करता है कि कम्प्यूट, मेमोरी और बैंडविथ एक दूसरे के साथ कुशलता से काम करते हैं, बिना किसी एक संसाधन को पूरे सिस्टम को सीमित किए।

हैलो भविष्य के लिए कैसे डिजाइन करता है – एआई मॉडल, वर्कलोड और तैनाती आवश्यकताओं के तेजी से विकास को देखते हुए?

किनारे एआई में भविष्य के लिए डिजाइन करना ऐसे प्रोसेसर बनाने के बारे में है जो विभिन्न विकसित होते वर्कलोड को संभाल सकते हैं। हैलो में, हम संतुलित आर्किटेक्चर पर ध्यान केंद्रित करते हैं जो केवल एक कार्य के लिए नहीं बनाए गए हैं, बल्कि धारणा जैसे कार्यों से लेकर वीएलएम जैसे जनरेटिव मॉडल तक सब कुछ समर्थन कर सकते हैं। प्रत्येक प्रकार के वर्कलोड कम्प्यूट और मेमोरी को अलग तरह से तनाव देता है, इसलिए हम लचीलेपन के लिए डिजाइन करते हैं, बोतलनेक से बचते हैं जब उन्हें स्विच किया जाता है। हम वास्तविक दुनिया की सीमाओं को भी ध्यान में रखते हैं – शक्ति, लागत और विलंबता – विभिन्न अनुप्रयोगों में।

हालांकि, एक आकार सभी को फिट नहीं कर सकता है, और पोर्टफोलियो विशिष्ट अनुप्रयोगों को लक्षित करता है और उपलब्ध बजट के भीतर फिट होने का प्रयास करता है, जैसे कि शक्ति, फॉर्म फैक्टर, और यह एक ‘कार्य बिंदु’ को परिभाषित करता है।

विकासकर्ता पारिस्थितिकी तंत्र किनारे एआई प्रोसेसर के मूल्य को अधिकतम करने में क्या भूमिका निभाता है, और आप हैलो की क्षमताओं का पूरा उपयोग करने के लिए टीमों को कैसे सुनिश्चित करते हैं?

एक प्रोग्राममेबल डिवाइस के रूप में, यह आवश्यक है कि डेवलपर्स के पास प्रोसेसर की क्षमता का अभ्यास करने के लिए आसान उपकरण हों, तैनाती के मार्ग को छोटा करें, और नए उपयोग के मामलों को सक्षम करें। अपने प्रोसेसर के आसपास एक अच्छी तरह से समर्थित वातावरण प्रदान करके, हम टीमों को विभिन्न उपयोग के मामलों में एआई अनुप्रयोगों को जीवन में लाने में मदद करते हैं।

आप उन इंजीनियरों या सीटीओ को क्या सलाह देंगे जो आज एक अगली-पीढ़ी के उत्पाद के लिए अपना पहला एआई एक्सेलरेटर चुन रहे हैं?

परिपक्व परिस्थितियों के साथ, मुझे विश्वास है कि बहुत सारे नवाचार की संभावना है, जो हमें कल्पना को वास्तविक उत्पादों में अनुवाद करने की अनुमति देती है। तेजी से बदलते वातावरण में, एक एक्सेलरेटर चुनना जो तेजी से अवधारणा से तैनाती तक चक्र को सक्षम बनाता है, महत्वपूर्ण है।

साक्षात्कार के लिए धन्यवाद, पाठक जो अधिक जानना चाहते हैं उन्हें हैलो पर जाना चाहिए।