क्यों अनुमान लागत प्रशिक्षण से अधिक महत्वपूर्ण है

पिछले दशक में, कृत्रिम बुद्धिमत्ता में प्रशिक्षण पर ध्यान केंद्रित किया गया है। यह सफलता मुख्य रूप से बड़े कम्प्यूटर क्लस्टर, ट्रिलियन-पैरामीटर मॉडल और प्रणालियों को “सोचने” के लिए सिखाने में अरबों डॉलर के निवेश से मिली है। हमने कृत्रिम बुद्धिमत्ता विकास को मुख्य रूप से एक निर्माण परियोजना के रूप में माना है: बुद्धिमत्ता का एक गगनचुंबी इमारत बनाना। लेकिन अब जब यह इमारत बन गई है, तो वास्तविक चुनौती यह है कि उन लाखों लोगों के लिए यह सुनिश्चित करना कि वे इसे एक साथ उपयोग कर सकें जो इसका उपयोग करने की आवश्यकता है। यह कृत्रिम बुद्धिमत्ता शोधकर्ताओं और इंजीनियरों का ध्यान प्रशिक्षण (बुद्धिमत्ता बनाने की क्रिया) से अनुमान (इसका उपयोग करने की क्रिया) की ओर स्थानांतरित करता है। जबकि प्रशिक्षण एक बड़ा, एकमुश्त पूंजी व्यय (कैपेक्स) है, अनुमान एक निरंतर संचालन व्यय (ओपेक्स) है जो अनिश्चितकाल तक जारी रहता है। जब उद्यम मिलियनों उपयोगकर्ताओं को पूरे दिन सेवा देने वाले एजेंटों को तैनात करते हैं, तो वे एक कठोर वास्तविकता का सामना करते हैं: अनुमान केवल “प्रशिक्षण के विपरीत” नहीं है। यह एक मौलिक रूप से अलग, और शायद अधिक कठिन, इंजीनियरिंग चुनौती है।

क्यों अनुमान लागत अधिक महत्वपूर्ण है

इंजीनियरिंग चुनौती को समझने के लिए, आपको पहले अंतर्निहित आर्थिक आवश्यकता को समझना होगा। प्रशिक्षण चरण में, अक्षमता सहनीय है। यदि एक प्रशिक्षण रन तीन सप्ताह के बजाय चार सप्ताह लेता है, तो यह एक परेशानी है। अनुमान में, हालांकि, अक्षमता व्यवसाय के लिए विनाशकारी हो सकती है। उदाहरण के लिए, एक फ्रंटियर मॉडल को प्रशिक्षित करने में $100 मिलियन का खर्च आ सकता है। लेकिन यदि उस मॉडल को 10 मिलियन प्रश्नों का उत्तर देने के लिए प्रतिदिन तैनात किया जाता है, तो यह लागत कुछ महीनों में अनुकूलित नहीं होने पर प्रशिक्षण लागत को पार कर सकती है। यही कारण है कि हम एक बाजार परिवर्तन को देख रहे हैं, जिसमें अनुमान निवेश प्रशिक्षण निवेश से अधिक होने का अनुमान है।

इंजीनियरों के लिए, यह लक्ष्य को बदल देता है। हम अब थ्रूपुट (मैं इस विशाल डेटासेट को कितनी तेजी से संसाधित कर सकता हूं?) के लिए अनुकूलित नहीं कर रहे हैं। हम विलंबता (मैं एकल टोकन को कितनी तेजी से वापस कर सकता हूं?) और समांतरता (मैं एक जीपीयू पर कितने उपयोगकर्ताओं को सेवा दे सकता हूं?) के लिए अनुकूलित कर रहे हैं। प्रशिक्षण चरण में प्रभावी “ब्रूट फोर्स” दृष्टिकोण जो केवल अधिक कम्प्यूट्स जोड़कर काम करता था, यहां काम नहीं करता है। यदि बोतलनेक मेमोरी बैंडविथ है, तो आप विलंबता समस्या पर अधिक एच100 जोड़कर नहीं जा सकते हैं।

मेमोरी दीवार: वास्तविक बोतलनेक

बड़े भाषा मॉडल (एलएलएम) अनुमान के बारे में एक कम ज्ञात सच्चाई यह है कि यह कम्प्यूट से कम अक्सर सीमित होता है; यह मेमोरी से सीमित है। प्रशिक्षण के दौरान, हम बड़े बैचों में डेटा संसाधित करते हैं, जीपीयू के कम्प्यूट इकाइयों को पूरी तरह से उपयोगिता प्रदान करते हैं। अनुमान में, विशेष रूप से वास्तविक समय अनुप्रयोगों जैसे कि चैटबॉट या एजेंटों के लिए, अनुरोध क्रमिक रूप से आते हैं। प्रत्येक टोकन का उत्पादन करने के लिए, मॉडल को अपने अरबों पैरामीटर को हाई-बैंडविथ मेमोरी (एचबीएम) से कम्प्यूट कोर में लोड करना होता है। यह “मेमोरी दीवार” है। यह एक फेरारी इंजन (जीपीयू कोर) को सीमित मेमोरी बैंडविथ (जाम यातायात) में फंसाने जैसा है।

यह चुनौती इंजीनियरिंग टीमों को सिलिकॉन स्तर तक सिस्टम आर्किटेक्चर को पुनः सोचने के लिए प्रेरित कर रही है। यही कारण है कि हम ग्रोक जैसे लीनियर प्रोसेसिंग यूनिट्स (एलपीयू) और विशेषज्ञता न्यूरल प्रोसेसिंग यूनिट्स (एनपीयू) का उदय देख रहे हैं। ये चिप्स एचबीएम बोतलनेक को बायपास करने के लिए बड़ी मात्रा में ऑन-चिप एसआरएएम का उपयोग करके डिज़ाइन किए गए हैं, मेमोरी एक्सेस को एक निरंतर डेटा प्रवाह के रूप में मानते हुए, न कि एक सरल फेच ऑपरेशन के रूप में। सॉफ्टवेयर इंजीनियर के लिए, यह “डिफ़ॉल्ट करने के लिए सीउडीए” युग का अंत संकेत देता है। हमें अब हार्डवेयर-अवेयर कोड लिखना होगा, जो यह समझता है कि डेटा तार के माध्यम से कैसे चलता है।

कृत्रिम बुद्धिमत्ता की नई कुशलता की सीमा

चूंकि हम हमेशा हार्डवेयर को बदल नहीं सकते हैं, इसलिए आगामी इंजीनियरिंग की सीमा सॉफ्टवेयर अनुकूलन में निहित है। यहीं पर कुछ सबसे नवाचारी सफलता वर्तमान में हो रही है। हम तंत्रिका नेटवर्क को कैसे लागू करते हैं और निष्पादित करते हैं, इसे पुनर्परिभाषित करने वाली तकनीकों का पुनरुत्थान देख रहे हैं।

• निरंतर बैचिंग: पारंपरिक बैचिंग एक “बस” के भरने की प्रतीक्षा करती है trước विभाजन, जो देरी का परिचय देती है। निरंतर बैचिंग (वीएलएलएम जैसे फ्रेमवर्क द्वारा पioneered) एक सबवे सिस्टम की तरह काम करता है, जीपीयू प्रोसेसिंग ट्रेन में प्रत्येक पुनरावृत्ति में नए अनुरोधों को जोड़ने या निकालने की अनुमति देता है। यह थ्रूपुट को अधिकतम करता है बिना विलंबता का त्याग किए, एक जटिल अनुसूची समस्या का समाधान करता है जिसके लिए गहरी ओएस-स्तर की विशेषज्ञता की आवश्यकता होती है।

• स्पेक्युलेटिव डिकोडिंग: यह तकनीक एक छोटे, तेज़ और सस्ते मॉडल का उपयोग एक प्रतिक्रिया का मसौदा तैयार करने के लिए करती है, जबकि एक बड़ा, धीमा और अधिक क्षमता वाला मॉडल इसे समांतर में सत्यापित करता है। यह इस तथ्य पर निर्भर करता है कि पाठ की पुष्टि करना कम्प्यूटेशनल रूप से उत्पादन से कम महंगा है।
• केवी कैश प्रबंधन: लंबी बातचीत में, “इतिहास” (की-वैल्यू कैश) तेजी से बढ़ता है, जीपीयू मेमोरी की बड़ी मात्रा की खपत करता है। इंजीनियर अब “पेज्डएटेंशन” लागू कर रहे हैं, एक तकनीक जो ऑपरेटिंग सिस्टम में वर्चुअल मेमोरी पेजिंग से प्रेरित है। यह तकनीक मेमोरी को टुकड़ों में तोड़ती है और इसे गैर-निरंतर रूप से प्रबंधित करती है।

एजेंटिक जटिलता

यदि मानक अनुमान कठिन है, तो एजेंटिक कृत्रिम बुद्धिमत्ता इसे असीम रूप से कठिन बना देती है। एक मानक चैटबॉट राज्यहीन है: उपयोगकर्ता पूछता है, कृत्रिम बुद्धिमत्ता उत्तर देती है, प्रक्रिया समाप्त हो जाती है। एक कृत्रिम बुद्धिमत्ता एजेंट, हालांकि, एक लूप है। यह योजना बनाता है, उपकरणों को निष्पादित करता है, परिणामों का निरीक्षण करता है और पुनरावृत्ति करता है। इंजीनियरिंग के दृष्टिकोण से, यह एक बद्दल है। यह संरचनात्मक परिवर्तन कई मौलिक चुनौतियों को पेश करता है:

1. राज्य प्रबंधन: अनुमान इंजन को एजेंट की सोच प्रक्रिया की “राज्य” को कई चरणों में बनाए रखना होगा, जो अक्सर मिनटों तक चलता है।
2. अनंत लूप: एक अनुमानित फॉरवर्ड पास की तुलना में एक एजेंट एक तर्क लूप में फंस सकता है। संभावित कोड के लिए मजबूत “वाचडॉग” और “सर्किट ब्रेकर” बनाना एक नई क्षेत्र है।
3. परिवर्तनीय कम्प्यूट: एक उपयोगकर्ता प्रश्न एक अनुमान कॉल को ट्रिगर कर सकता है, जबकि दूसरा पचास को ट्रिगर कर सकता है। जब प्रत्येक अनुरोध इतनी चर विचरण लाता है, तो बुनियादी ढांचे को स्वचालित रूप से स्केल करने के लिए एक पूरी तरह से नए वर्ग के ऑर्केस्ट्रेशन तर्क की मांग की जाती है।

हम मूल रूप से “मॉडल की सेवा” से “संज्ञानात्मक संरचनाओं के ऑर्केस्ट्रेशन” में जा रहे हैं।

सामान्य उपकरणों में कृत्रिम बुद्धिमत्ता लाना

अंत में, ऊर्जा और नेटवर्क विलंबता की सीमाएं अनुमान को अंततः एज की ओर धकेलेंगी। हम उम्मीद नहीं कर सकते कि प्रत्येक स्मार्ट लाइट बल्ब, स्वायत्त वाहन या फैक्ट्री रोबोट अपने अनुरोधों को एक डेटा सेंटर के माध्यम से रूट करेगा। यहां इंजीनियरिंग चुनौती संपीड़न है। आप एक मॉडल को कैसे फिट करेंगे जिसने पूरे इंटरनेट से सीखा है, एक चिप पर जो एक उंगली के नाखून से छोटी है, जो एक बैटरी पर चलती है?

संपीड़न जैसी तकनीकें (16-बिट से 4-बिट या यहां तक कि 1-बिट तक सटीकता कम करना) और मॉडल ज्ञान संक्रमण (एक छोटे छात्र मॉडल को एक बड़े शिक्षक मॉडल की नकल करने के लिए सिखाना) मानक अभ्यास बन रही हैं। लेकिन वास्तविक चुनौती इन मॉडलों को अरबों उपकरणों के विखंडित पारिस्थितिकी तंत्र में तैनात करना है, जिनमें एंड्रॉइड, आईओएस, एम्बेडेड लिनक्स, कस्टम सेंसर शामिल हैं, प्रत्येक के अपने हार्डवेयर प्रतिबंध हैं।

नीचे की रेखा

हम कृत्रिम बुद्धिमत्ता के “दिन 2” युग में प्रवेश कर रहे हैं। दिन 1 यह प्रदर्शित करने के बारे में था कि कृत्रिम बुद्धिमत्ता कविता लिख सकती है। दिन 2 इस क्षमता को अधिक विश्वसनीय, सस्ती और सर्वव्यापी बनाने के बारे में है। जो इंजीनियर अगले दशक को परिभाषित करेंगे वे आवश्यक रूप से नए मॉडल आर्किटेक्चर का आविष्कार करने वाले नहीं हैं। वे सिस्टम इंजीनियर, कर्नेल हैकर और बुनियादी ढांचे के वास्तुकार हैं जो एक अरब टोकन प्रति सेकंड की सेवा के बिना बिजली ग्रिड को पिघलाने या कंपनी को दिवालिया करने के बिना सेवा देने का तरीका खोज सकते हैं। कृत्रिम बुद्धिमत्ता अनुमान अब केवल एक रनटाइम विवरण नहीं है। यह उत्पाद है। और इसे अनुकूलित करना अगली बड़ी इंजीनियरिंग चुनौती है।