एनएलपी में ट्रांसफॉर्मर मॉडल्स का उदय | टी5, बीईआरटी, और जीपीटी का एक विस्तृत विश्लेषण

प्राकृतिक भाषा प्रसंस्करण (एनएलपी) ने हाल के वर्षों में कुछ सबसे प्रभावशाली सफलता हासिल की है, मुख्य रूप से ट्रांसफॉर्मर आर्किटेक्चर के कारण। ये सफलता न केवल मशीनों की क्षमता को बढ़ाया है ताकि वे मानव भाषा को समझ और उत्पन्न कर सकें, बल्कि उन्होंने विभिन्न अनुप्रयोगों के परिदृश्य को भी पुनः परिभाषित किया है, जो खोज इंजन से लेकर संवादात्मक एआई तक हैं।

ट्रांसफॉर्मर्स के महत्व को पूरी तरह से समझने के लिए, हमें पहले उनके पूर्ववर्ती और नींव के तत्वों पर विचार करना होगा जिन्होंने इस क्रांतिकारी आर्किटेक्चर के लिए आधार तैयार किया।

ट्रांसफॉर्मर्स से पहले की एनएलपी तकनीकें: ट्रांसफॉर्मर्स से पहले की नींव

वर्ड एम्बेडिंग्स: वन-हॉट से वर्ड2वेक तक

पारंपरिक एनएलपी दृष्टिकोण में, शब्दों का प्रतिनिधित्व अक्सर साहित्यिक और किसी भी प्रकार की सेमेंटिक या व्याकरणिक समझ की कमी थी। वन-हॉट एन्कोडिंग इस सीमा का एक प्रमुख उदाहरण है।

वन-हॉट एन्कोडिंग एक प्रक्रिया है जिसमें श्रेणीबद्ध चरों को एक द्विआधारी वेक्टर प्रतिनिधित्व में परिवर्तित किया जाता है जहां केवल एक बिट “हॉट” (1 पर सेट) होती है जबकि अन्य सभी “कोल्ड” (0 पर सेट) होते हैं। एनएलपी के संदर्भ में, शब्दकोश में प्रत्येक शब्द को वन-हॉट वेक्टर्स द्वारा प्रतिनिधित्व किया जाता है जहां प्रत्येक वेक्टर शब्दकोश के आकार का होता है, और प्रत्येक शब्द को एक वेक्टर द्वारा प्रतिनिधित्व किया जाता है जिसमें सभी 0 और शब्दकोश सूची में उस शब्द के सूचकांक पर 1 होता है।

वन-हॉट एन्कोडिंग का उदाहरण

मान लें कि हमारे पास एक छोटा शब्दकोश है जिसमें केवल पांच शब्द हैं: [“king”, “queen”, “man”, “woman”, “child”]। प्रत्येक शब्द के लिए वन-हॉट एन्कोडिंग वेक्टर इस प्रकार दिखेगा:

• “king” -> [1, 0, 0, 0, 0]
• “queen” -> [0, 1, 0, 0, 0]
• “man” -> [0, 0, 1, 0, 0]
• “woman” -> [0, 0, 0, 1, 0]
• “child” -> [0, 0, 0, 0, 1]

गणितीय प्रतिनिधित्व

यदि हम $V$ को हमारे शब्दकोश के आकार के रूप में दर्शाते हैं और wi​ को i-वें शब्द के वन-हॉट वेक्टर प्रतिनिधित्व के रूप में, तो wi​ का गणितीय प्रतिनिधित्व होगा:

wi​=[0,0,…,1,…,0,0] $\text{जहां i-वें स्थिति 1 है और अन्य सभी स्थितियां 0 हैं।}$

वन-हॉट एन्कोडिंग का एक प्रमुख नुकसान यह है कि यह प्रत्येक शब्द को एक अलग इकाई के रूप में मानता है, जिसमें अन्य शब्दों के साथ कोई संबंध नहीं है। इसके परिणामस्वरूप स्पार्स और उच्च-आयामी वेक्टर होते हैं जो शब्दों के बारे में कोई सेमेंटिक या व्याकरणिक जानकारी नहीं देते हैं।

वर्ड2वेक की शुरुआत, जो गूगल की टीम द्वारा 2013 में विकसित की गई थी, एनएलपी में एक महत्वपूर्ण मोड़ थी। वर्ड2वेक ने शब्दों को एक घने वेक्टर स्थान में प्रस्तुत किया, जिसमें वाक्य में उनके संदर्भ के आधार पर शब्दों के बीच संबंधों को सेमेंटिक और व्याकरणिक रूप से पकड़ा गया था।

वन-हॉट एन्कोडिंग के विपरीत, वर्ड2वेक घने वेक्टर उत्पन्न करता है, जो आमतौर पर सैकड़ों आयामों के साथ होते हैं। जो शब्द समान संदर्भ में दिखाई देते हैं, जैसे “king” और “queen”, उनके पास वेक्टर प्रतिनिधित्व होंगे जो वेक्टर स्थान में एक दूसरे के करीब होंगे।

उदाहरण के लिए, मान लें कि हमने एक वर्ड2वेक मॉडल को प्रशिक्षित किया है और अब शब्दों को एक काल्पनिक 3-आयामी स्थान में प्रस्तुत करते हैं (जो वास्तव में 3-आयामी से अधिक होता है लेकिन सरलता के लिए यहां कम आयामों में दिखाया गया है)। एम्बेडिंग (जो आमतौर पर 3-आयामी से अधिक होती हैं लेकिन यहां सरलता के लिए कम आयामों में दिखाई गई हैं) इस प्रकार दिख सकती हैं:

• “king” -> [0.2, 0.1, 0.9]
• “queen” -> [0.21, 0.13, 0.85]
• “man” -> [0.4, 0.3, 0.2]
• “woman” -> [0.41, 0.33, 0.27]
• “child” -> [0.5, 0.5, 0.1]

इन संख्याएं काल्पनिक हैं, लेकिन वे यह दिखाने के लिए हैं कि कैसे समान शब्दों के पास समान वेक्टर होते हैं।

गणितीय प्रतिनिधित्व

यदि हम वर्ड2वेक एम्बेडिंग को vw​ के रूप में दर्शाते हैं और हमारे एम्बेडिंग स्थान में $d$ आयाम हैं, तो vw​ को इस प्रकार प्रस्तुत किया जा सकता है:

vw​=[v1​,v2​,…,vd​] जहां प्रत्येक vi​ एक फ्लोटिंग-पॉइंट संख्या है जो एम्बेडिंग स्थान में शब्द की एक विशेषता का प्रतिनिधित्व करती है।

सेमेंटिक संबंध

वर्ड2वेक यहां तक कि जटिल संबंधों को भी पकड़ सकता है, जैसे कि तुलनाएं। उदाहरण के लिए, वर्ड2वेक एम्बेडिंग द्वारा कब्जा किया गया एक प्रसिद्ध संबंध है:

$\text{वेक्टर(“king”) – वेक्टर(“man”) + वेक्टर(“woman”)}\approx \text{वेक्टर(“queen”)}$

यह संभव है क्योंकि वर्ड2वेक प्रशिक्षण के दौरान शब्द वेक्टर को समायोजित करता है ताकि जो शब्द सामान्य संदर्भ में दिखाई देते हैं वे वेक्टर स्थान में निकटतम स्थिति में हों।

वर्ड2वेक दो मुख्य आर्किटेक्चर का उपयोग करके शब्दों का वितरित प्रतिनिधित्व उत्पन्न करता है: कंटिन्यूअस बैग-ऑफ-वर्ड्स (सीबीओडब्ल्यू) और स्किप-ग्राम। सीबीओडब्ल्यू एक लक्ष्य शब्द को उसके आसपास के संदर्भ शब्दों से पूर्वानुमान लगाता है, जबकि स्किप-ग्राम इसके विपरीत करता है, एक लक्ष्य शब्द से संदर्भ शब्दों का पूर्वानुमान लगाता है। इससे मशीनों को शब्दों के उपयोग और अर्थ को अधिक सूक्ष्म तरीके से समझने में मदद मिली।

क्रमिक मॉडलिंग: आरएनएन और एलएसटीएम

जैसे-जैसे क्षेत्र आगे बढ़ा, ध्यान क्रमिक पाठ को समझने की ओर स्थानांतरित हो गया, जो मशीन अनुवाद, पाठ सारांश, और भावना विश्लेषण जैसे कार्यों के लिए महत्वपूर्ण था। रिकरंट न्यूरल नेटवर्क (आरएनएन) इन अनुप्रयोगों के लिए एक मुख्य स्तंभ बन गए क्योंकि वे क्रमिक डेटा को संभालने में सक्षम थे और एक प्रकार की स्मृति बनाए रख सकते थे।

हालांकि, आरएनएन की अपनी सीमाएं थीं। उन्होंने लंबी दूरी की निर्भरताओं के साथ संघर्ष किया क्योंकि वैनिशिंग ग्रेडिएंट समस्या के कारण, जहां जानकारी लंबे क्रम में खो जाती है, जिससे दूरस्थ घटनाओं के बीच संबंध सीखना मुश्किल हो जाता है।

लंबी शॉर्ट-टर्म मेमोरी नेटवर्क (एलएसटीएम), जो 1997 में सेप्प होचराइटर और जुर्गेन श्मिधुबर द्वारा पेश किए गए थे, ने इस मुद्दे को एक अधिक परिष्कृत आर्किटेक्चर के साथ संबोधित किया। एलएसटीएम में गेट होते हैं जो जानकारी के प्रवाह को नियंत्रित करते हैं: इनपुट गेट, फॉरगेट गेट, और आउटपुट गेट। ये गेट तय करते हैं कि कौन सी जानकारी संग्रहीत की जाती है, अद्यतन की जाती है, या त्याग दी जाती है, जिससे नेटवर्क लंबी दूरी की निर्भरता को बनाए रखने और व्यापक एनएलपी कार्यों पर प्रदर्शन में काफी सुधार करने में सक्षम होता है।

ट्रांसफॉर्मर आर्किटेक्चर

एनएलपी का परिदृश्य 2017 में वासवानी एट अल द्वारा “एटेंशन इज ऑल यू नीड” शीर्षक के एक मील के पत्थर के शोध पत्र के साथ ट्रांसफॉर्मर मॉडल की शुरुआत के साथ काफी हद तक बदल गया। ट्रांसफॉर्मर आर्किटेक्चर आरएनएन और एलएसटीएम के क्रमिक प्रसंस्करण से विचलित होता है और इसके बजाय ‘स्व-ध्यान’ तंत्र का उपयोग करता है जो इनपुट डेटा के विभिन्न भागों के प्रभाव को तौलने के लिए करता है।

ट्रांसफॉर्मर का मूल विचार यह है कि यह पूरे इनपुट डेटा को एक बार में संसाधित कर सकता है, क्रमिक रूप से नहीं। इससे अधिक समानांतरकरण और, परिणामस्वरूप, प्रशिक्षण गति में महत्वपूर्ण वृद्धि होती है। स्व-ध्यान तंत्र मॉडल को पाठ के विभिन्न भागों पर ध्यान केंद्रित करने की अनुमति देता है क्योंकि यह इसे संसाधित करता है, जो शब्दों के बीच संबंधों और संदर्भ को समझने के लिए महत्वपूर्ण है।

ट्रांसफॉर्मर में एन्कोडर और डिकोडर:

मूल ट्रांसफॉर्मर मॉडल, जैसा कि वासवानी एट अल द्वारा “एटेंशन इज ऑल यू नीड” शीर्षक के शोध पत्र में वर्णित है, दो मुख्य भागों में विभाजित है: एन्कोडर और डिकोडर। दोनों भागों में समान संरचना वाली परतें होती हैं लेकिन वे अलग-अलग उद्देश्यों की पूर्ति करती हैं।

एन्कोडर:

• भूमिका: एन्कोडर की भूमिका इनपुट डेटा को संसाधित करना और एक प्रतिनिधित्व बनाना है जो तत्वों (जैसे वाक्य में शब्द) के बीच संबंधों को पकड़ता है। यह ट्रांसफॉर्मर का हिस्सा कोई नई सामग्री नहीं उत्पन्न करता है; यह केवल इनपुट को डिकोडर द्वारा उपयोग किए जाने वाले राज्य में परिवर्तित करता है।
• कार्यक्षमता: प्रत्येक एन्कोडर परत में स्व-ध्यान तंत्र और फीड-फॉरवर्ड न्यूरल नेटवर्क होते हैं। स्व-ध्यान तंत्र प्रत्येक स्थिति को पिछली परत की सभी स्थितियों पर ध्यान केंद्रित करने की अनुमति देता है – इसलिए यह प्रत्येक शब्द के आसपास के संदर्भ को सीखने में सक्षम है।
• संदर्भिक एम्बेडिंग: एन्कोडर का आउटपुट एक वेक्टर श्रृंखला है जो इनपुट अनुक्रम को उच्च-आयामी स्थान में प्रस्तुत करती है। ये वेक्टर अक्सर संदर्भिक एम्बेडिंग के रूप में जाने जाते हैं क्योंकि वे न केवल व्यक्तिगत शब्दों को एन्कोड करते हैं बल्कि वाक्य में उनके संदर्भ को भी एन्कोड करते हैं।

डिकोडर:

• भूमिका: डिकोडर की भूमिका इनपुट डेटा के आधार पर और जो यह पहले से ही उत्पन्न कर चुका है, उसके आधार पर आउटपुट डेटा को क्रमिक रूप से एक-एक करके उत्पन्न करना है। यह टेक्स्ट जेनरेशन जैसे कार्यों के लिए डिज़ाइन किया गया है, जहां जेनरेशन का क्रम महत्वपूर्ण है।
• कार्यक्षमता: डिकोडर परतें भी स्व-ध्यान तंत्र का उपयोग करती हैं, लेकिन वे आगे की स्थितियों पर ध्यान केंद्रित करने से रोकती हैं। इससे यह सुनिश्चित होता है कि किसी विशिष्ट स्थिति के लिए पूर्वानुमान केवल पहले स्थितियों पर निर्भर करता है। इसके अलावा, डिकोडर परतें एन्कोडर के आउटपुट पर ध्यान केंद्रित करने वाला एक दूसरा ध्यान तंत्र शामिल करती हैं, जो इनपुट से संदर्भ को उत्पन्न प्रक्रिया में एकीकृत करता है।
• क्रमिक जेनरेशन क्षमता: यह डिकोडर की क्षमता को संदर्भित करता है जो एक अनुक्रम को एक-एक करके उत्पन्न कर सकता है, जो पहले से ही उत्पन्न किए गए पर निर्माण करता है। उदाहरण के लिए, जब पाठ का उत्पादन किया जाता है, तो डिकोडर एन्कोडर द्वारा प्रदान किए गए संदर्भ और पहले से ही उत्पन्न किए गए शब्दों की श्रृंखला के आधार पर अगले शब्द का पूर्वानुमान लगाता है।

इन दोनों उप-परतें एन्कोडर और डिकोडर में मॉडल की क्षमता के लिए महत्वपूर्ण हैं जो जटिल एनएलपी कार्यों को संभाल सकता है। विशेष रूप से, मल्टी-हेड ध्यान तंत्र मॉडल को अनुक्रम के विभिन्न भागों पर चयनात्मक रूप से ध्यान केंद्रित करने की अनुमति देता है, जो संदर्भ की गहरी समझ प्रदान करता है।

ट्रांसफॉर्मर का उपयोग करने वाले लोकप्रिय मॉडल

ट्रांसफॉर्मर मॉडल की प्रारंभिक सफलता के बाद, विभिन्न कार्यों के लिए नए मॉडलों की एक श्रृंखला विकसित की गई, प्रत्येक में अपनी नवाचार और अनुकूलन थे:

बीईआरटी (बिडायरेक्शनल एन्कोडर रिप्रेजेंटेशन्स फ्रॉम ट्रांसफॉर्मर्स): गूगल द्वारा 2018 में पेश किया गया, बीईआरटी ने संदर्भिक जानकारी को भाषा प्रतिनिधित्व में एकीकृत करने के तरीके को क्रांतिकारी बना दिया। एक बड़े पाठ निगम पर मास्क्ड लैंग्वेज मॉडल और नेक्स्ट सेंटेंस प्रेडिक्शन के साथ प्री-ट्रेनिंग करके, बीईआरटी ने व्यापक एनएलपी कार्यों पर राज्य-of-the-आर्ट परिणाम हासिल किए।

BERT

टी5 (टेक्स्ट-टू-टेक्स्ट ट्रांसफॉर्मर): गूगल द्वारा 2020 में पेश किया गया, टी5 ने सभी एनएलपी कार्यों को एक टेक्स्ट-टू-टेक्स्ट समस्या के रूप में फिर से परिभाषित किया, एक एकीकृत पाठ-आधारित प्रारूप का उपयोग किया। यह दृष्टिकोण मॉडल को विभिन्न कार्यों पर लागू करने की प्रक्रिया को सरल बनाता है, जिसमें अनुवाद, सारांश, और प्रश्न उत्तर शामिल हैं।

T5 Architecture

जीपीटी (जनरेटिव प्री-ट्रेन्ड ट्रांसफॉर्मर): ओपनएआई द्वारा विकसित, जीपीटी मॉडल की श्रृंखला जीपीटी-1 से शुरू हुई और 2023 में जीपीटी-4 तक पहुंची। ये मॉडल विशाल मात्रा में पाठ डेटा पर असुपरवाइज्ड लर्निंग का उपयोग करके प्री-ट्रेन किए जाते हैं और विभिन्न कार्यों के लिए फाइन-ट्यून किए जाते हैं। उनकी सुसंगत और संदर्भिक रूप से प्रासंगिक पाठ उत्पन्न करने की क्षमता ने उन्हें अकादमिक और व्यावसायिक दोनों एआई अनुप्रयोगों में अत्यधिक प्रभावशाली बना दिया है।

GPT Architecture

यहाँ टी5, बीईआरटी, और जीपीटी मॉडलों की विभिन्न आयामों पर एक और विस्तृत तुलना है:

1. टोकनाइजेशन और शब्दकोश

• बीईआरटी: वर्डपीस टोकनाइजेशन का उपयोग करता है और लगभग 30,000 टोकन का शब्दकोश है।
• जीपीटी: बाइट पेयर एन्कोडिंग (बीपीई) का उपयोग करता है और एक बड़े शब्दकोश का आकार है (जैसे जीपीटी-3 में 175,000 शब्दकोश आकार है)।
• टी5: सेंटेंसपीस टोकनाइजेशन का उपयोग करता है जो पूर्व-विभाजित शब्दों की आवश्यकता के बिना पाठ को संसाधित करता है।

2. प्री-ट्रेनिंग उद्देश्य

• बीईआरटी: मास्क्ड लैंग्वेज मॉडलिंग (एमएलएम) और नेक्स्ट सेंटेंस प्रेडिक्शन (एनएसपी)।
• जीपीटी: कॉज़ल लैंग्वेज मॉडलिंग (सीएलएम), जहां प्रत्येक टोकन अगले टोकन की अनुक्रम में भविष्यवाणी करता है।
• टी5: एक शोरिंग उद्देश्य का उपयोग करता है जहां यादृच्छिक पाठ के स्पैन को एक सेंटिनल टोकन से बदल दिया जाता है और मॉडल मूल पाठ को पुनर्निर्माण सीखता है।

3. इनपुट प्रतिनिधित्व

• बीईआरटी: टोकन, सेगमेंट, और पोज़िशनल एम्बेडिंग को मिलाकर इनपुट का प्रतिनिधित्व करता है।
• जीपीटी: टोकन और पोज़िशनल एम्बेडिंग को मिलाता है (कोई सेगमेंट एम्बेडिंग नहीं क्योंकि यह वाक्य-जोड़े कार्यों के लिए डिज़ाइन नहीं किया गया है)।
• टी5: केवल टोकन एम्बेडिंग का उपयोग करता है और ध्यान कार्रवाई के दौरान सापेक्ष पोज़िशनल एन्कोडिंग जोड़ता है।

4. ध्यान तंत्र

• बीईआरटी: पूर्ण पोज़िशनल एन्कोडिंग का उपयोग करता है और प्रत्येक टोकन को बाएं और दाएं दोनों तरफ के सभी टोकन पर ध्यान केंद्रित करने की अनुमति देता है (द्विदिश ध्यान)।
• जीपीटी: पूर्ण पोज़िशनल एन्कोडिंग का भी उपयोग करता है लेकिन ध्यान को केवल पिछले टोकन तक ही सीमित रखता है (एकदिश ध्यान)।
• टी5: पोज़िशनल एम्बेडिंग के बजाय एक ट्रांसफॉर्मर के संस्करण को लागू करता है जो सापेक्ष पोज़िशनल पूर्वाग्रह का उपयोग करता है।

5. मॉडल आर्किटेक्चर

• बीईआरटी: केवल एन्कोडर आर्किटेक्चर के साथ कई ट्रांसफॉर्मर ब्लॉक परतें।
• जीपीटी: केवल डिकोडर आर्किटेक्चर, जो भी कई परतों के साथ है लेकिन उत्पादन कार्यों के लिए डिज़ाइन किया गया है।
• टी5: एन्कोडर-डिकोडर आर्किटेक्चर, जहां दोनों एन्कोडर और डिकोडर ट्रांसफॉर्मर परतों से बने होते हैं।

6. फाइन-ट्यूनिंग दृष्टिकोण

• बीईआरटी: प्री-ट्रेन्ड मॉडल की अंतिम छिपी हुई स्थितियों को डाउनस्ट्रीम कार्यों के लिए अनुकूलित करता है, आवश्यकतानुसार अतिरिक्त आउटपुट परतें जोड़कर।
• जीपीटी: ट्रांसफॉर्मर पर एक रैखिक परत जोड़ता है और डाउनस्ट्रीम कार्य पर उसी कॉज़ल लैंग्वेज मॉडलिंग उद्देश्य का उपयोग करके फाइन-ट्यून करता है।
• टी5: सभी कार्यों को एक पाठ-से-पाठ प्रारूप में परिवर्तित करता है, जहां मॉडल को इनपुट अनुक्रम से लक्ष्य अनुक्रम का उत्पादन करने के लिए फाइन-ट्यून किया जाता है।

7. प्रशिक्षण डेटा और पैमाना

• बीईआरटी: बुक्सकोर्पस और इंग्लिश विकिपीडिया पर प्रशिक्षित।
• जीपीटी: जीपीटी-2 और जीपीटी-3 को इंटरनेट से निकाले गए विविध डेटासेट पर प्रशिक्षित किया गया है, जीपीटी-3 को एक और बड़े निगम पर प्रशिक्षित किया गया है जिसे कॉमन क्रॉल कहा जाता है।
• टी5: “कोलोसल क्लीन क्रॉल कॉर्पस” पर प्रशिक्षित, जो कॉमन क्रॉल का एक बड़ा और स्वच्छ संस्करण है।

8. संदर्भ और द्विदिशता का संचालन

• बीईआरटी: दोनों दिशाओं में संदर्भ को समझने के लिए डिज़ाइन किया गया है।
• जीपीटी: केवल आगे की दिशा में संदर्भ को समझने के लिए प्रशिक्षित (बाएं से दाएं)।
• टी5: एन्कोडर में द्विदिश संदर्भ और डिकोडर में एकदिश संदर्भ को मॉडल कर सकता है, जो अनुक्रम-से-अनुक्रम कार्यों के लिए उपयुक्त है।

9. डाउनस्ट्रीम कार्यों के लिए अनुकूलन

• बीईआरटी: प्रत्येक डाउनस्ट्रीम कार्य के लिए कार्य-विशिष्ट हेड परतों और फाइन-ट्यूनिंग की आवश्यकता होती है।
• जीपीटी: स्वाभाविक रूप से उत्पादक है और न्यूनतम संरचनात्मक परिवर्तनों के साथ विभिन्न कार्यों को प्रॉम्प्ट कर सकता है।
• टी5: प्रत्येक कार्य को एक “पाठ-से-पाठ” समस्या के रूप में मानता है, जिससे यह स्वाभाविक रूप से नए कार्यों के लिए अनुकूलन योग्य हो जाता है।

10. व्याख्या और व्याख्यात्मकता

• बीईआरटी: द्विदिश प्रकृति से समृद्ध संदर्भिक एम्बेडिंग प्रदान करता है लेकिन व्याख्या करना अधिक कठिन हो सकता है।
• जीपीटी: एकदिश संदर्भ अधिक सीधा हो सकता है लेकिन द्विदिश संदर्भ की गहराई का अभाव है।
• टी5: एन्कोडर-डिकोडर फ्रेमवर्क से संसाधित चरणों का स्पष्ट विभाजन प्रदान करता है लेकिन इसकी उत्पादक प्रकृति के कारण विश्लेषण करना जटिल हो सकता है।

ट्रांसफॉर्मर का एनएलपी पर प्रभाव

ट्रांसफॉर्मर ने एनएलपी क्षेत्र को क्रांतिकारी बना दिया है क्योंकि उन्होंने मॉडल को अनुक्रम डेटा को समानांतर रूप से संसाधित करने की अनुमति दी, जिससे बड़े न्यूरल नेटवर्क के प्रशिक्षण में गति और दक्षता में काफी वृद्धि हुई। उन्होंने स्व-ध्यान तंत्र की शुरुआत की, जिससे मॉडल इनपुट डेटा के विभिन्न भागों के महत्व को तौलने में सक्षम हो गया, जो संदर्भ और शब्दों के बीच संबंधों को समझने के लिए महत्वपूर्ण है।

शोध जारी है और ट्रांसफॉर्मर-आधारित मॉडल क्या हासिल कर सकते हैं इसकी सीमाओं को आगे बढ़ाने के लिए। जीपीटी-4 और इसके समकक्ष न केवल पैमाने पर बड़े हैं बल्कि वास्तुकला और प्रशिक्षण विधियों में प्रगति के कारण अधिक कुशल और सक्षम भी हैं। फ़ेव-शॉट लर्निंग जैसी तकनीकें, जहां मॉडल न्यूनतम उदाहरणों के साथ कार्य करते हैं, और अधिक प्रभावी ट्रांसफर लर्निंग के तरीके वर्तमान अनुसंधान के अग्रभाग में हैं।

भाषा मॉडल, जैसे ट्रांसफॉर्मर पर आधारित, डेटा से सीखते हैं जो पूर्वाग्रहों से भरा हो सकता है। शोधकर्ता और पрак्टिशनर सक्रिय रूप से इन पूर्वाग्रहों की पहचान करने, समझने और उन्हें कम करने के लिए काम कर रहे हैं। तकनीकों में क्यूरेटेड प्रशिक्षण डेटासेट से लेकर निष्पक्षता और तटस्थता के लिए प्रशिक्षण के बाद के समायोजन तक शामिल हैं।