GPT-3: Weining Shot Learning voor Taalmodellen?

In de afgelopen jaren heeft de AI- en ML-industrie een meteorische stijging gezien in de ontwikkeling en toepassing van NLP-systemen, aangezien onderzoekers in staat zijn geweest om NLP-praktijken op een zeer flexibele en taakagnostische manier te implementeren voor downstream-overdrachtstaken.

Aanvankelijk waren het enkel-laagsrepresentaties die woordvectoren gebruikten en vervolgens naar de taakspecifieke architectuur werden doorgevoerd. Vervolgens was het de RNN-architectuur die multi-laagsrepresentaties en contextuele status gebruikte om betere representaties te vormen. En meest recentelijk hebben we de overdrachttaalmodellen of vooraf getrainde recurrente modellen die de behoefte aan taakspecifieke architectuur volledig hebben weggenomen door deze netwerken te fijn af te stemmen.

De overdrachttaalmodellen hebben zich bewezen als een belangrijke ommekeer in de NLP-industrie, aangezien ze een enorme vooruitgang hebben geboekt op moeilijke taken zoals het beantwoorden van vragen, leesbegrip of tekstblokken, tekstuele implicatie en veel meer.

Echter, ondanks hun voordelen, hebben overdrachttaalmodellen een belangrijke beperking, namelijk dat ze taakspecifieke fijnafstelling of een taakspecifieke dataset vereisen om de gewenste prestaties op een taak te bereiken. Bovendien vereisen overdrachttaalmodellen ook dat ontwikkelaars de datasets fijn afstemmen op honderdduizenden voorbeelden die specifiek zijn voor een bepaalde taak.

Het spreekt voor zich dat het verwijderen van de behoefte aan een taakspecifieke dataset en taakspecifieke fijnafstelling zeer wenselijk en gunstig zou zijn voor de NLP-industrie om verschillende redenen.

Problemen met bestaande vooraf getrainde overdrachttaalmodellen of recurrente modellen

• Beperking van de praktische toepasbaarheid

Allereerst beperkt de behoefte aan een grote dataset met gelabelde gegevens voor elke taak de toepasbaarheid en praktische bruikbaarheid van de taalmodellen. Taalmodellen vinden hun toepassing in een breed scala aan taken, van het genereren van een kort verhaal tot het corrigeren van grammaticale fouten, tot het genereren van voorbeelden van een concept. Soms is het een moeilijke taak om een grote begeleide dataset met gelabelde gegevens te verzamelen, vooral wanneer het proces moet worden herhaald voor elke afzonderlijke taak.

• Uitbuiten van spurious correlaties in de trainingsgegevens

Beperkingen en smalheid van de trainingsverdeling, in combinatie met de expressiviteit van het model, kunnen leiden tot een fundamentele toename van het potentieel om spurious correlaties in de trainingsgegevens uit te buiten. Het potentieel om de trainingsgegevens uit te buiten kan problemen veroorzaken tijdens de fijnafstelling en het vooraf trainen, omdat de overdrachttaalmodellen zijn ontworpen om een grote hoeveelheid informatie tijdens het vooraf trainen te absorberen.

Bovendien heeft onderzoek naar eerdere modellen aangetoond dat grote modellen niet altijd tot betere resultaten leiden buiten de distributie. Bovendien is het ook aangetoond dat de generalisatie die onder een dergelijk paradigma wordt bereikt, kan leiden tot slechte prestaties, voornamelijk omdat het model zeer specifiek is voor de trainingsgegevens en niet goed presteert in situaties buiten de scope van de trainingsgegevens.

• Vergelijking met menselijk leren

Tenslotte, in vergelijking met overdrachttaalmodellen, hebben mensen geen grote trainingsdataset nodig om de meeste taaltaken te leren. Meestal is een korte instructie in iemands natuurlijke taal of een kleine demonstratie van de taak voldoende voor een mens om de taak te begrijpen en uit te voeren met een zeker niveau van competitiviteit.

De mogelijkheid van mensen om zich aan te passen heeft verschillende praktische voordelen, omdat het hen in staat stelt om tussen verschillende vaardigheden te schakelen of ze te combineren om beter te presteren tijdens een dialect, iets dat buiten de mogelijkheden van de huidige NLP-systemen ligt.

Oplossing van de problemen met meta-leren en GPT-3

Een mogelijke oplossing voor de bovengenoemde uitdagingen is het gebruik van meta-leren, een concept in de moderne ML dat een model in staat stelt om een bredere en grotere set vaardigheden en patronen te ontwikkelen tijdens het trainen, en vervolgens deze geleerde vaardigheden gebruikt om snel aan te passen of de vereiste taak te herkennen.

Meta-leren wordt geïmplementeerd in de taalmodelarchitectuur via een techniek genaamd “in-context leren” die de tekstinput van een vooraf getraind taalmodel gebruikt als taakspecificatie. In het proces wordt het model voorwaardelijk gemaakt op een natuurlijke taalinstructie en kan het zelfs een paar demonstraties gebruiken, en het model wordt vervolgens verwacht om de rest van de taak te voltooien door de volgende stappen te voorspellen.

Het enige grote probleem met meta-leren is dat, hoewel het positief potentieel heeft getoond, het nog steeds inferieur is aan de fijnafstellingaanpak in de natuurlijke taalarchitectuur, en het verdere verbetering nodig heeft om een praktische methode te worden voor het overwinnen van taaltaken.

Naast meta-leren is een andere methode die populariteit wint het vergroten van de capaciteit van transformer-taalmodellen. In de afgelopen jaren hebben overdrachtmodellen een aanzienlijke toename van hun capaciteit gezien, met de RNSS18-model met 100 miljoen parameters, de DCLT18-model met 300 miljoen parameters, de RWC19-model met 1,5 miljard parameters, de SSP19-model met 8 miljard parameters, de RSR19-model met 11 miljard parameters en de TUR20-model met 17 miljard parameters.

Het vergroten van de capaciteit van het model of het vergroten van de parameters heeft historisch gezien geleid tot verbeteringen in tekstsynthese, en er is een indicatie dat logverlies, dat correleert met downstreamtaken, ook een gladde trend van verbetering volgt met de schaal.

Dat brengt ons bij het GPT-3-model, dat meer dan 175 miljard parameters heeft, en toen het werd gelanceerd, was het het overdrachttaalmodel met de hoogste capaciteit. Laten we nu praten over het GPT-3-model.

Inleiding tot het GPT-3-model

Het GPT-3 is een auto-agressief taalmodel met meer dan 175 miljard parameters dat in 2020 door OpenAI is uitgebracht. Het GPT-3 wordt ook geclassificeerd als een groot taalmodel dat, net als zijn voorganger het GPT-2-model, een decoder-only diepe leertransformermodel is dat convolution-architectuur gebruikt om tekstuele gegevens te genereren.

Het GPT-3-model meet zijn eigen context-leren capaciteiten en het GPT-3-model wordt geëvalueerd op meer dan twee dozijn NLP-datasets en meerdere nieuwe taken. Voor elke afzonderlijke taak wordt het GPT-3-model geëvalueerd onder drie voorwaarden,

• Weinig schot leren of in-context leren: Bij weinig schot leren, staat het GPT-3-model toe dat zoveel distributies die goed in het model’s contextwindow passen.
• Een schot leren: Bij een schot leren, staat het model toe dat slechts één demonstratie.
• Nul schot leren: Bij nul schot leren, zijn er geen demonstraties en is er alleen een natuurlijke taalinstructie die aan het model wordt gevoerd.

In het algemeen bereikt het GPT-3-model de gewenste prestaties in nul-schot- en een-schotinstellingen en in de weinig-schotinstelling overtreft het de state-of-the-art-overdrachtmodellen meestal. Bovendien presteert het GPT-3-model goed in een-schot- en nul-schotinstellingen bij natuurlijke taaltaken die zijn ontworpen om op het vliegtuig te testen of snelle aandacht vereisen, zoals het gebruik van nieuwe woorden na een zin, het ontwarren van woorden of het uitvoeren van rekenkundige bewerkingen.

GPT-3-model: benadering

Het GPT-3-model gebruikt een conventionele vooraftrainingsbenadering die bestaat uit model, gegevens en trainen, en het lijkt op het vooraftrainingsproces dat wordt gevolgd door het RWC-19-overdrachttaalmodel. Het GPT-3-model vergroot de modelgrootte, de datasetgrootte, de diversiteit van de dataset en verlengt de trainingsperiode.

Het model gebruikt ook een in-context-lerenbenadering die opnieuw lijkt op de benadering van het RWC-19-model, maar past dingen aan door systematisch verschillende instellingen voor patroonherkenning binnen de context van de dataset te onderzoeken.

Laten we dus beginnen met het onderzoeken van deze instellingen en evalueren hoe het GTP-3-model presteert op verschillende instellingen.

Fijnafstelling

Het fijn afstemmen van het model is de conventionele benadering in overdrachttaalmodellen en deze benadering omvat het bijwerken van de gewichten van een vooraf getraind model door het model te trainen op een begeleide dataset die specifiek is voor de gewenste taak en honderdduizenden gelabelde voorbeelden worden gebruikt tijdens het proces.

De fijnafstellingbenadering is gunstig omdat het sterke prestaties oplevert over meerdere benchmarks. Aan de andere kant is de belangrijkste beperking van het gebruik van de fijnafstellingbenadering dat het een nieuwe en grote dataset vereist voor elke afzonderlijke taak, het potentieel heeft om spurious kenmerken van de trainingsdataset uit te buiten, mogelijk kan leiden tot oneerlijke vergelijking met menselijke prestaties en slechte generalisatie voor uit de distributie.

Het huidige bereik van het GPT-3-model implementeert de fijnafstellingbenadering niet vanwege de taakagnostische prestaties, hoewel fijnafstelling in de toekomst op het GPT-3-model kan worden toegepast.

Weinig schot

Weinig schot is een term die verwijst naar de instelling waarin het GPT-3-model een paar demonstraties van de taak krijgt als voorwaardelijke voorwaarde tijdens de interferentie, maar de gewichten van het model worden niet bijgewerkt. In de weinig-schotinstelling heeft de dataset typisch een voorbeeld met een context en een gewenste voltooiing (bijvoorbeeld een Franse zin en zijn Engelse vertaling). De weinig-schotinstelling geeft het model K voorbeelden van context en voltooiing en geeft het model vervolgens een laatste context en verwacht dat het model de voltooiing zal geven.

Het belangrijkste voordeel van het gebruik van de weinig-schotinstelling is dat het de behoefte aan taakspecifieke gegevens aanzienlijk vermindert en ook het potentieel vermindert om een smalle distributie te leren van een grote dataset die smal is afgestemd. Aan de andere kant is het belangrijkste nadeel van het gebruik van weinig-schotleren dat de resultaten die in de weinig-schotinstelling worden geleverd, niet van hetzelfde niveau zijn en aanzienlijk slechter zijn in vergelijking met andere state-of-the-artmodellen die zijn afgestemd.

Een schot

In de een-schotinstelling krijgt het model slechts één demonstratie en de rest is vergelijkbaar met de weinig-schotinstelling. De reden waarom de een-schotinstelling relevant is in overdrachttaalmodellen is omdat het de manier waarop taken aan mensen worden meegedeeld, het beste benadert. Het is omdat het in de meeste taken gebruikelijk is om één demonstratie van de taak te geven, anders kan het moeilijk zijn om de context van de taak te begrijpen.

Nul schot

In de nul-schotinstelling zijn er geen demonstraties en wordt het model een natuurlijke taalinstructie gegeven die de taak beschrijft. De nul-schotmethode is de meest praktische, robuuste en vermijdt spurious correlaties, maar het is ook de meest uitdagende van de drie instellingen. Het is omdat het in sommige gevallen zelfs voor ons mensen moeilijk kan zijn om de context van een taak te begrijpen zonder eerst een demonstratie te zien.

Niettemin is de nul-schotinstelling voor sommige taken de manier waarop mensen natuurlijke taaltaken het beste uitvoeren.

De bovenstaande figuur vergelijkt de weinig-schot-, een-schot- en nul-schotinstellingen bij het uitvoeren van een natuurlijke taak van het vertalen van een Engelse zin naar het Frans.

GPT-3: modelarchitectuur

Het GPT-3-model gebruikt dezelfde architectuur als die gebruikt in het GPT-2-model en het omvat pre-normalisatie, gemodificeerde initialisatie en reversible tokenisatietechnieken zoals die werden gebruikt op het GPT-model, met uitzondering van het gebruik van een alternatieve strategie voor lokaal gebonden sparse aandachtspatronen en alternerende dichte lagen in de transformerlagen, vergelijkbaar met Sparse Transformer.

Om de afhankelijkheid van de prestaties van het model op de modelgrootte te bestuderen, hebben de ontwikkelaars 8 verschillende modelgroottes getraind die zich uitstrekken over drie verschillende ordes van grootte, van 125 miljoen tot meer dan 175 miljard parameters, de laatste wordt het GPT-3-model genoemd. Eerdere werkzaamheden met betrekking tot LLM-modellen hebben aangetoond dat de schaal van validatieverlies met voldoende trainingsgegevens een gladde machtswet moet zijn als een functie van de grootte. Het trainen van modellen van verschillende groottes stelt ontwikkelaars in staat om de hypothese te testen voor zowel downstream taaltaken als validatieverlies.

De bovenstaande figuur vergelijkt de grootte en architectuur van de 8 verschillende modellen die zijn gebruikt voor de ontwikkeling van GPT-3. Hier definieert n(params) het totale aantal trainable patronen, n(lagen) definieert het totale aantal lagen in het model, d(model) definieert het aantal eenheden in elke laag van de bottleneck en d(hoofd) definieert de dimensies van elke aandachtshoofd. Het contextwindow voor elk model is hetzelfde met 2048 tokens.

Bovendien, om de overdracht van gegevens tussen de knooppunten te minimaliseren, wordt het model verdeeld over de GPU’s langs de diepte en de breedte van de dimensies. De architectuurparameters voor elk model zijn gekozen op basis van computationele efficiëntie en load-balancing om de precisie in de lay-out van modellen over GPU’s te maximaliseren.

Trainingsgegevens

Typisch gebruiken grote taalmodellen datasets die aanzienlijk zijn uitgebreid met recente ontwikkelingen en deze culmineren in de Common Crawl-dataset, die bestaat uit meer dan een triljoen verschillende woorden. De grootte van de dataset is voldoende om het GPT-3-model te trainen zonder meerdere keren op hetzelfde exemplaar bij te werken. Echter, studies en prestatieanalyses geven aan dat licht gefilterde versies of ongefilterde versies van de Common Crawl-dataset een lage kwaliteit hebben in vergelijking met meer gecureerde datasets.

Om het probleem van de gemiddelde kwaliteit van de dataset aan te pakken, hebben ontwikkelaars drie stappen ondernomen om de kwaliteit van de dataset te verbeteren.

1. Ontwikkelaars hebben een versie van de Common Crawl-dataset gedownload en gefilterd op basis van een bereik vergelijkbaar met hoogwaardige referentiecorpora.
2. Ontwikkelaars hebben fuzzy duplicatie uitgevoerd op documentniveau in de dataset in een poging om de integriteit van hun gehouden validatieverzameling te behouden als een effectieve maatstaf voor overfitting en om redundantie te voorkomen.
3. Ontwikkelaars hebben ook hoogwaardige referentiecorpora toegevoegd aan de trainingsgegevens om de Common Crawl-dataset aan te vullen en om de diversiteit van de dataset verder te vergroten.

De volgende figuur toont de definitieve verhouding of mengsel van de datasets die worden gebruikt voor het trainen van het GPT-3-model. De Common Crawl-gegevens bestonden uit meer dan 45 TB aan platte tekst voordat ze werden gefilterd, wat werd teruggebracht tot 570 GB aan gegevens na filtering, een ruwe equivalent van meer dan 400 miljard byte-pair-gecodeerde tokens. Het is de moeite waard om op te merken dat datasets in de trainingsgegevens die als hogerwaardig worden beschouwd, vaker worden bemonsterd dan datasets die worden bemonsterd naar hun grootte. Als gevolg hiervan worden datasets zoals Books2 en Common Crawl minder dan één keer tijdens de training bemonsterd, terwijl de andere datasets meerdere keren worden bemonsterd. Dit stelt het model in staat om een kleine hoeveelheid overfitting te accepteren in ruil voor training op trainingsgegevens met een hogere kwaliteit.

Een aanzienlijke zorg met grote taalmodellen die zijn voorgetraind op een grote hoeveelheid internetgegevens met de capaciteit om een grote hoeveelheid inhoud te memoriseren en te leren, is het potentieel voor besmetting van downstream-taken door hun ontwikkel- of testsets te zien tijdens het vooraf trainen. Om een dergelijke besmetting te verminderen, hebben ontwikkelaars gezocht naar enige overlappingen met de test- en ontwikkelsets van de benchmarks die worden bestudeerd voor GPT-3 en hebben geprobeerd deze overlappingen te verwijderen.

De bovenstaande afbeelding toont de totale rekenkracht die tijdens het trainen van het GPT-3-model wordt gebruikt. Het model gebruikt Scaling Laws for Neural Language Models om veel grotere modellen te trainen op minder tokens dan typisch. Als gevolg hiervan gebruiken zowel GPT-3 als RoBERTa-Large, dat 10 keer kleiner is dan GPT-3, bijna 50 petaflops/dag aan rekenkracht tijdens het vooraf trainen.

Evaluatie

Voor het weinig-schotleren evalueert het model elk voorbeeld in de evaluatiedataset door K voorbeelden willekeurig te trekken uit de trainingsdataset van de taak als voorwaardelijke voorwaarde en deze te beperken met 1 of 2 nieuwe regels, afhankelijk van de taak. Voor Storycloze en LAMBADA trekt het model voorbeelden uit de ontwikkelingsset en evalueert het op de testset vanwege de onbeschikbaarheid van een begeleide trainingsset. Voor Winograd is er slechts één dataset en worden de voorbeelden rechtstreeks uit de dataset getrokken.

K kan elke waarde zijn van 0 tot het maximum aantal dat is toegestaan door het contextwindow van het model, dat n = 2048 is voor alle modellen en dat ongeveer 10 tot 100 voorbeelden past. Grotere waarden van K leiden vaak tot betere resultaten, maar niet altijd, dus wanneer het model een testset en een afzonderlijke ontwikkelset heeft, voert het model een paar waarden van K uit op de ontwikkelset en voert het de beste waarde uit op de testset.

Bovendien, voor taken die het selecteren van een correcte voltooiing uit meerdere opties vereisen, bieden ontwikkelaars K voorbeelden van correctie plus contextvoltooiing en volgen ze dit op door één voorbeeld van context alleen te bieden en de taken worden vervolgens vergeleken op basis van LM-waarschijnlijkheid van elke voltooiing. Voor taken die binaire classificatie vereisen, geven modellen vaak opties met meer semantische en meer betekenisvolle namen en behandelen ze de taak als multiple choice en soms ook als een taak die vergelijkbaar is met die van het RSR-model en -architectuur.

Voor taken die vrije-vormvoltooiing vereisen, gebruikt het model beam search met identieke parameters als die gebruikt in het RSR-kader, met een beam van lengte 4 en een straf van 0,6. Het model wordt vervolgens gescoord met behulp van de F1-overeenkomstscore, exacte overeenkomst of BLEU, afhankelijk van de standaard voor de dataset.

Resultaten

De bovenstaande figuur toont de trainingscurves voor de 8 modellen die in de GPT-3-modelarchitectuur worden gebruikt, zoals beschreven in de vorige secties. Vergelijkbaar met de resultaten van het KMH-taalmodel, volgen de prestaties van het GPT-3-model een juiste wet wanneer de trainingsrekenkracht effectief wordt gebruikt. Er is een kleine afwijking van de wet wanneer de trend wordt uitgebreid met twee extra ordes van grootte. Het kan mensen te binnen schieten dat de verbeteringen in cross-entropieverlies het resultaat zijn van het modelleren van spurious details van de trainingscorpus. Echter, de verbeteringen in cross-entropieverlies leiden tot consistente winst in de algehele prestaties over een breed scala aan NLP-taken.

Voordat de 8 verschillende modellen op een breed scala aan trainingsgegevens worden geëvalueerd, worden de datasets gegroepeerd in 8 verschillende categorieën die vergelijkbare taken vertegenwoordigen. Deze categorieën zijn

1. Evaluatie op traditionele taalmodelleringstaken en taken die lijken op taalmodellering, zoals Cloze-taken of zin/paragraafvoltooiingstaken.
2. Evaluatie op “gesloten-boek” vraagbeantwoordtaken.
3. Evaluatie van de mogelijkheid van het model om tussen talen te vertalen (vooral een-schot en weinig-schot).
4. Evaluatie van de prestaties van het model op Winograd Schema-achtige taken.
5. Evaluatie op datasets die gemeenschappelijke zin of vraagbeantwoording vereisen.
6. Evaluatie op leesbegriptaken.
7. Evaluatie op de SuperGLUE-benchmarksuite.
8. Onderzoek naar NLI.

Taalmodellering, voltooiing en Cloze-taken

In deze sectie wordt de prestatie van het GPT-3-model geëvalueerd op traditionele taalmodelleringstaken en taken die de voorspelling van een enkel woord van belang of het voltooien van een zin, paragraaf of tekststuk vereisen. Laten we deze taken bespreken in een korte detail.

Taalmodellering

Het GPT-3-model berekent de nul-schotverwarring op de PTB- of Penn Tree Bank-dataset. Het model laat Wikipedia-gerelateerde taken weg omdat het al in de trainingsgegevens van het model zit en de één miljard woordenbenchmark wordt ook weggelaten omdat het een aanzienlijke hoeveelheid wrijving van de dataset binnen de trainingsgegevens veroorzaakt. Echter, de PTB-dataset lost deze problemen op omdat het de moderne internet voorafgaat. Het grootste model in de GPT-3-modelarchitectuur bereikt een nieuw SOTA op de PTB-dataset met een opvallende marge van 15 punten en bereikt een verwarring van 20,50.

LAMBADA

De LAMBADA-dataset wordt gebruikt om de modellering van het model te testen op lange-afstandafhankelijkheden in paragrafen of teksten. Het model wordt gevraagd om het laatste woord van een zin te voorspellen na het lezen van de paragraaf voor de context. Bovendien leidt de continue schaal van taalmodellen tot afnemende rendementen op de benchmark.

Het GPT-3-model bereikt 76% nauwkeurigheid op LAMBADA en heeft een winst van meer dan 8% ten opzichte van eerdere modellen. Bovendien toont het LAMBADA-model de flexibiliteit van weinig-schotleren aan, aangezien het het probleem aanpakt op een manier die klassiek is met de dataset. De voltooiing van een zin in LAMBADA is meestal het laatste woord van de zin, maar aangezien een taalmodel niet weet dat het een taalmodel is, wijst het een waarschijnlijkheid toe, niet alleen aan de juiste voltooiing, maar ook aan andere continuaties in de paragraaf.

Bovendien, wanneer de voorbeelden die aan het GPT-3-model worden gegeven, op een bepaalde manier worden gewijzigd, keert het model een nauwkeurigheid van meer dan 86% terug, een toename van meer dan 18% ten opzichte van eerdere modellen. Bovendien geven de resultaten ook aan dat de prestatie van het model in een weinig-schotinstelling evenredig toeneemt met de toename van de modelgrootte. Hoewel deze strategie het kleinste model in de GPT-3-architectuur met 20% vermindert, verbetert het de nauwkeurigheid van het primaire GPT-3-model met 175 miljard parameters met 10%.

Gesloten-boek vraagbeantwoording

Gesloten-boek vraagbeantwoording is een poging om de mogelijkheid van het GPT-3-model te meten om vragen te beantwoorden op basis van brede feitelijke kennis. Omdat dergelijke vragen vaak een grote hoeveelheid mogelijke queries hebben, wordt de taak meestal bereikt met behulp van een informatiefunctie die het model in staat stelt om relevante tekst te vinden in combinatie met het model dat leert om een antwoord te genereren op basis van de opgehaalde tekst en de vraag.

De bovenstaande afbeelding vergelijkt het resultaat voor het GPT-3-model in vergelijking met verschillende modellen en het uitvoeren op verschillende datasets. Op de TriviaQA-dataset bereikt het model een nauwkeurigheidsscore van 64,3% in de nul-schotinstelling, terwijl het een nauwkeurigheidsscore van 68% en 71,2% bereikt in een-schot- en weinig-schotinstellingen respectievelijk.

Het is duidelijk zichtbaar dat het GPT-3-model in de nul-schotinstelling het fijn afgestemde T5-11B-model met meer dan 14% overtreft.

De bovenstaande figuur toont de prestatie van het GPT-3-model, die glad toeneemt met de toename van de modelgrootte. De prestatie geeft aan dat taalmodellen blijven leren van de dataset naarmate hun capaciteit toeneemt.

Slotbeschouwing

Het zou veilig zijn om te zeggen dat GPT-3 een revolutionaire fase was in de LLM-industrie, aangezien GPT-3 hielp om de grenzen van wat een taalmodel kon doen te verleggen. Het waren de ontwikkelingen die door GPT-3 werden gemaakt en de obstakels die door GPT-3 werden overwonnen, die de weg vrijmaakten voor het meest geavanceerde en nauwkeurige grote taalmodel tot op heden, het GPT-4.