GPT-3: Model de învățare a limbii puține fotografii?

În ultimii câțiva ani, industria AI și ML a asistat la o creștere fulgerătoare în dezvoltarea și aplicarea sistemelor NLP, deoarece cercetătorii au reușit să implementeze practicile NLP în moduri extrem de flexibile și independente de sarcini pentru sarcinile de transfer în aval. 

Inițial, reprezentările cu un singur strat au fost cele care au folosit vectori de cuvinte și au fost apoi introduse în arhitectura specifică sarcinii. Apoi, arhitectura RNN a folosit reprezentări multi-strat și stare contextuală pentru a forma reprezentări mai bune. Și, cel mai recent, avem modele de limbaj de transfer sau modele recurente pre-antrenate care au eliminat complet nevoia de arhitecturi specifice sarcinilor prin reglarea fină a acestor rețele. 

Modelele de limbaj de transfer s-au dovedit a fi un punct de cotitură major în industria NLP, deoarece au avut ca rezultat un progres uriaș în sarcini dificile, cum ar fi răspunsul la întrebări, citirea de înțelegeri sau blocuri de text, implicarea textuală și multe altele. 

Cu toate acestea, în ciuda avantajelor lor, modelele de limbaj de transfer au o limitare majoră, deoarece necesită o reglare fină specifică sarcinii sau un set de date specific unei sarcini pentru a obține performanța dorită pentru o sarcină. În plus, modelele de limbă de transfer necesită, de asemenea, dezvoltatorilor să ajusteze seturile de date la sute de mii de exemple specifice unei anumite sarcini. 

Este de la sine înțeles că eliminarea cerinței pentru un set de date specific sarcinii și reglarea precisă a sarcinii vor fi extrem de dezirabile și benefice pentru industria NLP din numeroase motive. 

Probleme cu modelele existente de limbi de transfer pregătite anterior sau modelele recurente

• Limitarea caracterului practic și aplicabilității

În primul rând, cerința unui set de date mare cu date etichetate pentru fiecare sarcină limitează aplicabilitatea și caracterul practic al modelelor de limbaj. Modelele lingvistice își găsesc aplicațiile într-o mare varietate de sarcini, de la generarea unei nuvele, la corectarea erorilor gramaticale, la generarea de exemple pe un concept. Uneori, este o sarcină dificilă să colectezi un set mare de date supravegheate cu date etichetate, mai ales atunci când procesul trebuie repetat pentru fiecare sarcină individuală. 

• Exploatarea corelațiilor false în datele de antrenament

Limitările și restrângerea distribuției antrenamentului, împreună cu expresivitatea modelului, pot duce la o creștere fundamentală a potențialului de exploatare a corelațiilor false în datele de antrenament. Potențialul de a exploata datele de antrenament poate duce la probleme în timpul paradigmei de reglare fină și pre-formare, deoarece modelele de limbaj de transfer sunt concepute astfel încât să absoarbă o cantitate mare de informații în timpul pre-training. 

În plus, lucrările pe modelele anterioare au indicat că modelele mari nu duc la o mai bună distribuție de fiecare dată. Mai mult, s-a indicat, de asemenea, că generalizarea realizată sub o astfel de paradigmă poate duce la o performanță slabă, în primul rând deoarece modelul este foarte specific datelor de antrenament și nu poate funcționa bine în situații dincolo de sfera datelor de antrenament. 

• Comparație cu învățarea umană

În cele din urmă, în comparație cu modelele de transfer lingvistic, oamenii nu au nevoie de un set mare de date de antrenament atunci când vine vorba de învățarea majorității sarcinilor lingvistice. Cel mai adesea, o scurtă directivă în limba naturală a unei persoane sau o mică demonstrație a sarcinii lingvistice este adecvată pentru ca un om să înțeleagă și să realizeze o sarcină lingvistică cu un anumit nivel de competitivitate. 

Capacitatea omului de a se adapta are numeroase avantaje practice, deoarece le permite fie să comute între diferite seturi de abilități, fie să le amestece împreună pentru a performa mai bine în timpul unui dialect, ceva care depășește capacitățile sistemelor actuale NLP. 

Abordarea problemelor cu Meta Learning și GPT-3

O posibilă soluție la provocările de mai sus este utilizarea meta-învățării, un concept în ML modern care permite unui model să dezvolte un set mai larg și mai larg de abilități și abilități de a recunoaște tipare în timpul antrenamentului și apoi utilizează aceste abilități învățate în timpul interferenței pentru a se adapta. rapid sau recunoașteți sarcina necesară. 

Meta Learning este implementat în arhitectura modelului lingvistic printr-o tehnică numită „învăţare în context” care utilizează introducerea textului unui model de limbă pre-antrenat ca specificație a sarcinii. În acest proces, modelul condiționează o instrucțiune în limbaj natural și ar putea folosi chiar câteva demonstrații, iar modelul este apoi de așteptat să finalizeze restul sarcinii prin prezicerea pașilor următori. 

Singura problemă majoră cu Meta Learning este că, deși a arătat un potențial pozitiv, este încă inferioară abordării de reglare fină în arhitectura limbajului natural și are nevoie de îmbunătățiri suplimentare pentru a deveni o metodă practică de depășire a sarcinilor lingvistice. 

Pe lângă meta-învățare, o altă metodă care câștigă popularitate este creșterea capacității modelelor de limbaj transformator. În ultimii ani, modelele de transfer au înregistrat o creștere substanțială a capacității lor cu RNSS18 model cu 100 de milioane de parametri, the DCLT18 model cu 300 de milioane de parametri, the RWC19 model cu 1.5 miliarde de parametri, the SSP19 model cu 8 miliarde de parametri, the RSR19 model cu 11 miliarde de parametri, iar TUR20 model cu 17 miliarde de parametri. 

Creșterea capacității modelului sau creșterea parametrilor a dus, în mod istoric, la îmbunătățiri în sinteza textului și a existat un indiciu că pierderea jurnalului, care se corelează cu sarcinile din aval, urmează, de asemenea, o tendință lină de îmbunătățire odată cu scara. 

Asta ne aduce la modelul GPT-3 care are peste 175 de miliarde de parametri, iar când a fost lansat, a fost modelul de limbaj de transfer cu cea mai mare capacitate. Să vorbim acum despre modelul GPT-3. 

O introducere în modelul GPT-3

GPT-3 este un model de limbaj autoagresiv cu peste 175 de miliarde de parametri care a fost lansat de OpenAI în 2020. GPT-3 este, de asemenea, clasificat ca un model de limbaj mare că, la fel ca și predecesorul său, modelul GPT-2 este un model de transformator de învățare profundă numai pentru decodor care utilizează arhitectura bazată pe convoluție pentru a genera date textuale. 

Modelul GPT-3 măsoară propriile abilități de învățare a contextului, iar modelul GPT-3 este evaluat pe peste două duzini de seturi de date NLP și mai multe sarcini noi. Pentru fiecare sarcină individuală, modelul GPT-3 este evaluat în trei condiții,

• Învățare cu câteva fotografii sau învățare în context: În câteva fotografii de învățare, modelul GPT-3 permite cât mai multe distribuții care se pot potrivi bine în fereastra de context a modelului. 
• Învățare într-o singură lovitură: Într-un singur shot, modelul permite o singură demonstrație. 
• Învățare zero shot: În învățarea zero shot, nu există demonstrații și există doar o instrucțiune în limbaj natural care este transmisă modelului. 

În linii mari, Model GPT-3 atinge performanța dorită în setările zero-shot și one-shot, iar în setarea cu câteva lovituri, depășește de cele mai multe ori modelele de transfer de ultimă generație. În plus, modelul GPT-3 funcționează bine în setări one-shot și zero-shot la sarcini de limbaj natural concepute pentru a testa raționamentul din zbor sau necesită o atenție rapidă, cum ar fi folosirea de cuvinte noi după o propoziție, dezordonarea cuvintelor sau efectuarea aritmeticii. operațiuni. Pe de altă parte, atunci când este operat într-un cadru de câteva fotografii, modelul GPT-3 generează articole de știri sintetice care seamănă cu scrisul uman atunci când sunt transmise de evaluatori umani. 

Model GPT-3: Abordare

Modelul GPT-3 folosește o abordare convențională de pre-formare care cuprinde model, date și antrenament și seamănă cu procesul de pre-antrenament urmat de modelul de limbaj de transfer RWC-19. Modelul GPT-3 mărește dimensiunea modelului, dimensiunea setului de date, diversitatea setului de date și crește durata perioadei de antrenament. 

Modelul folosește, de asemenea, o abordare de învățare în context, care seamănă din nou cu abordarea modelului RWC-19, dar modifică puțin lucrurile prin explorarea sistematică a diferitelor setări pentru modelele de învățare în contextul setului de date. 

Deci, să începem prin a explora aceste setări și să evaluăm modul în care modelul GTP-3 funcționează în diferite setări. 

Reglaj fin

Reglarea fină a modelului a fost abordarea convențională în transfer modele de limbaj, iar această abordare implică actualizarea ponderilor unui model pre-antrenat prin antrenarea modelului pe un set de date supravegheat care este specific sarcinii dorite, iar în timpul procesului sunt folosite sute de mii de exemple etichetate. 

Abordarea de reglare fină este benefică, deoarece returnează performanțe puternice în numeroase benchmark-uri. Pe de altă parte, principala limitare a utilizării abordării de reglare fină este că necesită un set de date nou și mare pentru fiecare sarcină individuală, are potențialul de a exploata caracteristici false ale setului de date de antrenament și poate duce la o comparație nedreaptă cu performanța umană. , și generalizare slabă pentru out-of-distribution. 

Domeniul actual de aplicare al modelului GPT-3 nu implementează abordarea de reglare fină din cauza performanței sale independente de sarcini, deși reglarea fină poate fi aplicată modelului GPT-3 în viitor. 

Puțini Shot

Few Shot este un termen care se referă la setarea în care modelului GPT-3 i se oferă câteva demonstrații ale sarcinii în timpul interferenței ca condiționare, dar ponderile modelului nu sunt actualizate. În cele câteva setări de fotografiere, setul de date are de obicei un exemplu cu un context și o completare dorită (de exemplu, o propoziție în franceză și traducerea sa în engleză). Setarea de câteva fotografii oferă modelului K exemple de context și completare, iar apoi oferă modelului un context final și se așteaptă ca modelul să ofere completarea. 

Avantajul major al utilizării setării pentru câteva fotografii este că reduce semnificativ nevoia de date specifice sarcinii și, de asemenea, reduce potențialul de a învăța o distribuție restrânsă dintr-un set de date mare care este reglat fin. Pe de altă parte, dezavantajul major al utilizării învățării cu puține lovituri este că rezultatele obținute în setarea cu câteva lovituri nu sunt la îndemână și sunt semnificativ slabe în comparație cu alte modele de ultimă generație care sunt reglate fin. 

One Shot

În setarea one shot, modelul este furnizat doar cu o singură demonstrație, iar restul este similar cu setarea cu câteva shot-uri. Motivul pentru care setarea one shot este relevantă în modelele de limbaj de transfer este că, dintre toate cele trei setări, o singură lovitură este cea care seamănă cel mai bine cu modul în care sarcinile sunt comunicate oamenilor. Se datorează faptului că, în majoritatea sarcinilor, este obișnuit să oferiți o demonstrație a sarcinii, altfel ar putea fi dificil de înțeles contextul sarcinii. 

Zero Shot

În setarea zero shot, nu există demonstrații, iar modelului i se oferă o instrucțiune în limbaj natural care descrie sarcina. Metoda zero shot este cea care oferă confort maxim, este robustă și, de asemenea, evită corelațiile false, dar este și cea mai dificilă dintre toate cele trei setări. Pentru că, în unele cazuri, este dificil chiar și pentru noi, oamenii, să ne dăm seama de contextul unei sarcini fără a vedea mai întâi o demonstrație. 

Indiferent, pentru unele sarcini, setarea zero-shot este cea care seamănă cel mai aproape cu modul în care oamenii efectuează sarcinile de limbaj natural. 

Figura de mai sus compară setările de câteva lovituri, de o singură lovitură și de zero atunci când efectuați o sarcină în limbaj natural de a lua o propoziție în engleză și de a o traduce în franceză. 

GPT-3: Arhitectura modelului

Modelul GPT-3 utilizează aceeași arhitectură ca cea utilizată în modelul GPT-2 și include tehnici de pre-normalizare, inițializare modificată și tokenizare reversibilă așa cum au fost utilizate pe modelul GPT, cu excepția utilizării unei alternative alternative. strategie pentru modele de atenție rară cu benzi locale și straturi dense alternante în straturile transformatorului, similar cu Transformatorul rar. 

Pentru a studia dependența performanței modelului de dimensiunea modelului, dezvoltatorii au antrenat 8 dimensiuni diferite de model care variază pe trei ordine de mărime diferite de la 125 milioane până la peste 175 miliarde de parametri, ultimul dintre ei fiind numit model GPT-3. . Lucrările anterioare legate de modelele LLM au indicat că scalarea pierderii de validare cu o cantitate suficientă de date de antrenament ar trebui să fie o lege aproximativă a puterii fluide în funcție de dimensiune. Modelele de instruire de diferite dimensiuni le permit dezvoltatorilor să testeze ipoteza atât pentru sarcini de limbaj din aval, cât și pentru pierderea validării. 

Figura de mai sus compară dimensiunea și arhitectura celor 8 modele diferite utilizate pentru dezvoltarea GPT-3. Aici, n(params) definește numărul total de modele antrenabile, n(straturi) definește numărul total de straturi din model, d(model) definește numărul de unități din fiecare strat al blocajului și d(head) definește dimensiunile fiecărui cap de atenție. Fereastra de context pentru fiecare model este aceeași cu 2048 de jetoane. 

În plus, pentru a minimiza transferul de date între noduri, modelul este împărțit pe GPU-uri de-a lungul adâncimii și lățimii dimensiunilor. Parametrii arhitecturali pentru fiecare model au fost aleși pe baza eficienței de calcul și a echilibrării sarcinii pentru a maximiza precizia în aspectul modelelor pe GPU-uri. 

Seturi de date de instruire

De obicei, modelele mari de limbaj utilizează seturi de date care s-au extins semnificativ odată cu evoluțiile recente și culminează cu setul de date Common Crawl, care constă din peste un trilion de cuvinte diferite. Dimensiunea setului de date este suficient de adecvată pentru a antrena modelul GPT-3 fără a fi actualizat de mai multe ori pe aceeași secvență. Cu toate acestea, studiile și analiza performanței indică faptul că versiunile ușor filtrate sau versiunile nefiltrate ale setului de date Common Crawl au o calitate scăzută în comparație cu setul de date mai curat. 

Pentru a aborda problema calității medii a setului de date, dezvoltatorii au făcut 3 pași pentru a crește calitatea setului de date. 

1. Dezvoltatorii au descărcat și au filtrat o versiune a setului de date Common Crawl pe baza unui interval similar cu corpurile de referință de înaltă calitate. 
2. Dezvoltatorii au efectuat o duplicare neclară la nivel de document în setul de date în încercarea de a păstra integritatea setului lor de validare păstrat ca măsură eficientă a supraadaptării și, de asemenea, pentru a preveni redundanța. 
3. Dezvoltatorii au adăugat, de asemenea, corpuri de referință de înaltă calitate la datele de instruire pentru a spori setul de date Common Crawl și pentru a crește și mai mult diversitatea setului de date. 

Următoarea figură arată proporția finală sau amestecul de seturi de date utilizate pentru antrenamentul modelului GPT-3. Datele Common Crawl constau în peste 45 TB de text simplu înainte de filtrare, care au fost reduse la 570 GB de date după filtrare, un echivalent aproximativ a peste 400 de miliarde de jetoane codificate în perechi de octeți. Este demn de remarcat faptul că seturile de date din instruire care sunt considerate de calitate superioară sunt eșantionate cu mai multă frecvență în loc să eșantioneze setul de date proporțional cu dimensiunea lor. Ca rezultat, seturi de date precum Books2 și Common Crawl sunt eșantionate de mai puțin de o dată în timpul antrenamentului, în timp ce celelalte seturi de date sunt eșantionate de mai multe ori. Permite modelului să accepte o cantitate mică de supraadaptare în schimbul instruirii privind datele de antrenament cu o calitate superioară. 

O preocupare semnificativă în ceea ce privește modelele de limbaj mari care sunt pre-instruite pe o cantitate mare de date de pe internet, cu capacitatea de a memora și de a învăța o cantitate mare de conținut, este potențiala contaminare a sarcinilor din aval prin dezvoltarea lor sau seturile de testare văzute în timpul pre- procesul de instruire. Pentru a reduce o astfel de contaminare potențială, dezvoltatorii au căutat orice suprapuneri cu seturile de testare și dezvoltare ale benchmark-urilor studiate pentru GPT-3 și au încercat să elimine aceste suprapuneri. 

Imaginea de mai sus arată calculul total utilizat în timpul antrenamentului modelului GPT-3. Modelul folosește legile de scalare pentru modelele de limbaj neuronal pentru a antrena modele mult mai mari pe mai puține jetoane decât în ​​mod obișnuit. Ca rezultat, atât modelul GPT-3, cât și modelul RoBERTa-Large, care este de 10 ori mai mic decât modelul GPT-3, au luat aproape 50 de petaflopi/zi de calcul în timpul procesului de pre-antrenament. 

Evaluare

Pentru învățarea cu câteva lovituri, modelul evaluează fiecare exemplu prezent în setul de date de evaluare prin extragerea aleatorie de K exemple din setul de date de antrenament al sarcinii respective ca condiționare și îl delimitează cu 1 sau 2 linii noi, în funcție de sarcină. Pentru Storycloze și LAMBADA, modelul desenează exemple de condiționare din setul de dezvoltare și îl evaluează pe setul de testare din cauza indisponibilității unui set de antrenament supravegheat. Pentru Winograd, există un singur set de date, astfel încât mostrele de condiționare sunt extrase direct din acesta. 

K poate fi orice valoare cuprinsă între 0 și valoarea maximă permisă de fereastra de context a modelului care este next = 2048 pentru toate modelele și se potrivește de obicei aproximativ 10 până la 100 de exemple. Valorile mai mari ale lui K duc adesea la rezultate mai bune, dar nu întotdeauna, motiv pentru care atunci când modelul are un set de testare și un set de dezvoltare separat disponibil, modelul experimentează pe câteva valori ale K din setul de dezvoltare și pe baza rezultatelor. , rulează cea mai bună valoare pe setul de testare. 

În plus, în ceea ce privește sarcinile care necesită selectarea unei finalizari corecte dintre mai multe opțiuni, dezvoltatorii oferă K exemple de corecție plus completarea contextului și le urmăresc oferind doar un exemplu de context, iar sarcinile sunt apoi comparate pe baza probabilității LM. de fiecare completare. Pentru sarcinile care necesită clasificare binară, modelele oferă adesea opțiuni mai semantic și cu nume mai semnificative, apoi tratează sarcina ca opțiune multiplă și, uneori, încadrează sarcina similar cu ceea ce este realizat de modelul și arhitectura RSR. 

Pentru sarcinile care necesită finalizare în formă liberă, modelul folosește căutarea fasciculului cu parametri identici ca cei utilizați în cadrul RSR, cu un fascicul de lungime 4 și o penalizare de 0.6. Modelul este apoi punctat folosind fie scorul de similaritate F1, potrivirea exactă, fie BLEU, în funcție de standardul pentru setul de date. 

REZULTATE

Figura de mai sus afișează curbele de antrenament pentru cele 8 modele utilizate în arhitectura modelului GPT-3, așa cum este descris în secțiunile anterioare. Similar cu rezultatele modelului de limbaj KMH, performanța modelului GPT-3 urmează o lege adecvată atunci când se utilizează eficient calculul de antrenament. Există o ușoară diferență față de lege doar atunci când tendința este extinsă cu încă două ordine de mărime. Oamenilor le-ar putea trece prin minte că îmbunătățirile în pierderea de entropie încrucișată ar putea fi rezultatul modelării detaliilor false ale corpusului de antrenament. Cu toate acestea, îmbunătățirile în pierderea de entropie încrucișată duc la câștiguri consistente în performanța generală într-un spectru larg al unei varietăți de sarcini NLP. 

Înainte de a evalua cele 8 modele diferite pe o gamă largă de date de antrenament, seturile de date sunt grupate în 8 categorii diferite care reprezintă sarcini similare. Aceste categorii sunt

1. Evaluare pe sarcinile tradiționale de modelare a limbajului și sarcinile care seamănă cu modelarea limbajului, cum ar fi sarcinile Cloze sau sarcinile de completare a propozițiilor/paragrafelor. 
2. Evaluare pe sarcini de răspuns la întrebări „în carte închisă”. 
3. Evaluarea capacității modelului de a traduce între limbi (în special one-shot și few-shot)
4. Evaluarea performanței modelului pe sarcini de tip Winograd Schema. 
5. Evaluarea seturilor de date care implică raționament de bun simț sau răspunsuri la întrebări. 
6. Evaluarea sarcinilor de înțelegere a cititului. 
7. Evaluare pe suita de benchmark SuperGLUE. 
8. Explorarea NLI. 

Modelarea limbajului, finalizarea și închiderea sarcinilor

În această secțiune, performanța modelului GPT-3 este evaluată pe sarcinile tradiționale de modelare a limbajului, precum și sarcinile care necesită predicția unui singur cuvânt de interes, sau completarea unui paragraf sau a unei propoziții sau completarea unei părți dintr-un text. Să le discutăm pe scurt în detaliu. 

Modelarea limbajului

Modelul GPT-3 calculează perplexitatea zero-shot pe PTB sau setul de date Penn Tree Bank. Modelul omite sarcinile legate de Wikipedia, deoarece este deja inclus în datele de antrenament ale modelului, iar benchmark-ul de un miliard de cuvinte este, de asemenea, omis, deoarece provoacă o cantitate semnificativă de frecare a setului de date în cadrul datelor de antrenament. Cu toate acestea, setul de date PTB abordează aceste probleme, deoarece poate precede internetul modern. Cel mai mare model din arhitectura modelului GPT-3 introduce noul SOTA pe setul de date PTB cu o marjă demnă de remarcat de 15 puncte și atinge o perplexitate de 20.50. 

LAMBADA

Setul de date LAMBADA este folosit pentru a testa modelarea modelului pe dependențe pe termen lung în paragrafe sau texte. Înseamnă că modelului i se cere să prezică ultimul cuvânt al unei propoziții după ce a citit paragraful pentru context. Mai mult, scalarea continuă a modelelor lingvistice generează randamente descrescătoare ale benchmark-ului. 

Modelul GPT-3 atinge o precizie de 76% pe LAMBADA și are un câștig de peste 8% față de cele mai bune modele anterioare. În plus, modelul LAMBADA demonstrează flexibilitatea învățării cu câteva injecții, deoarece a abordat problema într-un mod care apare în mod clasic cu setul de date. Completarea unei propoziții în LAMBADA este de obicei ultimul cuvânt al propoziției, dar, deoarece un model de limbă nu poate ști asta, atribuie o probabilitate nu numai finalului corect, ci și altor continuări din paragraf. 

Mai mult, atunci când exemplele alimentate modelului GPT-3 sunt modificate într-un anumit fel, modelul returnează o precizie de peste 86%, o creștere de peste 18% față de modelele anterioare. În plus, rezultatele au indicat, de asemenea, că performanța modelului într-un set de câteva lovituri crește proporțional cu creșterea dimensiunii modelului. Deși această strategie reduce cel mai mic model din arhitectura GPT-3 cu 20%, sporește acuratețea modelului GPT-3 primar cu 175 de miliarde de parametri cu 10%. 

Răspunsuri la întrebări de la carte închisă

Răspunsul la întrebări în carte închisă este o încercare de a măsura capacitatea modelului GPT-3 de a răspunde la întrebări pe baza unor cunoștințe faptice ample. Deoarece astfel de întrebări au adesea un număr mare de interogări posibile, sarcina este realizată în mod normal utilizând un sistem de regăsire a informațiilor care permite modelului să găsească text relevant în combinație cu modelul care învață să genereze un răspuns la un răspuns dat de textul preluat și intrebarea. 

Imaginea de mai sus compară rezultatul pentru modelul GPT-3 în comparație cu modele diferite și rulează pe seturi de date diferite. Pe setul de date TriviaQA, modelul atinge un scor de precizie de 64.3% în setarea zero-shot, în timp ce atinge un scor de precizie de 68% și 71.2% în setările de o singură lovitură și, respectiv, de câteva lovituri. 

Se poate observa în mod evident că modelul GPT-3 în setare zero-shot depășește cu peste 5% modelul T11-14B reglat fin. 

Figura de mai sus arată performanța modelului GPT-3 crește fără probleme odată cu creșterea dimensiunii modelului. Performanța sugerează că modelele lingvistice continuă să învețe din setul de date pe măsură ce capacitatea lor crește. 

Gânduri finale

Ar fi sigur să spunem că GPT-3 a fost o fază de revoluție în industria LLM, deoarece GPT-3 a ajutat la împingerea limitelor a ceea ce ar putea face un model de limbă. Evoluțiile făcute și obstacolele depășite de GPT-3 au fost cele care au deschis calea pentru cel mai avansat și mai precis model de limbă mare până în prezent, GPT-4.