GPT-3: Învățarea cu puține exemple pentru modelele de limbaj

În ultimii ani, industria AI și ML a asistat la o creștere meteorică a dezvoltării și aplicării sistemelor NLP, deoarece cercetătorii au reușit să implementeze practici NLP în moduri foarte flexibile și independente de sarcină pentru sarcinile de transfer downstream.

Inițial, au fost utilizate reprezentări cu un singur strat care au folosit vectori de cuvinte și au fost alimentate cu arhitecturi specifice sarcinii. Apoi, a fost utilizată arhitectura RNN care a folosit reprezentări cu multiple straturi și stări contextuale pentru a forma reprezentări mai bune. Și, mai recent, avem modelele de transfer de limbaj sau modelele recurente pre-antrenate care au eliminat complet nevoia de arhitecturi specifice sarcinii prin reglarea fină a acestor rețele.

Modelele de transfer de limbaj s-au dovedit a fi un punct de cotitură major în industria NLP, deoarece au dus la progrese uriașe în sarcinile dificile, cum ar fi răspunsurile la întrebări, lectura și înțelegerea textului, implicarea textuală și multe altele.

Cu toate acestea, în ciuda avantajelor lor, modelele de transfer de limbaj au o limitare majoră, deoarece necesită reglare fină specifică sarcinii sau un set de date specific sarcinii pentru a obține performanța dorită la o sarcină. Mai mult, modelele de transfer de limbaj necesită, de asemenea, ca dezvoltatorii să regleze seturile de date pentru sute de mii de exemple specifice unei anumite sarcini.

Este evident că eliminarea necesității unui set de date specific sarcinii și a reglării fine specifice sarcinii va fi foarte dorită și benefică pentru industria NLP din numeroase motive.

Probleme cu modelele de transfer de limbaj pre-antrenate existente sau modelele recurente

• Limitarea practicității și aplicabilității

Mai întâi și mai presus de toate, necesitatea unui set de date mare cu date etichetate pentru fiecare sarcină limitează aplicabilitatea și practicitatea modelelor de limbaj. Modelele de limbaj își găsesc aplicațiile într-o varietate largă de sarcini, de la generarea unei povestiri scurte la corectarea erorilor gramaticale, la generarea de exemple pentru un concept. Uneori, este o sarcină dificilă să se colecteze un set de date supravegheat mare cu date etichetate, mai ales atunci când procesul trebuie să fie repetat pentru fiecare sarcină individuală.

• Exploatării corelațiilor spurii în datele de antrenare

Limitările și îngustimea distribuției de antrenare, împreună cu expresivitatea modelului, pot duce la o creștere fundamentală a potențialului de a exploata corelații spurii în datele de antrenare. Potențialul de a exploata datele de antrenare poate duce la probleme în timpul paradigmei de reglare fină și pre-antrenare, deoarece modelele de transfer de limbaj sunt proiectate pentru a absorbi o cantitate mare de informații în timpul pre-antrenării.

Mai mult, lucrările anterioare asupra modelelor anterioare au indicat că modelele mari nu duc întotdeauna la o mai bună generalizare în afara distribuției. De asemenea, s-a indicat că generalizarea obținută în acest paradigme poate duce la o performanță slabă, deoarece modelul este foarte specific datelor de antrenare și nu poate performa bine în situații dincolo de domeniul de aplicare al datelor de antrenare.

• Compararea cu învățarea umană

În final, atunci când sunt comparate cu modelele de transfer de limbaj, oamenii nu necesită un set de date mare de antrenare atunci când vine vorba de învățarea majorității sarcinilor de limbaj. De obicei, o directivă scurtă în limba naturală a unei persoane sau o demonstrație scurtă a sarcinii de limbaj este suficientă pentru ca un om să înțeleagă și să execute o sarcină de limbaj cu un anumit nivel de competitivitate.

Capacitatea oamenilor de a se adapta are numeroase avantaje practice, deoarece le permite să comute între diferite seturi de abilități sau să le combine pentru a performa mai bine într-un dialect, ceea ce este dincolo de capacitățile actualelor sisteme NLP.

Abordarea problemelor cu învățarea meta și GPT-3

O posibilă soluție la aceste provocări este utilizarea învățării meta, un concept în ML modern care permite unui model să dezvolte un set mai larg de abilități și să recunoască modele în timpul antrenării și apoi să utilizeze aceste abilități învățate în timpul interferenței pentru a se adapta rapid sau pentru a recunoaște sarcina necesară.

Învățarea meta este implementată în arhitectura modelului de limbaj prin intermediul unei tehnici numite „învățare în context” care utilizează intrarea de text a unui model de limbaj pre-antrenat ca specificație a sarcinii. În proces, modelul se condiționează pe o instrucțiune în limba naturală și poate chiar să utilizeze câteva demonstrații, iar modelul este apoi așteptat să completeze restul sarcinii prin predicția următorilor pași.

Singura problemă majoră cu învățarea meta este că, deși a arătat potențial pozitiv, este încă inferioară abordării de reglare fină în arhitectura limbajului natural și necesită îmbunătățiri suplimentare pentru a deveni o metodă practică pentru depășirea sarcinilor de limbaj.

În plus față de învățarea meta, o altă metodă care câștigă popularitate este creșterea capacității modelelor de limbaj transformer. În ultimii ani, modelele de transfer au asistat la o creștere substanțială a capacității lor, cu modelul RNSS18 cu 100 de milioane de parametri, modelul DCLT18 cu 300 de milioane de parametri, modelul RWC19 cu 1,5 miliarde de parametri, modelul SSP19 cu 8 miliarde de parametri, modelul RSR19 cu 11 miliarde de parametri și modelul TUR20 cu 17 miliarde de parametri.

Creșterea capacității modelului sau a parametrilor a dus istoric la îmbunătățiri în sinteza textului, iar s-a indicat că pierderea logaritmică, care este corelată cu sarcinile downstream, urmează o tendință netedă de îmbunătățire odată cu scala.

Acest lucru ne aduce la modelul GPT-3, care are peste 175 de miliarde de parametri și, atunci când a fost lansat, a fost modelul de transfer de limbaj cu cea mai mare capacitate. Să vorbim acum despre modelul GPT-3.

Prezentarea modelului GPT-3

GPT-3 este un model de limbaj autoagresiv cu peste 175 de miliarde de parametri, lansat de OpenAI în 2020. GPT-3 este, de asemenea, clasificat ca model de limbaj mare care, la fel ca predecesorul său, modelul GPT-2, este un model de transformare profundă decoder-only care utilizează o arhitectură bazată pe convoluții pentru a genera date textuale.

Modelul GPT-3 măsoară propriile sale capacități de învățare a contextului și este evaluat pe peste două duzini de seturi de date NLP și pe sarcini noi. Pentru fiecare sarcină individuală, modelul GPT-3 este evaluat în trei condiții,

• Învățarea cu puține exemple sau învățarea în context: În învățarea cu puține exemple, modelul GPT-3 permite atâtea distribuții care pot fi încadrate bine în fereastra de context a modelului.
• Învățarea cu un singur exemplu: În învățarea cu un singur exemplu, modelul permite doar o demonstrație.
• Învățarea fără exemple: În învățarea fără exemple, nu există demonstrații, iar modelul primește o instrucțiune în limba naturală care descrie sarcina.

Vorbind în general, modelul GPT-3 obține performanțe dorite în setările fără exemple și cu un singur exemplu și, în setarea cu puține exemple, depășește modelele de transfer de vârf în majoritatea timpului. Mai mult, modelul GPT-3 performează bine în setările cu un singur exemplu și fără exemple la sarcinile de limbaj natural care necesită raționament pe loc sau necesită atenție rapidă, cum ar fi utilizarea unor cuvinte noi după o propoziție, dezordonarea cuvintelor sau efectuarea de operații aritmetice. Pe de altă parte, atunci când este operat într-un mediu cu puține exemple, modelul GPT-3 generează articole de știri sintetice care seamănă cu scrierea umană atunci când sunt trecute prin evaluatori umani.

Modelul GPT-3: Abordare

Modelul GPT-3 utilizează o abordare convențională de pre-antrenare care cuprinde modelul, datele și antrenamentul și seamănă cu procesul de pre-antrenare urmat de modelul de transfer RWC-19. Modelul GPT-3 mărește dimensiunea modelului, dimensiunea setului de date, diversitatea setului de date și crește lungimea perioadei de antrenare.

Modelul utilizează, de asemenea, o abordare de învățare în context care, din nou, seamănă cu abordarea modelului RWC-19, dar schimbă lucrurile prin explorarea sistematică a diferitelor setări pentru învățarea modelelor în contextul setului de date.

Deci, să începem prin a explora aceste setări și să evaluăm modul în care modelul GPT-3 performează în diferite setări.

Reglarea fină

Reglarea fină a modelului a fost abordarea convențională în modelele de limbaj de transfer și această abordare implică actualizarea greutăților unui model pre-antrenat prin antrenarea modelului pe un set de date supravegheat specific sarcinii dorite și sute de mii de exemple etichetate sunt utilizate în timpul procesului.

Abordarea de reglare fină este benefică deoarece returnează o performanță puternică pe multiple benchmark-uri. Pe de altă parte, limitarea principală a utilizării abordării de reglare fină este că necesită un nou set de date mare pentru fiecare sarcină individuală, are potențialul de a exploata caracteristici spurii ale setului de date de antrenare, poate duce la comparații incorecte cu performanța umană și poate duce la o generalizare slabă pentru datele din afara distribuției.

Scopul actual al modelului GPT-3 nu implementează abordarea de reglare fină din cauza performanței sale agnostice la sarcină, deși reglarea fină poate fi aplicată modelului GPT-3 în viitor.

Învățarea cu puține exemple

Învățarea cu puține exemple este un termen care se referă la setarea în care modelul GPT-3 primește câteva demonstrații ale sarcinii în timpul interferenței ca condiționare, dar greutățile modelului nu sunt actualizate. În setarea cu puține exemple, setul de date are, de obicei, un exemplu cu un context și o completare dorită (de exemplu, o propoziție în franceză și traducerea ei în engleză). Setarea cu puține exemple oferă modelului K exemple de context și completare și apoi oferă modelului un context final și se așteaptă ca modelul să furnizeze completarea.

Avantajul principal al utilizării setării cu puține exemple este că reduce semnificativ nevoia de date specifice sarcinii și reduce, de asemenea, potențialul de a învăța o distribuție îngustă dintr-un set de date mare care este reglat fin în mod îngust. Pe de altă parte, dezavantajul principal al utilizării învățării cu puține exemple este că rezultatele furnizate în setarea cu puține exemple nu sunt pe măsura așteptărilor și sunt semnificativ slabe în comparație cu alte modele de vârf care sunt reglate fin.

Învățarea cu un singur exemplu

În setarea cu un singur exemplu, modelul primește doar o demonstrație și restul este similar cu setarea cu puține exemple. Motivul pentru care setarea cu un singur exemplu este relevantă în modelele de transfer de limbaj este că, dintre toate cele trei setări, setarea cu un singur exemplu este cea care seamănă cel mai mult cu modul în care sarcinile sunt comunicate oamenilor. Deoarece, în majoritatea sarcinilor, este obișnuit să se furnizeze o demonstrație a sarcinii, altfel poate fi dificil să se înțeleagă contextul sarcinii.

Învățarea fără exemple

În setarea fără exemple, nu există demonstrații și modelul primește o instrucțiune în limba naturală care descrie sarcina. Metoda fără exemple este cea care oferă maximum de conveniență, este robustă și evită, de asemenea, corelațiile spurii, dar este și cea mai dificilă dintre toate cele trei setări. Deoarece, în unele cazuri, este dificil chiar și pentru oameni să înțeleagă contextul unei sarcini fără a vedea o demonstrație mai întâi.

Cu toate acestea, pentru anumite sarcini, setarea fără exemple este cea care seamănă cel mai mult cu modul în care oamenii efectuează sarcini de limbaj natural.

Figura de mai sus compară setările cu puține exemple, cu un singur exemplu și fără exemple atunci când se efectuează o sarcină de limbaj natural care constă în traducerea unei propoziții în engleză în franceză.

Arhitectura modelului GPT-3

Modelul GPT-3 utilizează aceeași arhitectură ca și cea utilizată în modelul GPT-2 și include pre-normalizarea, inițializarea modificată și tehnici de tokenizare reversibilă, așa cum au fost utilizate pe modelul GPT, cu excepția utilizării unei strategii alternative pentru modele de atenție sparse locale și straturi dense alternative în straturile transformer, similare cu Transformerul Sparse.

Pentru a studia dependența performanței modelului de dimensiunea modelului, dezvoltatorii au antrenat 8 dimensiuni de modele diferite care variază pe trei ordine de mărime, de la 125 de milioane la peste 175 de miliarde de parametri, ultimul dintre ele fiind numit modelul GPT-3. Lucrările anterioare legate de modelele LLM au indicat că scalarea pierderii de validare cu o cantitate suficientă de date de antrenare ar trebui să fie o lege puternică netedă ca funcție a dimensiunii. Antrenarea de modele de diferite dimensiuni permite dezvoltatorilor să testeze ipoteza atât pentru sarcinile de limbaj downstream, cât și pentru pierderea de validare.

Figura de mai sus compară dimensiunea și arhitectura celor 8 modele utilizate pentru dezvoltarea modelului GPT-3. Aici, n(parametri) definește numărul total de parametri antrenabili, n(straturi) definește numărul total de straturi în model, d(model) definește numărul de unități în fiecare strat al gâtului și d(atenție) definește dimensiunile fiecărui cap de atenție. Fereastra de context pentru fiecare model este aceeași, cu 2048 de tokeni.

Mai mult, pentru a minimiza transferul de date între noduri, modelul este împărțit pe GPU-uri atât în adâncime, cât și în lățime. Parametrii arhitecturali pentru fiecare model au fost aleși pe baza eficienței computaționale și a echilibrării încărcăturii pentru a maximiza precizia în dispunerea modelului pe GPU.

Seturi de date de antrenare

De obicei, modelele de limbaj mari utilizează seturi de date care s-au extins semnificativ odată cu dezvoltările recente și culminează în setul de date Common Crawl, care cuprinde peste un trilion de cuvinte diferite. Dimensiunea setului de date este suficient de mare pentru a antrena modelul GPT-3 fără a actualiza de mai multe ori pe aceeași secvență. Cu toate acestea, studii și analize de performanță indică că versiunile ușor filtrate sau nefiltrate ale setului de date Common Crawl au o calitate scăzută în comparație cu seturile de date mai curate.

Pentru a aborda problema calității medii a setului de date, dezvoltatorii au luat 3 pași pentru a îmbunătăți calitatea setului de date.

1. Dezvoltatorii au descărcat și au filtrat o versiune a setului de date Common Crawl pe baza unui interval similar cu cel al corpurilor de referință de înaltă calitate.
2. Dezvoltatorii au efectuat duplicarea fuzzy la nivel de document în setul de date pentru a păstra integritatea setului de validare, ca o măsură eficientă a suprantrenării, și pentru a preveni redundanța.
3. Dezvoltatorii au adăugat, de asemenea, corpuri de referință de înaltă calitate la setul de date de antrenare pentru a diversifica și mai mult setul de date și pentru a crește diversitatea setului de date.

Figura de mai jos arată proporția finală sau amestecul seturilor de date utilizate pentru antrenarea modelului GPT-3. Datele Common Crawl au constituit peste 45 de TB de text simplu înainte de filtrare, care a fost redus la 570 de GB de date după filtrare, un echivalent aproximativ de peste 400 de miliarde de tokeni de pereche de byte. Este important de remarcat că seturile de date din antrenare care sunt considerate de înaltă calitate sunt eșantionate cu o frecvență mai mare decât seturile de date care sunt eșantionate proporțional cu dimensiunea lor. Ca urmare, seturi de date precum Books2 și Common Crawl sunt eșantionate mai puțin de o dată în timpul antrenării, în timp ce alte seturi de date sunt eșantionate de mai multe ori. Acest lucru permite modelului să accepte o cantitate mică de suprantrenare în schimbul antrenării pe date de antrenare de calitate superioară.

O preocupare semnificativă cu modelele de limbaj mari pre-antrenate pe o cantitate mare de date de internet cu capacitatea de a memora și de a învăța o cantitate mare de conținut este potențialul de contaminare a sarcinilor downstream prin faptul că seturile de date de dezvoltare și testare sunt văzute în timpul procesului de pre-antrenare. Pentru a reduce o astfel de contaminare potențială, dezvoltatorii au căutat orice suprapuneri cu seturile de test și dezvoltare ale benchmark-urilor studiate pentru GPT-3 și au încercat să elimine aceste suprapuneri.

Figura de mai sus arată computația totală utilizată în timpul antrenării modelului GPT-3. Modelul utilizează legile de scalare pentru modelele de limbaj neuronale pentru a antrena modele mult mai mari pe mai puțini tokeni decât este obișnuit. Ca urmare, atât GPT-3, cât și modelul RoBERTa-Large, care este de 10 ori mai mic decât GPT-3, au utilizat aproape 50 de petaflops/zi de computație în timpul procesului de pre-antrenare.

Evaluare

Pentru învățarea cu puține exemple, modelul evaluează fiecare exemplu din setul de date de evaluare prin extragerea a K exemple aleatoriu din setul de date de antrenare al sarcinii ca condiționare și delimitarea lor cu 1 sau 2 noi linii, în funcție de sarcină. Pentru Storycloze și LAMBADA, modelul extrage exemple de condiționare din setul de dezvoltare și le evaluează pe setul de test, din cauza lipsei unui set de date de antrenare supravegheat. Pentru Winograd, există doar un set de date, iar exemplele de condiționare sunt extrase direct din el.

K poate fi orice valoare cuprinsă între 0 și cantitatea maximă permisă de fereastra de context a modelului, care este next = 2048 pentru toate modelele, și de obicei se potrivește cu aproximativ 10 până la 100 de exemple. Valorile mai mari ale lui K duc adesea la rezultate mai bune, dar nu întotdeauna, ceea ce înseamnă că atunci când modelul are un set de test și un set de dezvoltare separat disponibil, modelul experimentează câteva valori ale lui K pe setul de dezvoltare și, pe baza rezultatelor, rulează cea mai bună valoare pe setul de test.

Mai mult, pentru sarcinile care necesită selectarea unei completări corecte din multiple opțiuni, dezvoltatorii oferă K exemple de corectură plus context și completare, și apoi oferă un context și așteaptă ca sarcinile să fie comparate pe baza probabilității de modelare a fiecărei completări. Pentru sarcinile care necesită clasificare binară, modelele oferă adesea opțiuni mai semantice și cu nume mai semnificative și tratează sarcina ca pe o alegere multiplă și, uneori, o cadrează similar cu ceea ce se face în modelul RSR și arhitectura.

Pentru sarcinile care necesită completări libere, modelul utilizează căutarea cu fascicul cu parametri identici cu cei utilizați în cadrul RSR, cu un fascicul de lungime 4 și o penalizare de 0,6. Modelul este apoi evaluat utilizând fie scorul de similaritate F1, meciul exact sau BLEU, în funcție de standardul setului de date.

Rezultate

Figura de mai sus afișează curbele de antrenare pentru cele 8 modele utilizate în arhitectura modelului GPT-3, așa cum s-a descris în secțiunile anterioare. Similar cu rezultatele de la modelul de limbaj KMH, performanța modelului GPT-3 urmează o lege corespunzătoare atunci când se utilizează computația de antrenare eficient. Există o ușoară abatere de la lege atunci când tendința este extinsă cu două ordine de mărime suplimentare. Ar putea părea că îmbunătățirile în pierderea de entropie pot fi rezultatul modelării detaliilor spurii ale corpusului de antrenare. Cu toate acestea, îmbunătățirile în pierderea de entropie duc la câștiguri consistente în performanța generală pe o gamă largă de sarcini de limbaj natural.

Înainte de a evalua cele 8 modele diferite pe o gamă largă de seturi de date de antrenare, seturile de date sunt grupate în 8 categorii diferite care reprezintă sarcini similare. Aceste categorii sunt

1. Evaluarea pe sarcini de modelare de limbaj tradiționale și sarcini care seamănă cu modelarea de limbaj, cum ar fi sarcinile de completare a lacunelor sau completarea propozițiilor/paragrafelor.
2. Evaluarea pe sarcini de întrebări și răspunsuri într-un „carte închisă”.
3. Evaluarea capacității modelului de a traduce între limbi (în special în setările cu un singur exemplu și cu puține exemple).
4. Evaluarea performanței modelului pe sarcini de tip Winograd.
5. Evaluarea pe seturi de date care implică raționamentul bunului simț sau întrebări și răspunsuri.
6. Evaluarea pe sarcini de înțelegere a textului.
7. Evaluarea pe setul de benchmark SuperGLUE.
8. Explorarea NLI.

Modelarea limbajului, completarea și sarcinile de completare a lacunelor

În această secțiune, performanța modelului GPT-3 este evaluată pe sarcinile de modelare de limbaj tradiționale, precum și pe sarcinile care necesită predicția unui singur cuvânt de interes sau completarea unei propoziții sau a unui paragraf, sau completarea unui fragment de text. Să discutăm despre ele pe scurt.

Modelarea limbajului

Modelul GPT-3 calculează perplexitatea zero-shot pe setul de date PTB sau baza de date a arborelui Penn. Modelul omite sarcinile legate de Wikipedia, deoarece acestea sunt deja incluse în setul de date de antrenare al modelului, iar benchmark-ul de un miliard de cuvinte este, de asemenea, omis, deoarece cauzează o cantitate semnificativă de fricțiune a setului de date care se află în setul de date de antrenare. Cu toate acestea, setul de date PTB abordează aceste probleme, deoarece poate preda internetul modern. Setul de date PTB este evaluat pentru a se asigura că modelul GPT-3 obține un nou punct de referință pe setul de date PTB, cu o marjă semnificativă de 15 puncte și atinge o perplexitate de 20,50.

LAMBADA

Setul de date LAMBADA este utilizat pentru a testa modelarea modelului pe dependențe pe termen lung în paragrafe sau texte. Acest lucru înseamnă că modelul este solicitat să prevadă ultimul cuvânt al unei propoziții după ce a citit paragraful pentru context. Mai mult, scalarea continuă a modelelor de limbaj duce la randamente descrescătoare pe benchmark.

Modelul GPT-3 atinge o acuratețe de 76% pe LAMBADA și are un câștig de peste 8% față de modelele anterioare. Mai mult, modelul LAMBADA demonstrează flexibilitatea învățării cu puține exemple, deoarece abordează problema într-un mod care apare în mod clasic cu setul de date. Completarea unei propoziții în LAMBADA este, de obicei, ultimul cuvânt al propoziției, dar, ca model de limbaj, nu poate ști acest lucru, atribuie o probabilitate nu numai sfârșitului corect, ci și altor continuări în paragraf.

Mai mult, atunci când exemplele furnizate modelului GPT-3 sunt modificate într-un anumit mod, modelul returnează o acuratețe de peste 86%, o creștere de peste 18% față de modelele anterioare. În plus, rezultatele au arătat, de asemenea, că performanța modelului într-un mediu cu puține exemple crește proporțional cu creșterea dimensiunii modelului. Deși această strategie reduce modelul cel mai mic din arhitectura GPT-3 cu 20%, îmbunătățește acuratețea modelului GPT-3 principal cu 175 de miliarde de parametri cu 10%.

Întrebări și răspunsuri într-un „carte închisă”

Întrebări și răspunsuri într-un „carte închisă” este o încercare de a măsura capacitatea modelului GPT-3 de a răspunde la întrebări pe baza cunoștințelor factuale generale. Deoarece astfel de întrebări au adesea o cantitate mare de întrebări posibile, sarcina este, de obicei, realizată utilizând un sistem de recuperare a informațiilor care permite modelului să găsească text relevant în combinație cu modelul care învață să genereze un răspuns la o întrebare dată și la textul recuperat.

Figura de mai sus compară rezultatele pentru modelul GPT-3 în comparație cu diferite modele și rulează pe diferite seturi de date. Pe setul de date TriviaQA, modelul atinge un scor de acuratețe de 64,3% în setarea fără exemple, în timp ce atinge un scor de acuratețe de 68% și 71,2% în setările cu un singur exemplu și cu puține exemple, respectiv.

Se poate vedea clar că modelul GPT-3 în setarea fără exemple depășește modelul T5-11B reglat fin cu peste 14%.

Figura de mai sus arată că performanța modelului GPT-3 crește neted cu o creștere a dimensiunii modelului. Performanța sugerează că modelele de limbaj continuă să învețe din setul de date pe măsură ce capacitatea lor crește.

Gânduri finale

Ar fi sigur să spunem că GPT-3 a fost o fază revoluționară în industria LLM, deoarece GPT-3 a ajutat la extinderea limitelor a ceea ce poate face un model de limbaj. A fost dezvoltarea și obstacolele depășite de GPT-3 care au deschis calea pentru cel mai avansat și precis model de limbaj mare până în prezent, GPT-4.