Va aduce GPT-4 mai aproape de o adevărată revoluție AI?

A fost aproape trei ani de când GPT-3 a fost lansat, în mai 2020. De atunci, modelul de generare de text AI a stârnit mult interes pentru capacitatea sa de a crea text care arată și sună ca și cum ar fi fost scris de un om. Acum pare că următoarea iterație a software-ului, GPT-4, este pe punctul de a fi lansat, cu o dată de lansare estimată pentru începutul anului 2023.

În ciuda naturii mult așteptate a acestei știri AI, detaliile exacte despre GPT-4 au fost destul de neclare. OpenAI, compania din spatele GPT-4, nu a făcut publice multe informații despre noul model, cum ar fi caracteristicile sale sau capacitățile sale. Cu toate acestea, progresele recente în domeniul inteligenței artificiale, în special în ceea ce privește procesarea limbajului natural (NLP), pot oferi unele indicii despre ce putem aștepta de la GPT-4.

Ce este GPT?

Înainte de a intra în detalii, este util să stabilim o linie de bază pentru ceea ce este GPT. GPT înseamnă Generative Pre-trained Transformer și se referă la un model de rețea neurală de învățare profundă care este antrenat pe date disponibile de pe internet pentru a crea volume mari de text generat de mașină. GPT-3 este a treia generație a acestei tehnologii și este unul dintre cele mai avansate modele de generare de text AI disponibile în prezent.

Îl puteți considera pe GPT-3 ca funcționând un pic ca asistenții vocali, cum ar fi Siri sau Alexa, dar la o scară mult mai mare. În loc să cereți lui Alexa să vă reproducă melodia preferată sau să aveți Siri să vă scrie un text, puteți cere GPT-3 să scrie o întreagă carte electronică în doar câteva minute sau să genereze 100 de idei de postări pe rețelele sociale în mai puțin de un minut. Tot ce trebuie să facă utilizatorul este să furnizeze un prompt, cum ar fi “Scrieți-mi un articol de 500 de cuvinte despre importanța creativității.” Atât timp cât promptul este clar și specific, GPT-3 poate scrie aproape orice îi cereți.

De la lansarea sa pentru publicul larg, GPT-3 a găsit multe aplicații comerciale. Companiile îl folosesc pentru rezumarea textului, traducerea limbajului, generarea de cod și automatizarea pe scară largă a aproape oricărei sarcini de scriere.

Cu toate acestea, în timp ce GPT-3 este, fără îndoială, foarte impresionant în capacitatea sa de a crea text umanoid foarte lizibil, este departe de a fi perfect. Problemele tind să apară atunci când este solicitat să scrie bucăți mai lungi, în special atunci când vine vorba de subiecte complexe care necesită perspicacitate. De exemplu, un prompt pentru a genera cod de calculator pentru un site web poate returna cod corect, dar suboptimal, astfel încât un codator uman trebuie să intre și să facă îmbunătățiri. Este o problemă similară și cu documentele text mari: cu cât volumul de text este mai mare, cu atât este mai probabil ca erorile – uneori hilare – să apară și să necesite corectură de către un scriitor uman.

În esență, GPT-3 nu este un înlocuitor complet pentru scriitorii sau codatorii umani și nu ar trebui să fie considerat ca atare. În schimb, GPT-3 ar trebui să fie considerat ca un asistent de scriere, unul care poate salva oamenilor mult timp atunci când au nevoie să genereze idei de postări pe blog sau schițe brute pentru copii publicitare sau comunicate de presă.

Mai multe parametri = mai bine?

Una dintre lucrurile pe care trebuie să le înțelegeți despre modelele de inteligență artificială este modul în care utilizează parametrii pentru a face previziuni. Parametrii unui model de inteligență artificială definesc procesul de învățare și oferă structură pentru ieșire. Numărul de parametri dintr-un model de inteligență artificială a fost, în general, utilizat ca o măsură a performanței. Cu cât mai mulți parametri, cu atât modelul este mai puternic, mai neted și mai previzibil, cel puțin conform ipotezei de scalare.

De exemplu, atunci când GPT-1 a fost lansat în 2018, a avut 117 milioane de parametri. GPT-2, lansat un an mai târziu, a avut 1,2 miliarde de parametri, în timp ce GPT-3 a ridicat numărul și mai sus la 175 de miliarde de parametri. Conform unui interviu din august 2021 cu Wired, Andrew Feldman, fondator și director general al Cerebras, o companie care se asociază cu OpenAI, a menționat că GPT-4 va avea aproximativ 100 de trilioane de parametri. Acest lucru ar face GPT-4 de 100 de ori mai puternic decât GPT-3, un salt cuantic în dimensiunea parametrilor care, în mod înțeles, a făcut ca multă lume să fie foarte entuziasmată.

Cu toate acestea, în ciuda afirmației ambițioase a lui Feldman, există motive bune pentru a crede că GPT-4 nu va avea, de fapt, 100 de trilioane de parametri. Cu cât numărul de parametri este mai mare, cu atât modelul devine mai scump pentru a fi antrenat și reglat din cauza cantităților uriașe de putere de calcul necesare.

În plus, există mai multe factori decât doar numărul de parametri care determină eficacitatea unui model. Luați, de exemplu, Megatron-Turing NLG, un model de generare de text construit de Nvidia și Microsoft, care are peste 500 de miliarde de parametri. În ciuda dimensiunii sale, MT-NLG nu se apropie de GPT-3 în ceea ce privește performanța. În scurt, mai mare nu înseamnă neapărat mai bun.

Este probabil că GPT-4 va avea, de fapt, mai mulți parametri decât GPT-3, dar rămâne de văzut dacă acel număr va fi cu o ordine de mărime mai mare. În schimb, există alte posibilități interesante pe care OpenAI le urmărește, cum ar fi un model mai slab care se concentrează pe îmbunătățiri calitative în proiectarea algoritmică și alinierea. Impactul exact al unor astfel de îmbunătățiri este greu de prezis, dar ceea ce se știe este că un model slab poate reduce costurile de calcul prin ceea ce se numește calcul condițional, adică nu toți parametrii din modelul de inteligență artificială vor fi activați tot timpul, ceea ce este similar cu modul în care neuronii din creierul uman funcționează.

Ce va putea GPT-4?

Până când OpenAI va face o nouă declarație sau va lansa GPT-4, suntem lăsați să speculăm cum va diferi de GPT-3. Indiferent, putem face unele predicții

Deși viitorul dezvoltării de învățare profundă a inteligenței artificiale este multimodal, GPT-4 va rămâne, probabil, doar text. Ca oameni, trăim într-o lume multisenzorială plină de diferite intrări audio, vizuale și textuale. Prin urmare, este inevitabil că dezvoltarea inteligenței artificiale va produce, în cele din urmă, un model multimodal care poate încorpora o varietate de intrări.

Cu toate acestea, un model multimodal bun este semnificativ mai dificil de proiectat decât un model doar text. Tehnologia nu este încă acolo și, pe baza ceea ce știm despre limitele dimensiunii parametrilor, este probabil că OpenAI se concentrează pe extinderea și îmbunătățirea unui model doar text.

De asemenea, este probabil că GPT-4 va fi mai puțin dependent de prompturi precise. Una dintre dezavantajele GPT-3 este că prompturile text trebuie să fie scrise cu atenție pentru a obține rezultatul dorit. Când prompturile nu sunt scrise cu atenție, puteți ajunge la ieșiri care sunt neverosimile, toxice sau care reflectă opinii extremiste. Acesta este ceea ce se numește “problema de aliniere” și se referă la provocările de a crea un model de inteligență artificială care înțelege pe deplin intențiile utilizatorului. În alte cuvinte, modelul de inteligență artificială nu este aliniat cu obiectivele sau intențiile utilizatorului. Deoarece modelele de inteligență artificială sunt antrenate folosind seturi de date text de pe internet, este foarte ușor pentru prejudecățile, minciunile și prejudecățile umane să se strecoare în ieșirile textuale.

Cu toate acestea, există motive bune pentru a crede că dezvoltatorii fac progrese în ceea ce privește problema de aliniere. Acest optimism vine din unele descoperiri în dezvoltarea InstructGPT, o versiune mai avansată a GPT-3 care este antrenată pe feedback uman pentru a urma instrucțiuni și intenții ale utilizatorului mai îndeaproape. Judecătorii umani au constatat că InstructGPT a fost mult mai puțin dependent decât GPT-3 de prompturi bune.

Cu toate acestea, ar trebui să se țină seama de faptul că aceste teste au fost efectuate doar cu angajații OpenAI, un grup relativ omogen care nu poate diferi mult în ceea ce privește genul, religia sau opiniile politice. Este probabil un pariu sigur că GPT-4 va suferi un antrenament mai divers care va îmbunătăți alinierea pentru diferite grupuri, deși în ce măsură rămâne de văzut.

GPT-4 va înlocui oamenii?

În ciuda promisiunii GPT-4, este puțin probabil că va înlocui complet nevoia de scriitori și codatori umani. Mai este mult de lucru de făcut pe tot, de la optimizarea parametrilor la multimodalitate și aliniere. Poate dura mulți ani până vom vedea un generator de text care poate atinge o înțelegere umană reală a complexităților și nuanțelor experienței reale.

Chiar și așa, există motive bune pentru a fi entuziasmat de venirea GPT-4. Optimizarea parametrilor – și nu doar creșterea parametrilor – va duce, probabil, la un model de inteligență artificială care are mult mai multă putere de calcul decât predecesorul său. Și alinierea îmbunătățită va face, probabil, GPT-4 mult mai prietenos cu utilizatorul.

În plus, suntem încă la începutul dezvoltării și adoptării instrumentelor de inteligență artificială. Mai multe cazuri de utilizare a tehnologiei sunt descoperite constant, și pe măsură ce oamenii câștigă mai multă încredere și confort în utilizarea inteligenței artificiale în locul de muncă, este aproape sigur că vom vedea o adoptare pe scară largă a instrumentelor de inteligență artificială în aproape toate sectoarele de afaceri în următorii ani.