Va aduce GPT-4 mai aproape de o adevărată revoluție AI?

A trecut aproape trei ani de când a fost lansat GPT-3, în mai 2020. De atunci, modelul de generare de text AI a stârnit un interes deosebit pentru capacitatea sa de a crea texte care arată și sună ca și cum ar fi fost scrise de un om. Acum pare că următoarea iterație a software-ului, GPT-4, este pe punctul de a fi lansată, cu o dată de lansare estimată pentru începutul anului 2023.

În ciuda naturii foarte așteptate a acestei știri AI, detaliile exacte despre GPT-4 au fost destul de neclare. OpenAI, compania din spatele GPT-4, nu a dezvăluit public multe informații despre noul model, cum ar fi caracteristicile sale sau capacitățile sale. Cu toate acestea, progresele recente în domeniul inteligenței artificiale, în special în ceea ce privește procesarea limbajului natural (NLP), pot oferi unele indicii despre ce putem aștepta de la GPT-4.

Ce este GPT?

Înainte de a intra în detalii, este util să stabilim o linie de bază despre ce este GPT. GPT înseamnă Generative Pre-trained Transformer și se referă la un model de rețea neural de învățare profundă care este antrenat pe date disponibile de pe internet pentru a crea volume mari de text generat de mașină. GPT-3 este a treia generație a acestei tehnologii și este unul dintre cele mai avansate modele de generare de text AI disponibile în prezent.

Gândiți-vă la GPT-3 ca funcționând un pic ca asistenții vocali, cum ar fi Siri sau Alexa, dar la o scară mult mai mare. În loc să cereți lui Alexa să vă redea cântecul preferat sau să aveți Siri să vă scrie un text, puteți cere GPT-3 să scrie o carte întreagă în doar câteva minute sau să genereze 100 de idei de postări pe rețelele sociale în mai puțin de un minut. Tot ce trebuie să facă utilizatorul este să furnizeze un prompt, cum ar fi “Scrieți-mi un articol de 500 de cuvinte despre importanța creativității.” Atâta timp cât promptul este clar și specific, GPT-3 poate scrie aproape orice îi cereți.

De la lansarea sa pentru publicul larg, GPT-3 a găsit multe aplicații comerciale. Companiile îl folosesc pentru rezumarea textului, traducerea limbajului, generarea de cod și automatizarea pe scară largă a oricărei sarcini de scriere.

Cu toate acestea, trebuie spus că, deși GPT-3 este în mod evident foarte impresionant în capacitatea sa de a crea texte foarte lizibile și asemănătoare cu cele scrise de oameni, este departe de a fi perfect. Problemele tind să apară atunci când este solicitat să scrie bucăți mai lungi, în special atunci când vine vorba de subiecte complexe care necesită perspicacitate. De exemplu, un prompt pentru a genera cod de calculator pentru un site web poate returna cod corect, dar suboptimal, astfel încât un codator uman trebuie să intre și să facă îmbunătățiri. Este o problemă similară și cu documentele de text mari: cu cât volumul de text este mai mare, cu atât este mai probabil ca erorile – uneori hilare – să apară și să necesite corectarea de către un scriitor uman.

Simplu spus, GPT-3 nu este o înlocuire completă pentru scriitorii sau codatorii umani și nu ar trebui să fie considerat ca atare. În schimb, GPT-3 ar trebui să fie privit ca un asistent de scriere, unul care poate salva oamenilor mult timp atunci când au nevoie să genereze idei de postări pe blog sau schițe pentru copii publicitare sau comunicate de presă.

Mai multe parametri = mai bine?

Un lucru de înțeles despre modelele de inteligență artificială este modul în care acestea folosesc parametri pentru a face previziuni. Parametrii unui model de inteligență artificială definesc procesul de învățare și oferă structură pentru ieșire. Numărul de parametri într-un model de inteligență artificială a fost folosit în general ca o măsură a performanței. Cu cât mai mulți parametri, cu atât modelul este mai puternic, mai lin și mai previzibil, cel puțin conform ipotezei de scalare.

De exemplu, atunci când a fost lansat GPT-1 în 2018, a avut 117 milioane de parametri. GPT-2, lansat un an mai târziu, a avut 1,2 miliarde de parametri, în timp ce GPT-3 a ridicat numărul și mai sus la 175 de miliarde de parametri. Conform unui interviu din august 2021 cu Wired, Andrew Feldman, fondator și director general al Cerebras, o companie care colaborează cu OpenAI, a menționat că GPT-4 va avea aproximativ 100 de trilioane de parametri. Acest lucru ar face GPT-4 de 100 de ori mai puternic decât GPT-3, un salt cuantic în dimensiunea parametrilor care, în mod înțeles, a făcut ca multă lume să fie foarte entuziasmată.

Cu toate acestea, în ciuda afirmației lui Feldman, există motive bune pentru a crede că GPT-4 nu va avea, de fapt, 100 de trilioane de parametri. Cu cât numărul de parametri este mai mare, cu atât modelul devine mai scump pentru a fi antrenat și reglat din cauza cantităților uriașe de putere de calcul necesare.

Plus, există mai multe factori decât doar numărul de parametri care determină eficacitatea unui model. Luați, de exemplu, Megatron-Turing NLG, un model de generare de text construit de Nvidia și Microsoft, care are peste 500 de miliarde de parametri. În ciuda dimensiunii sale, MT-NLG nu se apropie de GPT-3 în ceea ce privește performanța. În scurt, mai mare nu înseamnă neapărat mai bine.

Este probabil ca GPT-4 să aibă, de fapt, mai mulți parametri decât GPT-3, dar rămâne de văzut dacă numărul acesta va fi de un ordin de mărime mai mare. În schimb, există alte posibilități interesante pe care OpenAI le urmărește, cum ar fi un model mai slab care se concentrează pe îmbunătățiri calitative în proiectarea algoritmică și alinierea. Impactul exact al unor astfel de îmbunătățiri este greu de prezis, dar ceea ce este cunoscut este că un model slab poate reduce costurile de calcul prin ceea ce se numește computație condiționată, adică nu toți parametrii modelului de inteligență artificială vor fi activați tot timpul, similar cu modul în care neuronii din creierul uman funcționează.

Deci, ce va putea face GPT-4?

Până când OpenAI va face o nouă declarație sau va lansa GPT-4, suntem lăsați să speculăm cum va diferi de GPT-3. În orice caz, putem face unele predicții

Deși viitorul dezvoltării de învățare profundă a inteligenței artificiale este multimodal, GPT-4 va rămâne, probabil, doar text. Ca oameni, trăim într-o lume multisenzorială plină de diferite intrări audio, vizuale și textuale. Prin urmare, este inevitabil că dezvoltarea inteligenței artificiale va produce, în cele din urmă, un model multimodal care poate încorpora o varietate de intrări.

Cu toate acestea, un model multimodal bun este mult mai dificil de proiectat decât un model doar text. Tehnologia nu este încă acolo și, pe baza ceea ce știm despre limitele dimensiunii parametrilor, este probabil că OpenAI se concentrează pe extinderea și îmbunătățirea unui model doar text.

De asemenea, este probabil că GPT-4 va fi mai puțin dependent de prompturi precise. Una dintre dezavantajele GPT-3 este că prompturile de text trebuie să fie scrise cu atenție pentru a obține rezultatul dorit. Când prompturile nu sunt scrise cu atenție, puteți obține ieșiri care sunt neverosimile, toxice sau chiar reflectă opinii extremiste. Acesta este parte a ceea ce se numește “problema de aliniere” și se referă la provocările în crearea unui model de inteligență artificială care înțelege pe deplin intențiile utilizatorului. În alte cuvinte, modelul de inteligență artificială nu este aliniat cu obiectivele sau intențiile utilizatorului. Deoarece modelele de inteligență artificială sunt antrenate folosind seturi de date text din internet, este foarte ușor pentru prejudecățile, falsurile și prejudecățile umane să se strecoare în ieșirile textuale.

Cu toate acestea, există motive bune pentru a crede că dezvoltatorii fac progrese în ceea ce privește problema de aliniere. Acest optimism vine din unele descoperiri în dezvoltarea InstructGPT, o versiune mai avansată a GPT-3, care este antrenată pe feedback uman pentru a urma instrucțiuni și intenții ale utilizatorului mai îndeaproape. Judecătorii umani au constatat că InstructGPT a fost mult mai puțin dependent decât GPT-3 de prompturi bune.

Cu toate acestea, trebuie remarcat că aceste teste au fost efectuate doar cu angajații OpenAI, un grup relativ omogen care nu poate diferi mult în ceea ce privește genul, religia sau opiniile politice. Este probabil un pariu sigur că GPT-4 va suferi un antrenament mai divers care va îmbunătăți alinierea pentru diferite grupuri, deși în ce măsură rămâne de văzut.

Va înlocui GPT-4 oamenii?

În ciuda promisiunii GPT-4, este puțin probabil că va înlocui complet nevoia de scriitori și codatori umani. Există încă mult de lucru de făcut în ceea ce privește optimizarea parametrilor, multimodalitatea și alinierea. Este posibil ca va dura mulți ani până vom vedea un generator de text care poate atinge o înțelegere cu adevărat umană a complexităților și nuanțelor experienței reale.

Chiar și așa, există motive bune pentru a fi entuziasmat de venirea GPT-4. Optimizarea parametrilor – și nu doar creșterea parametrilor – va duce, probabil, la un model de inteligență artificială care are mult mai multă putere de calcul decât predecesorul său. Și alinierea îmbunătățită va face, probabil, GPT-4 mult mai prietenos cu utilizatorul.

În plus, suntem încă doar la începutul dezvoltării și adoptării instrumentelor de inteligență artificială. Mai multe cazuri de utilizare a tehnologiei sunt descoperite constant, și pe măsură ce oamenii câștigă mai multă încredere și confort în utilizarea inteligenței artificiale în locul de muncă, este aproape sigur că vom vedea o adoptare pe scară largă a instrumentelor de inteligență artificială în aproape toate sectoarele de afaceri în următorii ani.