GPT-4 ne va aduce mai aproape de o adevărată revoluție a inteligenței artificiale?

Au trecut aproape trei ani de când GPT-3 a fost introdus, în mai 2020. De atunci, modelul de generare de text AI a atras mult interes pentru capacitatea sa de a crea text care arată și sună ca și cum ar fi fost scris de un om. Acum pare că următoarea iterație a software-ului, GPT-4, este aproape, cu o dată estimată de lansare la începutul anului 2023.

În ciuda naturii foarte anticipate a acestei știri AI, detaliile exacte despre GPT-4 au fost destul de incomplete. OpenAI, compania din spatele GPT-4, nu a dezvăluit public prea multe informații despre noul model, cum ar fi caracteristicile sau abilitățile sale. Cu toate acestea, progresele recente în domeniul AI, în special în ceea ce privește procesarea limbajului natural (NLP), ar putea oferi câteva indicii despre ce ne putem aștepta de la GPT-4.

Ce este GPT?

Înainte de a intra în detalii, este util să stabiliți mai întâi o linie de bază despre ce este GPT. GPT înseamnă Generative Pre-Trained Transformer și se referă la un model de rețea neuronală de învățare profundă care este antrenat pe date disponibile de pe internet pentru a crea volume mari de text generat de mașini. GPT-3 este a treia generație a acestei tehnologii și este unul dintre cele mai avansate modele de generare de text AI disponibile în prezent.

Gândiți-vă la GPT-3 ca funcționând un pic ca asistenții vocali, cum ar fi Siri sau Alexa, doar la o scară mult mai mare. În loc să îi ceri lui Alexa să redea melodia ta preferată sau să-l pui pe Siri să-ți scrie textul, poți cere GPT-3 să scrie o carte electronică întreagă în doar câteva minute sau să genereze 100 de idei de postări pe rețelele sociale în mai puțin de un minut. Tot ceea ce trebuie să facă utilizatorul este să ofere un prompt, cum ar fi „Scrie-mi un articol de 500 de cuvinte despre importanța creativității”. Atâta timp cât solicitarea este clară și specifică, GPT-3 poate scrie aproape orice îi cereți.

De la lansarea sa pentru publicul larg, GPT-3 a găsit multe aplicații de afaceri. Companiile îl folosesc pentru rezumarea textului, traducerea limbii, generarea de cod și automatizarea pe scară largă a aproape orice sarcină de scriere.

Acestea fiind spuse, deși GPT-3 este, fără îndoială, foarte impresionant prin capacitatea sa de a crea text ușor de citit, asemănător textelor umane, este departe de a fi perfect. Problemele tind să apară atunci când li se solicită să scrieți texte mai lungi, mai ales când vine vorba de subiecte complexe care necesită aprofundare. De exemplu, o solicitare de generare a codului de calculator pentru un site web poate returna cod corect, dar suboptim, astfel încât un programator uman trebuie totuși să intervină și să facă îmbunătățiri. Este o problemă similară și în cazul documentelor text mari: cu cât volumul de text este mai mare, cu atât este mai probabil să apară erori - uneori amuzante - care trebuie corectate de un scriitor uman.

Mai simplu spus, GPT-3 nu este un înlocuitor complet pentru scriitorii sau codificatorii umani și nu ar trebui să fie considerat ca unul. În schimb, GPT-3 ar trebui să fie privit ca un asistent de scriere, unul care poate economisi mult timp oamenilor atunci când au nevoie să genereze idei de postări pe blog sau contururi brute pentru articole publicitare sau comunicate de presă.

Mai mulți parametri = mai bine?

Un lucru de înțeles despre modelele AI este modul în care folosesc parametrii pentru a face predicții. Parametrii unui model AI definesc procesul de învățare și oferă o structură pentru rezultat. Numărul de parametri dintr-un model AI a fost, în general, utilizat ca măsură a performanței. Cu cât sunt mai mulți parametri, cu atât modelul este mai puternic, mai neted și mai previzibil, cel puțin conform ipoteza de scalare.

De exemplu, când GPT-1 a fost lansat în 2018, avea 117 milioane de parametri. GPT-2, lansat un an mai târziu, avea 1.2 miliarde de parametri, în timp ce GPT-3 a crescut numărul și mai mult la 175 de miliarde de parametri. Potrivit unui interviu din august 2021 cu Prin cablu, Andrew Feldman, fondator și CEO al Cerebras, o companie care colaborează cu OpenAI, a menționat că GPT-4 ar avea aproximativ 100 de trilioane de parametri. Acest lucru ar face GPT-4 de 100 de ori mai puternic decât GPT-3, un salt cuantic în dimensiunea parametrilor care, de înțeles, i-a făcut pe mulți oameni foarte entuziasmați.

Totuși, în ciuda afirmației ambițioase a lui Feldman, există motive întemeiate pentru a crede că GPT-4 nu va avea de fapt 100 de trilioane de parametri. Cu cât numărul de parametri este mai mare, cu atât antrenarea și reglarea fină a unui model devine mai scumpă, din cauza puterii mari de calcul necesare.

În plus, există mai mulți factori decât numărul de parametri care determină eficacitatea unui model. Luați de exemplu Megatron-Turing NLG, un model de generare de text construit de Nvidia și Microsoft, care are peste 500 de miliarde de parametri. În ciuda dimensiunii sale, MT-NLG nu se apropie de GPT-3 în ceea ce privește performanța. Pe scurt, mai mare nu înseamnă neapărat mai bine.

Probabil că GPT-4 va avea într-adevăr mai mulți parametri decât GPT-3, dar rămâne de văzut dacă acest număr va fi cu un ordin de mărime mai mare. În schimb, există alte posibilități interesante pe care OpenAI le urmărește probabil, cum ar fi un model mai suplu, care se concentrează pe îmbunătățiri calitative în proiectarea și alinierea algoritmilor. Impactul exact al unor astfel de îmbunătățiri este greu de prezis, dar ceea ce se știe este că un model dispers poate reduce costurile de calcul prin ceea ce se numește calcul condiționat, adică nu toți parametrii din modelul AI se vor activa tot timpul, ceea ce este similar cu modul în care funcționează neuronii din creierul uman.

Deci, ce va putea face GPT-4?

Până când OpenAI va publica o nouă declarație sau chiar va lansa GPT-4, nu putem face decât să speculăm despre cum va diferi de GPT-3. Indiferent de situație, putem face câteva predicții.

Deși viitorul dezvoltării AI deep-learning este multimodal, GPT-4 va rămâne probabil doar text. Ca oameni, trăim într-o lume multisenzorială care este plină de diferite intrări audio, vizuale și textuale. Prin urmare, este inevitabil ca dezvoltarea AI să producă în cele din urmă un model multimodal care poate încorpora o varietate de intrări.

Cu toate acestea, un model multimodal bun este mult mai dificil de proiectat decât un model numai text. Tehnologia pur și simplu nu există încă și, pe baza a ceea ce știm despre limitele dimensiunii parametrilor, este probabil ca OpenAI să se concentreze pe extinderea și îmbunătățirea unui model doar text.

De asemenea, este probabil ca GPT-4 să depindă mai puțin de indicarea precisă. Unul dintre dezavantajele GPT-3 este că solicitările de text trebuie scrise cu atenție pentru a obține rezultatul dorit. Când solicitările nu sunt scrise cu atenție, puteți ajunge la rezultate care sunt false, toxice sau chiar reflectă opinii extremiste. Aceasta face parte din ceea ce se numește „problema de aliniere” și se referă la provocările în crearea unui model AI care înțelege pe deplin intențiile utilizatorului. Cu alte cuvinte, modelul AI nu este aliniat cu scopurile sau intențiile utilizatorului. Deoarece modelele AI sunt antrenate folosind seturi de date text de pe internet, este foarte ușor pentru părtinirile umane, falsurile și prejudecățile să își găsească drumul în rezultatele textului.

Acestea fiind spuse, există motive întemeiate pentru a crede că dezvoltatorii fac progrese în problema de aliniere. Acest optimism vine din unele progrese în dezvoltarea InstructGPT, o versiune mai avansată a GPT-3, care este instruită pe feedback uman pentru a urma instrucțiunile și intențiile utilizatorilor mai îndeaproape. Judecătorii umani au constatat că InstructGPT depindea mult mai puțin decât GPT-3 de o bună solicitare.

Totuși, trebuie menționat că aceste teste au fost efectuate doar cu angajați OpenAI, un grup destul de omogen care poate să nu difere foarte mult în ceea ce privește sexul, opiniile religioase sau politice. Este probabil un pariu sigur că GPT-4 va fi supus unui antrenament mai divers, ceea ce va îmbunătăți alinierea pentru diferite grupuri, deși rămâne de văzut în ce măsură.

GPT-4 va înlocui oamenii?

În ciuda promisiunii lui GPT-4, este puțin probabil ca acesta să înlocuiască complet nevoia de scriitori și codificatori umani. Mai este mult de făcut pentru orice, de la optimizarea parametrilor la multimodalitate la aliniere. S-ar putea să treacă mulți ani până când vom vedea un generator de text care poate realiza o înțelegere cu adevărat umană a complexităților și nuanțelor experienței din viața reală.

Chiar și așa, există încă motive întemeiate să fii entuziasmat de venirea GPT-4. Optimizarea parametrilor – mai degrabă decât simpla creștere a parametrilor – va duce probabil la un model AI care are mult mai multă putere de calcul decât predecesorul său. Și alinierea îmbunătățită va face probabil GPT-4 mult mai ușor de utilizat.

În plus, suntem încă la începutul dezvoltării și adoptării instrumentelor AI. Se găsesc în mod constant mai multe cazuri de utilizare pentru tehnologie și, pe măsură ce oamenii câștigă mai multă încredere și confort prin utilizarea AI la locul de muncă, este aproape sigur că vom vedea adoptarea pe scară largă a instrumentelor AI în aproape fiecare sector de afaceri în următorii ani.