Este GPT-4 un salt spre atingerea AGI?

Microsoft a publicat recent o lucrare de cercetare intitulată: Scântei de inteligență artificială generală: Experimente timpurii cu GPT-4. Așa cum este descris de Microsoft:

Această lucrare raportează despre investigația noastră asupra unei versiuni timpurii a GPT-4, când era încă în dezvoltare activă de către OpenAI. Susținem că (această versiune timpurie a) GPT-4 face parte dintr-un nou grup de LLM (împreună cu ChatGPT și PaLM de la Google, de exemplu) care prezintă o inteligență mai generală decât modelele de AI anterioare.

În această lucrare, există dovezi conclusive care demonstrează că GPT-4 merge mult dincolo de memorizare și că are o înțelegere profundă și flexibilă a conceptelor, abilităților și domeniilor. De fapt, capacitatea sa de a generaliza depășește cu mult cea a oricărui om viu astăzi.

Pe când am discutat anterior despre beneficiile AGI, ar trebui să rezumăm rapid consensul general cu privire la ceea ce este un sistem AGI. În esență, un AGI este un tip de AI avansat care poate generaliza în multiple domenii și nu este îngust în scop. Exemple de AI îngust includ un vehicul autonom, un chatbot, un bot de șah sau orice alt AI care este proiectat pentru un singur scop.

Un AGI, în comparație, ar putea alterna flexibil între oricare dintre cele de mai sus sau orice alt domeniu de expertiză. Este un AI care ar putea profita de algoritmi nascenti, cum ar fi învățarea transferului, și învățarea evolutivă, în timp ce exploatează și algoritmi legacy, cum ar fi învățarea profundă prin întărire.

Descrierea de mai sus a AGI se potrivește experienței mele personale cu utilizarea GPT-4, precum și a dovezilor prezentate în lucrarea de cercetare publicată de Microsoft.

Una dintre provocările prezentate în lucrare este ca GPT-4 să scrie o demonstrație a infinității numerelor prime sub forma unui poem.

Dacă analizăm cerințele pentru crearea unui astfel de poem, ne dăm seama că necesită raționament matematic, expresie poetică și generare de limbaj natural. Aceasta este o provocare care ar depăși capacitatea medie a majorității oamenilor.

Lucrarea a dorit să înțeleagă dacă GPT-4 producea conținut pe baza memorizării generale sau dacă înțelegea contextul și putea raționa. Când a fost solicitat să recreeze un poem în stilul lui Shakespeare, a reușit. Acest lucru necesită un nivel multifacetat de înțelegere care depășește cu mult capacitatea populației generale și include teoria minții și geniul matematic.

Cum se calculează inteligența GPT-4?

Întrebarea devine atunci cum putem măsura inteligența unui LLM? Și este GPT-4 afișând comportamente de învățare adevărată sau doar memorizare?

Modalitatea curentă de testare a unui sistem de AI este prin evaluarea sistemului pe un set de seturi de date de referință standard, și pentru a ne asigura că acestea sunt independente de datele de antrenament și că acoperă o gamă de sarcini și domenii. Acest tip de testare este aproape imposibil datorită cantității aproape nelimitate de date pe care GPT-4 a fost antrenat.

Lucrarea discută despre generarea de sarcini și întrebări noi și dificile care demonstrează convingător că GPT-4 merge mult dincolo de memorizare și că are o înțelegere profundă și flexibilă a conceptelor, abilităților și domeniilor.

Când vine vorba de inteligență, GPT-4 poate genera povestiri scurte, scenarii și poate calcula formulele cele mai complicate.

GPT-4 este, de asemenea, capabil să codifice la un nivel foarte ridicat, atât în ceea ce privește scrierea de cod din instrucțiuni, cât și înțelegerea codului existent. GPT-4 poate gestiona o gamă largă de sarcini de codificare, de la provocări de codificare la aplicații din lumea reală, de la asamblare de nivel scăzut la cadre de nivel înalt, de la structuri de date simple la programe complexe, cum ar fi jocuri. GPT-4 poate, de asemenea, raționa despre execuția codului, simula efectele instrucțiunilor și explica rezultatele în limbaj natural. GPT-4 poate chiar executa pseudocod,

GPT-4 poate oferi răspunsuri raționale la aproape orice provocare dată. De fapt, inteligența sa este aproape invincibilă în complexitatea sa.

Limitări ale GPT-4

Lucrarea continuă apoi să descrie modul în care au investigat răspunsurile și comportamentele GPT-4, pentru a verifica coerența, coerența și corectitudinea acestuia și pentru a descoperi limitările și prejudecățile sale.

Cea mai evidentă limitare este tendința sa de a halucina. Iată un exemplu de halucinație care este prezentat în lucrare, unde GPT-4 a fost sigur de răspunsul său, care era complet fals.

Se pare că chiar și GPT-4 înțelege această limitare actuală cu halucinațiile, deoarece acesta a fost răspunsul pe care l-a dat când l-am întrebat ce este o halucinație GPT:

O halucinație GPT se referă la un fenomen în care un model de transformare generativ preantrenat (GPT), cum ar fi cel cu care sunteți în interacțiune în prezent, produce un răspuns care nu se bazează pe informații factuale sau nu este coerent cu contextul furnizat. Aceste halucinații apar atunci când modelul generează text care poate părea plauzibil, dar este de fapt incorect, înșelător sau nonsens.

În altă ordine de idei, când antrenați un LLM pe datele lumii, cum evitați ca sistemul să învețe date incorecte? Un model de limbaj mare care învață și regurgitează informații false și teorii conspirative ar putea fi una dintre cele mai mari capcane și amenințări cu care se confruntă omenirea în ceea ce privește adoptarea pe scară largă a LLM-urilor. Acest lucru ar putea fi, de fapt, una dintre cele mai mari amenințări din AGI, una care este surprinzător de omisă atunci când se discută despre pericolele AGI.

Dovezi de inteligență ale GPT-4

Lucrarea ilustrează că nu a contat ce tip de provocări complexe au fost direcționate către GPT-4, GPT-4 a depășit așteptările. Așa cum se afirmă în lucrare:

Stăpânirea sa fără precedent a limbajului natural. Nu numai că poate genera text fluent și coerent, dar poate, de asemenea, înțelege și manipula în diverse moduri, cum ar fi rezumarea, traducerea sau răspunsul la o gamă extrem de largă de întrebări. Mai mult, prin traducere, nu ne referim doar la traducerea între limbi naturale diferite, ci și la traduceri în ton și stil, precum și în domenii, cum ar fi medicina, dreptul, contabilitatea, programarea computerelor, muzica și multe altele.

Recenzii tehnice fictive au fost date GPT-4, a trecut cu ușurință, ceea ce înseamnă că, în acest context, dacă ar fi fost un om pe celălalt capăt, ar fi fost angajat imediat ca inginer de software. Un test preliminar similar al competenței GPT-4 la examenul barourilor multistate a arătat o acuratețe de peste 70%. Acest lucru înseamnă că, în viitor, am putea automatiza multe dintre sarcinile care sunt în prezent atribuite avocaților. De fapt, există unele start-up-uri care lucrează la crearea de avocați roboți utilizând GPT-4.

Producerea de cunoaștere nouă

Unul dintre argumentele din lucrare este că singurul lucru care îi mai rămâne de demonstrat GPT-4 pentru a dovedi nivele adevărate de înțelegere este să producă cunoaștere nouă, cum ar fi demonstrarea de teoreme matematice noi, o realizare care în prezent rămâne în afara LLM-urilor.

În continuare, acesta este graalul unui AGI. În timp ce există pericole cu un AGI controlat de mâini greșite, beneficiile unui AGI care poate analiza rapid toate datele istorice pentru a descoperi teoreme, remedii și tratamente noi sunt aproape infinite.

Un AGI ar putea fi legătura lipsă pentru a găsi remedii pentru boli genetice rare care în prezent lipsesc fonduri private, pentru a vindeca cancer odată pentru totdeauna și pentru a maximiza eficiența energiei regenerabile pentru a elimina dependența noastră de energie nesustenabilă. De fapt, ar putea rezolva orice problemă consecventă care este introdusă în sistemul AGI. Acesta este ceea ce Sam Altman și echipa de la OpenAI înțeleg, un AGI este, de fapt, ultima invenție care este necesară pentru a rezolva majoritatea problemelor și pentru a beneficia omenirea.

Desigur, acest lucru nu rezolvă problema butonului nuclear al controlului AGI și a intențiilor sale. Indiferent de acest lucru, lucrarea face o treabă fenomenală în a argumenta că GPT-4 este un salt spre atingerea visului cercetătorilor de AI pe care l-au avut din 1956, când a fost lansat pentru prima dată atelierul de vară de cercetare de la Dartmouth despre inteligență artificială.

În timp ce este dezbătut dacă GPT-4 este un AGI, se poate argumenta cu ușurință că, pentru prima dată în istoria omenirii, este un sistem de AI care poate trece testul Turing.