Je li GPT-4 korak naprijed prema dostizanju AGI?

Microsoft je nedavno objavio istraživački rad pod naslovom: Iskre opće umjetne inteligencije: Rani eksperimenti s GPT-4. Kao što je opisao Microsoft:

Ovaj papir izvješćuje o našem istraživanju rane verzije GPT-4, kada je OpenAI još bio u aktivnom razvoju. Tvrdimo da je (ova rana verzija) GPT-4 dio nove kohorte LLM-a (zajedno s ChatGPT-om i Googleovim PaLM-om, na primjer) koji pokazuju općenitiju inteligenciju od prethodnih AI modela.

U ovom radu postoje uvjerljivi dokazi koji pokazuju da GPT-4 ide daleko dalje od pamćenja i da ima duboko i fleksibilno razumijevanje koncepata, vještina i domena. U stvari, njegova sposobnost generaliziranja daleko premašuje sposobnost bilo kojeg današnjeg čovjeka.

Dok smo prethodno raspravljali o prednosti AGI, trebali bismo brzo sažeti opći konsenzus o tome što je AGI sustav. U biti, AGI je vrsta napredne umjetne inteligencije koja može generalizirati na više domena i nije uskog opsega. Primjeri uske umjetne inteligencije uključuju autonomno vozilo, chatbot, šahovski bot ili bilo koju drugu umjetnu inteligenciju koja je dizajnirana za jednu svrhu.

Za usporedbu, AGI bi se mogao fleksibilno izmjenjivati ​​između bilo kojeg od gore navedenih ili bilo kojeg drugog područja stručnosti. To je umjetna inteligencija koja bi iskoristila algoritme u nastajanju kao što su transferno učenje, i evolucijsko učenje, dok također iskorištava naslijeđene algoritme kao što su učenje s dubokim pojačanjem.

Gornji opis AGI-ja odgovara mom osobnom iskustvu s korištenjem GPT-4, kao i dokazima iznesenim u istraživačkom radu koji je objavio Microsoft.

Jedan od prijedloga navedenih u radu je da GPT-4 napiše dokaz o beskonačnosti prostih brojeva u obliku pjesme.

Ako analiziramo zahtjeve za stvaranje takve pjesme, shvaćamo da ona zahtijeva matematičko razmišljanje, pjesnički izraz i stvaranje prirodnog jezika. Ovo je izazov koji bi premašio prosječne sposobnosti većine ljudi.

Rad je želio razumjeti proizvodi li GPT-4 jednostavno sadržaj temeljen na općem pamćenju nasuprot razumijevanju konteksta i sposobnosti zaključivanja. Kad su ga zamolili da ponovno stvori pjesmu u stilu Shakespearea, to je mogao učiniti. To zahtijeva višestruku razinu razumijevanja koja daleko nadilazi sposobnost opće populacije i uključuje teoriju uma i matematičku genijalnost.

Kako izračunati GPT-4 inteligenciju?

Postavlja se pitanje kako možemo izmjeriti inteligenciju LLM-a? I pokazuje li GPT-4 ponašanja istinskog učenja ili pukog pamćenja?

Trenutačni način testiranja sustava umjetne inteligencije je procjena sustava na skupu standardnih referentnih skupova podataka, kako bi se osiguralo da su neovisni o podacima o obuci i da pokrivaju niz zadataka i domena. Ova vrsta testiranja gotovo je nemoguća zbog gotovo neograničene količine podataka na kojima je GPT-4 treniran.

U radu se raspravlja o stvaranju novih i teških zadataka/pitanja koji uvjerljivo pokazuju da GPT-4 ide daleko dalje od pamćenja i da ima duboko i fleksibilno razumijevanje koncepata, vještina i domena.

Kad je riječ o inteligenciji, GPT-4 može generirati kratke priče, scenarije i može izračunati najsloženije formule.

GPT-4 također može kodirati na vrlo visokoj razini, kako u smislu pisanja koda iz uputa tako i razumijevanja postojećeg koda. GPT-4 se može nositi sa širokim rasponom zadataka kodiranja, od
izazovi kodiranja za aplikacije stvarnog svijeta, od asemblera niske razine do okvira visoke razine, od jednostavnih struktura podataka do složenih programa kao što su igre. GPT-4 također može razmišljati o izvršavanju koda, simulirati učinke instrukcija i objasniti rezultate prirodnim jezikom. GPT-4 čak može izvršiti pseudokod,

GPT-4 može ponuditi racionalne odgovore na gotovo svaki upit. Zapravo, njegova je inteligencija gotovo nepobjediva u svojoj složenosti.

Ograničenja GPT-4

Rad zatim nastavlja opisivati ​​kako su ispitivali odgovore i ponašanja GPT-4, kako bi potvrdili njegovu dosljednost, koherentnost i ispravnost, te kako bi otkrili njegova ograničenja i pristranosti.

Najočitije ograničenje je njegovo sklonost halucinacijama. Evo primjera halucinacije koji je dan u radu gdje je GPT-4 bio uvjeren u svoj odgovor koji je bio potpuno lažan.

Čini se da čak i GPT-4 razumije ovo trenutno ograničenje s halucinacijama jer je ovo bio odgovor koji je dao kada sam ga pitao što je GPT halucinacija:

GPT halucinacija odnosi se na fenomen u kojem model Generativnog prethodno obučenog transformatora (GPT), poput onog s kojim trenutno komunicirate, proizvodi odgovor koji se ne temelji na činjeničnim informacijama ili nije koherentan s pruženim kontekstom. Ove se halucinacije događaju kada model generira tekst koji se može činiti uvjerljivim, ali je zapravo netočan, obmanjujući ili besmislen.

Drugim riječima, kada trenirate LLM AI na podacima iz svijeta, kako izbjeći da sustav uči netočne podatke? Učenje velikog jezičnog modela i izbacivanje dezinformacija te teorije zavjere zapravo bi mogle biti jedna od najvećih zamki i prijetnji s kojima se čovječanstvo suočava s velikim usvajanjem LLM-a. Ovo bi zapravo mogla biti jedna od većih prijetnji AGI-ja, koja se iznenađujuće ne spominje kada se raspravlja o opasnostima AGI-ja.

GPT-4 dokazi inteligencije

Rad ilustrira da bi GPT-4 premašio očekivanja, bez obzira na vrstu složenih upita usmjerenih prema njemu. Kao što je navedeno u radu:

Njegovo majstorstvo prirodnog jezika bez premca. Ne samo da može generirati tečan i koherentan tekst, već ga također može razumjeti i njime manipulirati na razne načine, kao što je sažimanje, prevođenje ili odgovaranje na iznimno širok skup pitanja. Štoviše, pod prevođenjem ne mislimo samo na različite prirodne jezike, već i na prijevode u tonu i stilu, kao i na različite domene kao što su medicina, pravo, računovodstvo, računalno programiranje, glazba itd.

Lažne tehničke recenzije dane su GPT-4, lako je prošlo što u ovom kontekstu znači da bi se s druge strane radilo o čovjeku da bi odmah bili angažirani kao softverski inženjer. Sličan preliminarni test sposobnosti GPT-4 na Višedržavnom pravosudnom ispitu pokazao je točnost iznad 70%. To znači da bismo u budućnosti mogli automatizirati mnoge zadatke koji se trenutno daju odvjetnicima. Zapravo ih ima startupa koji sada rade na stvaranju robota odvjetnika pomoću GPT-4.

Stvaranje novog znanja

Jedan od argumenata u radu je da jedino što GPT-4 preostaje da dokaže prave razine razumijevanja je da proizvede novo znanje, kao što je dokazivanje novih matematičkih teorema, što je pothvat koji trenutno ostaje nedostižan za LLM.

A opet, ovo je sveti gral AGI-ja. Iako postoje opasnosti kada se AGI kontrolira u pogrešnim rukama, prednosti AGI-ja u mogućnosti da brzo analiziraju sve povijesne podatke kako bi otkrili nove teoreme, lijekove i tretmane gotovo su beskonačne.

AGI bi mogao biti karika koja nedostaje u pronalaženju lijekova za rijetke genetske bolesti za koje trenutačno nedostaje financiranje privatne industrije, u liječenju raka jednom zauvijek i maksimiziranju učinkovitosti obnovljive energije kako bi se uklonila naša ovisnost o neodrživoj energiji. Zapravo bi mogao riješiti svaki posljedični problem koji se unese u AGI sustav. To je ono što Sam Altman i tim u OpenAI-u razumiju, an AGI je uistinu posljednji izum koji je potreban za rješavanje većine problema i za dobrobit čovječanstva.

Naravno, to ne rješava problem nuklearnog gumba tko kontrolira AGI i koje su njihove namjere. Bez obzira na ovo papir radi fenomenalan posao tvrdeći da je GPT-4 korak naprijed prema ostvarenju sna koji su istraživači AI imali od 1956., kada je prvi put pokrenuta prva ljetna radionica Dartmouth Summer Research Project on Artificial Intelligence.

Iako je diskutabilno je li GPT-4 AGI, lako se može tvrditi da je po prvi put u ljudskoj povijesti to AI sustav koji može proći Turingov test.