Je GPT-4 korak naprej k doseganju AGI?

Microsoft je pred kratkim izdal raziskovalno delo z naslovom: Iskre umetne splošne inteligence: zgodnji poskusi z GPT-4. Kot opisuje Microsoft:

Ta papir poroča o naši preiskavi zgodnje različice GPT-4, ko jo je OpenAI še aktivno razvijal. Trdimo, da je (ta zgodnja različica) GPT-4 del nove skupine LLM-jev (skupaj s ChatGPT in Googlovim PaLM na primer), ki izkazujejo bolj splošno inteligenco kot prejšnji modeli AI.

V tem dokumentu so prepričljivi dokazi, ki dokazujejo, da GPT-4 daleč presega pomnjenje in da ima globoko in prilagodljivo razumevanje konceptov, veščin in področij. Pravzaprav njegova sposobnost posploševanja daleč presega sposobnost katerega koli danes živečega človeka.

Medtem ko smo prej razpravljali o prednosti AGI, bi morali na hitro povzeti splošno soglasje o tem, kaj je sistem AGI. V bistvu je AGI vrsta napredne umetne inteligence, ki lahko posplošuje na več področij in nima ozkega obsega. Primeri ozke umetne inteligence vključujejo avtonomno vozilo, klepetalnega robota, šahovskega robota ali katero koli drugo umetno inteligenco, ki je zasnovana za en sam namen.

Za primerjavo bi AGI lahko prožno preklapljal med katerim koli od zgornjih ali katerim koli drugim strokovnim področjem. To je AI, ki bi izkoristil nastajajoče algoritme, kot je npr transferno učenje, in evolucijsko učenje, hkrati pa izkorišča podedovane algoritme, kot je npr poglobljeno učenje.

Zgornji opis AGI se ujema z mojo osebno izkušnjo z uporabo GPT-4, pa tudi z dokazi v raziskovalnem dokumentu, ki ga je izdal Microsoft.

Eden od pozivov, opisanih v članku, je, da GPT-4 napiše dokaz o neskončnosti praštevil v obliki pesmi.

Če analiziramo zahteve za ustvarjanje takšne pesmi, ugotovimo, da zahteva matematično sklepanje, pesniško izražanje in ustvarjanje naravnega jezika. To je izziv, ki bi presegel povprečne sposobnosti večine ljudi.

Prispevek je želel razumeti, ali GPT-4 preprosto proizvaja vsebino, ki temelji na splošnem pomnjenju v primerjavi z razumevanjem konteksta in zmožnostjo sklepanja. Ko so ga prosili, naj poustvari pesem v slogu Shakespeara, je to lahko storil. To zahteva večplastno raven razumevanja, ki daleč presega zmožnost splošne populacije in vključuje teorijo uma in matematičnega genija.

Kako izračunati inteligenco GPT-4?

Postavlja se vprašanje, kako lahko izmerimo inteligenco LLM? In ali GPT-4 prikazuje vedenje pravega učenja ali zgolj pomnjenja?

Trenutni način testiranja sistema umetne inteligence je ocenjevanje sistema na nizu standardnih primerjalnih nizov podatkov in zagotavljanje, da so neodvisni od podatkov o usposabljanju ter da pokrivajo vrsto nalog in področij. Ta vrsta testiranja je skoraj nemogoča zaradi skoraj neomejene količine podatkov, na katerih je bil GPT-4 usposobljen.

Prispevek obravnava ustvarjanje novih in težkih nalog/vprašanj, ki prepričljivo dokazujejo, da GPT-4 daleč presega pomnjenje in da ima globoko in prilagodljivo razumevanje konceptov, veščin in področij.

Ko gre za inteligenco, lahko GPT-4 ustvarja kratke zgodbe, scenarije in lahko izračuna najbolj zapletene formule.

GPT-4 je tudi sposoben kodirati na zelo visoki ravni, tako v smislu pisanja kode iz navodil kot razumevanja obstoječe kode. GPT-4 lahko obravnava širok spekter nalog kodiranja, od
izzivi kodiranja za aplikacije v resničnem svetu, od sestavljanja na nizki ravni do ogrodij na visoki ravni, od preprostih podatkovnih struktur do kompleksnih programov, kot so igre. GPT-4 lahko tudi razmišlja o izvajanju kode, simulira učinke navodil in razloži rezultate v naravnem jeziku. GPT-4 lahko izvaja celo psevdokodo,

GPT-4 lahko ponudi racionalne odgovore na skoraj vsak poziv. Pravzaprav je njena inteligenca v svoji kompleksnosti skoraj nepremagljiva.

Omejitve GPT-4

Članek nato nadaljuje z opisom, kako so raziskovali odzive in vedenje GPT-4, da bi preverili njegovo doslednost, skladnost in pravilnost ter odkrili njegove omejitve in pristranskosti.

Najbolj očitna omejitev je njegova nagnjenost k halucinacijam. Tukaj je primer halucinacije, ki je podan v članku, kjer je bil GPT-4 prepričan v svoj odgovor, ki je bil popolnoma napačen.

Zdi se, da celo GPT-4 razume to trenutno omejitev s halucinacijami, saj je bil to odgovor, ki ga je dal, ko sem ga vprašal, kaj je halucinacija GPT:

Halucinacija GPT se nanaša na pojav, kjer model Generative Pre-trained Transformer (GPT), kot je tisti, s katerim trenutno komunicirate, ustvari odziv, ki ne temelji na dejanskih informacijah ali ni skladen s podanim kontekstom. Te halucinacije se pojavijo, ko model ustvari besedilo, ki se morda zdi verjetno, vendar je v resnici nepravilno, zavajajoče ali nesmiselno.

Z drugimi besedami, ko usposabljate LLM AI na svetovnih podatkih, kako se izogniti sistemu, ki se uči napačnih podatkov? Učenje velikega jezikovnega modela in ponavljanje dezinformacij ter teorije zarote bi lahko dejansko bile ena največjih pasti in groženj, s katerimi se človeštvo sooča z obsežnim sprejemanjem LLM. To bi dejansko lahko bila ena večjih groženj AGI, ki je presenetljivo spregledana pri razpravah o nevarnostih AGI.

GPT-4 dokazila o inteligenci

Članek ponazarja, da bi GPT-4 presegel pričakovanja, ne glede na vrsto zapletenih pozivov, ki so bili usmerjeni proti njemu. Kot je navedeno v dokumentu:

Njegovo obvladovanje naravnega jezika brez primere. Ne more le ustvariti tekočega in koherentnega besedila, ampak ga tudi razume in manipulira na različne načine, kot je povzemanje, prevajanje ali odgovarjanje na izjemno širok nabor vprašanj. Poleg tega s prevajanjem ne mislimo le med različnimi naravnimi jeziki, temveč tudi prevode v tonu in slogu, pa tudi na področja, kot so medicina, pravo, računovodstvo, računalniško programiranje, glasba itd.

GPT-4 je prejel navidezne tehnične preglede, v tem kontekstu pa je zlahka prenesel pomen, če bi bil to človek na drugi strani, da bi ga takoj zaposlili kot programskega inženirja. Podoben predhodni preizkus usposobljenosti GPT-4 na večdržavnem pravosodnem izpitu je pokazal natančnost nad 70 %. To pomeni, da bi lahko v prihodnosti avtomatizirali številne naloge, ki so trenutno naložene pravnikom. Pravzaprav jih je nekaj startupov, ki zdaj delajo na ustvarjanju robotov odvetnikov z uporabo GPT-4.

Ustvarjanje novega znanja

Eden od argumentov v prispevku je, da je edina stvar, ki preostane GPT-4, da dokaže prave ravni razumevanja, da proizvede novo znanje, kot je dokazovanje novih matematičnih izrekov, podvig, ki trenutno ostaja nedosegljiv za LLM.

Potem je spet to sveti gral AGI. Medtem ko obstajajo nevarnosti, če je AGI nadzorovan v napačnih rokah, so prednosti AGI, da lahko hitro analizira vse zgodovinske podatke za odkrivanje novih teoremov, zdravil in zdravljenj, skoraj neskončne.

AGI bi lahko bil manjkajoči člen pri iskanju zdravil za redke genetske bolezni, za katere trenutno primanjkuje financiranja zasebne industrije, pri zdravljenju raka enkrat za vselej in povečanju učinkovitosti obnovljive energije, da bi odpravili našo odvisnost od netrajnostne energije. Pravzaprav bi lahko rešil vse posledične težave, ki se vnesejo v sistem AGI. To razumeta Sam Altman in ekipa pri OpenAI, an AGI je res zadnji izum ki je potreben za rešitev večine problemov in v korist človeštva.

Seveda to ne reši problema jedrskega gumba, kdo nadzira AGI in kakšni so njihovi nameni. Ne glede na to papirja opravlja fenomenalno delo, ko trdi, da je GPT-4 korak naprej k doseganju sanj, ki so jih imeli raziskovalci AI saj 1956, ko se je prvič začela poletna delavnica Dartmouth Summer Research Project on Artificial Intelligence.

Čeprav je sporno, ali je GPT-4 AGI, bi zlahka trdili, da je to prvič v človeški zgodovini sistem AI, ki lahko prenese Turingov test.