Kas GPT-4 on samm edasi AGI-ni jõudmise suunas?

Microsoft avaldas hiljuti uurimistöö pealkirjaga: Üldise tehisintellekti sädemed: GPT-4 varased katsed. Nagu Microsoft kirjeldas:

See paber aruanded meie uurimise kohta GPT-4 varase versiooni kohta, kui OpenAI seda veel aktiivselt arendas. Väidame, et (see varajane versioon) GPT-4 on osa uuest LLM-ide rühmast (koos näiteks ChatGPT ja Google'i PaLM-iga), millel on varasematest tehisintellekti mudelitest üldisem intelligentsus.

Selles artiklis on veenvaid tõendeid selle kohta, et GPT-4 ulatub palju kaugemale meeldejätmisest ning et sellel on sügav ja paindlik arusaam mõistetest, oskustest ja valdkondadest. Tegelikult ületab selle üldistusvõime kaugelt kõigi praegu elavate inimeste omast.

Kuigi oleme varem arutanud AGI eelised, peaksime kiiresti kokku võtma üldise konsensuse selle kohta, mis AGI süsteem on. Sisuliselt on AGI arenenud tehisintellekti tüüp, mis võib üldistada mitmes domeenis ja mille ulatus ei ole kitsas. Kitsa tehisintellekti näideteks on autonoomne sõiduk, vestlusrobot, malebot või mis tahes muu AI, mis on loodud ühe otstarbega.

Võrdluseks, AGI oleks võimeline paindlikult vahelduma mis tahes ülalnimetatu või mõne muu valdkonna vahel. See on AI, mis kasutaks ära tekkivaid algoritme, nagu ülekandmisõpe, ja evolutsioonilist õppimist, kasutades samal ajal ka pärandalgoritme, nagu sügav tugevdamine õppimine.

Ülaltoodud AGI kirjeldus ühtib minu isikliku kogemusega GPT-4 kasutamisega, aga ka Microsofti avaldatud uurimistöös jagatud tõenditega.

Üks töös kirjeldatud viipadest on, et GPT-4 kirjutaks luuletuse vormis tõendi algarvude lõpmatuse kohta.

Kui analüüsime sellise luuletuse loomise nõudeid, mõistame, et see nõuab matemaatilist arutlust, poeetilist väljendust ja loomuliku keele genereerimist. See on väljakutse, mis ületaks enamiku inimeste keskmise võimekuse.

Töö soovis mõista, kas GPT-4 toodab lihtsalt sisu, mis põhineb üldisel meeldejätmisel, võrreldes konteksti mõistmisega ja arutlusvõimega. Kui tal paluti Shakespeare'i stiilis luuletus uuesti luua, suutis ta seda teha. See nõuab mitmekülgset mõistmise taset, mis ületab kaugelt tavapopulatsiooni võimed ning hõlmab vaimuteooriat ja matemaatilist geeniust.

Kuidas arvutada GPT-4 intelligentsust?

Seejärel tekib küsimus, kuidas saame mõõta LLM-i intelligentsust? Ja kas GPT-4 näitab tõelist õppimist või pelgalt meeldejätmist?

Praegune viis tehisintellekti süsteemi testimiseks on süsteemi hindamine standardsete võrdlusandmekogumite alusel ning tagada, et need on koolitusandmetest sõltumatud ning hõlmavad mitmesuguseid ülesandeid ja valdkondi. Seda tüüpi testimine on peaaegu võimatu, kuna GPT-4 koolitati peaaegu piiramatul hulgal andmeid.

Artiklis käsitletakse uudsete ja keeruliste ülesannete/küsimuste genereerimist, mis veenvalt näitavad, et GPT-4 ulatub palju kaugemale meeldejätmisest ning et sellel on sügav ja paindlik arusaam mõistetest, oskustest ja valdkondadest.

Kui tegemist on luureandmetega, saab GPT-4 luua lühijutte, stsenaariume ja arvutada välja kõige keerulisemad valemid.

GPT-4 on võimeline ka väga kõrgel tasemel kodeerima nii juhistest koodi kirjutamise kui ka olemasoleva koodi mõistmise osas. GPT-4 saab hakkama mitmesuguste kodeerimisülesannetega, alates
kodeerimisprobleemid reaalmaailma rakendustele, alates madalatasemelisest kokkupanekust kuni kõrgetasemeliste raamistikeni, lihtsatest andmestruktuuridest kuni keeruliste programmideni, nagu mängud. GPT-4 võib ka põhjendada koodi täitmist, simuleerida käskude mõju ja selgitada tulemusi loomulikus keeles. GPT-4 suudab isegi pseudokoodi käivitada,

GPT-4 suudab pakkuda ratsionaalseid vastuseid peaaegu igale antud viipale. Tegelikult on selle intelligentsus oma keerukuses peaaegu võitmatu.

GPT-4 piirangud

Seejärel kirjeldatakse artiklis jätkuvalt, kuidas nad uurisid GPT-4 vastuseid ja käitumist, et kontrollida selle järjepidevust, sidusust ja õigsust ning paljastada selle piirangud ja eelarvamused.

Kõige ilmsem piirang on selle kalduvus hallutsinatsioonile. Siin on näide hallutsinatsioonist, mis on toodud dokumendis, kus GPT-4 oli oma vastuses kindel, mis oli täiesti vale.

Näib, et isegi GPT-4 mõistab seda praegust hallutsinatsioonide piirangut, kuna see oli vastus, kui küsisin, mis on GPT hallutsinatsioon:

GPT hallutsinatsioon viitab nähtusele, kus generatiivse eelkoolitatud transformaatori (GPT) mudel, nagu see, millega te praegu suhtlete, tekitab vastuse, mis ei põhine faktilisel teabel või ei ole esitatud kontekstiga kooskõlas. Need hallutsinatsioonid tekivad siis, kui mudel genereerib teksti, mis võib tunduda usutav, kuid on tegelikult vale, eksitav või mõttetu.

Teisisõnu, kui koolitate LLM-i tehisintellekti maailma andmetel, siis kuidas vältida seda, et süsteem õpib valesid andmeid? Suur keelemudel, mis õppib ja kogub desinformatsiooni ja vandenõuteooriaid, võib tegelikult olla üks suurimaid lõkse ja ohte, millega inimkond silmitsi seisab LLM-ide ulatuslikul kasutuselevõtul. See võib tegelikult olla üks suuremaid AGI ohte, millest AGI ohtude arutamisel üllatavalt tähelepanuta jäetakse.

GPT-4 intelligentsuse tõendid

Töö illustreerib, et pole vahet, mis tüüpi keerulisi viipeid sellele suunati, GPT-4 ületaks ootusi. Nagu paberil öeldud:

Selle võrratu loomuliku keele valdamine. See ei saa mitte ainult genereerida ladusat ja sidusat teksti, vaid ka seda mõista ja mitmel viisil manipuleerida, näiteks teha kokkuvõtteid, tõlkida või vastata väga laiale hulgale küsimustele. Veelgi enam, tõlkimise all ei pea me silmas mitte ainult erinevate loomulike keelte vahelist tõlget, vaid ka tooni ja stiili tõlkeid, aga ka selliseid valdkondi nagu meditsiin, õigus, raamatupidamine, arvutiprogrammeerimine, muusika ja palju muud.

GPT-4-le tehti tehnilisi ülevaatusi. Kui see oli teises otsas inimene, läks see selles kontekstis hõlpsasti üle tähendusest, et nad palgatakse kohe tarkvarainseneriks. Sarnane esialgne GPT-4 pädevuse test Multistate Bar Examil näitas täpsust üle 70%. See tähendab, et tulevikus saaksime automatiseerida paljusid praegu juristidele antud ülesandeid. Tegelikult on mõned idufirmad, kes töötavad nüüd robotjuristide loomise nimel kasutades GPT-4.

Uute teadmiste tootmine

Üks dokumendis esitatud argumente on see, et ainus asi, mis GPT-4 jaoks jääb tõelise mõistmise taseme tõestamiseks, on see, et see toodaks uusi teadmisi, näiteks uute matemaatiliste teoreemide tõestamine, mis on praegu LLM-ide jaoks kättesaamatu.

See on jällegi AGI püha graal. Kuigi AGI kontrolli all hoidmisega valedes kätes on ohte, on AGI eelised, mis on võimelised kiiresti analüüsima kõiki ajaloolisi andmeid, et avastada uusi teoreeme, ravimeid ja ravimeetodeid, peaaegu lõpmatud.

AGI võib olla puuduv lüli haruldaste geneetiliste haiguste raviks, millel puudub praegu erasektori rahastamine, vähi lõplikuks ravimiseks ja taastuvenergia tõhususe maksimeerimiseks, et eemaldada meie sõltuvus mittesäästvast energiast. Tegelikult võib see lahendada kõik sellest tulenevad probleemid, mis AGI süsteemi sisestatakse. Seda mõistavad Sam Altman ja OpenAI meeskond AGI on tõesti viimane leiutis mida on vaja enamiku probleemide lahendamiseks ja inimkonnale kasu toomiseks.

Muidugi ei lahenda see tuumanupu probleemi, kes kontrollib AGI-d ja millised on nende kavatsused. Olenemata sellest paber teeb fenomenaalset tööd, väites, et GPT-4 on samm edasi tehisintellekti teadlaste unistuste saavutamise suunas alates 1956, kui esialgne Dartmouthi suveuuringute projekt tehisintellekti kohta käivitati esmakordselt.

Kuigi on vaieldav, kas GPT-4 on AGI, võib kergesti väita, et esimest korda inimkonna ajaloos on see AI-süsteem, mis suudab Turingi test.