Er GPT-4 stökk fram á við í átt að AGI?

Microsoft gaf nýlega út rannsóknarritgerð sem heitir: Neistar af gervi almennri greind: Snemma tilraunir með GPT-4. Eins og lýst er af Microsoft:

Þessi grein skýrslur um rannsókn okkar á fyrstu útgáfu af GPT-4, þegar hún var enn í virkri þróun hjá OpenAI. Við höldum því fram að (þessi snemma útgáfa af) GPT-4 sé hluti af nýjum hópi LLMs (ásamt ChatGPT og PaLM frá Google til dæmis) sem sýna almennari greind en fyrri gervigreindargerðir.

Í þessari grein eru óyggjandi vísbendingar sem sýna fram á að GPT-4 gengur langt út fyrir að leggja á minnið og að það hafi djúpan og sveigjanlegan skilning á hugtökum, færni og sviðum. Reyndar er hæfni hans til að alhæfa langt umfram það sem nokkur maður er á lífi í dag.

Þó að við höfum áður rætt um kostir AGI, ættum við fljótt að draga saman almenna samstöðu um hvað AGI kerfi er. Í meginatriðum er AGI tegund háþróaðs gervigreindar sem getur alhæft yfir mörg lén og er ekki þröngt að umfangi. Dæmi um þröngt gervigreind eru sjálfstýrt farartæki, spjallvél, skákvél eða önnur gervigreind sem er hönnuð í einum tilgangi.

AGI í samanburði gæti sveigjanlega skipt á milli einhvers af ofangreindu eða einhverju öðru sérfræðisviði. Það er gervigreind sem myndi nýta sér ný reiknirit eins og flytja nám, og þróunarnám, á sama tíma og nýtir sér arfleifðar reiknirit eins og djúpt styrkingarnám.

Lýsingin hér að ofan á AGI passar við persónulega reynslu mína af notkun GPT-4, sem og sönnunargögnunum sem deilt er í rannsóknarritgerð sem var gefin út af Microsoft.

Ein af ábendingunum sem lýst er í blaðinu er að GPT-4 skrifi sönnun fyrir óendanleika frumtalna í formi ljóðs.

Ef við greinum þær kröfur sem gerðar eru til að búa til slíkt ljóð gerum við okkur grein fyrir því að það krefst stærðfræðilegrar rökhugsunar, ljóðrænnar tjáningar og náttúrulegrar málsköpunar. Þetta er áskorun sem myndi fara yfir meðalgetu flestra manna.

Blaðið vildi skilja hvort GPT-4 væri einfaldlega að framleiða efni byggt á almennri minnisfærslu á móti því að skilja samhengi og geta rökrætt. Þegar hann var beðinn um að endurgera ljóð í stíl Shakespeares gat það gert það. Þetta krefst margþætts skilnings sem er langt umfram getu almennings og felur í sér kenningu um huga og stærðfræðisnilld.

Hvernig á að reikna út GPT-4 upplýsingaöflun?

Spurningin verður þá hvernig getum við mælt greind LLM? Og sýnir GPT-4 hegðun sem felur í sér raunverulegt nám eða eingöngu minnismögnun?

Núverandi leið til að prófa gervigreind kerfi er með því að meta kerfið á stöðluðum viðmiðunargagnasettum og tryggja að þau séu óháð þjálfunargögnunum og að þau nái yfir margvísleg verkefni og svið. Þessi tegund af prófun er næstum ómöguleg vegna næstum ótakmarkaðs magns gagna sem GPT-4 var þjálfaður á.

Ritgerðin fjallar um að búa til ný og erfið verkefni/spurningar sem sýna með sannfærandi hætti að GPT-4 fer langt út fyrir að leggja á minnið og að það hefur djúpan og sveigjanlegan skilning á hugtökum, færni og sviðum.

Þegar það kemur upplýsingaöflun getur GPT-4 búið til smásögur, handrit og það getur reiknað út flóknustu formúlurnar.

GPT-4 er einnig fær um að kóða á mjög háu stigi, bæði hvað varðar að skrifa kóða út frá leiðbeiningum og skilja núverandi kóða. GPT-4 getur séð um margvísleg kóðunarverkefni, allt frá
kóðunaráskoranir til raunverulegra forrita, frá samsetningu á lágu stigi til háþróaðs ramma, frá einföldum gagnastrúktúr til flókinna forrita eins og leikja. GPT-4 getur líka rökrætt um framkvæmd kóða, líkt eftir áhrifum leiðbeininga og útskýrt niðurstöðurnar á náttúrulegu máli. GPT-4 getur jafnvel framkvæmt gervikóða,

GPT-4 getur boðið skynsamleg viðbrögð við næstum öllum leiðbeiningum sem gefnar eru. Reyndar er greind hennar næstum ósigrandi í margbreytileika sínum.

GPT-4 takmarkanir

Blaðið heldur síðan áfram að lýsa því hvernig þeir könnuðu viðbrögð og hegðun GPT-4, til að sannreyna samræmi þess, samræmi og réttmæti og til að afhjúpa takmarkanir þess og hlutdrægni.

Augljósasta takmörkunin er hennar tilhneiging til ofskynjana. Hér er dæmi um ofskynjun sem er gefin upp í blaðinu þar sem GPT-4 var öruggur í svari sínu sem var algjörlega rangt.

Það virðist sem jafnvel GPT-4 skilji þessa núverandi takmörkun með ofskynjunum þar sem þetta var svarið sem það gaf þegar ég spurði það hvað er GPT ofskynjanir:

GPT ofskynjanir vísar til fyrirbæris þar sem Generative Pre-trained Transformer (GPT) líkan, eins og það sem þú ert að hafa samskipti við, framkallar svar sem er ekki byggt á staðreyndum eða er ekki í samræmi við samhengið sem gefið er upp. Þessar ofskynjanir eiga sér stað þegar líkanið býr til texta sem kann að virðast trúverðugur en er í raun rangur, villandi eða vitlaus.

Með öðrum orðum þegar þú þjálfar LLM AI á gögnum heimsins, hvernig forðastu að kerfi læri röng gögn? Stórt tungumálalíkan að læra og endurvekja rangar upplýsingar, og samsæriskenningar gætu í raun verið ein stærsta gildra og ógn sem mannkynið stendur frammi fyrir með upptöku LLM í stórum stíl. Þetta gæti í raun verið ein af stærri ógnunum frá AGI, sem er furðu saknað þegar rætt er um hætturnar af AGI.

GPT-4 sönnunargögn um upplýsingaöflun

Blaðið sýnir að það skipti ekki máli hvers konar flóknum leiðbeiningum var beint að því, GPT-4 myndi fara fram úr væntingum. Eins og segir í blaðinu:

Óviðjafnanleg tök þess á náttúrulegu tungumáli. Það getur ekki aðeins búið til reiprennandi og heildstæðan texta, heldur einnig skilið og meðhöndlað hann á ýmsan hátt, svo sem að draga saman, þýða eða svara mjög breiðum spurningum. Þar að auki, með þýðingu er ekki aðeins átt við á milli ólíkra náttúrulegra tungumála heldur einnig þýðingar í tóni og stíl, sem og þvert á svið eins og læknisfræði, lögfræði, bókhald, tölvuforritun, tónlist og fleira.

Tæknilegar umsagnir voru gefnar á GPT-4, það fór auðveldlega framhjá merkingu í þessu samhengi ef þetta væri manneskja á hinum endanum að þeir yrðu samstundis ráðnir sem hugbúnaðarverkfræðingur. Svipað bráðabirgðapróf á hæfni GPT-4 á Multistate Bar prófinu sýndi nákvæmni yfir 70%. Þetta þýðir að í framtíðinni gætum við gert sjálfvirkan fjölda þeirra verkefna sem lögfræðingar fá nú. Reyndar eru nokkrar sprotafyrirtæki sem vinna nú að því að búa til vélmennalögfræðinga með GPT-4.

Að búa til nýja þekkingu

Ein af rökunum í blaðinu er að það eina sem er eftir fyrir GPT-4 til að sanna sannan skilningsstig er að það framleiði nýja þekkingu, eins og að sanna nýjar stærðfræðilegar setningar, afrek sem enn er ekki náð fyrir LLM.

Þá er þetta enn og aftur heilagur gral AGI. Þó að það sé hætta á að AGI sé stjórnað í röngum höndum, þá er ávinningurinn af því að AGI geti fljótt greint öll söguleg gögn til að uppgötva nýjar setningar, lækningar og meðferðir næstum óendanlegur.

AGI gæti verið týndi hlekkurinn til að finna lækningu við sjaldgæfum erfðasjúkdómum sem nú skortir fjármagn frá einkaiðnaði, til að lækna krabbamein í eitt skipti fyrir öll, og til að hámarka skilvirkni endurnýjanlegrar orku til að fjarlægja ósjálfstæði okkar á ósjálfbærri orku. Í raun gæti það leyst hvaða afleiðingarvanda sem er sem er færð inn í AGI kerfið. Þetta er það sem Sam Altman og og liðið hjá OpenAI skilja, an AGI er sannarlega síðasta uppfinningin sem þarf til að leysa flest vandamál og til hagsbóta fyrir mannkynið.

Auðvitað leysir það ekki kjarnorkuhnappavandann um hver stjórnar AGI og hver áform þeirra eru. Burtséð frá þessu pappír vinnur stórkostlegt starf með því að halda því fram að GPT-4 sé stökk fram á við í átt að draumnum sem gervigreind vísindamenn hafa haft síðan 1956, þegar upphafs sumarrannsóknarverkefni Dartmouth um gervigreind var fyrst hleypt af stokkunum.

Þó að það sé umdeilanlegt hvort GPT-4 sé AGI, þá væri auðvelt að halda því fram að í fyrsta skipti í mannkynssögunni sé það gervigreind kerfi sem getur staðist Turing próf.