Onko GPT-4 loikka eteenpäin AGI:n saavuttamiseksi?

Microsoft (MSFT ) on julkaissut tutkimuspaperin, joka on otsikoitu: Sparks of Artificial General Intelligence: Early experiments with GPT-4. Microsoftin mukaan:

Tässä paperissa raportoidaan tutkimuksestamme GPT-4:n varhaisesta versiosta, jolloin se oli edelleen aktiivisessa kehityksessä OpenAI:ssa. Väitämme, että (tämä varhainen versio) GPT-4 on osa uutta LLM-ryhmää (johon kuuluvat myös ChatGPT ja Google (GOOGL ):n PaLM), joka näyttää yleisempää älykkyyttä kuin aiemmat AI-mallit.

Tässä paperissa on ylivoimainen näyttö siitä, että GPT-4 menee paljon pidemmälle kuin pelkästään muistamisessa, ja että sillä on syvä ja joustava ymmärrys käsitteistä, taidoista ja aloista. Tosiasia on, että sen kyky yleistää ylittää jokaisen elävän ihmisen kyvyn tänään.

Vaikka olemme aiemmin keskustelleet AGI:n hyödyistä, meidän tulisi nopeasti kertoa yleinen konsensus siitä, mitä AGI-järjestelmä on. Olennaisesti AGI on edistynyt AI, joka voi yleistää useiden alojen yli ja joka ei ole kapea-alainen. Esimerkkejä kapea-alaisista AI:sta ovat itseohjautuva ajoneuvo, chatbotti, shakkirobotti tai mikä tahansa muu AI, joka on suunniteltu yksittäiseen tarkoitukseen.

AGI vertailussa olisi kykyä joustavasti vaihdella minkä tahansa edellä mainitun tai minkä tahansa muun asiantuntemuksen välillä. Se olisi AI, joka hyödyntäisi uusia algoritmeja, kuten siirtymällä oppimisella ja evolutiivisella oppimisella, sekä hyödyntäisi perinteisiä algoritmeja, kuten syvää vahvistusoppimista.

Yllä oleva AGI:n kuvaus vastaa henkilökohtaista kokemustani GPT-4:n käytöstä, sekä tutkimuspaperissa jaettuja todisteita.

Yksi paperissa mainituista tehtävistä on GPT-4:n kirjoittaminen, joka osoittaa äärettömyyden todistuksen runomuodossa.

Jos analysoimme vaatimuksia sellaisen runon luomiseksi, me tajusimme, että se vaatii matemaattista päättelyä, runollista ilmaisua ja luonnollisen kielen generointia. Tämä on haaste, joka ylittäisi useimpien ihmisten keskivertokyvyn.

Paperi halusi ymmärtää, tuottiko GPT-4 sisältöä yleisen muistamisen perusteella vai ymmärtämällä kontekstin ja kykenee päättelyyn. Kun pyydettiin luomaan runo Shakespearen tyylissä, se pystyi siihen. Tämä vaatii monitahoista ymmärrystä, joka ylittää yleisen väestön kyvyn ja sisältää teoreettista mieltä ja matemaattista neroutta.

Kuinka GPT-4:n älykkyyttä mitataan?

Kysymys on, kuinka voimme mitata LLM:n älykkyyttä? Ja onko GPT-4 osoittamassa todellisen oppimisen käyttäytymistä vai pelkästään muistamista?

Nykyinen tapa testata AI-järjestelmää on arvioida järjestelmää joukolla standardoitujen benchmark-tietokantoja, ja varmistaa, että ne ovat riippumattomia koulutusdatasta ja että ne kattavat laajan joukon tehtäviä ja aloja. Tämänkaltaista testausta on lähes mahdotonta johtuen GPT-4:lle koulutuksessa käytetyn valtavan määrän dataa.

Paperi keskusteleekin luomisesta uusia ja haasteellisia tehtäviä/kysymyksiä, jotka osoittavat GPT-4:n ylittävän muistamisen ja osoittavan syvän ja joustavan ymmärryksen käsitteistä, taidoista ja aloista.

GPT-4 pystyy myös kirjoittamaan lyhyt tarinoita, käsikirjoituksia, ja laskemaan monimutkaisimpienkaan kaavoja.

GPT-4 pystyy myös koodaamaan erittäin korkealla tasolla, sekä kirjoittamaan koodia ohjeiden mukaan että ymmärtämään olemassa olevaa koodia. GPT-4 pystyy käsittelemään laajan joukon koodaus-tehtäviä, koodaus-haasteista aina todellisiin sovelluksiin, matalatasoisesta assembly-koodista korkeatasoiseen framework-ohjelmointiin, yksinkertaisista tietorakenteista monimutkaisiin ohjelmiin, kuten peleihin. GPT-4 pystyy myös päättelyyn koodin suorittamisesta, simuloimaan ohjeiden vaikutuksia ja selittämään tulokset luonnollisessa kielessä. GPT-4 pystyy jopa suorittamaan pseudokoodia,

GPT-4 voi tarjota järkeviä vastauksia lähes mihin tahansa annettuun kysymykseen. Tosiasia on, että sen älykkyys on lähes voittamaton monimutkaisuudessaan.

GPT-4:n rajoitukset

Paperi jatkaa GPT-4:n vastausten ja käyttäytymisen tutkimista, jotta voidaan varmistaa sen johdonmukaisuus, yhtenäisyys ja oikeellisuus, sekä paljastaa sen rajoitukset ja harhat.

Ilmeisin rajoitus on sen hallusinaatioita. Tässä on esimerkki hallusinaatiosta, joka annettiin paperissa, jossa GPT-4 oli varma vastauksestaan, joka oli täysin väärä.

Näyttää siltä, että jopa GPT-4 ymmärtää tämän nykyisen rajoituksen hallusinaatioissa, koska se antoi seuraavan vastauksen, kun kysyin, mitä GPT-hallusinaatio on:

GPT-hallusinaatio viittaa ilmiöön, jossa Generative Pre-trained Transformer (GPT) -malli, kuten tämä, johon olet parhaillaan vuorovaikutuksessa, tuottaa vastauksen, joka ei perustu tosiasioihin tai joka ei ole yhdenmukainen annetun kontekstin kanssa. Nämä hallusinaatiot tapahtuvat, kun malli tuottaa tekstiä, joka saattaa vaikuttaa uskottavalta, mutta joka on todellisuudessa väärä, harhaanjohtava tai järjenvastainen.

Toisin sanoen, kun koulutat LLM-AI:a maailman datalla, miten voit estää järjestelmän oppimisen virheellistä dataa? Suuri kielen malli, joka oppii ja toistaa virheellistä tietoa ja salaliittoteorioita, voi olla yksi suurimmista vaaroista, joita ihmiskunta kohtaa laajamittaisessa LLM-järjestelmien käytössä. Tämä voi olla yksi suurimmista uhista, joita AGI:sta keskusteltaessa yllättäen väheksi huomioidaan.

GPT-4:n älykkyyden todisteet

Paperi osoittaa, että se ei ollut väliä, minkälaisia monimutkaisia tehtäviä GPT-4:lle annettiin, se ylitti odotukset. Kuten paperissa sanotaan:

Sen vertaamaton hallinta luonnollisesta kielestä. Se ei voi ainoastaan tuottaa sulavaa ja yhtenäistä tekstiä, vaan myös ymmärtää ja manipuloida sitä monin eri tavoilla, kuten tiivistämällä, kääntämällä tai vastaamalla erittäin laajaan kysymysvalikoimaan. Lisäksi kääntämisellä tarkoitamme ei ainoastaan kääntämistä eri luonnollisista kielistä toisiin, vaan myös kääntämistä tyylissä ja sävyssä, sekä eri alojen välillä, kuten lääketieteessä, oikeudessa, taloushallinnossa, tietokoneohjelmoinnissa, musiikissa ja monissa muissa.

GPT-4:lle annettiin teknisiä arvosteluita, ja se läpäisi ne helposti, mikä tarkoittaisi, että jos se olisi ihminen toisessa päässä, se olisi välittömästi palkattu ohjelmistosuunnittelijaksi. Samankaltainen esitentti GPT-4:n osaamisesta moniosaisessa lakitentissä osoitti yli 70 prosentin tarkin. Tämä tarkoittaisi, että tulevaisuudessa voimme automatisoida monia tehtäviä, jotka nykyisin annetaan lakimiehille. Toisaalta on jo olemassa startup-yrityksiä, jotka kehittävät robotti-lakimiehiä käyttäen GPT-4:ää.

Uuden tiedon tuottaminen

Yksi paperin väitteistä on, että ainoa asia, joka GPT-4:ltä puuttuu todellisen ymmärryksen osoittamiseksi, on sen kyky tuottaa uutta tietoa, kuten todistaa uusia matemaattisia teoreemoja, saavutus, joka nykyisin on edelleen LLM-järjestelmien ulottumattomissa.

Sitten taas tämä on AGI:n pyhä graali. Vaikka on vaaroja siinä, että AGI joutuu väärän tahon haltuun, hyödyt AGI:sta, joka pystyy nopeasti analysoimaan kaiken historiallisen datan uusien teoreemien, parannusten ja hoitojen löytämiseksi, on lähes ääretön.

AGI voisi olla puuttuva lenkki harvinaisten geneettisten sairauksien parantamiseksi, joilla ei ole nykyisin yksityisen sektorin rahoitusta, syövän parantamiseksi lopullisesti ja tehokkuuden maksimoimiseksi uudelleenkierrätettävän energian osalla, jotta voimme vähentää riippuvuuttamme kestämättömästä energiasta. Tosiasia on, että se voisi ratkaista minkä tahansa merkittävän ongelman, joka syötetään AGI-järjestelmään. Tämä on se, mitä Sam Altman ja OpenAI:n tiimi ymmärtävät, AGI on todella viimeinen keksintö, jota tarvitaan useimpien ongelmien ratkaisemiseksi ja ihmiskunnan hyödyntämiseksi.

Tietysti se ei ratkaise ydinpainikkeen ongelmaa siitä, kuka hallitsee AGI:a ja mitkä ovat heidän aikomuksensa. Riippumatta siitä tämä paperi tekee erinomaisen työn väittäessään, että GPT-4 on loikka eteenpäin AGI:n saavuttamiseksi, vuodesta 1956 lähtien, kun alkuperäinen Dartmouthin kesätyöprojekti AI:sta käynnistettiin.

Vaikka on kiisteltävää, onko GPT-4 AGI, voidaan helposti väittää, että se on ensimmäinen kerta ihmiskunnan historiassa, jolloin AI-järjestelmä pystyy Turingin testiin.