Onko GPT-4 loikka eteenpäin kohti AGI:a?

Microsoft on julkaissut tutkimuspaperin otsikolla: Sparks of Artificial General Intelligence: Early experiments with GPT-4. Microsoftin mukaan:

Tämä paperi kuvailee tutkimustamme GPT-4:n varhaisesta versiosta, kun se oli vielä aktiivisessa kehityksessä OpenAI:ssa. Väitämme, että (tämä varhainen versio) GPT-4 on osa uutta LLM-cohortia (mukaan lukien ChatGPT ja Google:n PaLM), joka näyttää olevan yleisemminkin älykäs kuin aiemmat AI-mallit.

Tässä paperissa on ylivoimainen näyttö siitä, että GPT-4 menee paljon muistamisen ulkopuolelle, ja että sillä on syvä ja joustava ymmärrys käsitteistä, taidoista ja aloista. Tosiasia on, että sen kyky yleistää ylittää kaiken nykyisen ihmisen kyvyn.
Kun olemme aiemmin keskustelleet AGI:n hyödyistä, meidän pitäisi nopeasti kertoa yleinen konsensus siitä, mitä AGI-järjestelmä on. Olennaisesti AGI on edistynyt AI, joka voi yleistää useiden alojen yli ja ei ole kapea-alainen. Esimerkkejä kapeasta AI:sta ovat itsestään ohjautuva ajoneuvo, chatbotti, shakkirobotti tai mikä tahansa muu AI, joka on suunniteltu yhteen tarkoitukseen.
AGI vertailussa pystyy joustavasti vaihtamaan minkä tahansa edellä mainittujen tai minkä tahansa muun asiantuntemuksen välillä. Se on AI, joka hyödyntää uusia algoritmeja, kuten siirtymällä oppimista ja evolutiivista oppimista, sekä hyödyntää perinteisiä algoritmeja, kuten syvää vahvistusoppimista.
Yllä oleva AGI:n kuvaus vastaa henkilökohtaista kokemustani GPT-4:n käytöstä, sekä todisteita, jotka on jaettu Microsoftin julkaisemassa tutkimuspaperissa.
Yksi paperissa mainituista tehtävistä on GPT-4:n kirjoittaminen todistukseksi primien äärettömyydestä runomuodossa.

Jos analysoimme vaatimukset sellaisen runon luomiseksi, toteamme, että se vaatii matemaattista päättelyä, runollista ilmaisua ja luonnollisen kielen generointia. Tämä on haaste, joka ylittää useimpien ihmisten keskivertokyvyn.
Paperi halusi ymmärtää, onko GPT-4 vain tuottamassa sisältöä yleisen muistamisen perusteella vai ymmärtääkö se asiayhteyden ja pystyykö se päättelyyn. Kun pyydettiin luomaan runo Shakespearen tyylissä, se pystyi siihen. Tämä vaatii monitahoisen tason ymmärrystä, joka ylittää yleisen väestön kyvyn ja sisältää teorian mielentilasta ja matemaattista neroutta.

GPT-4:n älymättömyyden laskeminen

Kysymys on sitten, miten voimme mitata LLM-järjestelmän älykkyyttä? Ja onko GPT-4 näyttävä toimintaa, joka vastaa todellista oppimista vai pelkästään muistamista?
Nykyinen tapa testata AI-järjestelmää on arvioimalla järjestelmää joukolla standardoitujen benchmark-tietojoukkoihin, ja varmistamalla, että ne ovat riippumattomia koulutusdatasta ja että ne kattavat laajan valikoiman tehtäviä ja aloja. Tämänkaltaisen testaamisen on lähes mahdoton johtuen GPT-4:ään koulutetun datan lähes rajattomasta määrästä.
Paperi keskusteleekin uusien ja haastavien tehtävien ja kysymysten luomisesta, jotka osoittavat vakuuttavasti, että GPT-4 menee paljon muistamisen ulkopuolelle, ja että sillä on syvä ja joustava ymmärrys käsitteistä, taidoista ja aloista.
Älykkyyden suhteen GPT-4 voi luoda lyhyt tarinoita, käsikirjoituksia, ja se voi laskea monimutkaisimpien kaavojen.
GPT-4 pystyy myös koodaamaan erittäin korkealla tasolla, sekä kirjoittamalla koodia ohjeiden mukaan että ymmärtämällä olemassa olevaa koodia. GPT-4 pystyy käsittelemään laajan valikoiman koodaus-tehtäviä, koodaus-haasteista todellisiin sovelluksiin, matalatasoisesta assemblyyn korkean tason kehyksiin, yksinkertaisista tietorakenteista monimutkaisiin ohjelmiin, kuten peleihin. GPT-4 pystyy myös päättelyyn koodin suorittamisesta, simuloimaan ohjeiden vaikutuksia, ja selittämään tulokset luonnollisella kielellä. GPT-4 pystyy jopa suorittamaan pseudokoodia,
GPT-4 voi tarjota järkeviä vastauksia melkein mihin tahansa annettuun vihjeeseen. Tosiasia on, että sen älykkyys on lähes voittamaton monimutkaisuudessaan.

GPT-4:n rajoitukset

Paperi jatkaa GPT-4:n vastausten ja käyttäytymisen tutkimista, jotta voidaan vahvistaa sen johdonmukaisuus, yhtenäisyys ja oikeellisuus, ja paljastaa sen rajoitukset ja harhat.
Selvin rajoitus on sen hallusinaatioita. Tässä on esimerkki hallusinaatiosta, joka esitetään paperissa, jossa GPT-4 oli varma vastauksestaan, joka oli täysin väärä.

Näyttää siltä, että jopa GPT-4 ymmärtää tämän nykyisen rajoituksen hallusinaatioissa, koska se antoi seuraavan vastauksen, kun kysyin, mitä GPT-hallusinaatio on:

GPT-hallusinaatio viittaa ilmiöön, jossa Generative Pre-trained Transformer (GPT) -malli, kuten tämä, johon olet parhaillaan vuorovaikutuksessa, tuottaa vastauksen, joka ei perustu faktatietoon tai ei ole yhtenäinen annetun asiayhteyden kanssa. Nämä hallusinaatiot tapahtuvat, kun malli generoi tekstiä, joka voi vaikuttaa uskottavalta, mutta on todella väärä, harhaanjohtava tai järjenvastainen.

Toisin sanoen, kun koulutat LLM-AI:n maailman datalla, miten voit estää järjestelmän oppimasta virheellistä tietoa? Suuren kielen malli, joka oppii ja toistaa virheellistä tietoa ja salaliittoteorioita, voi olla yksi suurimmista vaaroista ja uhista, jonka ihmiskunta kohtaa laajamittaisen LLM-järjestelmien käytön kanssa.

GPT-4:n älykkyystodisteet

Paperi osoittaa, että ei ollut väliä, minkälaisia monimutkaisia vihjeitä GPT-4:lle annettiin, se ylitti odotukset. Kuten paperissa sanotaan:

Sen vertaamaton hallinta luonnollisesta kielestä. Se ei vain pysty generoimaan sujuvaa ja yhtenäistä tekstiä, vaan myös ymmärtää ja manipuloida sitä monin tavoin, kuten tiivistämällä, kääntämällä tai vastaamalla erittäin laajaan kysymysvalikoimaan. Lisäksi käännöksillä tarkoitamme ei vain kääntämistä eri luonnollisista kielistä, vaan myös kääntämistä sävystä ja tyylistä, sekä eri alojen yli, kuten lääketiede, laki, kirjanpito, tietokoneohjelmointi, musiikki ja paljon muuta.

GPT-4:lle annettiin mock-tekniikan arvostelut, ja se läpäisi helposti, mikä tarkoittaisi, että jos tämä olisi ihminen toisessa päässä, heidät otettaisiin välittömästi palkkaamisen software-insinööriksi. Vastaava esitutkimus GPT-4:n pätevyydestä Multistate Bar Examissa osoitti yli 70 prosentin tarkkuuden. Tämä tarkoittaisi, että tulevaisuudessa voimme automatisoida monia tehtäviä, jotka nykyisin annetaan lakimiehille. Tosiasia on, että jotkut start-up-yritykset ovat jo nyt luomassa robotti-lakimiehiä käyttäen GPT-4:ää.

Uuden tiedon tuottaminen

Yksi paperin väittämistä on, että ainoa asia, joka on jäljellä GPT-4:lle todistamaan todellista ymmärrystä, on tuottaa uutta tietoa, kuten todistamalla uusia matemaattisia teoreemoja, saavutus, joka nykyisin on edelleen LLM-järjestelmien ulottumattomissa.
Sitten taas tämä on AGI:n pyhä graali. Vaikka on vaaroja väärän tahon hallitsemassa AGI:aa, AGI:n hyödyt, jotka voivat nopeasti analysoida kaiken historiallisen datan löytääkseen uusia teoreemoja, parantaa ja hoitoa, on lähes ääretön.
AGI voi olla puuttuva lenkki harvinaisten geneettisten sairauksien parantamiseksi, joilla ei ole nykyisin yksityisen sektorin rahoitusta, parantamaan syöpää lopullisesti ja maksimoida uusiutuvan energian tehokkuutta poistamaan riippuvuutemme kestämättömästä energiasta. Tosiasia on, että se voi ratkaista minkä tahansa merkittävän ongelman, joka syötetään AGI-järjestelmään. Tämä on se, mitä Sam Altman ja OpenAI:n tiimi ymmärtävät, AGI on todella viimeinen keksintö, joka tarvitaan ratkaisemaan useimmat ongelmat ja hyödyttämään ihmiskuntaa.
Tietysti se ei ratkaise ydinpainikkeen ongelmaa, kuka hallitsee AGI:aa ja mitkä heidän aikomuksensa ovat. Riippumatta tästä paperi tekee fantastisen työn väittäessään, että GPT-4 on loikka eteenpäin kohti unelma-AI-tutkijoiden haaveilemaa tavoitetta vuodesta 1956, kun alkuperäinen Dartmouth Summer Research Project on Artificial Intelligence -työpaja järjestettiin ensimmäisen kerran.
Vaikka on kiistelyn aihe, onko GPT-4 AGI, voidaan helposti väittää, että se on ensimmäinen kerta ihmiskunnan historiassa, kun AI-järjestelmä voi läpäistä Turingin testin.