Onko GPT-4 loikka eteenpäin kohti AGI:a?

Microsoft on julkaissut tutkimuspaperin otsikolla: Sparks of Artificial General Intelligence: Early experiments with GPT-4. Microsoftin mukaan:

Tämä paperi raportoi tutkimuksestamme GPT-4:n varhaisesta versiosta, kun se oli vielä aktiivisessa kehityksessä OpenAI:ssa. Väitämme, että (tämä varhainen versio) GPT-4 on osa uutta LLM-cohortia (mukaan lukien ChatGPT ja Google:n PaLM esimerkiksi), joka näyttää yleisemmän älykkyyden kuin aikaisemmat AI-mallit.

Tässä paperissa on ylivoimainen näyttö siitä, että GPT-4 menee paljon muistamisen tuolle puolen, ja että sillä on syvä ja joustava ymmärrys käsitteistä, taidoista ja aloista. Tosiasia on, että sen kyky yleistää ylittää kaiken nykyisen ihmisen kyvyn.
Kun olemme aikaisemmin keskustelleet AGI:n hyödyistä, meidän pitäisi nopeasti kertoa yleinen konsensus siitä, mitä AGI-järjestelmä on. Olennaisesti AGI on edistynyt AI, joka voi yleistää useiden alojen yli eikä ole kapea-alainen. Esimerkkejä kapea-alaisista AI:sta ovat itseohjautuva ajoneuvo, chatbotti, shakkirobotti tai mikä tahansa muu AI, joka on suunniteltu yhteen tarkoitukseen.
AGI vertailussa pystyy joustavasti vaihtamaan minkä tahansa edellä mainittujen tai minkä tahansa asiantuntemuksen välillä. Se on AI, joka hyödyntää uusia algoritmeja, kuten siirtymällistä oppimista ja evolutiivista oppimista, sekä hyödyntää perinteisiä algoritmeja, kuten syvää vahvistusoppimista.
Yllä oleva AGI:n kuvaus vastaa henkilökohtaista kokemustani GPT-4:n käytöstä, sekä todisteita, jotka on jaettu Microsoftin julkaisemassa tutkimuspaperissa.
Yksi paperissa mainituista tehtävistä on GPT-4:n kirjoittaminen todistuksena primien äärettömyydestä runomuodossa.

Kun analyysimme vaatimuksia tällaisen runon luomiseksi, toteamme, että se vaatii matemaattista päättelyä, runollista ilmaisua ja luonnollisen kielen generointia. Tämä on haaste, joka ylittää useimpien ihmisten keskivertokyvyn.
Paperi halusi ymmärtää, onko GPT-4 vain tuottamassa sisältöä yleisen muistamisen perusteella vai ymmärtääkö se kontekstin ja pystyykö se päättelyyn. Kun pyydettiin luomaan runo Shakespearen tyylissä, se pystyi siihen. Tämä vaatii monitahoista ymmärrystä, joka ylittää yleisen väestön kyvyn ja sisältää teorian mielentilasta ja matemaattista neroutta.

GPT-4:n älykkyuden laskeminen

Kysymys on sitten, miten voimme mitata LLM-järjestelmän älykkyyttä? Ja onko GPT-4 näyttämässä toimintaa, joka on todellista oppimista vai pelkkää muistamista?
Nykyinen tapa testata AI-järjestelmää on arvioimalla järjestelmää joukolla standardoitujen benchmark-tietojoukkoihin, ja varmistamalla, että ne ovat riippumattomia koulutusdatasta ja että ne kattavat laajan joukon tehtäviä ja aloja. Tämänkaltaisen testaamisen on lähes mahdotonta johtuen GPT-4:ään koulutetun datan lähes rajattomasta määrästä.
Paperi käsittelee uusien ja haastavien tehtävien ja kysymysten luomista, jotka osoittavat vakuuttavasti, että GPT-4 menee paljon muistamisen tuolle puolen, ja että sillä on syvä ja joustava ymmärrys käsitteistä, taidoista ja aloista.
Kun puhutaan älykkyydestä, GPT-4 voi generoida lyhyt tarinoita, käsikirjoituksia, ja se voi laskea monimutkaisimmat kaavat.
GPT-4 pystyy myös koodaamaan erittäin korkealla tasolla, sekä ohjeiden mukaan koodaamisessa että olemassa olevan koodin ymmärtämisessä. GPT-4 pystyy käsittelemään laajan joukon koodaus-tehtäviä, koodaus-haasteista todellisiin sovelluksiin, matalatasoisesta assemblyyn korkean tason kehyksiin, yksinkertaisista tietorakenteista monimutkaisiin ohjelmiin, kuten peleihin. GPT-4 pystyy myös päättelyyn koodin suorittamisesta, simuloimaan ohjeiden vaikutuksia ja selittämään tulokset luonnollisella kielellä. GPT-4 pystyy jopa suorittamaan pseudokoodia,
GPT-4 voi tarjota järkeviä vastauksia lähes mihin tahansa annettuun aiheeseen. Tosiasia on, että sen älykkyys on lähes voittamaton monimutkaisuudessaan.

GPT-4:n rajoitukset

Paperi jatkaa GPT-4:n vastausten ja käyttäytymisen tutkimista, jotta voidaan vahvistaa sen johdonmukaisuus, yhtenäisyys ja oikeellisuus, ja paljastaa sen rajoitukset ja harhat.
Selvin rajoitus on sen taipumus harhautumaan. Tässä on esimerkki harhautumisesta, joka on annettu paperissa, jossa GPT-4 oli varma vastauksestaan, joka oli täysin väärä.

Näyttää siltä, että jopa GPT-4 ymmärtää tämän nykyisen rajoituksen harhautumisilla, koska se antoi seuraavan vastauksen, kun kysyin, mitä on GPT-harhautuminen:

GPT-harhautuminen viittaa ilmiöön, jossa Generative Pre-trained Transformer (GPT) -malli, kuten tämä, johon olet parhaillaan vuorovaikutuksessa, tuottaa vastauksen, joka ei perustu faktatietoon tai ole yhdenmukainen annetun kontekstin kanssa. Nämä harhautumiset tapahtuvat, kun malli generoi tekstiä, joka voi vaikuttaa uskottavalta, mutta on todellisuudessa väärä, harhaanjohtava tai järjenvastainen.

Toisin sanoen, kun koulutat LLM-AI:n maailman dataan, miten voit estää järjestelmän oppimisen virheellistä dataa? Suuri kielen malli, joka oppii ja toistaa virheellistä tietoa ja salaliittoteorioita, voi olla yksi suurimmista esteistä ja uhista, jonka ihmiskunta kohtaa laajamittaisessa LLM-järjestelmien käytössä.

GPT-4:n älykkyyden todisteet

Paperi osoittaa, että ei ollut väliä, minkälaisia monimutkaisia aiheita GPT-4:lle annettiin, se ylitti odotukset. Kuten paperissa sanotaan:

Sen vertaamaton hallinta luonnollisesta kielestä. Se ei voi ainoastaan generoida sujuvaa ja yhtenäistä tekstiä, vaan myös ymmärtää ja manipuloida sitä monin tavoin, kuten tiivistämällä, kääntämällä tai vastaamalla erittäin laajaan kysymysten joukkoon. Lisäksi kääntämisellä tarkoitamme ei ainoastaan eri luonnollisten kielten välillä, vaan myös käännöksiä tyylissä ja sävyssä, sekä eri aloilla, kuten lääketieteessä, laissa, tilinpitoalueella, tietokoneohjelmoinnissa, musiikissa ja monissa muissa.

GPT-4:lle annettiin mock-tekniset arvostelut, ja se läpäisi helposti, mikä tarkoittaisi, että jos tämä olisi ihminen toisessa päässä, heidät otettaisiin välittömästi työhön ohjelmistosuunnittelijana. Vastaava esitutkimus GPT-4:n osaamisesta Multistate Bar Exam -kokeessa osoitti yli 70 prosentin tarkin. Tämä tarkoittaisi, että tulevaisuudessa voimme automatisoida monia tehtäviä, jotka nykyisin annetaan lakimiehille. Tosiasia on, että jotkut start-up-yritykset ovat jo nyt luomassa robotti-lakimiehiä käyttäen GPT-4:ää.

Uuden tiedon tuottaminen

Yksi paperissa esitetyistä väittämistä on, että ainoa asia, joka on jäljellä GPT-4:lle todistamaan todellista ymmärrystä, on sen kyky tuottaa uutta tietoa, kuten todistaa uusia matemaattisia teoreemoja, saavutus, joka nykyisin on edelleen LLM-järjestelmien ulottumattomissa.
Sitten taas tämä on AGI:n pyhä graali. Vaikka on vaaroja siinä, että AGI on väärän henkilön hallussa, AGI:n hyödyt siinä, että se voi nopeasti analysoida kaiken historiallisen datan uusien teoreemien, parannusten ja hoitokeinojen löytämiseksi, on lähes ääretön.
AGI voi olla puuttuva linkki harvinaisten geneettisten sairauksien parantamiseen, joilla ei ole nykyisin yksityisen sektorin rahoitusta, syövän lopulliseen parantamiseen ja uusiutuvan energian tehokkuuden maksimoimiseen, jotta voimme poistaa riippuvuutemme kestämättömästä energiasta. Tosiasia on, että se voi ratkaista minkä tahansa merkittävän ongelman, joka syötetään AGI-järjestelmään. Tämä on se, mitä Sam Altman ja OpenAI:n tiimi ymmärtävät, AGI on todella viimeinen keksintö, jota tarvitaan useimpien ongelmien ratkaisemiseen ja ihmiskunnan hyödyntämiseen.
Tietysti se ei ratkaise ydinpainikkeen ongelmaa siitä, kuka hallitsee AGI:a ja mitkä ovat heidän aikomuksensa. Riippumatta tästä paperi tekee fantastisen työn argumentoidakseen, että GPT-4 on loikka eteenpäin kohti unelma-AI-tutkijoiden vuonna 1956 aloittamaa tavoitetta, kun Dartmouth Summer Research Project on Artificial Intelligence -työpaja järjestettiin ensimmäisen kerran.
Vaikka on kiisteltävää, onko GPT-4 AGI, voidaan helposti väittää, että se on ensimmäinen kerta ihmiskunnan historiassa, kun AI-järjestelmä pystyy läpäisemään Turingin testin.