Tulisiko GPT-4 lähemmäs todellista tekoälyvallankumousta?

On kulunut melkein kolme vuotta siitä, kun GPT-3 esiteltiin toukokuussa 2020. Siitä lähtien AI-tekstintuottamismalli on herättänyt paljon kiinnostusta kyvystään luoda tekstiä, joka näyttää ja kuulostaa kuin se olisi kirjoitettu ihmisen toimesta. Nyt näyttää siltä, että seuraava ohjelmistoversio, GPT-4, on vain horisontin takana, ja sen arvioidaan ilmestyvän jonain päivänä vuoden 2023 alussa.

Vaikka tätä AI-uutista odotetaan kovasti, GPT-4:n tarkat tiedot ovat olleet melko epämääräisiä. OpenAI, GPT-4:n taustalla oleva yhtiö, ei ole julkistanut paljoa tietoa uudesta mallista, kuten sen ominaisuuksista tai kyvyistään. Kuitenkin viimeaikaiset edistysaskeleet tekoälyalan alalla, erityisesti luonnollisen kielen prosessoinnissa (NLP), voivat antaa joitakin vihjeitä siitä, mitä voidaan odottaa GPT-4:ltä.

Mikä on GPT?

Ennen kuin ryhdytään tarkastelemaan yksityiskohtia, on hyvä ensin määritellä, mitä GPT on. GPT tarkoittaa generatiivista esikoulutettua transformer-mallia, joka on syväoppimismalli, joka on koulutettu internetistä saatavilla olevaan dataan luomaan suuria määriä koneella tuotettua tekstiä. GPT-3 on tämän teknologian kolmas sukupolvi ja yksi edistyneimmistä AI-tekstintuottamismalleista, jotka tällä hetkellä ovat saatavilla.

GPT-3 toimii hieman kuin älykkäät avustajat, kuten Siri tai Alexa, mutta paljon laajemmassa mittakaavassa. Sen sijaan, että pyytäisit Alexa soittamaan suosikkikappaleesi tai Siri kirjoittamaan tekstisi, voit pyytää GPT-3:ta kirjoittamaan koko eBookin vain muutamassa minuutissa tai luomaan 100 sosiaalisen median postaussuunnitelmaa alle minuutissa. Kaikki, mitä käyttäjän tarvitsee tehdä, on antaa selkeä ja tarkka ohje, kuten “Kirjoita minulle 500-sanainen artikkeli luovuuden tärkeydestä”. Kunhan ohje on selkeä ja tarkka, GPT-3 voi kirjoittaa melkein mitä tahansa, mitä pyydät.

GPT-3 on löytänyt monia liiketoimintasovelluksia sen julkaisun jälkeen. Yritykset käyttävät sitä tekstin tiivistämiseen, kielentunnistamiseen, koodin generointiin ja lähes minkä tahansa kirjoitustehtävän laajamittaiseen automatisointiin.

Toisaalta, vaikka GPT-3 on selvästi erittäin vaikuttava kykynsä luoda erittäin luettavaa, ihmisenkaltaista tekstiä, se on kaukana täydellisestä. Ongelmat ilmenevät usein, kun se pyydetään kirjoittamaan pidempiä tekstiä, erityisesti monimutkaisista aiheista, jotka vaativat ymmärrystä. Esimerkiksi ohje generoida tietokonekoodi verkkosivulle voi palauttaa oikean, mutta ala-arvoisen koodin, joten ihmiselle koodarille on edelleen tarve mennä ja parantaa sitä. Samoin on laajamittaisissa tekstidokumenteissa: mitä suurempi tekstimäärä on, sitä todennäköisemmin virheitä – joskus hauskoja – ilmenee, jotka vaativat ihmiskirjoittajan korjaamista.

Yksinkertaisesti sanottuna, GPT-3 ei ole täydellinen korvike ihmiskirjoittajille tai koodareille, eikä sitä pitäisi ajatella sellaisena. Sen sijaan GPT-3:n tulisi katsota kirjoittamisen avustajana, joka voi säästää ihmisten paljon aikaa, kun he tarvitsevat luoda blogipostausideoita tai karkeita luonnoksia mainoskopioiden tai lehdistötiedotteiden kirjoittamiseen.

Onko enemmän parametreja parempaa?

Yksi asia, jota on ymmärrettävä tekoälymallien suhteen, on se, miten ne käyttävät parametreja tekemään ennusteita. Tekoälymallin parametrit määrittävät oppimisprosessin ja tarjoavat rakenteen tulosteelle. Tekoälymallin parametriiden määrää on yleisesti käytetty suorituskyvyn mittarina. Mitä enemmän parametreja, sitä voimakkaampi, sileämpi ja ennustettavampi malli on, ainakin skaalaushypoteesin mukaan.

Esimerkiksi, kun GPT-1 julkaistiin vuonna 2018, se sisälsi 117 miljoonaa parametria. GPT-2, joka julkaistiin vuotta myöhemmin, sisälsi 1,2 miljardia parametria, kun taas GPT-3 nosti parametriiden määrän entisestään 175 miljardiin. Elokuussa 2021 antamassa haastattelussa Wired-lehdelle Cerebraksen perustaja ja toimitusjohtaja Andrew Feldman mainitsi, että GPT-4 sisälsi noin 100 biljoonaa parametria. Tämä tekisi GPT-4:stä 100 kertaa voimakkaamman kuin GPT-3, joka on kvanttiaskel parametrikoossa, mikä on saanut monia ihmisiä hyvin innoostuneiksi.

On kuitenkin hyviä syitä olettaa, että GPT-4:llä ei todellakaan ole 100 biljoonaa parametria. Mitä suurempi parametriiden määrä on, sitä kalliimpi malli on kouluttaa ja hienosäätää johtuen suurista määristä laskentatehoa, jota se vaatii.

Lisäksi on muita tekijöitä kuin pelkästään parametriiden määrä, jotka määrittävät mallin tehokkuuden. Esimerkiksi Nvidia ja Microsoft kehittivät Megatron-Turing NLG -tekstintuottamismallin, joka sisälsi yli 500 miljardia parametria. Vaikka se on suuri, se ei pääse lähellekään GPT-3:n suorituskykyä. Lyhyesti sanottuna, suurempi ei välttämättä ole parempi.

Mitä GPT-4 pystyy tekemään?

Koska OpenAI ei ole julkaissut mitään uutta lausuntoa tai julkaisemassa GPT-4:ää, meidän on jätettävä spekuloiminen siitä, miten se eroaa GPT-3:sta. Riippumatta siitä, voimme tehdä joitakin ennusteita.

Vaikka tekoälykeinojen tulevaisuus on monitieteinen, GPT-4:stä on todennäköistä, että se pysyy tekstipohjaisena. Koska ihmiset elävät moniaistisessa maailmassa, joka on täynnä erilaisia ääni-, visuaali- ja tekstisyötteitä, on väistämätöntä, että tekoälykehitys lopulta tuottaa monitieteisen mallin, joka voi sisällyttää erilaisia syötteitä.

Hyvä monitieteinen malli on kuitenkin huomattavasti vaikeampi suunnitella kuin tekstipohjainen malli. Teknologiaa ei vielä ole, ja perustuen siihen, mitä tiedetään parametrikoosta, on todennäköistä, että OpenAI keskittyy laajentamaan ja parantamaan tekstipohjaista mallia.

On myös todennäköistä, että GPT-4 on vähemmän riippuvainen tarkasta ohjauksesta. Yksi GPT-3:n haittapuolista on, että teksti-ohjeiden on oltava huolellisesti kirjoitettu saadakseen halutun tuloksen. Kun ohjeet eivät ole huolellisesti kirjoitettu, voi päätyä tuloksiin, jotka ovat epätodellisia, myrkyllisiä tai jopa heijastavat ääriajattelua. Tämä on osa niin sanottua “sopimuskysymystä” ja se viittaa haasteisiin luoda tekoälymalli, joka ymmärretään täysin käyttäjän aikomukset. Toisin sanoen tekoälymalli ei ole sopiva käyttäjän tavoitteiden tai aikomusten mukaan. Koska tekoälymallit on koulutettu internetistä saatavilla olevaan dataan, on helppo, että ihmisten harhat, valheiden ja ennakkoluulot pääsevät tekstiin.

On kuitenkin hyviä syitä uskoa, että kehittäjät tekevät edistystä sopimuskysymyksessä. Tämä optimismi johtuu joistakin läpimurroista InstructGPT:n kehityksessä, joka on edistyneempi versio GPT-3:sta, joka on koulutettu seuraamaan ihmisten ohjeita ja käyttäjien aikomukset tarkemmin. Ihmiskokeilijat totesivat, että InstructGPT oli paljon vähemmän riippuvainen hyvistä ohjeista kuin GPT-3.

Korvaako GPT-4 ihmiset?

Vaikka GPT-4:stä on odotettavissa paljon, on epätodennäköistä, että se korvaa täysin tarpeen ihmiskirjoittajille ja koodareille. On vielä paljon työtä tehtävänä kaikkea parametrioptimoitumisesta monitieteisyyteen ja sopimukseen. Saattaa kestää monta vuotta, ennen kuin nähdään tekstintuottamismalli, joka voi saavuttaa todellisen ymmärryksen elämän monimutkaisuudesta ja hienouksista.

On kuitenkin hyviä syitä olla innoissaan GPT-4:n tulemisesta. Parametrioptimoituminen – eikä pelkästään parametriiden kasvu – johtaa todennäköisesti tekoälymalliin, jolla on paljon enemmän laskentatehoa kuin edeltäjällään. Ja parannettu sopimus tekee GPT-4:stä todennäköisesti paljon käyttäjäystävällisemmän.

Lisäksi olemme vasta tekoälytyökalujen kehittämisen ja omaksumisen alussa. Uusia käyttötarkoituksia teknologialle keksitään jatkuvasti, ja kun ihmiset saavat enemmän luottamusta ja mukavuutta käyttääksesi tekoälyä työpaikalla, on lähes varmaa, että nähdään laajamittainen tekoälytyökalujen omaksuminen lähes jokaisella liiketoimintasektorilla tulevina vuosina.