Tuoka GPT-4 meidät lähemmäs todellista tekoälyvallankumousta?

On kulunut melkein kolme vuotta siitä, kun GPT-3 esiteltiin toukokuussa 2020. Siitä lähtien AI-tekstigenerointimalli on herättänyt paljon kiinnostusta kyvystään luoda tekstiä, joka näyttää ja kuulostaa kuin se olisi kirjoitettu ihmisen toimesta. Nyt näyttää siltä, että seuraava ohjelmistoversio, GPT-4, on vain horisontin takana, ja sen arvioidaan ilmestyvän alkuvuonna 2023.

Huolimatta tästä odotetusta AI-uutisesta, tarkat tiedot GPT-4:stä ovat olleet melko epämääräisiä. OpenAI, yhtiö joka on kehittänyt GPT-4:tä, ei ole julkistanut paljoa tietoa uudesta mallista, kuten sen ominaisuuksista tai kyvyistään. Kuitenkin viimeaikaiset edistysaskeleet tekoälyalan alalla, erityisesti luonnollisen kielen prosessoinnissa (NLP), voivat tarjota joitakin vihjeitä siitä, mitä voidaan odottaa GPT-4:stä.

Mikä on GPT?

Ennen kuin perehdytään yksityiskohtiin, on hyvä ensin määritellä, mitä GPT on. GPT tarkoittaa generatiivista esikoulutettua transformer-mallia, joka on syväoppimismalli, joka on koulutettu internetistä saatavilla olevilla tiedoilla luomaan suuria määriä koneella generoituja tekstejä. GPT-3 on kolmas sukupolvi tässä teknologiassa ja yksi edistyneimmistä AI-tekstigenerointimalleista, jotka ovat tällä hetkellä saatavilla.

Ajattele GPT-3:ta toimivana hieman kuin älykkäät ääniohjaimet, kuten Siri tai Alexa, mutta paljon laajemmassa mittakaavassa. Sen sijaan, että pyytäisit Alexa soittamaan suosikkikappaleesi tai kirjoittamaan tekstisi Sirin avulla, voit pyytää GPT-3:ta kirjoittamaan koko eBookin vain muutamassa minuutissa tai generoimaan 100 sosiaalisen median julkaisuideoita alle minuutissa. Kaikki, mitä käyttäjän tarvitsee tehdä, on antaa selkeä ja tarkka ohje, kuten “Kirjoita 500-sanainen artikkeli luovuuden tärkeydestä.” Kun ohje on selkeä ja tarkka, GPT-3 voi kirjoittaa melkein mitä tahansa, mitä pyydät.

GPT-3 on löytänyt monia liiketoimintasovelluksia sen julkaisun jälkeen. Yritykset käyttävät sitä tekstin tiivistämiseen, kielentunnistamiseen, koodin generointiin ja melkein minkä tahansa kirjoitustehtävän laajamittaiseen automatisointiin.

Sanottakoon, että vaikka GPT-3 on epäilemättä erittäin vaikuttava kykynsä luoda erittäin luettavaa, ihmisenkaltaista tekstiä, se on kaukana täydellisyydestä. Ongelmat ilmenevät usein, kun pyydetään kirjoittamaan pidempiä tekstejä, erityisesti kompleksisista aiheista, jotka vaativat ymmärrystä. Esimerkiksi ohje generoida tietokonekoodi verkkosivustolle voi palauttaa oikean, mutta suboptimaalisen koodin, joten ihmiselle koodaajalle on edelleen tarve mennä ja parantaa sitä. Vastaava ongelma on suurten tekstidokumenttien kanssa: mitä suurempi tekstimäärä on, sitä todennäköisemmin virheitä – joskus hauskoja – ilmenee, jotka vaativat ihmiskirjoittajan korjaamista.

Yksinkertaisesti sanottuna, GPT-3 ei ole täydellinen korvike ihmiskirjoittajille tai koodaajille, eikä sitä pitäisi ajatella sellaisena. Sen sijaan GPT-3:n tulisi katsota kirjoittamisavustajana, joka voi säästää ihmisten paljon aikaa, kun he tarvitsevat ideoita blogikirjoituksille tai karkeita luonnoksia mainoskopioille tai lehdistötiedotteille.

Enemmän parametrejä = parempi?

Yksi asia, jota tulisi ymmärtää tekoälymallien suhteen, on, miten ne käyttävät parametreja tekemään ennusteita. Tekoälymallin parametrit määrittävät oppimisprosessin ja antavat rakenteen tulosteelle. Tekoälymallin parametriiden määrä on yleensä käytetty suorituskyvyn mittarina. Mitä enemmän parametreja, sitä voimakkaampi, sileämpi ja ennustettavampi malli on, ainakin skaalauhypothesin mukaan.

Esimerkiksi, kun GPT-1 julkaistiin vuonna 2018, se sisälsi 117 miljoonaa parametriä. GPT-2, joka julkaistiin vuotta myöhemmin, sisälsi 1,2 miljardia parametriä, kun taas GPT-3 nosti parametriiden määrän entisestään 175 miljardiin. Augustissa 2021 haastattelussa Wired-lehdelle Andrew Feldman, Cerebrasin perustaja ja toimitusjohtaja, joka on yhtiö, joka tekee yhteistyötä OpenAI:n kanssa, mainitsi, että GPT-4 sisälsi noin 100 biljoonaa parametriä. Tämä tekisi GPT-4:stä 100 kertaa voimakkaamman kuin GPT-3, joka on parametrikoossa kvanttihyppy, joka on saanut monia ihmisiä hyvin innoostuneiksi.

Kuitenkin, huolimatta Feldmanin korkeista vaatimuksista, on hyviä syitä uskoa, että GPT-4 ei todellakaan sisällä 100 biljoonaa parametriä. Mitä suurempi parametriiden määrä on, sitä kalliimpi malli on kouluttaa ja hienosäätää johtuen suurista määristä laskentatehoa, jota se vaatii.

Lisäksi on muita tekijöitä kuin vain parametriiden määrä, jotka määrittävät mallin tehokkuuden. Otetaan esimerkiksi Megatron-Turing NLG, tekstigenerointimalli, jota on kehittänyt Nvidia ja Microsoft, joka sisältää yli 500 miljardia parametreja. Huolimatta koostaan, MT-NLG ei pääse lähellekään GPT-3:n suorituskykyä. Lyhyesti sanottuna, suurempi ei välttämättä ole parempi.

On todennäköistä, että GPT-4 sisältää enemmän parametreja kuin GPT-3, mutta on nähtävä, tuleeko parametriiden määrä olemaan kertaluokkaa suurempi. Sen sijaan on muita mielenkiintoisia mahdollisuuksia, joita OpenAI todennäköisesti toteuttaa, kuten ohut malli, joka keskittyy laadullisiin parannuksiin algoritmisen suunnittelun ja suunnittelun osalta. Tarkka vaikutus näistä parannuksista on vaikea ennustaa, mutta se, mitä tiedetään, on, että harsomalli voi vähentää laskentakustannuksia ehdollisen laskennan kautta, ts. ei kaikki parametri mallissa ovat aina aktiivisia, mikä on samanlaista kuin miten aivojen hermosolut toimivat.

Mikä GPT-4 pystyy tekemään?

Kunnes OpenAI julkaisee uuden lausunnon tai jopa julkaisee GPT-4:n, meidän on spekuloitava, miten se eroaa GPT-3:sta. Riippumatta siitä, voidaan tehdä joitakin ennusteita

Vaikka tekoälykeinojen tulevaisuuden kehitys on monitieteinen, GPT-4 on todennäköisesti edelleen vain tekstipohjainen. Koska ihmiset elävät moniaistisessa maailmassa, joka on täynnä erilaisia ääni-, visuaali- ja teksti- syötteitä, on väistämätöntä, että tekoälykehitys lopulta tuottaa monitieteisen mallin, joka voi sisällyttää erilaisia syötteitä.

Kuitenkin hyvä monitieteinen malli on huomattavasti vaikeampi suunnitella kuin tekstipohjainen malli. Tekniikkaa ei ole vielä kehitetty, ja perustuen siihen, mitä tiedetään parametrikoosta, on todennäköistä, että OpenAI keskittyy laajentamaan ja parantamaan tekstipohjaista mallia.

On myös todennäköistä, että GPT-4 on vähemmän riippuvainen tarkasta ohjaamisesta. Yksi GPT-3:n haittapuolista on, että teksti-ohjeiden on oltava huolellisesti kirjoitettu saadakseen halutun tuloksen. Kun ohjeet eivät ole huolellisesti kirjoitettu, voi päätyä tuloksiin, jotka ovat epätodellisia, myrkyllisiä tai jopa heijastavat ääriajattelua. Tämä on osa niiden haasteista, jotka liittyvät tekoälymallin luomiseen, joka ymmärtää täysin käyttäjän aikomukset. Toisin sanoen, tekoälymalli ei ole suunnattu käyttäjän tavoitteiden tai aikomusten mukaan. Koska tekoälymallit on koulutettu internetistä saatavilla olevilla tekstiaineistoilla, on erittäin helppo, että ihmisten harhat, valheiden ja ennakkoluulojen löytäminen teksti tulokset.

Sanottakoon, että on hyviä syitä uskoa, että kehittäjät tekevät edistystä suunnitteluongelman osalla. Tämä optimismi tulee joistakin läpimurroista InstructGPT:n kehityksessä, joka on edistyneempi versio GPT-3:sta, joka on koulutettu ihmisten palautteella seuraamaan ohjeita ja käyttäjien aikomuksia tarkemmin. Ihmiskokeilijat totesivat, että InstructGPT oli paljon vähemmän riippuvainen hyvistä ohjeista kuin GPT-3.

Kuitenkin on mainittava, että nämä testit suoritettiin ainoastaan OpenAI:n työntekijöiden kanssa, joka on melko homogeeninen ryhmä, joka ei välttämättä eroa paljon sukupuolen, uskonnon tai poliittisen näkemyksen suhteen. On todennäköistä, että GPT-4 käy läpi monipuolisempaa koulutusta, joka parantaa suunnittelua eri ryhmille, vaikka se, miten paljon, on nähtävä.

korvaa GPT-4 ihmiset?

Huolimatta GPT-4:n lupaavuudesta, on epätodennäköistä, että se korvaa täysin tarpeen ihmiskirjoittajille ja koodaajille. On edelleen paljon työtä tehtäväksi kaikessa parametrioptimoimisesta monimodaliteettiin ja suunnitteluun. Se voi olla monta vuotta, ennen kuin nähdään tekstigeneraattori, joka voi saavuttaa todellisen ymmärryksen elämän monimutkaisuudesta ja hienouksista.

Kuitenkin on hyviä syitä olla innoissaan GPT-4:n tulemisesta. Parametrioptimoiminen – eikä pelkästään parametrin kasvu – johtaa todennäköisesti tekoälymalliin, jolla on paljon enemmän laskentatehoa kuin edeltäjällään. Ja parannettu suunnittelu tekee GPT-4:stä todennäköisesti paljon käyttäjäystävällisemmän.

Lisäksi olemme vasta aloittamassa tekoälytyökalujen kehitystä ja omaksumista. Lisää käyttötarkoituksia tälle teknologialle löydetään jatkuvasti, ja kun ihmiset saavat enemmän luottamusta ja mukavuutta käyttää tekoälyä työpaikalla, on lähes varmaa, että nähdään laaja tekoälytyökalujen käyttöönotto lähes jokaisessa liiketoimintasektorissa tulevina vuosina.