Vil GPT-4 bringe oss nærmere en ekte AI-revolusjon?

Det har nå vært nesten tre år siden GPT-3 ble lansert, tilbake i mai 2020. Siden da har AI-tekstgenereringsmodellen samlet mye oppmerksomhet for sin evne til å lage tekst som ser og høres ut som om den var skrevet av en menneske. Nå ser det ut til at neste iterasjon av programvaren, GPT-4, er like rundt hjørnet, med en estimert lanseringsdato tidlig i 2023.

Tross den høyt forventede naturen av denne AI-nyheten, har de eksakte detaljene om GPT-4 vært ganske vag. OpenAI, selskapet bak GPT-4, har ikke offentliggjort mye informasjon om den nye modellen, slik som dens funksjoner eller evner. Likevel kan nyere fremgang i feltet AI, spesielt når det gjelder Natural Language Processing (NLP), tilby noen ledetråder om hva vi kan forvente av GPT-4.

Hva er GPT?

Før vi går inn i detaljene, er det nyttig å først etablere en basis for hva GPT er. GPT står for Generative Pre-trained Transformer og refererer til en dyptlærende neural nettverksmodell som er trent på data tilgjengelig fra internettet for å lage store volumer av maskin-generert tekst. GPT-3 er tredje generasjon av denne teknologien og er en av de mest avanserte AI-tekstgenereringsmodellene som for tiden er tilgjengelig.

Tenk på GPT-3 som å fungere litt som taleassistenter, som Siri eller Alexa, bare på en mye større skala. I stedet for å be Alexa om å spille din favorittsang eller å få Siri til å skrive ut din tekst, kan du be GPT-3 om å skrive en hel e-bok på bare noen minutter eller generere 100 sosiale medie-innlegg på mindre enn et minutt. Alt det brukeren trenger å gjøre er å gi en prompt, som “Skriv en 500-ords artikkel om viktigheten av kreativitet.” Så lenge prompten er klar og spesifikk, kan GPT-3 skrive nesten hva som helst du ber det om.

Siden det ble lansert til allmennheten, har GPT-3 funnet mange forretningsapplikasjoner. Selskaper bruker det for tekstsummering, språkoversettelse, kodegenerering og stor skala automatisering av nesten alle skriveoppgaver.

Det er sagt, mens GPT-3 uten tvil er meget imponerende i sin evne til å lage svært lesbar menneske-lik tekst, er det langt fra perfekt. Problemer tenderer å dukke opp når den blir bedt om å skrive lengre stykker, spesielt når det gjelder komplekse emner som krever innsikt. For eksempel kan en prompt for å generere datamaskinkode for en nettside returnere korrekt men underoptimal kode, så en menneskelig kodeforfatter må gå inn og gjøre forbedringer. Det er et lignende problem med store tekstdokumenter: jo større volumet av tekst, jo mer sannsynlig er det at feil – noen ganger latterlige – vil dukke opp som trenger å fikses av en menneskelig forfatter.

Kort sagt, GPT-3 er ikke en fullstendig erstatning for menneskelige forfattere eller kodeforfattere, og det bør ikke sees på som en. I stedet bør GPT-3 sees på som en skriveassistent, en som kan spare folk mye tid når de trenger å generere blogginnlegg-ideer eller grove konturer for reklamekopi eller pressemeldinger.

Flere parametre = bedre?

En ting å forstå om AI-modeller er hvordan de bruker parametre for å gjøre prediksjoner. Parametrene i en AI-modell definerer læreprosessen og gir struktur for utgangen. Antallet parametre i en AI-modell har generelt vært brukt som et mål for ytelse. Jo flere parametre, jo mer kraftfull, glatt og forutsigbar modellen er, i alle fall ifølge scaling-hypotesen.

For eksempel, da GPT-1 ble lansert i 2018, hadde den 117 millioner parametre. GPT-2, lansert ett år senere, hadde 1,2 milliarder parametre, mens GPT-3 økte antallet enda høyere til 175 milliarder parametre. Ifølge et intervju i august 2021 med Wired, nevnte Andrew Feldman, grunnlegger og CEO av Cerebras, et selskap som samarbeider med OpenAI, at GPT-4 ville ha omtrent 100 billioner parametre. Dette ville gjøre GPT-4 100 ganger mer kraftfull enn GPT-3, et kvantum-sprang i parametersize som, forståelig, har gjort mange mennesker svært oppstemte.

Likevel, tross Feldmans høye påstand, er det gode grunner til å tro at GPT-4 ikke faktisk vil ha 100 billioner parametre. Jo større antallet parametre, jo mer dyrt blir modellen å trene og finjustere på grunn av de enorme mengdene beregningskraft som kreves.

Pluss, det er flere faktorer enn bare antallet parametre som bestemmer en modells effektivitet. Ta for eksempel Megatron-Turing NLG, en tekstgenereringsmodell bygget av Nvidia og Microsoft, som har over 500 milliarder parametre. Tross sin størrelse, kommer MT-NLG ikke i nærheten av GPT-3 når det gjelder ytelse. Kort sagt, større betyr ikke nødvendigvis bedre.

Sannsynligvis vil GPT-4 faktisk ha flere parametre enn GPT-3, men det å være se om dette tallet vil være en større enn forrige. I stedet er det andre interessante muligheter som OpenAI sannsynligvis følger, som en slankere modell som fokuserer på kvalitative forbedringer i algoritmdesign og justering. Den eksakte effekten av slike forbedringer er vanskelig å forutsi, men det som er kjent er at en sparsom modell kan redusere beregningskostnader gjennom hva som kalles betinget beregning, dvs. ikke alle parametre i AI-modellen vil være i gang hele tiden, som er lignende til hvordan neuroner i menneskehjernen opererer.

Hva vil GPT-4 kunne gjøre?

Inntil OpenAI kommer ut med en ny uttalelse eller selv lanserer GPT-4, er vi igjen til å spekulere på hvordan det vil skille seg fra GPT-3. Uansett, kan vi gjøre noen forutsigelser

Tross at fremtiden for AI-dyptlæring-utvikling er multimodal, vil GPT-4 sannsynligvis forbli tekst-basert. Som mennesker, lever vi i en multisensorisk verden som er fylt med forskjellige audio-, visuelle og tekstlige innlinger. Derfor er det uunngåelig at AI-utvikling til slutt vil produsere en multimodal modell som kan inkorporere en rekke innlinger.

Likevel, en god multimodal modell er betydelig mer vanskelig å designe enn en tekst-basert modell. Teknologien er ikke der enda og basert på hva vi vet om begrensningene på parametersize, er det sannsynlig at OpenAI fokuserer på å utvide og forbedre en tekst-basert modell.

Det er også sannsynlig at GPT-4 vil være mindre avhengig av presise prompting. En av ulemper med GPT-3 er at tekstprompter må skrives nøye for å få ønsket resultat. Når prompter ikke er skrevet nøye, kan du ende opp med utgang som er usann, giftig eller til og med reflekterer ekstremistiske synspunkter. Dette er en del av hva som kalles “justeringsproblemet” og det refererer til utfordringer i å lage en AI-modell som fullstendig forstår brukerens intensjoner. Med andre ord, AI-modellen er ikke justert med brukerens mål eller intensjoner. Siden AI-modeller er trent ved hjelp av tekstdatasett fra internettet, er det svært lett for menneskelige fordommer, usannheter og fordommer å finne veien inn i tekstutgangene.

Det er sagt, det er gode grunner til å tro at utviklerne gjør fremgang på justeringsproblemet. Denne optimisme kommer fra noen gjennombrudd i utviklingen av InstructGPT, en mer avansert versjon av GPT-3 som er trent på menneskelig tilbakemelding for å følge instruksjoner og brukerintensjoner nærmere. Menneskelige dommere fant at InstructGPT var langt mindre avhengig av gode prompter enn GPT-3.

Likevel, det bør bemerkes at disse testene bare ble utført med OpenAI-ansatte, en ganske homogen gruppe som kanskje ikke skiller seg mye i kjønn, religiøse eller politiske synspunkter. Det er sannsynligvis et trygt tips at GPT-4 vil gå gjennom mer divers trening som vil forbedre justering for forskjellige grupper, selv om det å se hvor mye det vil være, er usikkert.

Erstatter GPT-4 mennesker?

Tross det lovende med GPT-4, er det usannsynlig at det fullstendig vil erstatte behovet for menneskelige forfattere og kodeforfattere. Det er fortsatt mye arbeid å gjøre på alt fra parameteroptimalisering til multimodalitet til justering. Det kan være mange år før vi ser en tekstgenerator som kan oppnå en virkelig menneskelig forståelse av kompleksiteten og nyansene i virkelige erfaringer.

Likevel, det er fortsatt gode grunner til å være oppstemt over ankomsten av GPT-4. Parameteroptimalisering – i stedet for bare parametervekst – vil sannsynligvis føre til en AI-modell som har langt mer beregningskraft enn sin forgjenger. Og forbedret justering vil sannsynligvis gjøre GPT-4 mye mer brukervennlig.

I tillegg, vi er fortsatt bare i begynnelsen av utviklingen og tilpasningen av AI-verktøy. Flere bruksområder for teknologien blir konstant funnet, og når folk får mer tillit og komfort med å bruke AI på arbeidsplassen, er det nærmest sikkert at vi vil se en vidt utbredt tilpasning av AI-verktøy over nesten alle forretningssektorer i årene som kommer.