Vil GPT-4 bringe oss nærmere en ekte AI-revolusjon?

Det har nå vært nesten tre år siden GPT-3 ble lansert, tilbake i mai 2020. Siden da har AI-tekstgenereringsmodellen samlet mye oppmerksomhet for sin evne til å lage tekst som ser og høres ut som om den er skrevet av en menneske. Nå ser det ut til at den neste iterasjonen av programvaren, GPT-4, er like rundt hjørnet, med en estimert lanseringsdato noen gang i begynnelsen av 2023.

Til tross for den høyt forventede naturen av denne AI-nyheten, har de eksakte detaljene om GPT-4 vært ganske skjeve. OpenAI, selskapet bak GPT-4, har ikke offentliggjort mye informasjon om den nye modellen, som dens funksjoner eller evner. Likevel kan nyere fremgang i feltet AI, særlig når det gjelder naturlig språkbehandling (NLP), gi noen hint om hva vi kan forvente av GPT-4.

Hva er GPT?

Før vi går inn i detaljene, er det nyttig å først etablere en basis for hva GPT er. GPT står for Generative Pre-trained Transformer og refererer til en dyptlærend neuralnettsmodell som er trent på data tilgjengelig fra internettet for å lage store volumer av maskin-generert tekst. GPT-3 er den tredje generasjonen av denne teknologien og er en av de mest avanserte AI-tekstgenereringsmodellene som for tiden er tilgjengelige.

Tenker på GPT-3 som opererer litt som taleassistenter, som Siri eller Alexa, bare på en mye større skala. I stedet for å be Alexa om å spille din favorittsang eller å ha Siri skrive ut din tekst, kan du be GPT-3 om å skrive en hel eBook på bare noen minutter eller generere 100 sosiale medie-innleggsideer på mindre enn et minutt. Alt det brukeren trenger å gjøre er å gi en prompt, som “Skriv meg en 500-ords artikkel om viktigheten av kreativitet.” Så lenge prompten er klar og spesifikk, kan GPT-3 skrive nesten hva som helst du ber det om.

Siden det ble lansert for allmennheten, har GPT-3 funnet mange forretningsapplikasjoner. Selskaper bruker det for tekstsummering, språkoversettelse, kodegenerering og storstilte automatisering av nesten alle skriveoppgaver.

Det er sagt, mens GPT-3 uten tvil er svært imponerende i sin evne til å lage høyt leselige menneske-lignende tekst, er det langt ifra fullkommen. Problemer tenderer å dukke opp når den blir bedt om å skrive lengre stykker, særlig når det gjelder komplekse emner som krever innsikt. For eksempel kan en prompt til å generere datakode for en nettside returnere korrekt, men underoptimal kode, så en menneskelig kodeforfatter må gå inn og forbedre den. Det er et lignende problem med store tekstdokumenter: jo større volumet av tekst, jo mer sannsynlig er det at feil – noen ganger latterlige feil – vil dukke opp som må fikses av en menneskelig forfatter.

Kort og godt, GPT-3 er ikke en fullstendig erstatning for menneskelige forfattere eller kodeforfattere, og det bør ikke sees på som en. I stedet bør GPT-3 sees på som en skriveassistent, en som kan spare folk mye tid når de trenger å generere blogginnleggsideer eller grove konturer for reklamekopi eller pressemeldinger.

Flere parametre = bedre?

En ting å forstå om AI-modeller er hvordan de bruker parametre for å gjøre prediksjoner. Parametrene i en AI-modell definerer læreprosessen og gir struktur for utgangen. Antallet parametre i en AI-modell har generelt blitt brukt som et mål for ytelse. Jo flere parametre, jo mer kraftfull, glatt og forutsigbar modellen er, i alle fall ifølge skaleringshypotesen.

For eksempel, da GPT-1 ble lansert i 2018, hadde den 117 millioner parametre. GPT-2, lansert ett år senere, hadde 1,2 milliarder parametre, mens GPT-3 økte antallet enda høyere til 175 milliarder parametre. Ifølge et intervju i august 2021 med Wired, Andrew Feldman, grunnlegger og CEO av Cerebras, et selskap som samarbeider med OpenAI, nevnte at GPT-4 ville ha omtrent 100 billioner parametre. Dette ville gjøre GPT-4 100 ganger mer kraftfull enn GPT-3, et kvantum-sprang i parametersize som, forståelig, har gjort mange mennesker svært glade.

Likevel, til tross for Feldmans høye påstand, er det gode grunner til å tro at GPT-4 ikke faktisk vil ha 100 billioner parametre. Jo større antallet parametre, jo mer dyrt blir modellen å trene og finjustere på grunn av de enorme mengdene beregningskraft som kreves.

Pluss, det er flere faktorer enn bare antallet parametre som bestemmer en modells effektivitet. Ta for eksempel Megatron-Turing NLG, en tekstgenereringsmodell bygget av Nvidia og Microsoft, som har over 500 milliarder parametre. Til tross for sin størrelse, kommer MT-NLG ikke i nærheten av GPT-3 når det gjelder ytelse. Kort og godt, større betyr ikke nødvendigvis bedre.

Sannsynligvis vil GPT-4 faktisk ha flere parametre enn GPT-3, men det å være å se om det vil være en størrelsesorden høyere. I stedet er det andre interessante muligheter som OpenAI sannsynligvis følger, som en slank modell som fokuserer på kvalitative forbedringer i algoritmdesign og justering. Den eksakte virkningen av slike forbedringer er vanskelig å forutsi, men det som er kjent er at en sparsom modell kan redusere beregningskostnader gjennom det som kalles betinget beregning, dvs. ikke alle parametre i AI-modellen vil være i gang hele tiden, som ligner på hvordan neuroner i menneskehjernen fungerer.

Hva vil GPT-4 kunne gjøre?

Inntil OpenAI kommer ut med en ny uttalelse eller selv lanserer GPT-4, er vi igjen igjen til å spekulere på hvordan det vil forskjelle fra GPT-3. Uansett, kan vi gjøre noen forutsigelser

Selv om fremtiden for AI-dyp-læring-utvikling er multimodal, vil GPT-4 sannsynligvis forbli tekst-bare. Som mennesker, lever vi i en multisensory verden som er full av forskjellige audio-, visuelle og tekstlige innputt. Derfor er det uunngåelig at AI-utvikling til slutt vil produsere en multimodal modell som kan inkorporere en rekke innputt.

Likevel er en god multimodal modell betydelig mer vanskelig å designe enn en tekst-bare modell. Teknologien er ikke der enda, og basert på hva vi vet om begrensningene på parametersize, er det sannsynlig at OpenAI fokuserer på å utvide og forbedre en tekst-bare modell.

Det er også sannsynlig at GPT-4 vil være mindre avhengig av nøyaktig prompting. En av ulemper med GPT-3 er at tekstprompts må skrives nøye for å få ønsket resultat. Når prompts ikke er skrevet nøye, kan du ende opp med utgang som er usann, giftig eller til og med reflekterer ekstremistiske synspunkter. Dette er en del av det som kalles “justeringsproblemet” og det refererer til utfordringer i å lage en AI-modell som fullstendig forstår brukerens intensjoner. Med andre ord, AI-modellen er ikke justert med brukerens mål eller intensjoner. Siden AI-modeller er trent ved hjelp av tekstdatasett fra internettet, er det svært lett for menneskelige fordommer, usannheter og fordommer å finne veien inn i tekstutgangene.

Det er sagt, det er gode grunner til å tro at utviklerne gjør fremgang på justeringsproblemet. Denne optimisme kommer fra noen gjennombrudd i utviklingen av InstructGPT, en mer avansert versjon av GPT-3 som er trent på menneskelig tilbakemelding for å følge instruksjoner og brukerens intensjoner nærmere. Menneskelige dommere fant at InstructGPT var mye mindre avhengig av god prompting enn GPT-3.

Likevel bør det noteres at disse testene bare ble utført med OpenAI-ansatte, en ganske homogen gruppe som kanskje ikke forskjeller mye i kjønn, religiøse eller politiske synspunkter. Det er sannsynlig en trygg veddemål at GPT-4 vil gjennomgå mer divers trening som vil forbedre justering for forskjellige grupper, selv om det å se hvor mye det vil være.

Er GPT-4 erstatter mennesker?

Til tross for løftene om GPT-4, er det usannsynlig at det fullstendig vil erstatte behovet for menneskelige forfattere og kodeforfattere. Det er fortsatt mye arbeid som må gjøres på alt fra parameteroptimalisering til multimodalitet til justering. Det kan være mange år før vi ser en tekstgenerator som kan oppnå en virkelig menneskelig forståelse av kompleksiteter og nyanser i virkeligheten.

Likevel, det er fortsatt gode grunner til å være glade for kommingen av GPT-4. Parameteroptimalisering – i stedet for bare parametervekst – vil sannsynligvis føre til en AI-modell som har mye mer beregningskraft enn sin forgjenger. Og forbedret justering vil sannsynligvis gjøre GPT-4 mye mer brukervennlig.

I tillegg, er vi fortsatt bare i begynnelsen av utviklingen og tilpasningen av AI-verktøy. Flere bruksområder for teknologien blir konstant funnet, og når folk får mer tillit og komfort med å bruke AI på arbeidsplassen, er det nærmest sikkert at vi vil se en vidt utbredt tilpasning av AI-verktøy over nesten alle forretningssektorer i årene som kommer.