Vil GPT-4 bringe os tættere på en sand AI-revolution?

Det er næsten tre år siden, GPT-3 blev introduceret i maj 2020. Siden da har AI-tekstgenereringsmodellen fået megen opmærksomhed for sin evne til at skabe tekst, der ligner og lyder som den er skrevet af en menneske. Nu ser det ud til, at den næste iteration af softwaren, GPT-4, er lige om hjørnet, med en estimeret udgivelsesdato i begyndelsen af 2023.

Trods den højt forventede karakter af denne AI-nyhed har detaljerne om GPT-4 været ret uklare. OpenAI, virksomheden bag GPT-4, har ikke offentliggjort megen information om den nye model, såsom dens funktioner eller evner. Alligevel kan de seneste fremskridt inden for AI-området, især med hensyn til Natural Language Processing (NLP), give nogen hints om, hvad vi kan forvente af GPT-4.

Hvad er GPT?

Før vi dykker ned i detaljerne, er det nyttigt at etablere en basis for, hvad GPT er. GPT står for Generative Pre-trained Transformer og refererer til en dyb-læring neural-netværksmodel, der er trænet på data fra internettet for at skabe store mængder maskin-genereret tekst. GPT-3 er den tredje generation af denne teknologi og er en af de mest avancerede AI-tekstgenereringsmodeller, der i øjeblikket er tilgængelige.

Tænk på GPT-3 som en funktion, der ligner stemmeassistenter, såsom Siri eller Alexa, blot på en langt større skala. I stedet for at bede Alexa om at afspille din yndlingssang eller have Siri skrive din tekst, kan du bede GPT-3 om at skrive en hel eBook på få minutter eller generere 100 sociale medie-idéer på under et minut. Alt, brugeren behøver at gøre, er at give en prompt, såsom “Skrib en 500-ords artikel om vigtigheden af kreativitet.” Så længe prompten er klar og specifik, kan GPT-3 skrive næsten alt, du beder om.

Siden dens udgivelse til offentligheden har GPT-3 fundet mange erhvervsapplikationer. Virksomheder bruger det til tekstsummering, sprogoversættelse, kodegenerering og storstilet automatisering af næsten enhver skriveopgave.

Det sagde, selv om GPT-3 utvivlsomt er meget imponerende i sin evne til at skabe meget læselig, menneske-lignende tekst, er det langt fra perfekt. Problemer opstår, når det bliver bedt om at skrive længere stykker, især når det kommer til komplekse emner, der kræver indsigt. For eksempel kan en prompt til at generere computerkode til en hjemmeside returnere korrekt, men underoptimal kode, så en menneskelig kodeudvikler stadig må gå ind og forbedre det. Det er et lignende problem med store tekstdokumenter: jo større volumen af tekst, desto mere sandsynligt er det, at fejl – undertiden latterlige fejl – vil opstå, som kræver en menneskelig forfatters korrektion.

Kort sagt er GPT-3 ikke en komplet erstatning for menneskelige forfattere eller kodere, og det bør ikke betragtes som en. I stedet bør GPT-3 betragtes som en skriveassistent, der kan spare mennesker en masse tid, når de har brug for at generere blog-indlæg-idéer eller udkast til reklamekopier eller pressemeddelelser.

Flere parametre = bedre?

En ting at forstå om AI-modeller er, hvordan de bruger parametre til at gøre forudsigelser. Parametrene i en AI-model definerer læreprocessen og giver struktur for output. Antallet af parametre i en AI-model er generelt blevet brugt som en målestok for ydeevne. Jo flere parametre, desto mere kraftfuld, glat og forudsigelig er modellen, i hvert fald ifølge skaleringshypotesen.

For eksempel havde GPT-1, da den blev udgivet i 2018, 117 millioner parametre. GPT-2, der blev udgivet et år senere, havde 1,2 milliarder parametre, mens GPT-3 øgede antallet endnu højere til 175 milliarder parametre. Ifølge et interview i august 2021 med Wired nævnte Andrew Feldman, grundlægger og administrerende direktør for Cerebras, en virksomhed, der samarbejder med OpenAI, at GPT-4 ville have omkring 100 billioner parametre. Dette ville gøre GPT-4 100 gange mere kraftfuld end GPT-3, et kvantum-spring i parametersize, der forståeligt nok har gjort mange mennesker meget begejstrede.

Det sagde, selv om Feldmans høje påstand, er der gode grunde til at tro, at GPT-4 ikke faktisk vil have 100 billioner parametre. Jo større antallet af parametre, desto mere dyrt bliver modellen at træne og finjustere på grund af de enorme mængder beregningskraft, der kræves.

Derudover er der mere end blot antallet af parametre, der bestemmer en models effektivitet. Tag for eksempel Megatron-Turing NLG, en tekstgenereringsmodel bygget af Nvidia og Microsoft, der har mere end 500 milliarder parametre. Trods sin størrelse kommer MT-NLG ikke nær GPT-3 i forhold til ydeevne. Kort sagt, større betyder ikke nødvendigvis bedre.

Chancerne er, at GPT-4 faktisk vil have flere parametre end GPT-3, men det er usikkert, om antallet vil være en større størrelsesorden. I stedet er der andre interessante muligheder, som OpenAI sandsynligvis forfølger, såsom en mere slank model, der fokuserer på kvalitative forbedringer i algoritme-design og alignment. Den præcise effekt af sådanne forbedringer er svær at forudsige, men det, der er kendt, er, at en sparsom model kan reducere beregningsomkostningerne gennem, hvad der kaldes betinget beregning, dvs. ikke alle parametre i AI-modellen vil være aktive hele tiden, hvilket er lignende med, hvordan neuroner i det menneskelige hjerte fungerer.

Hvad vil GPT-4 kunne?

Indtil OpenAI kommer med en ny erklæring eller endda udgiver GPT-4, er vi tvunget til at spekulere over, hvordan det vil adskille sig fra GPT-3. Uanset hvad kan vi gøre nogen forudsigelser

Selv om fremtiden for AI-dybdelæringudvikling er multimodal, vil GPT-4 sandsynligvis forblive tekst-only. Som mennesker lever vi i en multisensorisk verden, der er fuld af forskellige audio-, visuelle og tekst-input. Derfor er det uundgåeligt, at AI-udviklingen til sidst vil producere en multimodal model, der kan inkorporere en række input.

Det er dog svært at designe en god multimodal model, og teknologien er endnu ikke der. Baseret på, hvad vi ved om begrænsningerne på parametersize, er det sandsynligt, at OpenAI fokuserer på at udvide og forbedre en tekst-only-model.

Det er også sandsynligt, at GPT-4 vil være mindre afhængig af præcise prompting. En af ulemperne ved GPT-3 er, at tekstprompter skal skrives omhyggeligt for at få det ønskede resultat. Når prompter ikke er skrevet omhyggeligt, kan du endte med output, der er usandt, giftigt eller endda afspejler ekstremistiske synspunkter. Dette er en del af, hvad der kaldes “alignment-problemet” og refererer til udfordringerne i at skabe en AI-model, der fuldt ud forstår brugerens intentioner. Med andre ord er AI-modellen ikke aligneret med brugerens mål eller intentioner. Da AI-modeller er trænet ved hjælp af tekstdata fra internettet, er det meget let for menneskelige fordomme, usandheder og fordomme at finde vej ind i tekstoutput.

Det sagde, er der gode grunde til at tro, at udviklerne gør fremskridt på alignment-problemet. Denne optimisme kommer fra nogle gennembrud i udviklingen af InstructGPT, en mere avanceret version af GPT-3, der er trænet på menneskelig feedback for at følge instruktioner og brugerens intentioner tættere. Menneskelige dommere fandt, at InstructGPT var langt mindre afhængig af god prompting end GPT-3.

Det skal dog bemærkes, at disse tests kun blev udført med OpenAI-ansatte, en ret homogen gruppe, der måske ikke adskiller sig meget i køn, religiøs eller politisk synspunkter. Det er sandsynligt, at GPT-4 vil undergå mere divers træning, der vil forbedre alignment for forskellige grupper, selv om det er usikkert, i hvilken udstrækning.

Er GPT-4 en erstatning for mennesker?

Trods GPT-4’s løfte er det usandsynligt, at det fuldstændigt vil erstatte behovet for menneskelige forfattere og kodere. Der er stadig meget arbejde at gøre på alt fra parametersoptimering til multimodalitet til alignment. Det kan være mange år, før vi ser en tekstgenerator, der kan opnå en sand menneskelig forståelse af kompleksiteterne og nuancerne i virkelighedens erfaringer.

Det sagde, er der stadig gode grunde til at være begejstret for GPT-4’s ankomst. Parametersoptimering – snarere end blot parametersvækst – vil sandsynligvis føre til en AI-model, der har langt mere beregningskraft end sin forgænger. Og forbedret alignment vil sandsynligvis gøre GPT-4 langt mere brugervenlig.

Desuden er vi stadig kun ved begyndelsen af udviklingen og adoptionen af AI-værktøjer. Flere brugstilfælde for teknologien bliver konstant fundet, og da mennesker får mere tillid og komfort med at bruge AI på arbejdspladsen, er det næsten sikkert, at vi vil se en bred adoption af AI-værktøjer på næsten alle erhvervssektorer i de kommende år.