Vil GPT-4 bringe os tættere på en ægte AI-revolution?

Det er næsten tre år siden, GPT-3 blev introduceret, tilbage i maj 2020. Siden da har AI-tekstgenereringsmodellen høstet stor interesse for sin evne til at skabe tekst, der ser ud og lyder som om den er skrevet af et menneske. Nu ser det ud til, at den næste iteration af softwaren, GPT-4, er lige rundt om hjørnet, med en anslået udgivelsesdato på et tidspunkt i begyndelsen af ​​2023.

På trods af den meget forventede karakter af denne AI-nyhed, har de nøjagtige detaljer om GPT-4 været temmelig skitseagtige. OpenAI, virksomheden bag GPT-4, har ikke offentliggjort meget information om den nye model, såsom dens funktioner eller dens evner. Ikke desto mindre kan de seneste fremskridt inden for AI, især med hensyn til Natural Language Processing (NLP), give nogle fingerpeg om, hvad vi kan forvente af GPT-4.

Hvad er GPT?

Før du går ind i detaljerne, er det nyttigt først at etablere en baseline på, hvad GPT er. GPT står for Generative Pre-trained Transformer og henviser til en dybtlærende neural netværksmodel, der trænes på data, der er tilgængelige fra internettet, for at skabe store mængder maskingenereret tekst. GPT-3 er tredje generation af denne teknologi og er en af ​​de mest avancerede AI-tekstgenereringsmodeller, der er tilgængelige i øjeblikket.

Tænk på GPT-3 som fungerer lidt ligesom stemmeassistenter, såsom Siri eller Alexa, kun i meget større skala. I stedet for at bede Alexa om at spille din yndlingssang eller få Siri til at skrive din tekst, kan du bede GPT-3 om at skrive en hel e-bog på blot et par minutter eller generere 100 ideer til sociale medier på mindre end et minut. Alt, hvad brugeren skal gøre, er at give en prompt, såsom, "Skriv mig en artikel på 500 ord om vigtigheden af ​​kreativitet." Så længe prompten er klar og specifik, kan GPT-3 skrive næsten alt, hvad du beder den om.

Siden udgivelsen til den brede offentlighed har GPT-3 fundet mange forretningsapplikationer. Virksomheder bruger det til tekstresumé, sprogoversættelse, kodegenerering og storstilet automatisering af næsten enhver skriveopgave.

Når det er sagt, mens GPT-3 utvivlsomt er meget imponerende i sin evne til at skabe meget læsbar menneskelignende tekst, er den langt fra perfekt. Problemer har en tendens til at dukke op, når du bliver bedt om at skrive længere stykker, især når det kommer til komplekse emner, der kræver indsigt. For eksempel kan en prompt om at generere computerkode til et websted returnere korrekt, men suboptimal kode, så en menneskelig koder skal stadig gå ind og foretage forbedringer. Det er et lignende problem med store tekstdokumenter: Jo større tekstvolumen er, jo mere sandsynligt er det, at fejl – nogle gange sjove – vil dukke op, som skal rettes af en menneskelig forfatter.

Kort sagt, GPT-3 er ikke en komplet erstatning for menneskelige forfattere eller kodere, og det bør ikke opfattes som en. I stedet skal GPT-3 ses som en skriveassistent, en der kan spare folk for en masse tid, når de skal generere blogindlægsideer eller grove skitser til reklametekster eller pressemeddelelser.

Flere parametre = bedre?

En ting at forstå om AI-modeller er, hvordan de bruger parametre til at lave forudsigelser. Parametrene for en AI-model definerer læringsprocessen og giver struktur for outputtet. Antallet af parametre i en AI-model er generelt blevet brugt som et mål for ydeevne. Jo flere parametre, jo mere kraftfuld, glat og forudsigelig er modellen, i hvert fald ifølge skaleringshypotese.

For eksempel, da GPT-1 blev udgivet i 2018, havde den 117 millioner parametre. GPT-2, udgivet et år senere, havde 1.2 milliarder parametre, mens GPT-3 hævede tallet endnu højere til 175 milliarder parametre. Ifølge et interview fra august 2021 med Wired, Andrew Feldman, grundlægger og administrerende direktør for Cerebras, et firma, der samarbejder med OpenAI, nævnte, at GPT-4 ville have omkring 100 billioner parametre. Dette ville gøre GPT-4 100 gange stærkere end GPT-3, et kvantespring i parameterstørrelse, der forståeligt nok har gjort mange mennesker meget begejstrede.

På trods af Feldmans høje påstand er der dog gode grunde til at tro, at GPT-4 faktisk ikke vil have 100 billioner parametre. Jo større antal parametre, desto dyrere bliver en model at træne og finjustere på grund af de store mængder regnekraft, der kræves.

Derudover er der flere faktorer end blot antallet af parametre, der bestemmer en models effektivitet. Tag for eksempel Megatron-Turing NLG, en tekstgenereringsmodel bygget af Nvidia og Microsoft, som har mere end 500 milliarder parametre. På trods af sin størrelse kommer MT-NLG ikke i nærheden af ​​GPT-3 med hensyn til ydeevne. Kort sagt, større betyder ikke nødvendigvis bedre.

Chancerne er, at GPT-4 faktisk vil have flere parametre end GPT-3, men det er stadig uvist, om det tal vil være en størrelsesorden højere. I stedet er der andre spændende muligheder, som OpenAI sandsynligvis forfølger, såsom en slankere model, der fokuserer på kvalitative forbedringer i algoritmisk design og justering. Den nøjagtige effekt af sådanne forbedringer er svær at forudsige, men hvad man ved er, at en sparsom model kan reducere beregningsomkostningerne gennem det, der kaldes betinget beregning, dvs. ikke alle parametre i AI-modellen vil tænde hele tiden, hvilket svarer til hvordan neuroner i den menneskelige hjerne fungerer.

Så hvad vil GPT-4 være i stand til?

Indtil OpenAI udkommer med en ny erklæring eller endda frigiver GPT-4, er vi tilbage til at spekulere i, hvordan det vil adskille sig fra GPT-3. Uanset hvad kan vi komme med nogle forudsigelser

Selvom fremtiden for AI dyb-læringsudvikling er multimodal, vil GPT-4 sandsynligvis forblive kun tekst. Som mennesker lever vi i en multisensorisk verden, der er fyldt med forskellige lyd-, visuelle og tekstmæssige input. Derfor er det uundgåeligt, at AI-udvikling med tiden vil producere en multimodal model, der kan inkorporere en række input.

En god multimodal model er dog væsentligt sværere at designe end en model med kun tekst. Teknikken er der simpelthen ikke endnu, og baseret på hvad vi ved om grænserne for parameterstørrelse, er det sandsynligt, at OpenAI fokuserer på at udvide og forbedre en model, der kun er tekst.

Det er også sandsynligt, at GPT-4 vil være mindre afhængig af præcis prompt. En af ulemperne ved GPT-3 er, at tekstmeddelelser skal skrives omhyggeligt for at få det resultat, du ønsker. Når prompter ikke er omhyggeligt skrevet, kan du ende med output, der er usandfærdige, giftige eller endda afspejler ekstremistiske synspunkter. Dette er en del af det, der er kendt som "justeringsproblemet", og det refererer til udfordringer med at skabe en AI-model, der fuldt ud forstår brugerens intentioner. Med andre ord er AI-modellen ikke afstemt efter brugerens mål eller intentioner. Da AI-modeller trænes ved hjælp af tekstdatasæt fra internettet, er det meget nemt for menneskelige skævheder, usandheder og fordomme at finde vej til tekstoutput.

Når det er sagt, er der gode grunde til at tro, at udviklere gør fremskridt med tilpasningsproblemet. Denne optimisme kommer fra nogle gennembrud i udviklingen af ​​InstructGPT, en mere avanceret version af GPT-3, der er trænet i menneskelig feedback til at følge instruktioner og brugerintentioner tættere. Menneskelige dommere fandt, at InstructGPT var langt mindre afhængig af god prompting end GPT-3.

Det skal dog bemærkes, at disse tests kun blev udført med OpenAI-ansatte, en ret homogen gruppe, der måske ikke adskiller sig meget i køn, religiøse eller politiske synspunkter. Det er sandsynligvis et sikkert bud, at GPT-4 vil gennemgå en mere forskelligartet træning, der vil forbedre tilpasningen for forskellige grupper, men i hvilket omfang er endnu uvist.

Vil GPT-4 erstatte mennesker?

På trods af løftet om GPT-4 er det usandsynligt, at det helt vil erstatte behovet for menneskelige forfattere og kodere. Der er stadig meget arbejde at gøre med alt fra parameteroptimering til multimodalitet til alignment. Det kan meget vel vare mange år, før vi ser en tekstgenerator, der kan opnå en virkelig menneskelig forståelse af kompleksiteten og nuancerne i den virkelige oplevelse.

Alligevel er der stadig gode grunde til at være begejstret for GPT-4's komme. Parameteroptimering - snarere end blot parametervækst - vil sandsynligvis føre til en AI-model, der har langt mere computerkraft end sin forgænger. Og forbedret justering vil sandsynligvis gøre GPT-4 langt mere brugervenlig.

Derudover er vi stadig kun i begyndelsen af ​​udviklingen og adoptionen af ​​AI-værktøjer. Flere use cases for teknologien bliver konstant fundet, og efterhånden som folk får mere tillid og komfort ved at bruge AI på arbejdspladsen, er det næsten sikkert, at vi vil se en udbredt anvendelse af AI-værktøjer på tværs af næsten alle forretningssektorer i de kommende år.