Vil GPT-4 Bringe Os Tættere På En Sand AI-Revolution?

Det er næsten tre år siden, GPT-3 blev introduceret i maj 2020. Siden da har AI-tekstgenereringsmodellen været genstand for megen interesse på grund af sin evne til at skabe tekst, der ligner og lyder som den er skrevet af en menneske. Nu ser det ud til, at den næste iteration af softwaren, GPT-4, er lige om hjørnet, med en estimeret udgivelsesdato tidligt i 2023.

Trods den højt forventede karakter af denne AI-nyhed har de eksakte detaljer om GPT-4 været ret uklare. OpenAI, virksomheden bag GPT-4, har ikke offentliggjort megen information om den nye model, såsom dens funktioner eller evner. Alligevel kan de seneste fremskridt inden for AI-området, især med hensyn til Natural Language Processing (NLP), måske give nogen hint om, hvad vi kan forvente af GPT-4.

Hvad er GPT?

Før vi dykker ned i detaljerne, er det nyttigt at først etablere en basis for, hvad GPT er. GPT står for Generative Pre-trained Transformer og refererer til en dyb-lærings neuralnetværksmodel, der er trænet på data fra internettet for at skabe store mængder maskin-genereret tekst. GPT-3 er den tredje generation af denne teknologi og er en af de mest avancerede AI-tekstgenereringsmodeller, der i øjeblikket er tilgængelige.

Tænk på GPT-3 som en, der fungerer lidt som taleassistenter, såsom Siri eller Alexa, blot i en langt større skala. I stedet for at bede Alexa om at afspille din yndlingssang eller have Siri skrive din tekst, kan du bede GPT-3 om at skrive en hel e-bog på få minutter eller generere 100 sociale medie-indlæg på under en minut. Alt, hvad brugeren behøver at gøre, er at give en prompt, såsom “Skrib en 500-ords artikel om vigtigheden af kreativitet.” Så længe prompten er klar og specifik, kan GPT-3 skrive næsten alt, du beder om.

Siden dens udgivelse til offentligheden har GPT-3 fundet mange erhvervs anvendelser. Virksomheder bruger det til tekst sammenfatning, sprog oversættelse, kode generering og storstilet automatisering af næsten enhver skrive opgave.

Det sagde, selv om GPT-3 uden tvivl er meget imponerende i sin evne til at skabe højtlæselig, menneske-lignende tekst, er det langt fra perfekt. Problemer opstår, når det bliver bedt om at skrive længere stykker, især når det kommer til komplekse emner, der kræver indsigt. For eksempel kan en prompt til at generere computer kode til en hjemmeside returnere korrekt, men underoptimal kode, så en menneske lig kode skriver stadig må gå ind og forbedre det. Det er et lignende problem med store tekst dokumenter: jo større volumen af tekst, desto mere sandsynligt er det, at fejl – nogle gange latterlige – vil opstå, der kræver korrektion af en menneske lig skriver.

Kort sagt er GPT-3 ikke en komplet erstatning for menneske lig skrivere eller kodere, og det burde ikke betragtes som en. I stedet burde GPT-3 betragtes som en skrive assistent, en, der kan spare mennesker en masse tid, når de har brug for at generere blog indlæg ideer eller udkast til reklame kopier eller presse meddelelser.

Flere parametre = bedre?

En ting at forstå om AI-modeller er, hvordan de bruger parametre til at lave forudsigelser. Parametrene i en AI-model definerer lære processen og giver struktur for output. Antallet af parametre i en AI-model er generelt blevet brugt som en målestok for ydeevne. Jo flere parametre, desto mere kraftfuld, glat og forudsigelig er modellen, i hvert fald ifølge scaling hypotesen.

For eksempel havde GPT-1, da den blev udgivet i 2018, 117 millioner parametre. GPT-2, der blev udgivet et år senere, havde 1,2 milliarder parametre, mens GPT-3 øgede antallet endnu højere til 175 milliarder parametre. Ifølge et interview i august 2021 med Wired nævnte Andrew Feldman, grundlægger og administrerende direktør for Cerebras, en virksomhed, der samarbejder med OpenAI, at GPT-4 ville have omkring 100 billioner parametre. Dette ville gøre GPT-4 100 gange mere kraftfuld end GPT-3, et kvantum spring i parameter størrelse, der, forståeligt, har gjort mange mennesker meget begejstrede.

Alligevel, trods Feldmans høje påstand, er der gode grunde til at tro, at GPT-4 ikke faktisk vil have 100 billioner parametre. Jo større antallet af parametre, desto mere dyrt bliver modellen at træne og finjustere på grund af de enorme mængder af beregningskraft, der kræves.

Plus, der er mere end blot antallet af parametre, der bestemmer en models effektivitet. Tag for eksempel Megatron-Turing NLG, en tekstgenereringsmodel bygget af Nvidia og Microsoft, der har mere end 500 milliarder parametre. Trods sin størrelse kommer MT-NLG ikke nær GPT-3 i forhold til ydeevne. Kort sagt, større betyder ikke nødvendigvis bedre.

Chancerne er, at GPT-4 faktisk vil have flere parametre end GPT-3, men det er uvist, om dette antal vil være en større størrelse. I stedet er der andre interessante muligheder, som OpenAI sandsynligvis forfølger, såsom en slankere model, der fokuserer på kvalitative forbedringer i algoritme design og alignment. Den eksakte effekt af sådanne forbedringer er svær at forudsige, men hvad der er kendt, er, at en sparsom model kan reducere beregnings omkostninger gennem, hvad der kaldes betinget beregning, dvs. ikke alle parametre i AI-modellen vil være i gang hele tiden, hvilket er ligesom, hvordan neuroner i det menneskelige hjerte fungerer.

Så, hvad vil GPT-4 kunne?

Indtil OpenAI kommer med en ny erklæring eller endda udgiver GPT-4, er vi tvunget til at spekulere over, hvordan det vil adskille sig fra GPT-3. Uanset hvad, kan vi gøre nogle forudsigelser

Selv om fremtiden for AI-dybt-lærings udvikling er multimodal, vil GPT-4 sandsynligvis forblive tekst kun. Som mennesker lever vi i en multisensorisk verden, der er fuld af forskellige audio, visuelle og tekstuelle input. Derfor er det uundgåeligt, at AI-udvikling vil producere en multimodal model, der kan inkorporere en række input.

Alligevel er en god multimodal model betydeligt sværere at designe end en tekst-kun model. Teknologien er ikke der endnu, og baseret på, hvad vi ved om begrænsningerne på parameter størrelse, er det sandsynligt, at OpenAI fokuserer på at udvide og forbedre en tekst-kun model.

Det er også sandsynligt, at GPT-4 vil være mindre afhængig af præcis promptning. En af ulemperne ved GPT-3 er, at tekst prompts skal skrives omhyggeligt for at få det ønskede resultat. Når prompts ikke er skrevet omhyggeligt, kan du ende med output, der er usand, giftig eller endda reflekterer ekstremistiske synspunkter. Dette er en del af, hvad der kaldes “alignment problemet” og refererer til udfordringerne i at skabe en AI-model, der fuldt ud forstår brugerens intentioner. Med andre ord er AI-modellen ikke alignet med brugerens mål eller intentioner. Da AI-modeller er trænet med tekst data fra internettet, er det meget let for menneskelige fordomme, usandheder og fordomme at finde vej ind i tekst output.

Det sagde, er der gode grunde til at tro, at udviklerne gør fremskridt på alignment problemet. Denne optimisme kommer fra nogle gennembrud i udviklingen af InstructGPT, en mere avanceret version af GPT-3, der er trænet på menneske lig feedback for at følge instruktioner og bruger intentioner tættere. Menneske lig dommere fandt, at InstructGPT var langt mindre afhængig af god promptning end GPT-3.

Alligevel skal det bemærkes, at disse tests kun blev udført med OpenAI-ansatte, en ret homogen gruppe, der måske ikke adskiller sig meget i køn, religiøse eller politiske synspunkter. Det er sandsynligt en sikker væddemål, at GPT-4 vil undergå mere divers træning, der vil forbedre alignment for forskellige grupper, selv om det er uvist, i hvilken udstrækning.

Erstatte GPT-4 mennesker?

Trods GPT-4’s løfte er det usandsynligt, at det fuldstændigt vil erstatte behovet for menneske lig skrivere og kodere. Der er stadig meget arbejde at gøre på alt fra parameter optimering til multimodalitet til alignment. Det kan være mange år, før vi ser en tekst generator, der kan opnå en sand menneske lig forståelse af kompleksiteterne og nuancerne i virkelighedens erfaringer.

Alligevel er der stadig gode grunde til at være begejstret for GPT-4’s ankomst. Parameter optimering – snarere end blot parameter vækst – vil sandsynligvis føre til en AI-model, der har langt mere beregningskraft end sin forgænger. Og forbedret alignment vil sandsynligvis gøre GPT-4 langt mere brugervenlig.

Derudover er vi stadig kun i begyndelsen af udviklingen og adoptionen af AI-værktøjer. Flere brugs tilfælde for teknologien bliver konstant fundet, og da mennesker får mere tillid og komfort med at bruge AI på arbejdspladsen, er det næsten sikkert, at vi vil se en bred adoption af AI-værktøjer på næsten alle erhvervs sektorer i de kommende år.