Generativ AI: Ideen bag CHATGPT, DALL-E, Midjourney og mere

Verden af kunst, kommunikation og vores opfattelse af virkeligheden ændrer sig hurtigt. Hvis vi ser tilbage på historien om menneskelig innovation, kan vi betragte opfindelsen af hjulet eller opdagelsen af elektricitet som kolossale spring. I dag finder en ny revolution sted – broen mellem menneskelig kreativitet og maskinkomputation. Det er Generativ AI.

Generative modeller har udvisket grænsen mellem mennesker og maskiner. Med introduktionen af modeller som GPT-4, der anvender transformer-moduler, er vi kommet tættere på naturlig og kontekst-rig sproggenerering. Disse fremskridt har ført til anvendelser i dokumentoprettelse, chatbot-dialogsystemer og endda syntetisk musikkomposition.

Seneste Big-Tech-beslutninger understreger dets betydning. Microsoft (MSFT ) afslutter allerede sin Cortana-app denne måned for at prioritere nyere Generativ AI-innovationer, som Bing Chat. Apple (AAPL ) har også dedikeret en betydelig del af $22,6 milliarder R&D-budget til generativ AI, som vist af CEO Tim Cook.

En ny æra af modeller: Generative vs. Diskriminative

Historien om Generativ AI handler ikke kun om dets anvendelser, men fundamentalt om dets indre mekanismer. I det kunstige intelligens-økosystem findes to modeller: diskriminative og generative.

Diskriminative modeller er, hvad de fleste mennesker møder i daglig liv. Disse algoritmer tager inputdata, såsom tekst eller billeder, og parrer dem med et mål-output, som en oversættelse eller en medicinsk diagnose. De handler om mapping og forudsigelse.

Generative modeller, på den anden side, er skabere. De genererer ikke kun nye, komplekse outputs fra vektorer af tal, der ofte ikke er relateret til virkelige værdier.

Technologierne bag generative modeller

Generative modeller skylder deres eksistens til dybe neurale netværk, sofistikerede strukturer designet til at efterligne hjernens funktion. Ved at fange og behandle multifacetterede variationer i data, fungerer disse netværk som ryggraden i mange generative modeller.

Hvordan kommer disse generative modeller til live? Normalt er de bygget med dybe neurale netværk, optimeret til at fange de multifacetterede variationer i data. Et primært eksempel er Generative Adversarial Network (GAN), hvor to neurale netværk, generatoren og diskriminatoren, konkurrerer og lærer af hinanden i en unik lærer-elev-relation. Fra malerier til stiloverføring, fra musikkomposition til spil, udvikler disse modeller sig og udvider sig på måder, der tidligere var uvirkelige.

Dette stopper ikke med GAN’er. Variational Autoencoders (VAE’er), er en anden væsentlig spiller i feltet af generative modeller. VAE’er udgør sig selv ved deres evne til at skabe fotorealistiske billeder fra tilsyneladende tilfældige tal. Hvordan? Ved at behandle disse tal gennem en latent vektor giver det fødsel til kunst, der spejler kompleksiteten af menneskelig æstetik.

Generative AI-typer: Tekst til tekst, tekst til billede

Transformers og LLM

Artiklen “Attention Is All You Need” af Google (GOOGL ) Brain markerede en skift i måden, vi tænker om sprogmodellering på. I stedet for komplekse og sekventielle arkitekturer som Recurrent Neural Networks (RNN’er) eller Convolutional Neural Networks (CNN’er), introducerede Transformer-modellen begrebet om opmærksomhed, der essentielt betyder fokus på forskellige dele af input-teksten afhængigt af konteksten. En af de primære fordele var let parallelisering. I modsætning til RNN’er, der behandler tekst sekventielt og gør dem sværere at skalaere, kan Transformers behandle dele af teksten samtidig, hvilket gør træning hurtigere og mere effektiv på store datasæt.

I en lang tekst har ikke hver enkelt ord eller sætning, du læser, den samme betydning. Nogle dele kræver mere opmærksomhed baseret på konteksten. Dette er, hvad opmærksomheds-mekanismen efterligner.

For at forstå dette, tænk på en sætning: “Unite AI Udgiver AI og robotteknologi nyheder.” For at forudsige det næste ord kræver det en forståelse af, hvad der betyder mest i den foregående kontekst. Begrebet ‘Robotteknologi’ kunne antyde, at det næste ord kunne være relateret til en bestemt udvikling eller begivenhed i robotteknologiens verden, mens ‘Udgiver’ kunne indikere, at den følgende kontekst kunne handle om en ny udgivelse eller artikel.

Opmærksomheds-mekanismer i Transformers er designet til at opnå dette selektive fokus. De vurderer betydningen af forskellige dele af input-teksten og beslutter, hvor de skal “se” når de genererer en respons. Dette er en afvigelse fra ældre arkitekturer som RNN’er, der forsøgte at presse essensen af al input-tekst ind i en enkelt ’tilstand’ eller ‘hukommelse’.

Opmærksomhedens arbejde kan sammenlignes med en nøgle-værdi-hentningssystem. I forsøget på at forudsige det næste ord i en sætning, tilbyder hvert forudgående ord en ‘nøgle’, der antyder dets potentielle relevans, og baseret på, hvor godt disse nøgler matcher den aktuelle kontekst (eller forespørgsel), bidrager de med en ‘værdi’ eller vægt til forudsigelsen.

Disse avancerede AI-dybe-læringsmodeller er blevet integreret i forskellige anvendelser, fra Google’s søgemaskine-forbedringer med BERT til GitHub’s Copilot, der udnytter Large Language Models (LLM’er) til at konvertere simple kode-eksempler til fuldt fungerende kildekode.

Large Language Models (LLM’er) som GPT-4, Bard og LLaMA er kolossale konstruktioner designet til at tyde og generere menneskesprog, kode og mere. Deres enorme størrelse, der strækker sig fra milliarder til trillioner af parametre, er en af de definerende funktioner. Disse LLM’er fodres med store mængder tekstdata, hvilket giver dem mulighed for at forstå kompleksiteten af menneskesprog. En slående karakteristik af disse modeller er deres evne til “few-shot“-læring. I modsætning til konventionelle modeller, der kræver store mængder specifik træningsdata, kan LLM’er generalisere fra meget få eksempler (eller “skud”)

Tilstand af Large Language Models (LLM’er) pr. midten af 2023

Hvordan bruges LLM’er?

LLM’er kan bruges på flere måder, herunder:

1. Direkte brug: Brug af en forudtrænet LLM til tekstgenerering eller -behandling. For eksempel brug af GPT-4 til at skrive en blogpost uden yderligere finjustering.
2. Finjustering: Tilpasning af en forudtrænet LLM til en specifik opgave, en metode kendt som overførselslæring. Et eksempel ville være tilpasning af T5 til at generere resumerer for dokumenter i en bestemt branche.
3. Informationssøgning: Brug af LLM’er, som BERT eller GPT, som en del af større arkitekturer til at udvikle systemer, der kan hente og kategorisere information.

Multi-head-opmærksomhed: Hvorfor én, når du kan have mange?

Men afhængighed af en enkelt opmærksomheds-mekanisme kan være begrænsende. Forskellige ord eller sekvenser i en tekst kan have forskellige typer af relevans eller associationer. Her kommer multi-head-opmærksomhed ind i billedet. I stedet for ét sæt opmærksomheds-vægte anvender multi-head-opmærksomhed flere sæt, hvilket giver modellen mulighed for at fange en rigere variation af relationer i input-teksten. Hver opmærksomheds-“hoved” kan fokusere på forskellige dele eller aspekter af input-teksten, og deres kombinerede viden anvendes til den endelige forudsigelse.

ChatGPT: Det mest populære Generative AI-værktøj

Startende med GPT’s opståen i 2018 var modellen essentielt bygget på fundamentet af 12 lag, 12 opmærksomheds-hoveder og 120 millioner parametre, primært trænet på en datasæt kaldet BookCorpus. Dette var et imponerende start, der gav et glimt af fremtiden for sprogmodeller.

GPT-2, præsenteret i 2019, havde en firedobling af lag og opmærksomheds-hoveder. Betydeligt var parameter-tællingen, der skød op til 1,5 milliarder. Denne forbedrede version blev trænet på WebText, en datasæt beriget med 40 GB tekst fra forskellige Reddit-links.

GPT-3, lanceret i maj 2020, havde 96 lag, 96 opmærksomheds-hoveder og en massiv parameter-tælling på 175 milliarder. Det, der satte GPT-3 apart, var dets diverse træningsdata, der omfattede CommonCrawl, WebText, den engelske Wikipedia, bogkorpus og andre kilder, der kombineret udgjorde en total på 570 GB.

Det indre af ChatGPT’s arbejde forbliver en nært bevaret hemmelighed. Dog er en proces kaldet ‘forstærket læring fra menneskelig feedback’ (RLHF) kendt for at være afgørende. Oprindeligt fra et tidligere ChatGPT-projekt var denne teknik afgørende for at finjustere GPT-3,5-modellen til at være mere i overensstemmelse med skrevne instruktioner.

ChatGPT’s træning består af en tre-leddet tilgang:

1. Overvåget finjustering: Inkluderer kurering af menneskeskrevne konversations-input og output for at finjustere den underliggende GPT-3,5-model.
2. Belønningsmodellering: Mennesker rangerer forskellige model-output baseret på kvalitet, hvilket hjælper med at træne en belønningsmodel, der scorer hver output med hensyn til samtalekonteksten.
3. Forstærket læring: Samtalekonteksten fungerer som baggrund, hvor den underliggende model foreslår en respons. Denne respons vurderes af belønningsmodellen, og processen optimeres ved hjælp af en algoritme kaldet proximal policy-optimierung (PPO).

For dem, der lige er begyndt at udforske ChatGPT, kan en omfattende introduktionsguide findes her. Hvis du ønsker at dykke dybere ind i prompt-engineering med ChatGPT, har vi også en avanceret guide, der belyser de seneste og mest avancerede prompt-teknikker, tilgængelig på ‘ChatGPT & Avanceret Prompt-Engineering: Driver AI-Evolutionen‘.

Diffusion og multimodale modeller

Mens modeller som VAE’er og GAN’er genererer deres output gennem en enkelt passage, og derfor er låst til, hvad de producerer, har diffusionsmodeller introduceret begrebet ‘iterativ forbedring‘. Gennem denne metode cirkler de tilbage, forbedrer fejl fra tidligere trin, og producerer gradvist et mere poleret resultat.

Centralt for diffusionsmodeller er kunsten af “korruption” og “forbedring”. I deres træningsfase tilsættes en typisk billedstøj tilfældigt. Dette støjende billede føres derefter til modellen, som forsøger at “rense” eller “korrigere” det. Gennem multiple runder af dette bliver modellen dygtig til restaurering, forstående både subtile og betydelige afvigelser.

Processen med at generere nye billeder efter træning er interessant. Startende med en fuldstændig tilfældig input, forbedres det kontinuerligt ved hjælp af modellens forudsigelser. Formålet er at opnå et perfekt billede med det mindste antal trin. Kontrol af korruptionsniveauet gøres gennem en “støj-skema”, en mekanisme, der bestemmer, hvor meget støj der anvendes på forskellige stadier. En planlægger, som set i biblioteker som “diffusers“, dikterer naturen af disse støjende udgaver baseret på etablerede algoritmer.

En essentiel arkitektonisk rygrad for mange diffusionsmodeller er UNet—et convolutionelt neuralt netværk tilpasset til opgaver, der kræver output, der spejler den rumlige dimension af input. Det er en blanding af downsampling- og upsampling-lag, intrikat forbundet for at bevare højopløsningsdata, afgørende for billed-relaterede output.

At dykke dybere ind i verden af generative modeller, fremstår OpenAI’s DALL-E 2 som et strålende eksempel på fusionen af tekstuel og visuel AI-kapaciteter. Den anvender en tre-leddet struktur:

DALL-E 2 viser en tre-leddet arkitektur:

1. Tekst-encoder: Det omformer tekst-prompt til en konceptuel indlejring i en latent rum. Denne model starter ikke fra scratch. Den hviler på OpenAI’s Contrastive Language–Image Pre-training (CLIP) datasæt som grundlag. CLIP fungerer som en bro mellem visuel og tekstuel data ved at lære visuelle koncepter ved hjælp af naturligt sprog. Gennem en mekanisme kaldet kontrastiv læring identificerer og matcher det billeder med deres tilhørende tekstbeskrivelser.
2. Prior: Tekst-indlejringen afledt fra encoderen konverteres derefter til et billede-indlejring. DALL-E 2 testede både autoregressive og diffusionsmetoder til denne opgave, med sidstnævnte viste bedre resultater. Autoregressive modeller, som set i Transformers og PixelCNN, genererer output i sekvenser. På den anden side genererer diffusionsmodeller, som den anvendt i DALL-E 2, tilfældigt støj til forudsigte billede-indlejring med hjælp af tekst-indlejring.
3. Decoder: Kulminationen af processen, denne del genererer den endelige visuelle output baseret på tekst-prompt og billede-indlejring fra prior-fasen. DALL-E 2’s decoder skylder sin arkitektur til en anden model, GLIDE, der også kan producere realistiske billeder fra tekstuelle hints.

Python-brugere, der er interesseret i Langchain, bør se vores detaljerede tutorial, der dækker alt fra grundlæggende til avancerede teknikker.

Anvendelser af Generativ AI

Tekstuelle domæner

Startende med tekst, har Generativ AI været fundamentalt ændret af chatbots som ChatGPT. Afhængigt af Natural Language Processing (NLP) og store sprogmodeller (LLM’er), kan disse enheder udføre opgaver, der strækker sig fra kodegenerering og sprogoversættelse til sammenfatning og sentiment-analyse. ChatGPT har for eksempel set en bred anvendelse, blevet en standard for millioner. Dette suppleres yderligere af konversations-AI-platforme, baseret på LLM’er som GPT-4, PaLM og BLOOM, der let producerer tekst, hjælper med programmering og endda tilbyder matematisk begrundelse.

Fra et kommercielt perspektiv er disse modeller blevet uvurderlige. Virksomheder anvender dem til en mangfoldighed af operationer, herunder risikostyring, lageroptimering og forudsigelse af efterspørgsel. Nogle bemærkelsesværdige eksempler inkluderer Bing AI, Google’s BARD og ChatGPT API.

Kunst

Verden af billeder har set dramatiske forandringer med Generativ AI, især siden introduktionen af DALL-E 2 i 2022. Denne teknologi, der kan generere billeder fra tekstuelle prompter, har både kunstneriske og professionelle implikationer. For eksempel har midjourney udnyttet denne teknologi til at producere imponerende realistiske billeder. Denne seneste artikel afklarer midjourney i en detaljeret guide, der forklarer både platformen og dens prompt-engineering-nuancer. Desuden anvender platforme som Alpaca AI og Photoroom AI Generativ AI til avancerede billedredigeringsfunktioner såsom baggrundsfjernelse, objektfjernelse og endda ansigtsrestaurering.

Video-produktion

Video-produktion, selvom den stadig er i sin spæde barndom i verden af Generativ AI, viser lovende fremskridt. Platforme som Imagen Video, Meta Make A Video og Runway Gen-2 skyder grænserne for, hvad der er muligt, selvom fuldt realistiske output stadig er på horisonten. Disse modeller tilbyder væsentlig nytte for skabelse af digitale menneske-videoer, med anvendelser som Synthesia og SuperCreator i spidsen. Bemærkelsesværdigt tilbyder Tavus AI en unik værdi ved at personificere videoer for enkeltpersoner, en fordel for virksomheder.

Kode-skabelse

Koding, en uundværlig del af vores digitale verden, er ikke blevet berørt af Generativ AI. Selvom ChatGPT er et foretrukket værktøj, er der udviklet flere AI-applikationer til kodningsformål. Disse platforme, som GitHub Copilot, Alphacode og CodeComplete, fungerer som kodningsassistenter og kan endda producere kode fra tekst-prompter. Det, der er interessant, er tilpasnings-evnen hos disse værktøjer. Codex, den drivende kraft bag GitHub Copilot, kan tilpasses til en persons kodestil, hvilket understreger personaliseringens potentiale i Generativ AI.

Med værktøjer som ChatGPT, der bliver mere tilgængelige, er det nu det perfekte tidspunkt at udforske og eksperimentere. Uanset om du er kunstner, koder eller teknologi-entusiast, er verden af Generativ AI fuld af muligheder, der venter på at blive udforsket. Revolutionen er ikke på horisonten; den er her og nu. Så, dyk ind!