Hvad er en Generativ Adversarial Network (GAN)?

Generative Adversarial Networks (GANs) er typer af neurale netværksarkitekturer i stand til at generere nye data, der overholder lært mønster. GANs kan bruges til at generere billeder af menneskers ansigter eller andre objekter, til at udføre tekst-til-billede-oversættelse, til at konvertere en type billede til en anden, og til at forbedre billedets opløsning (super opløsning) blandt andre anvendelser. Fordi GANs kan generere helt nye data, er de i spidsen for mange avancerede AI-systemer, -applikationer og -forskning. Men hvordan fungerer GANs nøjagtigt? Lad os udforske, hvordan GANs fungerer, og kigge på nogle af deres primære anvendelser.

Definering af Generative Modeller og GANs

En GAN er et eksempel på en generativ model. De fleste AI-modeller kan deles ind i to kategorier: supervised og unsupervised modeller. Supervised learning-modeller bruges typisk til at diskriminere mellem forskellige kategorier af input, til at klassificere. I modsætning hertil bruges unsupervised modeller typisk til at sammenfatte datafordelingen, ofte ved at lære en Gaussian distribution af data. Fordi de lærer datafordelingen, kan de trække prøver fra denne lært distribution og generere nye data.

Forskellige generative modeller har forskellige metoder til at generere data og beregne sandsynlighedsfordeling. For eksempel fungerer Naive Bayes-modellen ved at beregne en sandsynlighedsfordeling for de forskellige inputfunktioner og den generative klasse. Når Naive Bayes-modellen giver en forudsigelse, beregner den den mest sandsynlige klasse ved at tage sandsynligheden for de forskellige variabler og kombinere dem sammen. Andre ikke-dybe lærenings-generative modeller inkluderer Gaussian Mixture Models og Latent Dirichlet Allocation (LDA). Dyb lærenings-baserede generative modeller inkluderer Restricted Boltzmann Machines (RBMs), Variational Autoencoders (VAEs) og naturligvis GANs.

Generative Adversarial Networks blev først foreslået af Ian Goodfellow i 2014, og de blev forbedret af Alec Redford og andre forskere i 2015, hvilket ledte til en standardiseret arkitektur for GANs. GANs består faktisk af to forskellige netværk, der er forbundet. GANs består af to halvdele: en genereringsmodel og en diskrimineringsmodel, også kendt som generatoren og diskriminatoren.

GAN-arkitekturen

Generative Adversarial Networks er bygget op af en genereringsmodel og en diskrimineringsmodel, der er sat sammen. Genereringsmodellens opgave er at skabe nye eksempler på data, baseret på mønstrene, som modellen har lært fra træningsdata. Diskrimineringsmodellens opgave er at analysere billeder (antag, at det er trænet på billeder) og bestemme, om billederne er genererede/falske eller ægte.

De to modeller er sat op imod hinanden, trænet i en spilteoretisk facon. Genereringsmodellens mål er at producere billeder, der bedrager dens modstander – diskrimineringsmodellen. Imens er diskrimineringsmodellens opgave at overvinde sin modstander, genereringsmodellen, og fange de falske billeder, som genereringsmodellen producerer. Det faktum, at modellerne er sat op imod hinanden, resulterer i en våbenkapløb, hvor begge modeller forbedres. Diskrimineringsmodellen får feedback om, hvilke billeder var ægte og hvilke billeder var produceret af genereringsmodellen, mens genereringsmodellen får information om, hvilke af dens billeder var markeret som falske af diskrimineringsmodellen. Begge modeller forbedres under træning, med målet om at træne en genereringsmodel, der kan producere falsk data, der er stort set umulig at skelne fra rigtige, ægte data.

Når en Gaussian distribution af data er blevet oprettet under træning, kan genereringsmodellen bruges. Genereringsmodellen fødes først med en tilfældig vektor, som den transformerer baseret på Gaussian distributionen. Med andre ord, vektoren sætter generationen i gang. Når modellen er trænet, vil vektorrummet være en komprimeret version, eller repræsentation, af dataens Gaussian distribution. Den komprimerede version af datafordelingen kaldes latent rum, eller latent variabler. Senere kan GAN-modellen så tage latent rum-repræsentationen og trække punkter fra den, som kan gives til genereringsmodellen og bruges til at generere nye data, der er meget lig træningsdata.

Diskrimineringsmodellen fødes med eksempler fra hele træningsdomænet, som består af både ægte og genererede dataeksempler. De ægte eksempler er indeholdt i træningsdatasettet, mens de falske data er produceret af genereringsmodellen. Processen med at træne diskrimineringsmodellen er nøjagtigt den samme som grundlæggende, binær klassificeringsmodeltræning.

GAN-træningsprocessen

Lad os kigge på hele træningsprocessen for en hypotetisk billedgenerering-opgave.

Til at begynde med trænes GAN med ægte, rigtige billeder som en del af træningsdatasettet. Dette sætter diskrimineringsmodellen op til at skelne mellem genererede billeder og rigtige billeder. Det producerer også datafordelingen, som genereringsmodellen vil bruge til at producere nye data.

Genereringsmodellen tager imod en vektor af tilfældige numeriske data og transformerer dem baseret på Gaussian distributionen, returnerer et billede. Dette genererede billede, sammen med nogle ægte billeder fra træningsdatasettet, fødes ind i diskrimineringsmodellen. Diskrimineringsmodellen vil give en sandsynlighedsforudsigelse om billedernes natur, udgive en værdi mellem 0 og 1, hvor 1 typisk er ægte billeder og 0 er et falsk billede.

Der er en dobbelt feedback-løkke i spil, da diskrimineringsmodellen får feedback om, hvilke billeder var ægte, og genereringsmodellen får feedback om sin præstation fra diskrimineringsmodellen.

De generative og diskriminerende modeller spiller et nul-sum-spil med hinanden. Et nul-sum-spil er et, hvor gevinsten for den ene side kommer på bekostning af den anden side (summen er begge handlinger er nul). Når diskrimineringsmodellen kan skelne mellem ægte og falske eksempler, ændres der ikke noget i diskrimineringsmodellens parametre. Imens ændres der store opdateringer i modellens parametre, når den ikke kan skelne mellem ægte og falske billeder. Det omvendte er sandt for genereringsmodellen, den straffes (og dens parametre opdateres), når den ikke kan bedrage diskrimineringsmodellen, men ellers er dens parametre uændrede (eller den belønnes).

Ideelt set kan genereringsmodellen forbedre sin præstation til et punkt, hvor diskrimineringsmodellen ikke kan skelne mellem de falske og ægte billeder. Dette betyder, at diskrimineringsmodellen altid vil give sandsynligheder på 50% for ægte og falske billeder, hvilket betyder, at de genererede billeder skal være stort set umulig at skelne fra de ægte billeder. I praksis når GANs typisk ikke dette punkt. Men genereringsmodellen behøver ikke at producere perfekt lignende billeder for at være nyttig til de mange opgaver, GANs bruges til.

GAN-anvendelser

GANs har en række forskellige anvendelser, de fleste af dem drejer sig om generering af billeder og billedkomponenter. GANs bruges ofte i opgaver, hvor de påkrævede billeddata mangler eller er begrænsede på en eller anden måde, som en metode til at generere de påkrævede data. Lad os kigge på nogle af de almindelige anvendelser af GANs.

Generering af nye eksempler til datasæt

GANs kan bruges til at generere nye eksempler til simple billed datasæt. Hvis du kun har et par trænings eksempler og har brug for mere, kan GANs bruges til at generere nye træningsdata til en billedklassifikator, generere nye trænings eksempler i forskellige retninger og vinkler.

Generering af unikke menneskeansigter

Kvinden på dette billede findes ikke. Billedet er genereret af StyleGAN. Foto: Owlsmcgee via Wikimedia Commons, Public Domain (https://commons.wikimedia.org/wiki/File:Woman_1.jpg)

Når de er tilstrækkeligt trænet, kan GANs bruges til at generere ekstremt realistiske billeder af menneskeansigter. Disse genererede billeder kan bruges til at hjælpe med at træne ansigtsgenkendelsessystemer.

Billede-til-billede-oversættelse

GANs udmærker sig i billedoversættelse. GANs kan bruges til at farvelægge sort-hvid billeder, oversætte skitser eller tegninger til fotorealistiske billeder eller konvertere billeder fra dag til nat.

Tekst-til-billede-oversættelse

Tekst-til-billede-oversættelse er mulig gennem brug af GANs. Når du får en tekst, der beskriver et billede, og det tilhørende billede, kan en GAN trænes til at skabe et nyt billede, når du får en beskrivelse af det ønskede billede.

Redigering og reparation af billeder

GANs kan bruges til at redigere eksisterende fotografier. GANs fjerner elementer som regn eller sne fra et billede, men de kan også bruges til at reparere gamle, beskadigede billeder eller korrupte billeder.

Super opløsning

Super opløsning er processen med at tage et lavopløst billede og indsætte flere pixels i billedet, forbedre billedets opløsning. GANs kan trænes til at tage et billede og generere en højere opløsning af det.

GANs kan også bruges til at reparere gamle, beskadigede billeder eller korrupte billeder. Super opløsning Super opløsning er processen med at tage et lavopløst billede og indsætte flere pixels i billedet, forbedre billedets opløsning. GANs kan trænes til at tage et billede og generere en højere opløsning af det.