Grundlæggende AI
Diffusionsmodeller i AI – Alt, du behøver at vide
Føj Unite.AI til dine foretrukne kilder på Google
I AI-økosystemet sætter diffusionsmodeller retningen og takten for den teknologiske udvikling. De revolutionerer måden, vi tilgår komplekse generative AI-opgaver. Disse modeller er baseret på matematikken bag gaussiske principper, varians, differentialligninger og generative sekvenser. (Vi vil forklare den tekniske jargon nedenfor)
Moderne AI-centrerede produkter og løsninger udviklet af Nvidia (NVDA ), Google (GOOGL ), Adobe (ADBE ) og OpenAI har sat diffusionsmodeller i centrum af rampelyset. DALL.E 2, Stable Diffusion og Midjourney er prominente eksempler på diffusionsmodeller, der er på alles læber på internettet i øjeblikket. Brugere giver en simpel tekstprompt som input, og disse modeller kan omdanne dem til realistiske billeder, som det vist nedenfor.
Et billede genereret med Midjourney v5 ved hjælp af inputprompt: vibrant California poppies. Kilde: Midjourney
Lad os udforske de grundlæggende arbejdsprincipper for diffusionsmodeller og hvordan de ændrer retninger og normer i verden, som vi ser den i dag.
Hvad er diffusionsmodeller?
Ifølge forskningspublikationen “Denoising Diffusion Probabilistic Models” defineres diffusionsmodellerne som:
“En diffusionsmodel eller probabilistisk diffusionsmodel er en parameteriseret Markov-kæde, der trænes ved hjælp af variationel inferens for at producere samples, der matcher data efter en endelig tid”
Forenklet sagt kan diffusionsmodeller generere data, der ligner den data, de er trænet på. Hvis modellen trænes på billeder af katte, kan den generere lignende realistiske billeder af katte.
Lad os nu forsøge at nedbryde den tekniske definition, der er nævnt ovenfor. Diffusionsmodellerne tager inspiration fra arbejdsprincippet og den matematiske grundlag for en probabilistisk model, der kan analysere og forudsige et systems adfærd, der varierer med tiden, såsom at forudsige aktiemarkedets udvikling eller pandemiens spredning.
Definitionen fastslår, at de er parameteriserede Markov-kæder, der trænes med variationel inferens. Markov-kæder er matematiske modeller, der definerer et system, der skifter mellem forskellige tilstande over tid. Den eksisterende tilstand af systemet kan kun bestemme sandsynligheden for at gå over i en bestemt tilstand. Med andre ord indeholder den nuværende tilstand af et system de mulige tilstande, et system kan følge eller erhverve på et given tidspunkt.
At træne modellen ved hjælp af variationel inferens indebærer komplekse beregninger for sandsynlighedsfordelinger. Det sigter mod at finde de præcise parametre for Markov-kæden, der matcher den observerede (kendte eller faktiske) data efter en bestemt tid. Dette proces minimiserer værdien af modellens tab-funktion, der er forskellen mellem den forudsagte (ukendte) og den observerede (kendte) tilstand.
Når modellen er trænet, kan den generere samples, der matcher den observerede data. Disse samples repræsenterer mulige baner eller tilstande, systemet kunne følge eller erhverve over tid, og hver bane har en anden sandsynlighed for at ske. Derfor kan modellen forudsige systemets fremtidige adfærd ved at generere en række samples og finde deres respektive sandsynligheder (sandsynligheden for, at disse begivenheder indtræffer).
Hvordan fortolker man diffusionsmodeller i AI?
Diffusionsmodeller er dybe generative modeller, der fungerer ved at tilføje støj (gaussisk støj) til den tilgængelige træningsdata (også kendt som den fremadgående diffusionsproces) og derefter omvende processen (kendt som denoising eller den omvendte diffusionsproces) for at genskabe data. Modellen lærer langsomt at fjerne støjen. Denne læring af denoising-proces genererer nye, højkvalitetsbilleder fra tilfældige frø (tilfældige støjede billeder), som vist i illustrationen nedenfor.
Omvendt diffusionsproces: Et støjende billede renses for at genskabe det originale billede (eller generere dets variationer) via en trænet diffusionsmodel. Kilde: Denoising Diffusion Probabilistic Models
3 diffusionsmodelkategorier
Der er tre grundlæggende matematiske rammer, der understøtter videnskaben bag diffusionsmodeller. Alle tre fungerer på samme principper om at tilføje støj og derefter fjerne den for at generere nye samples. Lad os diskutere dem nedenfor.
En diffusionsmodel tilføjer og fjerner støj fra et billede. Kilde: Diffusionsmodeller i vision: En undersøgelse
1. Denoising Diffusion Probabilistic Models (DDPMs)
Som nævnt ovenfor er DDPMs generative modeller, der primært bruges til at fjerne støj fra visuelle eller lyddata. De har vist imponerende resultater på forskellige billed- og lydstøjsreduktionsopgaver. For eksempel bruger filmindustrien moderne billed- og videobehandlingsværktøjer til at forbedre produktionskvaliteten.
2. Støj-betingede Score-baserede Generative Modeller (SGMs)
SGMs kan generere nye samples fra en given fordeling. De fungerer ved at lære en estimations-score-funktion, der kan estimere log-densiteten af den målfordeling. Log-densitets-estimation gør antagelser for tilgængelige datapunkter, der er en del af en ukendt dataset (testset). Denne score-funktion kan derefter generere nye datapunkter fra fordelingen.
For eksempel er deep fakes notoriske for at producere falske videoer og lydfiler af berømte personer. Men de tilskrives mest Generative Adversarial Networks (GANs). Imidlertid har SGMs vist lignende evner – undertiden overgår – i generering af højkvalitetsberømte ansigter. Desuden kan SGMs hjælpe med at udvide sundhedsdata, der ikke er let tilgængelige i store mængder på grund af strenge regler og branchestandarder.
3. Stokastiske Differentialligninger (SDEs)
SDEs beskriver ændringer i tilfældige processer i forhold til tid. De bruges bredt i fysik og finansielle markeder, der indebærer tilfældige faktorer, der har en betydelig indvirkning på markedets resultater.
For eksempel er priserne på råvarer meget dynamiske og påvirkede af en række tilfældige faktorer. SDEs beregner finansielle derivater som fremtidige kontrakter (som råoliekontrakter). De kan modelere fluktuationerne og beregne gunstige priser nøjagtigt for at give en fornemmelse af sikkerhed.
Diffusionsmodellers vigtigste anvendelser i AI
Lad os se på nogle af de mest udbredte anvendelser af diffusionsmodeller i AI.
Højkvalitetsvideo-generering
At skabe højendte videoer ved hjælp af dybe læringsmodeller er udfordrende, da det kræver høj kontinuitet af video-frames. Her kommer diffusionsmodellerne ind i billedet, da de kan generere en undermængde af video-frames for at udfylde de manglende frames, hvilket resulterer i højkvalitets- og glatte videoer uden latency.
Forskere har udviklet Flexible Diffusion Model og Residual Video Diffusion-teknikker til dette formål. Disse modeller kan også producere realistiske videoer ved at ubemærket tilføje AI-genererede frames mellem de faktiske frames.
Disse modeller kan blot udvide FPS (frames per second) for en lav-FPS-video ved at tilføje dummy-frames efter at have lært mønstrene fra de tilgængelige frames. Med næsten ingen frame-tab kan disse rammer yderligere hjælpe dybe læringsbaserede modeller til at generere AI-baserede videoer fra scratch, der ligner naturlige optagelser fra højendte kameraopsætninger.
En bred vifte af bemærkelsesværdige AI-video-genereringsværktøjer er tilgængelige i 2023 for at gøre videoindholdproduktion og redigering hurtig og nem.
Tekst-til-billede-generering
Tekst-til-billede-modeller bruger input-prompts til at generere højkvalitetsbilleder. For eksempel giver input “rød æble på en tallerken” og producerer et fotorealistisk billede af et æble på en tallerken. Blended diffusion og unCLIP er to prominente eksempler på sådanne modeller, der kan generere højst relevante og nøjagtige billeder baseret på brugerinput.
Desuden er GLIDE fra OpenAI et andet kendt løsning, der er udgivet i 2021, som producerer fotorealistiske billeder ved hjælp af brugerinput. Senere udgav OpenAI DALL.E-2, deres mest avancerede billedgenereringsmodel til dato.
Lignende har Google udviklet en billedgenereringsmodel kendt som Imagen, der bruger en stor sprogmodel til at udvikle en dyb tekstforståelse af inputteksten og derefter genererer fotorealistiske billeder.
Vi har nævnt andre populære billedgenereringsværktøjer som Midjourney og Stable Diffusion (DreamStudio) ovenfor. Se et billede genereret med Stable Diffusion nedenfor.
Et billede skabt med Stable Diffusion 1.5 ved hjælp af følgende prompt: “collages, hyper-realistic, mange variationer portræt af meget gamle thom yorke, ansigtsvariationer, sanger-sangskriver, (side) profil, forskellige aldre, makro-linsen, liminal-rum, af lee bermejo, alphonse mucha og greg rutkowski, greybeard, glat ansigt, kindben”
Diffusionsmodeller i AI – Hvad kan vi forvente i fremtiden?
Diffusionsmodeller har vist lovende potentiale som en robust tilgang til at generere højkvalitets-examples fra komplekse billed- og video-datasets. Ved at forbedre menneskers evne til at bruge og manipulere data kan diffusionsmodeller potentielt revolutionere verden, som vi ser den i dag. Vi kan forvente at se endnu flere anvendelser af diffusionsmodeller, der bliver en integreret del af vores daglige liv.
Det er sagt, at diffusionsmodeller ikke er den eneste generative AI-teknik. Forskere bruger også Generative Adversarial Networks (GANs), Variationelle Autoencoders og flow-baserede dybe generative modeller til at generere AI-indhold. At forstå de grundlæggende karakteristika, der adskiller diffusionsmodeller fra andre generative modeller, kan hjælpe med at producere mere effektive løsninger i de kommende dage.
For at lære mere om AI-baserede teknologier, besøg Unite.ai. Se vores kuraterede ressourcer på generative AI-værktøjer nedenfor.
