Umjetna inteligencija

Difuzijski modeli u umjetnoj inteligenciji – sve što trebate znati

Objavljeno 31. ožujka 2023.

Haziqa Sajid

Kolaž ljudskih lica stvoren pomoću AI generatora slika

U ekosustavu umjetne inteligencije, difuzijski modeli određuju smjer i tempo tehnološkog napretka. Oni revolucioniraju način na koji pristupamo kompleksu generativni AI zadaci. Ovi se modeli temelje na matematici Gaussovih principa, varijanci, diferencijalnim jednadžbama i generativnim nizovima. (U nastavku ćemo objasniti tehnički žargon)

Moderni proizvodi i rješenja usmjerena na AI koje su razvili Nvidia, Google, Adobe i OpenAI stavili su difuzijske modele u središte pozornosti. DALL.E 2, Stabilna difuzijai Sredina putovanja istaknuti su primjeri difuzijskih modela koji u posljednje vrijeme kruže internetom. Korisnici daju jednostavan tekstualni upit kao unos, a ovi ih modeli mogu pretvoriti u realistične slike, poput one prikazane u nastavku.

Slika generirana s Midjourney v5 pomoću upita za unos: živopisni kalifornijski makovi. Izvor: Sredina putovanja

Istražimo temeljna načela rada difuzijskih modela i kako oni mijenjaju smjerove i norme svijeta kakvog ga danas vidimo.

Što su difuzijski modeli?

Prema istraživačkoj publikaciji “Probabilistički modeli uklanjanja buke difuzije”, modeli difuzije definirani su kao:

"Difuzijski model ili probabilistički difuzijski model je parametrizirani Markovljev lanac obučen pomoću varijacijskog zaključivanja za proizvodnju uzoraka koji odgovaraju podacima nakon konačnog vremena"

Jednostavno rečeno, difuzijski modeli mogu generirati podatke slične onima na kojima su obučeni. Ako model trenira na slikama mačaka, može generirati slične realistične slike mačaka.

Sada pokušajmo razložiti gore spomenutu tehničku definiciju. Difuzijski modeli inspirirani su principom rada i matematičkom osnovom probabilističkog modela koji može analizirati i predvidjeti ponašanje sustava koje se mijenja s vremenom, poput predviđanja povrata na burzi ili širenja pandemije.

Definicija navodi da su to parametrizirani Markovljevi lanci obučeni varijacijskim zaključivanjem. Markovljevi lanci su matematički modeli koji definiraju sustav koji se mijenja između različitih stanja tijekom vremena. Postojeće stanje sustava može samo odrediti vjerojatnost prelaska u određeno stanje. Drugim riječima, trenutno stanje sustava sadrži moguća stanja koja sustav može pratiti ili steći u bilo kojem trenutku.

Uvježbavanje modela pomoću varijacijskog zaključivanja uključuje složene izračune za distribucije vjerojatnosti. Njegov cilj je pronaći točne parametre Markovljevog lanca koji odgovaraju promatranim (poznatim ili stvarnim) podacima nakon određenog vremena. Ovaj proces minimizira vrijednost funkcije gubitka modela, što je razlika između predviđenog (nepoznatog) i promatranog (poznatog) stanja.

Nakon što je obučen, model može generirati uzorke koji odgovaraju promatranim podacima. Ti uzorci predstavljaju moguće putanje ili stanja koja bi sustav mogao slijediti ili steći tijekom vremena, a svaka putanja ima različitu vjerojatnost da se dogodi. Stoga model može predvidjeti buduće ponašanje sustava generiranjem niza uzoraka i pronalaženjem njihovih odgovarajućih vjerojatnosti (vjerojatnost da će se ti događaji dogoditi).

Kako interpretirati modele difuzije u AI?

Modeli difuzije duboki su generativni modeli koji funkcioniraju dodavanjem šuma (Gaussov šum) dostupnim podacima za obuku (također poznat kao proces difuzije prema naprijed), a zatim obrću proces (poznat kao proces uklanjanja šuma ili proces obrnute difuzije) kako bi se povratili podaci. Model postupno uči uklanjati buku. Ovaj naučeni postupak uklanjanja buke generira nove, visokokvalitetne slike iz nasumičnog sjemena (nasumične slike s šumom), kao što je prikazano na ilustraciji u nastavku.

Proces obrnute difuzije: Šumna slika se uklanja kako bi se oporavila izvorna slika (ili generirale njezine varijacije) putem uvježbanog modela difuzije. Izvor: Probabilistički modeli uklanjanja buke difuzije

3 kategorije modela difuzije

Postoje tri temeljna matematička okvira koji podupiru znanost iza modela difuzije. Sva tri rade na istim principima dodavanja šuma i zatim ga uklanjanja kako bi se generirali novi uzorci. Raspravljajmo o njima u nastavku.

Model difuzije dodaje i uklanja šum sa slike. Izvor: Difuzijski modeli u viziji: Anketa

1. Probabilistički modeli uklanjanja buke difuzije (DDPM)

Kao što je gore objašnjeno, DDPM-ovi su generativni modeli koji se uglavnom koriste za uklanjanje šuma iz vizualnih ili audio podataka. Pokazali su impresivne rezultate na raznim zadacima uklanjanja šuma sa slike i zvuka. Na primjer, filmska industrija koristi moderne alate za obradu slike i videa kako bi poboljšala kvalitetu proizvodnje.

2. Generativni modeli temeljeni na rezultatima uvjetovani šumom (SGM)

SGM-ovi mogu generirati nove uzorke iz dane distribucije. Oni rade tako da uče funkciju ocjene procjene koja može procijeniti log gustoću ciljane distribucije. Procjena gustoće zapisa donosi pretpostavke za dostupne podatkovne točke da su dio nepoznatog skupa podataka (testni skup). Ova funkcija rezultata zatim može generirati nove podatkovne točke iz distribucije.

Na primjer, duboki lažnjaci poznati su po proizvodnji lažnih videozapisa i audiozapisa poznatih ličnosti. Ali uglavnom se pripisuju Generativne kontradiktorne mreže (GAN). Međutim, SGM imaju pokazao slične sposobnosti – ponekad nadmašiti – u stvaranju visokokvalitetnih lica slavnih. Također, SGM-ovi mogu pomoći u proširenju skupova zdravstvenih podataka koji nisu lako dostupni u velikim količinama zbog strogih propisa i industrijskih standarda.

3. Stohastičke diferencijalne jednadžbe (SDE)

SDE opisuju promjene u slučajnim procesima koji se tiču vremena. Naširoko se koriste u fizici i financijskim tržištima koja uključuju slučajne čimbenike koji značajno utječu na tržišne ishode.

Na primjer, cijene roba vrlo su dinamične i na njih utječe niz slučajnih čimbenika. SDE izračunavaju financijske izvedenice poput terminskih ugovora (poput ugovora za sirovu naftu). Oni mogu modelirati fluktuacije i točno izračunati povoljne cijene kako bi dali osjećaj sigurnosti.

Glavne primjene difuzijskih modela u umjetnoj inteligenciji

Pogledajmo neke široko prilagođene prakse i upotrebe modela difuzije u umjetnoj inteligenciji.

Generiranje video zapisa visoke kvalitete

Stvaranje vrhunskih videozapisa pomoću duboko učenje je izazovan jer zahtijeva visoki kontinuitet video okvira. Ovdje modeli difuzije dobro dolaze jer mogu generirati podskup video okvira za popunjavanje između okvira koji nedostaju, što rezultira visokokvalitetnim i glatkim videozapisima bez kašnjenja.

Istraživači su razvili Model fleksibilne difuzije i rezidualna video difuzija tehnike koje služe ovoj svrsi. Ovi modeli također mogu proizvesti realistične videozapise besprijekornim dodavanjem okvira generiranih umjetnom inteligencijom između stvarnih okvira.

Ovi modeli mogu jednostavno proširiti FPS (sličice u sekundi) videozapisa s niskim FPS dodavanjem lažnih okvira nakon učenja uzoraka iz dostupnih okvira. Gotovo bez gubitka okvira, ti okviri mogu dodatno pomoći modelima temeljenim na dubokom učenju da generiraju videozapise temeljene na umjetnoj inteligenciji od nule koji izgledaju poput prirodnih snimaka iz vrhunskih postavki kamere.

Širok raspon izvanrednih AI video generatori dostupan je 2023. kako bi proizvodnja i uređivanje videosadržaja bila brza i jednostavna.

Generiranje teksta u sliku

Modeli pretvaranja teksta u sliku koriste upite za unos za generiranje visokokvalitetnih slika. Na primjer, unos "crvena jabuka na tanjuru" i stvaranje fotorealistične slike jabuke na tanjuru. Mješovita difuzija i unCLIP dva su istaknuta primjera takvih modela koji mogu generirati vrlo relevantne i precizne slike na temelju unosa korisnika.

Dakle, GLIDE by OpenAI je još jedno nadaleko poznato rješenje objavljeno 2021. koje proizvodi fotorealistične slike koristeći korisnički unos. Kasnije je OpenAI izdao DALL.E-2, svoj najnapredniji model generiranja slika dosad.

Slično tome, Google je također razvio model generiranja slika poznat kao Slika, koji koristi veliki jezični model za razvoj dubokog tekstualnog razumijevanja ulaznog teksta, a zatim generira fotorealistične slike.

Spomenuli smo druge popularne alate za generiranje slika kao što su Midjourney i Stable Diffusion (studio iz snova) iznad. U nastavku pogledajte sliku generiranu pomoću Stable Diffusion.

Kolaž ljudskih lica stvoren pomoću Stable Diffusion 1.5

Slika stvorena s Stable Diffusion 1.5 pomoću sljedećeg odziva: "kolaži, hiperrealistični, mnoge varijacije, portret vrlo starog thom yorkea, varijacije lica, kantautor, (bočni) profil, različite dobi, makro leća, granični prostor, autor lee bermejo, alphonse mucha i greg rutkowski, sjedobradi, glatko lice, jagodice”

Difuzijski modeli u umjetnoj inteligenciji – što očekivati u budućnosti?

Difuzijski modeli otkrili su obećavajući potencijal kao robustan pristup generiranju visokokvalitetnih uzoraka iz složenih slikovnih i video skupova podataka. Poboljšanjem ljudske sposobnosti za korištenje i rukovanje podacima, difuzijski modeli mogu potencijalno revolucionirati svijet kakav danas vidimo. Možemo očekivati da će još više primjena difuzijskih modela postati sastavni dio našeg svakodnevnog života.

Rekavši to, difuzijski modeli nisu jedina generativna AI tehnika. Istraživači također koriste Generative Adversarial Networks (GANs), Variational Autoenkoderi, i duboki generativni modeli temeljeni na protoku za generiranje AI sadržaja. Razumijevanje temeljnih karakteristika koje difuzijske modele razlikuju od drugih generativnih modela može pomoći u stvaranju učinkovitijih rješenja u narednim danima.

Da biste saznali više o tehnologijama koje se temelje na umjetnoj inteligenciji, posjetite Ujedinite se.ai. U nastavku pogledajte naše odabrane resurse o generativnim AI alatima.