Stabilna difuzija Web korisničko sučelje, ili SD-WebUI, sveobuhvatan je projekt za Stable Diffusion modele koji koristi biblioteku Gradio za pružanje sučelja preglednika. Danas ćemo govoriti o EasyPhoto, inovativnom WebUI dodatku koji krajnjim korisnicima omogućuje generiranje AI portreta i slika. Dodatak EasyPhoto WebUI stvara AI portrete koristeći različite predloške, podržavajući različite stilove fotografija i višestruke izmjene. Dodatno, kako bi dodatno poboljšali mogućnosti EasyPhoto, korisnici mogu generirati slike pomoću SDXL modela za zadovoljavajuće, točnije i raznolikije rezultate. Započnimo.

Uvod u EasyPhoto i Stable Diffusion

Okvir Stable Diffusion popularan je i robustan okvir za generiranje temeljen na difuziji koji programeri koriste za generiranje realističnih slika na temelju opisa ulaznog teksta. Zahvaljujući svojim mogućnostima, okvir Stable Diffusion može se pohvaliti širokim rasponom primjena, uključujući preslikavanje slika, preslikavanje slika i prevođenje slike u sliku. Stable Diffusion Web UI, ili SD-WebUI, ističe se kao jedna od najpopularnijih i najpoznatijih aplikacija ovog okvira. Sadrži sučelje preglednika izgrađeno na biblioteci Gradio, pružajući interaktivno i jednostavno sučelje za modele Stable Diffusion. Kako bi dodatno poboljšao kontrolu i upotrebljivost u generiranju slika, SD-WebUI integrira brojne aplikacije Stable Diffusion.

Zbog pogodnosti koje nudi okvir SD-WebUI, programeri okvira EasyPhoto odlučili su ga izraditi kao web dodatak, a ne kao potpunu aplikaciju. Za razliku od postojećih metoda koje često pate od gubitka identiteta ili uvode nerealistične značajke u slike, EasyPhoto okvir koristi mogućnosti slike-na-sliku modela Stable Diffusion za proizvodnju preciznih i realističnih slika. Korisnici mogu jednostavno instalirati EasyPhoto framework kao proširenje unutar WebUI-ja, poboljšavajući jednostavnost korištenja i pristupačnost širem krugu korisnika. Okvir EasyPhoto omogućuje korisnicima generiranje visokokvalitetnih i vođenih identitetom realistični AI portreti koji su vrlo slični ulaznom identitetu.

Prvo, okvir EasyPhoto traži od korisnika da stvore svog digitalnog dvojnika učitavanjem nekoliko slika za treniranje modela LoRA ili Low-Rank Adaptation modela na mreži. Okvir LoRA brzo fino podešava difuzijske modele korištenjem tehnologije prilagodbe niskog ranga. Ovaj proces omogućuje temeljenom modelu razumijevanje ID informacija određenih korisnika. Uvježbani modeli se zatim spajaju i integriraju u osnovni model stabilne difuzije za interferenciju. Nadalje, tijekom procesa interferencije, model koristi stabilne difuzijske modele u pokušaju ponovnog bojanja regija lica u interferencijskom predlošku, a sličnost između ulazne i izlazne slike provjerava se pomoću različitih ControlNet jedinica. 

Okvir EasyPhoto također implementira proces difuzije u dvije faze za rješavanje potencijalnih problema kao što su granični artefakti i gubitak identiteta, čime se osigurava da generirane slike minimaliziraju vizualne nedosljednosti, a istovremeno održavaju identitet korisnika. Nadalje, cjevovod smetnji u okviru EasyPhoto nije ograničen samo na generiranje portreta, već se također može koristiti za generiranje bilo čega što je povezano s ID-om korisnika. To znači da nakon što trenirate LoRA model za određeni ID, možete generirati široku lepezu AI slika, i stoga može imati široku primjenu uključujući virtualna isprobavanja. 

Ukratko, okvir EasyPhoto

1. Predlaže novi pristup uvježbavanju LoRA modela uključivanjem više LoRA modela kako bi se održala vjernost lica generiranih slika. 
2. Koristi različite metode učenja za potkrepljivanje kako bi optimizirao LoRA modele za nagrade za identitet lica što dodatno pomaže u poboljšanju sličnosti identiteta između slika za obuku i generiranih rezultata. 
3. Predlaže dvofazni proces difuzije temeljen na inpaintu koji ima za cilj generirati AI fotografije visoke estetike i sličnosti. 

EasyPhoto : Arhitektura i obuka

Sljedeća slika prikazuje proces obuke EasyPhoto AI okvira. 

Kao što se može vidjeti, okvir prvo traži od korisnika da unesu slike za obuku, a zatim izvodi detekciju lica kako bi otkrio lokacije lica. Nakon što okvir otkrije lice, izrezuje ulaznu sliku pomoću unaprijed definiranog specifičnog omjera koji se fokusira isključivo na područje lica. Okvir zatim implementira model za uljepšavanje kože i otkrivanje istaknutosti kako bi se dobila čista i jasna slika treniranja lica. Ova dva modela igraju ključnu ulogu u poboljšanju vizualne kvalitete lica, a također osiguravaju da su pozadinske informacije uklonjene, a slika treninga pretežno sadrži lice. Naposljetku, okvir koristi ove obrađene slike i upite za unos za obuku LoRA modela, čime ga oprema sposobnošću da učinkovitije i točnije razumije karakteristike lica specifičnih za korisnika. 

Nadalje, tijekom faze obuke, okvir uključuje kritični korak validacije, u kojem okvir izračunava razmak između ID-a lica između korisničke ulazne slike i slike za provjeru koju je generirao obučeni LoRA model. Korak validacije temeljni je proces koji igra ključnu ulogu u postizanju spajanja LoRA modela, u konačnici osiguravajući da obučeni LoRA okvir transformira u dvojnika, odnosno točan digitalni prikaz korisnika. Nadalje, slika za provjeru koja ima optimalnu ocjenu face_id bit će odabrana kao slika face_id, a ta slika face_id zatim će se koristiti za poboljšanje sličnosti identiteta generiranja smetnji. 

Krećući se dalje, na temelju skupnog procesa, okvir obučava LoRA modele s procjenom vjerojatnosti kao primarnim ciljem, dok je očuvanje sličnosti identiteta lica nizvodni cilj. Kako bi se uhvatio u koštac s ovim problemom, okvir EasyPhoto koristi tehnike učenja pojačanja za izravnu optimizaciju nizvodnog cilja. Kao rezultat toga, crte lica koje LoRA modeli uče prikazuju poboljšanje koje dovodi do poboljšane sličnosti između rezultata generiranih predloškom, a također pokazuje generalizaciju među predlošcima. 

Interferencijski proces

Sljedeća slika prikazuje proces interferencije za pojedinačni User ID u okviru EasyPhoto, a podijeljena je u tri dijela

• Pretproces lica za dobivanje ControlNet reference i pretprocesirane ulazne slike. 

• Prva difuzija koji pomaže u generiranju grubih rezultata koji nalikuju korisničkom unosu. 

• Druga difuzija koji popravlja granične artefakte, čineći slike preciznijima i realističnijima. 

Za ulaz, okvir uzima face_id sliku (generiranu tijekom validacije treninga korištenjem optimalnog face_id rezultata) i interferencijski predložak. Izlaz je vrlo detaljan, precizan i realističan portret korisnika i vrlo je sličan identitetu i jedinstvenom izgledu korisnika na temelju predloška za zaključivanje. Pogledajmo detaljnije te procese.

Pretproces lica

Način za generiranje AI portreta na temelju interferencijskog predloška bez svjesnog razmišljanja je korištenje SD modela za uslikavanje područja lica u interferencijskom predlošku. Dodatno, dodavanje okvira ControlNet u proces ne samo da poboljšava očuvanje identiteta korisnika, već također povećava sličnost između generiranih slika. Međutim, izravno korištenje ControlNeta za regionalno inpainting može dovesti do potencijalnih problema koji mogu uključivati

• Nedosljednost između unosa i generirane slike: Očito je da ključne točke na slici predloška nisu kompatibilne s ključnim točkama na slici face_id zbog čega korištenje ControlNeta sa slikom face_id kao referencom može dovesti do nekih nedosljednosti u izlazu. 

• Defekti u Inpaint području: Maskiranje regije, a zatim njeno ponovno slikanje s novim licem može dovesti do primjetnih nedostataka, osobito duž granice inpaint-a, što neće utjecati samo na autentičnost generirane slike, već će također negativno utjecati na realističnost slike. 
• Gubitak identiteta putem Control Neta: Budući da proces obuke ne koristi okvir ControlNet, korištenje ControlNeta tijekom faze interferencije može utjecati na sposobnost obučenih LoRA modela da sačuvaju identitet ID-a korisnika. 

Za rješavanje gore navedenih problema, okvir EasyPhoto predlaže tri postupka. 

• Poravnaj i zalijepi: Korištenjem algoritma za lijepljenje lica, okvir EasyPhoto ima za cilj riješiti problem neusklađenosti između orijentira lica između ID-a lica i predloška. Prvo, model izračunava orijentire lica face_id i slike predloška, ​​nakon čega model određuje matricu afine transformacije koja će se koristiti za poravnavanje orijentira lica slike predloška sa slikom face_id. Rezultirajuća slika zadržava iste orijentire slike face_id, a također se poravnava sa slikom predloška. 

• Osigurač za lice: Face Fuse je novi pristup koji se koristi za ispravljanje graničnih artefakata koji su rezultat slikanja maske, a uključuje ispravljanje artefakata pomoću okvira ControlNet. Metoda omogućuje EasyPhoto okviru da osigura očuvanje skladnih rubova, a time i konačno usmjeravanje procesa generiranja slike. Algoritam spajanja lica dodatno spaja roop (korisničke slike istinite zemlje) i predložak, što omogućuje da rezultirajuća spojena slika pokaže bolju stabilizaciju rubnih granica, što zatim dovodi do poboljšanog rezultata tijekom prve faze difuzije. 
• ControlNet vođena provjera valjanosti: Budući da modeli LoRA nisu obučeni pomoću okvira ControlNet, njegovo korištenje tijekom procesa zaključivanja moglo bi utjecati na sposobnost modela LoRA da sačuva identitete. Kako bi se poboljšale mogućnosti generalizacije programa EasyPhoto, okvir uzima u obzir utjecaj okvira ControlNet i uključuje LoRA modele iz različitih faza. 

Prva difuzija

Prva faza difuzije koristi sliku predloška za generiranje slike s jedinstvenim ID-om koji je sličan ulaznom ID-u korisnika. Ulazna slika spoj je korisničke ulazne slike i slike predloška, ​​dok je kalibrirana maska ​​za lice ulazna maska. Kako bi se dodatno povećala kontrola nad generiranjem slike, EasyPhoto framework integrira tri ControlNet jedinice gdje je prva ControlNet jedinica usmjerena na kontrolu spojenih slika, druga ControlNet jedinica kontrolira boje spojene slike, a konačna ControlNet jedinica je openpose (kontrola ljudske poze više osoba u stvarnom vremenu) zamijenjene slike koja ne samo da sadrži strukturu lica slike predloška, ​​već i identitet lica korisnika.

Druga difuzija

U drugoj fazi difuzije, artefakti u blizini granice lica se pročišćavaju i fino podešavaju uz pružanje korisnicima fleksibilnosti maskiranja određenog područja na slici u pokušaju da se poboljša učinkovitost generiranja unutar tog namjenskog područja. U ovoj fazi okvir spaja izlaznu sliku dobivenu iz prve faze difuzije sa slikom kruga ili rezultatom korisničke slike, generirajući tako ulaznu sliku za drugu fazu difuzije. Sve u svemu, drugi stupanj difuzije igra ključnu ulogu u poboljšanju ukupne kvalitete i detalja generirane slike. 

Više korisničkih ID-ova

Jedna od značajki EasyPhoto-a je njegova podrška za generiranje višestrukih ID-ova korisnika, a slika u nastavku prikazuje cjevovod procesa interferencije za ID-ove više korisnika u okviru EasyPhoto. 

Kako bi pružio podršku za generiranje višekorisničkih ID-ova, EasyPhoto framework najprije provodi detekciju lica na interferencijskom predlošku. Ovi interferencijski predlošci se zatim dijele na brojne maske, gdje svaka maska ​​sadrži samo jedno lice, a ostatak slike je maskiran bijelom bojom, čime se generiranje višekorisničkog ID-a dijeli na jednostavan zadatak generiranja pojedinačnih korisničkih ID-ova. Nakon što okvir generira slike korisničkog ID-a, te se slike spajaju u predložak zaključivanja, čime se olakšava besprijekorna integracija slika predložaka s generiranim slikama, što u konačnici rezultira slikom visoke kvalitete. 

Eksperimenti i rezultati

Sada kada smo razumjeli okvir EasyPhoto, vrijeme je da istražimo performanse okvira EasyPhoto. 

Gornju sliku generira dodatak EasyPhoto, a za generiranje slike koristi SD model temeljen na stilu. Kao što se može primijetiti, generirane slike izgledaju realno i prilično su točne. 

Gore dodanu sliku generirao je EasyPhoto okvir koristeći SD model temeljen na stripovskom stilu. Kao što se može vidjeti, komične fotografije i realistične fotografije izgledaju prilično realistično i vrlo su slične ulaznoj slici na temelju korisničkih upita ili zahtjeva. 

Sliku dodanu u nastavku generirao je okvir EasyPhoto korištenjem predloška za više osoba. Kao što se može jasno vidjeti, generirane slike su jasne, precizne i nalikuju izvornoj slici. 

Uz pomoć EasyPhoto, korisnici sada mogu generirati široku lepezu AI portreta ili generirati više korisničkih ID-ova pomoću sačuvanih predložaka ili koristiti SD model za generiranje predložaka zaključivanja. Gore dodane slike pokazuju sposobnost EasyPhoto okvira u stvaranju raznolikih i visokokvalitetnih AI slika.

Zaključak

U ovom smo članku govorili o EasyPhoto, a novi WebUI dodatak koji krajnjim korisnicima omogućuje generiranje AI portreta i slika. EasyPhoto WebUI dodatak generira AI portrete koristeći proizvoljne predloške, a trenutne implikacije EasyPhoto WebUI podržavaju različite stilove fotografija i višestruke izmjene. Dodatno, kako bi se dodatno poboljšale mogućnosti EasyPhoto, korisnici imaju fleksibilnost generiranja slika koristeći SDXL model za generiranje zadovoljavajućih, preciznijih i raznovrsnijih slika. Okvir EasyPhoto koristi stabilan osnovni model difuzije u kombinaciji s prethodno obučenim LoRA modelom koji proizvodi visokokvalitetne slike.

Zanimaju vas generatori slika? Također nudimo popis Najbolji AI generatori slika glave a Najbolji AI generatori slika koji su jednostavni za korištenje i ne zahtijevaju tehničku stručnost.