Stabilna difuzija Spletni uporabniški vmesnik ali SD-WebUI je celovit projekt za modele Stable Diffusion, ki uporablja knjižnico Gradio za zagotavljanje vmesnika brskalnika. Danes bomo govorili o EasyPhoto, inovativnem vtičniku WebUI, ki končnim uporabnikom omogoča ustvarjanje portretov in slik z umetno inteligenco. Vtičnik EasyPhoto WebUI ustvarja portrete z umetno inteligenco z različnimi predlogami, ki podpirajo različne sloge fotografij in več modifikacij. Poleg tega lahko uporabniki za nadaljnje izboljšanje zmogljivosti EasyPhoto ustvarijo slike z uporabo modela SDXL za bolj zadovoljive, natančne in raznolike rezultate. Začnimo.

Uvod v EasyPhoto in Stable Diffusion

Ogrodje Stable Diffusion je priljubljeno in robustno ogrodje za ustvarjanje, ki temelji na difuziji, ki ga razvijalci uporabljajo za ustvarjanje realističnih slik na podlagi opisov vhodnega besedila. Zahvaljujoč svojim zmožnostim se ogrodje Stable Diffusion ponaša s širokim naborom aplikacij, vključno s prebarvanjem slik, vnašanjem slik in prevajanjem iz slike v sliko. Stable Diffusion Web UI ali SD-WebUI izstopa kot ena najbolj priljubljenih in znanih aplikacij tega okvira. Vsebuje vmesnik brskalnika, zgrajen na knjižnici Gradio, ki zagotavlja interaktiven in uporabniku prijazen vmesnik za modele Stable Diffusion. Za dodatno izboljšanje nadzora in uporabnosti pri ustvarjanju slik SD-WebUI integrira številne aplikacije Stable Diffusion.

Zaradi priročnosti, ki jo ponuja ogrodje SD-WebUI, so se razvijalci ogrodja EasyPhoto odločili, da ga ustvarijo kot spletni vtičnik in ne kot popolno aplikacijo. V nasprotju z obstoječimi metodami, ki pogosto trpijo zaradi izgube identitete ali vnašajo nerealne značilnosti v slike, ogrodje EasyPhoto izkorišča zmožnosti slike v sliko modelov Stable Diffusion za izdelavo natančnih in realističnih slik. Uporabniki lahko preprosto namestijo ogrodje EasyPhoto kot razširitev znotraj spletnega uporabniškega vmesnika, s čimer povečajo prijaznost do uporabnika in dostopnost širšemu krogu uporabnikov. Ogrodje EasyPhoto uporabnikom omogoča ustvarjanje visokokakovostnih in vodenih identitet realistični AI portreti ki so zelo podobni vhodni identiteti.

Prvič, ogrodje EasyPhoto prosi uporabnike, da ustvarijo svojega digitalnega dvojnika tako, da naložijo nekaj slik za usposabljanje obraza LoRA ali modela Low-Rank Adaptation na spletu. Ogrodje LoRA hitro natančno prilagodi difuzijske modele z uporabo tehnologije prilagajanja nizkega ranga. Ta postopek omogoča modelu, ki temelji, da razume podatke ID-ja določenih uporabnikov. Usposobljeni modeli se nato združijo in integrirajo v osnovni model stabilne difuzije za motnje. Poleg tega model med interferenčnim postopkom uporablja stabilne difuzijske modele v poskusu prebarvanja obraznih regij v interferenčni šabloni, podobnost med vhodno in izhodno sliko pa se preveri z uporabo različnih enot ControlNet. 

Ogrodje EasyPhoto uporablja tudi dvostopenjski postopek razširjanja za reševanje morebitnih težav, kot so mejni artefakti in izguba identitete, s čimer zagotavlja, da ustvarjene slike zmanjšajo vizualna neskladja in hkrati ohranijo uporabnikovo identiteto. Poleg tega interferenčni cevovod v ogrodju EasyPhoto ni omejen samo na ustvarjanje portretov, ampak se lahko uporablja tudi za ustvarjanje česar koli, kar je povezano z ID-jem uporabnika. To pomeni, da ko trenirate model LoRA za določen ID lahko ustvarite široko paleto slik AI, zato ima lahko široko razširjene aplikacije, vključno z virtualnimi poskusi. 

Če povzamem, ogrodje EasyPhoto

1. Predlaga nov pristop za usposabljanje modela LoRA z vključitvijo več modelov LoRA za ohranjanje natančnosti obraza ustvarjenih slik. 
2. Uporablja različne metode učenja za krepitev za optimizacijo modelov LoRA za nagrajevanje identitete obraza, kar dodatno pomaga pri izboljšanju podobnosti identitet med slikami za usposabljanje in ustvarjenimi rezultati. 
3. Predlaga dvostopenjski postopek difuzije, ki temelji na barvi in ​​je namenjen ustvarjanju fotografij z umetno inteligenco z visoko estetiko in podobnostjo. 

EasyPhoto : Arhitektura in usposabljanje

Naslednja slika prikazuje postopek usposabljanja ogrodja EasyPhoto AI. 

Kot je razvidno, ogrodje uporabnike najprej prosi, da vnesejo slike za usposabljanje, nato pa izvede zaznavanje obrazov, da zazna lokacije obrazov. Ko ogrodje zazna obraz, obreže vhodno sliko z vnaprej določenim specifičnim razmerjem, ki se osredotoča izključno na predel obraza. Ogrodje nato uporabi model za polepšanje kože in zaznavanje vidnosti, da dobi čisto in jasno sliko treninga obraza. Ta dva modela igrata ključno vlogo pri izboljšanju vizualne kakovosti obraza in tudi zagotavljata, da so bile informacije v ozadju odstranjene in slika za usposabljanje pretežno vsebuje obraz. Končno ogrodje uporablja te obdelane slike in vhodne pozive za usposabljanje modela LoRA in ga tako opremi s sposobnostjo učinkovitejšega in natančnejšega razumevanja uporabniško specifičnih značilnosti obraza. 

Poleg tega ogrodje med fazo usposabljanja vključuje kritični korak validacije, v katerem ogrodje izračuna vrzel ID-ja obraza med uporabniško vneseno sliko in verifikacijsko sliko, ki je bila ustvarjena z usposobljenim modelom LoRA. Korak validacije je temeljni proces, ki igra ključno vlogo pri doseganju združitve modelov LoRA, kar na koncu zagotavlja, da usposobljen okvir LoRA spremeni v dvojnika ali natančno digitalno predstavitev uporabnika. Poleg tega bo slika za preverjanje, ki ima optimalno oceno face_id, izbrana kot slika face_id, ta slika face_id pa bo nato uporabljena za izboljšanje podobnosti identitete ustvarjanja motenj. 

V nadaljevanju na podlagi procesa zasedanja okvir usposablja modele LoRA, pri čemer je ocena verjetnosti glavni cilj, medtem ko je ohranjanje podobnosti identitete obraza spodnji cilj. Za reševanje te težave ogrodje EasyPhoto uporablja tehnike učenja okrepitve za neposredno optimizacijo spodnjega cilja. Kot rezultat, obrazne poteze, ki se jih naučijo modeli LoRA, prikazujejo izboljšavo, ki vodi do povečane podobnosti med rezultati, ustvarjenimi s predlogo, in prikazuje tudi posploševanje med predlogami. 

Interferenčni proces

Naslednja slika prikazuje postopek motenj za posamezen ID uporabnika v ogrodju EasyPhoto in je razdeljen na tri dele

• Predobdelava obraza za pridobitev reference ControlNet in vnaprej obdelane vhodne slike. 

• Prva difuzija ki pomaga pri ustvarjanju grobih rezultatov, ki so podobni uporabniškemu vnosu. 

• Druga difuzija ki popravi mejne artefakte, zaradi česar so slike natančnejše in videti bolj realistične. 

Za vnos ogrodje vzame sliko face_id (ustvarjeno med validacijo usposabljanja z uporabo optimalne ocene face_id) in interferenčno predlogo. Izhod je zelo podroben, natančen in realističen portret uporabnika in je zelo podoben identiteti in edinstvenemu videzu uporabnika na podlagi predloge sklepanja. Oglejmo si podrobneje te procese.

Predproces obraza

Način za ustvarjanje portreta z umetno inteligenco, ki temelji na interferenčni predlogi brez zavestnega razmišljanja, je uporaba modela SD za vnašanje obrazne regije v interferenčno predlogo. Poleg tega dodajanje ogrodja ControlNet procesu ne samo izboljša ohranjanje identitete uporabnika, ampak tudi poveča podobnost med ustvarjenimi slikami. Vendar pa lahko neposredna uporaba ControlNeta za regionalno slikanje povzroči morebitne težave, ki lahko vključujejo

• Neskladje med vnosom in ustvarjeno sliko: Očitno je, da ključne točke na sliki predloge niso združljive s ključnimi točkami na sliki face_id, zato lahko uporaba ControlNeta s sliko face_id kot referenco povzroči nekaj nedoslednosti v izhodu. 

• Napake v območju Inpaint: Maskiranje regije in njeno nato vslikavanje z novim obrazom lahko privede do opaznih napak, zlasti vzdolž meje inbarvanja, ki ne bodo samo vplivale na pristnost ustvarjene slike, temveč bodo negativno vplivale tudi na realističnost slike. 
• Izguba identitete s strani Control Net: Ker postopek usposabljanja ne uporablja ogrodja ControlNet, lahko uporaba ControlNet med fazo motenj vpliva na zmožnost usposobljenih modelov LoRA, da ohranijo identiteto ID-ja vnesenega uporabnika. 

Za reševanje zgoraj omenjenih težav okvir EasyPhoto predlaga tri postopke. 

• Poravnaj in prilepi: Z uporabo algoritma za lepljenje obraza želi ogrodje EasyPhoto rešiti težavo neujemanja med obraznimi točkami med ID-jem obraza in predlogo. Najprej model izračuna obrazne mejnike face_id in slike predloge, nato pa model določi matriko afine transformacije, ki bo uporabljena za poravnavo obraznih mejnikov slike predloge s sliko face_id. Nastala slika obdrži iste orientacijske točke slike face_id in se prav tako poravna s sliko predloge. 

• Varovalka za obraz: Face Fuse je nov pristop, ki se uporablja za popravljanje mejnih artefaktov, ki so posledica slikanja maske, in vključuje popravljanje artefaktov z uporabo ogrodja ControlNet. Metoda omogoča ogrodju EasyPhoto, da zagotovi ohranitev harmoničnih robov in tako končno vodi proces generiranja slike. Algoritem fuzije obraza nadalje spaja sliko roop (uporabniške slike resnične talne slike) in predlogo, kar omogoča, da nastala združena slika kaže boljšo stabilizacijo meja robov, kar nato vodi do izboljšanega rezultata med prvo stopnjo difuzije. 
• ControlNet vodena validacija: Ker modeli LoRA niso bili usposobljeni z uporabo ogrodja ControlNet, lahko njegova uporaba med postopkom sklepanja vpliva na sposobnost modela LoRA, da ohrani identitete. Za izboljšanje zmožnosti posploševanja EasyPhoto ogrodje upošteva vpliv ogrodja ControlNet in vključuje modele LoRA iz različnih stopenj. 

Prva difuzija

Prva stopnja razširjanja uporablja sliko predloge za ustvarjanje slike z edinstvenim ID-jem, ki je podoben vnesenemu ID-ju uporabnika. Vhodna slika je zlitje uporabniške vnesene slike in slike predloge, medtem ko je umerjena obrazna maska ​​vhodna maska. Za nadaljnje povečanje nadzora nad ustvarjanjem slik ogrodje EasyPhoto združuje tri enote ControlNet, pri čemer se prva enota ControlNet osredotoča na nadzor združenih slik, druga enota ControlNet nadzoruje barve združene slike, zadnja enota ControlNet pa je openpose (nadzor človeške poze več oseb v realnem času) zamenjane slike, ki ne vsebuje samo strukture obraza slike predloge, ampak tudi obrazno identiteto uporabnika.

Druga difuzija

V drugi stopnji difuzije so artefakti blizu meje obraza prečiščeni in fino nastavljeni, uporabnikom pa nudijo prilagodljivost, da prikrijejo določeno regijo na sliki, da bi povečali učinkovitost generiranja znotraj tega namenskega območja. Na tej stopnji ogrodje združi izhodno sliko, pridobljeno iz prve stopnje difuzije, s sliko roop ali rezultatom uporabniške slike, s čimer ustvari vhodno sliko za drugo stopnjo difuzije. Na splošno ima druga stopnja difuzije ključno vlogo pri izboljšanju splošne kakovosti in podrobnosti ustvarjene slike. 

ID-ji več uporabnikov

Eden od vrhuncev programa EasyPhoto je njegova podpora za generiranje več uporabniških ID-jev, spodnja slika pa prikazuje cevovod postopka motenj za več uporabniških ID-jev v ogrodju EasyPhoto. 

Za zagotovitev podpore za generiranje večuporabniških ID-jev ogrodje EasyPhoto najprej izvede zaznavanje obrazov na interferenčni predlogi. Te interferenčne predloge so nato razdeljene na številne maske, kjer vsaka maska ​​vsebuje samo en obraz, preostanek slike pa je maskiran v beli barvi, s čimer se ustvarjanje večuporabniškega ID-ja razdeli na preprosto nalogo generiranja posameznih uporabniških ID-jev. Ko ogrodje ustvari slike ID-ja uporabnika, se te slike združijo v predlogo sklepanja, s čimer se omogoči brezhibna integracija slik predloge z ustvarjenimi slikami, kar na koncu privede do visokokakovostne slike. 

Poskusi in rezultati

Zdaj, ko razumemo ogrodje EasyPhoto, je čas, da raziščemo delovanje ogrodja EasyPhoto. 

Zgornjo sliko ustvari vtičnik EasyPhoto in za ustvarjanje slike uporablja model SD, ki temelji na slogu. Kot lahko opazimo, so ustvarjene slike videti realistične in so precej natančne. 

Zgoraj dodano sliko ustvari ogrodje EasyPhoto z uporabo modela SD, ki temelji na stripovskem slogu. Kot je razvidno, komične fotografije in realistične fotografije izgledajo precej realistično in zelo spominjajo na vhodno sliko na podlagi uporabniških pozivov ali zahtev. 

Spodnjo dodano sliko je ustvarilo ogrodje EasyPhoto z uporabo predloge za več oseb. Kot je jasno razvidno, so ustvarjene slike jasne, natančne in podobne originalni sliki. 

S pomočjo EasyPhoto lahko uporabniki zdaj ustvarijo široko paleto portretov z umetno inteligenco ali ustvarijo več uporabniških ID-jev z uporabo ohranjenih predlog ali uporabijo model SD za ustvarjanje sklepnih predlog. Zgoraj dodane slike prikazujejo zmogljivost ogrodja EasyPhoto pri ustvarjanju raznolikih in visokokakovostnih slik AI.

zaključek

V tem članku smo govorili o EasyPhoto, a nov vtičnik WebUI ki končnim uporabnikom omogoča ustvarjanje portretov in slik z umetno inteligenco. Vtičnik EasyPhoto WebUI ustvarja portrete z umetno inteligenco z uporabo poljubnih predlog, trenutne posledice vmesnika EasyPhoto WebUI pa podpirajo različne sloge fotografij in več sprememb. Poleg tega imajo uporabniki za nadaljnje izboljšanje zmogljivosti EasyPhoto prilagodljivost za ustvarjanje slik z uporabo modela SDXL za ustvarjanje bolj zadovoljivih, natančnih in raznolikih slik. Ogrodje EasyPhoto uporablja stabilen osnovni model difuzije skupaj z vnaprej pripravljenim modelom LoRA, ki proizvaja visokokakovostne slikovne izhode.

Vas zanimajo generatorji slik? Ponujamo tudi seznam Najboljši AI generatorji posnetkov glave in Najboljši generatorji slik AI ki so enostavni za uporabo in ne zahtevajo tehničnega znanja.