Vakaa diffuusio Web User Interface tai SD-WebUI on kattava projekti Stable Diffusion -malleille, joka käyttää Gradio-kirjastoa selainliittymän tarjoamiseen. Tänään puhumme EasyPhotosta, innovatiivisesta WebUI-laajennuksesta, jonka avulla loppukäyttäjät voivat luoda tekoälymuotokuvia ja -kuvia. EasyPhoto WebUI -laajennus luo tekoälymuotokuvia käyttämällä erilaisia ​​malleja, jotka tukevat erilaisia ​​valokuvatyylejä ja useita muokkauksia. Lisäksi EasyPhoton ominaisuuksien parantamiseksi käyttäjät voivat luoda kuvia käyttämällä SDXL-mallia tyydyttävämpien, tarkempien ja monipuolisempien tulosten saamiseksi. Aloitetaanpa.

Johdatus EasyPhotoon ja vakaaseen diffuusioon

Stable Diffusion -kehys on suosittu ja vankka diffuusiopohjainen sukupolvikehys, jota kehittäjät käyttävät realististen kuvien luomiseen syötetekstikuvausten perusteella. Ominaisuuksiensa ansiosta Stable Diffusion -kehys tarjoaa laajan valikoiman sovelluksia, mukaan lukien kuvien ulkomaalaus, kuvan maalaus ja kuvasta kuvaksi -kääntäminen. Stable Diffusion Web UI eli SD-WebUI erottuu yhdeksi tämän kehyksen suosituimmista ja tunnetuimmista sovelluksista. Siinä on Gradio-kirjastoon rakennettu selainkäyttöliittymä, joka tarjoaa interaktiivisen ja käyttäjäystävällisen käyttöliittymän Stable Diffusion -malleille. SD-WebUI integroi lukuisia Stable Diffusion -sovelluksia parantaakseen edelleen hallittavuutta ja käytettävyyttä kuvien luonnissa.

SD-WebUI-kehyksen tarjoaman mukavuuden ansiosta EasyPhoto-kehyksen kehittäjät päättivät luoda sen verkkolaajennukseksi täysimittaisen sovelluksen sijaan. Toisin kuin olemassa olevat menetelmät, jotka usein kärsivät identiteetin katoamisesta tai tuovat kuviin epärealistisia piirteitä, EasyPhoto-kehys hyödyntää Stable Diffusion -mallien kuvasta kuvaksi -ominaisuuksia tarkkojen ja realististen kuvien tuottamiseksi. Käyttäjät voivat helposti asentaa EasyPhoto-kehyksen WebUI:n laajennukseksi, mikä parantaa käyttäjäystävällisyyttä ja saavutettavuutta laajemman käyttäjäjoukon ulottuville. EasyPhoto-kehyksen avulla käyttäjät voivat luoda identiteettiohjattuja, korkealaatuisia ja realistisia tekoälymuotokuvia jotka muistuttavat läheisesti syöttöidentiteettiä.

Ensinnäkin EasyPhoto-kehys pyytää käyttäjiä luomaan digitaalisen kaksoiskappaleen lataamalla muutamia kuvia kasvojen LoRA- tai Low-Rank-sopeutumismallin harjoittamiseksi verkossa. LoRA-kehys hienosäätää diffuusiomalleja nopeasti käyttämällä matalaluokkaista mukautustekniikkaa. Tämän prosessin avulla malli voi ymmärtää tiettyjen käyttäjien tunnustiedot. Koulutetut mallit yhdistetään ja integroidaan perustason Stable Diffusion -malliin häiriötä varten. Lisäksi häiriöprosessin aikana malli käyttää stabiileja diffuusiomalleja yrittääkseen maalata kasvoalueet uudelleen häiriömallissa, ja tulo- ja lähtökuvien samankaltaisuus varmistetaan käyttämällä erilaisia ​​ControlNet-yksiköitä. 

EasyPhoto-kehys käyttää myös kaksivaiheista diffuusioprosessia mahdollisten ongelmien, kuten rajojen artefaktien ja identiteetin katoamisen, ratkaisemiseksi. Näin varmistetaan, että luodut kuvat minimoivat visuaaliset epäjohdonmukaisuudet ja säilyttävät samalla käyttäjän identiteetin. Lisäksi EasyPhoto-kehyksen häiriöputkisto ei rajoitu vain muotokuvien luomiseen, vaan sitä voidaan käyttää myös minkä tahansa käyttäjän tunnukseen liittyvän luomiseen. Tämä tarkoittaa, että kun olet harjoitellut LoRA malli tietylle tunnukselle voit luoda laajan valikoiman tekoälykuvia, joten sillä voi olla laajalle levinneitä sovelluksia, mukaan lukien virtuaaliset kokeilut. 

Yhteenvetona EasyPhoto-kehys

1. Ehdottaa uutta lähestymistapaa LoRA-mallin kouluttamiseen yhdistämällä useita LoRA-malleja luotujen kuvien kasvojen tarkkuuden ylläpitämiseksi. 
2. Käyttää erilaisia ​​vahvistusoppimismenetelmiä optimoidakseen LoRA-malleja kasvojen identiteetin palkitsemiseksi, mikä auttaa entisestään parantamaan identiteetin samankaltaisuutta harjoituskuvien ja tulosten välillä. 
3. Ehdottaa kaksivaiheista maalipohjaista diffuusioprosessia, jonka tavoitteena on luoda tekoälyvalokuvia, joilla on esteettisyys ja samankaltaisuus. 

EasyPhoto : Arkkitehtuuri ja koulutus

Seuraava kuva havainnollistaa EasyPhoto AI -kehyksen koulutusprosessia. 

Kuten voidaan nähdä, kehys pyytää ensin käyttäjiä syöttämään harjoituskuvat ja suorittaa sitten kasvojentunnistuksen kasvojen sijainnin havaitsemiseksi. Kun kehys havaitsee kasvot, se rajaa syötekuvan käyttämällä ennalta määritettyä suhdetta, joka keskittyy vain kasvojen alueelle. Kehys ottaa sitten käyttöön ihon kaunistamisen ja näkyvyyden tunnistusmallin puhtaan ja selkeän kasvojen harjoituskuvan saamiseksi. Näillä kahdella mallilla on ratkaiseva rooli kasvojen visuaalisen laadun parantamisessa, ja ne varmistavat myös, että taustatiedot on poistettu ja harjoituskuva sisältää pääosin kasvot. Lopuksi kehys käyttää näitä käsiteltyjä kuvia ja syöttökehotteita LoRA-mallin kouluttamiseen ja siten varustaa sen kyvyllä ymmärtää käyttäjäkohtaisia ​​kasvojen ominaisuuksia tehokkaammin ja tarkemmin. 

Lisäksi koulutusvaiheessa kehys sisältää kriittisen validointivaiheen, jossa kehys laskee kasvojen ID-raon käyttäjän syöttämän kuvan ja opetetun LoRA-mallin luoman vahvistuskuvan välillä. Validointivaihe on perustavanlaatuinen prosessi, jolla on keskeinen rooli LoRA-mallien yhdistämisessä, mikä viime kädessä varmistaa, että koulutettu LoRA-kehys muuttuu kaksoiskappaleeksi tai tarkaksi digitaaliseksi esitykseksi käyttäjästä. Lisäksi vahvistuskuva, jolla on optimaalinen face_id-pistemäärä, valitaan face_id-kuvaksi, ja tätä face_id-kuvaa käytetään sitten parantamaan häiriön generoinnin identiteettisamankaltaisuutta. 

Edistyessään kokonaisuusprosessiin perustuen kehys kouluttaa LoRA-malleja todennäköisyysarvioinnin ollessa ensisijainen tavoite, kun taas kasvojen identiteetin samankaltaisuuden säilyttäminen on loppupäätavoite. Tämän ongelman ratkaisemiseksi EasyPhoto-kehys käyttää vahvistusoppimistekniikoita optimoidakseen suoraan loppupään tavoitteen. Tämän seurauksena LoRA-mallien kasvojen piirteet oppivat parantamaan näyttöä, mikä johtaa parempaan samankaltaisuuteen mallien luomien tulosten välillä ja osoittaa myös mallien yleistymisen. 

Häiriöprosessi

Seuraava kuva esittää häiriöprosessia yksittäiselle käyttäjätunnukselle EasyPhoto-kehyksessä, ja se on jaettu kolmeen osaan

• Kasvojen esikäsittely ControlNet-viittauksen ja esikäsitellyn syöttökuvan saamiseksi. 

• Ensimmäinen diffuusio joka auttaa luomaan karkeita tuloksia, jotka muistuttavat käyttäjän syötteitä. 

• Toinen diffuusio joka korjaa rajojen artefaktit ja tekee kuvista tarkempia ja näyttävät realistisemmilta. 

Syötettä varten kehys ottaa face_id-kuvan (syntynyt harjoituksen validoinnin aikana käyttämällä optimaalista face_id-pistettä) ja häiriömallin. Tulos on erittäin yksityiskohtainen, tarkka ja realistinen muotokuva käyttäjästä, ja se muistuttaa läheisesti käyttäjän identiteettiä ja ainutlaatuista ulkonäköä päätelmämallin perusteella. Katsotaanpa yksityiskohtaisesti näitä prosesseja.

Kasvojen esikäsittely

Eräs tapa luoda AI-muotokuva häiriömallin perusteella ilman tietoista päättelyä on käyttää SD-mallia kasvojen alueen maalaamiseen häiriömalliin. Lisäksi ControlNet-kehyksen lisääminen prosessiin ei vain paranna käyttäjän identiteetin säilymistä, vaan lisää myös luotujen kuvien samankaltaisuutta. ControlNetin käyttäminen suoraan alueelliseen maalaukseen voi kuitenkin aiheuttaa mahdollisia ongelmia, joihin voi sisältyä

• Epäjohdonmukaisuus syötteen ja luodun kuvan välillä: On ilmeistä, että mallikuvan avainkohdat eivät ole yhteensopivia face_id-kuvan avainpisteiden kanssa, minkä vuoksi ControlNetin käyttö face_id-kuvan kanssa viitteenä voi johtaa joihinkin epäjohdonmukaisuuksiin lähdössä. 

• Vikoja Inpaint-alueella: Alueen peittäminen ja sen jälkeen maalaaminen uusilla kasvoilla saattaa johtaa havaittaviin virheisiin, erityisesti maalipinnan rajalla, jotka eivät vaikuta ainoastaan ​​luodun kuvan aitouteen, vaan myös negatiivisesti kuvan realistisuuteen. 
• Identiteetin menetys Control Netin toimesta: Koska koulutusprosessi ei käytä ControlNet-kehystä, ControlNetin käyttö häiriövaiheen aikana saattaa vaikuttaa koulutettujen LoRA-mallien kykyyn säilyttää syötetyn käyttäjätunnuksen identiteetti. 

Edellä mainittujen ongelmien ratkaisemiseksi EasyPhoto-kehys ehdottaa kolmea menettelyä. 

• Tasaa ja liitä: Käyttämällä kasvojen liittämisalgoritmia EasyPhoto-kehys pyrkii ratkaisemaan ongelman, joka liittyy kasvojen maamerkkien yhteensopimattomuuteen kasvotunnuksen ja mallin välillä. Ensin malli laskee face_id:n ja mallikuvan kasvojen maamerkit, minkä jälkeen malli määrittää affiinin muunnosmatriisin, jota käytetään kohdistamaan mallikuvan kasvojen maamerkit face_id-kuvan kanssa. Tuloksena oleva kuva säilyttää samat face_id-kuvan maamerkit, ja se on myös kohdistettu mallikuvaan. 

• Kasvojen sulake: Face Fuse on uusi lähestymistapa, jota käytetään maskin maalaamisesta aiheutuvien rajavirheiden korjaamiseen, ja se sisältää artefaktien korjaamisen ControlNet-kehyksen avulla. Menetelmän avulla EasyPhoto-kehys voi varmistaa harmonisten reunojen säilymisen ja siten viime kädessä ohjata kuvan luomisprosessia. Kasvojen fuusioalgoritmi yhdistää edelleen roop-kuvan (ground true user images) -kuvan ja mallin, mikä mahdollistaa tuloksena olevan sulautetun kuvan paremman stabiloinnin reunarajoissa, mikä sitten johtaa parempaan ulostuloon ensimmäisen diffuusiovaiheen aikana. 
• ControlNet-ohjattu validointi: Koska LoRA-malleja ei ole koulutettu ControlNet-kehyksen avulla, sen käyttö päättelyprosessin aikana saattaa vaikuttaa LoRA-mallin kykyyn säilyttää identiteetit. EasyPhoton yleistysominaisuuksien parantamiseksi kehys ottaa huomioon ControlNet-kehyksen vaikutuksen ja sisältää LoRA-malleja eri vaiheista. 

Ensimmäinen diffuusio

Ensimmäinen diffuusiovaihe käyttää mallikuvaa luodakseen kuvan, jolla on yksilöllinen tunnus, joka muistuttaa syötettyä käyttäjätunnusta. Syöttökuva on fuusio käyttäjän syöttämästä kuvasta ja mallikuvasta, kun taas kalibroitu kasvomaski on syöttömaski. Kuvien luomisen hallinnan parantamiseksi entisestään EasyPhoto-kehys integroi kolme ControlNet-yksikköä, joista ensimmäinen ControlNet-yksikkö keskittyy yhdistettyjen kuvien hallintaan, toinen ControlNet-yksikkö ohjaa sulatetun kuvan värejä ja viimeinen ControlNet-yksikkö on avoin. (reaaliaikainen monen henkilön ihmisasennon hallinta) korvatusta kuvasta, joka ei sisällä vain mallikuvan kasvorakennetta, vaan myös käyttäjän kasvojen identiteetin.

Toinen diffuusio

Toisessa diffuusiovaiheessa artefaktit lähellä kasvojen rajaa jalostetaan ja hienosäädetään sekä tarjotaan käyttäjille joustavuus peittää tietty alue kuvassa, jotta voidaan parantaa luomisen tehokkuutta kyseisellä alueella. Tässä vaiheessa kehys sulattaa ensimmäisestä diffuusiovaiheesta saadun ulostulokuvan roop-kuvaan tai käyttäjän kuvan tulokseen, jolloin syntyy tulokuva toista diffuusiovaihetta varten. Kaiken kaikkiaan toisella diffuusiovaiheella on ratkaiseva rooli yleisen laadun ja luodun kuvan yksityiskohtien parantamisessa. 

Useita käyttäjätunnuksia

Yksi EasyPhoton kohokohdista on sen tuki useiden käyttäjätunnusten luomiseen, ja alla oleva kuva havainnollistaa useiden käyttäjätunnusten häiriöprosessin kulkua EasyPhoto-kehyksessä. 

Tukeakseen usean käyttäjän tunnuksen luomista EasyPhoto-kehys suorittaa ensin kasvojentunnistuksen häiriömallissa. Nämä häiriömallit jaetaan sitten lukuisiin maskeihin, joissa jokainen maski sisältää vain yhdet kasvot ja loput kuvasta on naamioitu valkoiseksi, mikä rikkoo usean käyttäjän tunnuksen luomisen yksinkertaiseksi tehtäväksi luoda yksittäisiä käyttäjätunnuksia. Kun kehys luo käyttäjätunnuskuvat, nämä kuvat yhdistetään päättelymalliin, mikä helpottaa mallikuvien saumatonta integrointia luotuihin kuviin, mikä lopulta johtaa korkealaatuiseen kuvaan. 

Kokeilut ja tulokset

Nyt kun ymmärrämme EasyPhoto-kehyksen, meidän on aika tutkia EasyPhoto-kehyksen suorituskykyä. 

Yllä oleva kuva on luotu EasyPhoto-laajennuksella, ja se käyttää Style-pohjaista SD-mallia kuvan luomiseen. Kuten voidaan havaita, luodut kuvat näyttävät realistisilta ja ovat melko tarkkoja. 

Yllä lisätty kuva on luotu EasyPhoto-kehyksellä käyttämällä Comic Style -pohjaista SD-mallia. Kuten voidaan nähdä, sarjakuvat ja realistiset valokuvat näyttävät melko realistisilta ja muistuttavat läheisesti syötettyä kuvaa käyttäjän kehotteiden tai vaatimusten perusteella. 

Alla lisätty kuva on luotu EasyPhoto-kehyksellä käyttämällä Multi-Person-mallia. Kuten voidaan selvästi nähdä, luodut kuvat ovat selkeitä, tarkkoja ja muistuttavat alkuperäistä kuvaa. 

EasyPhoton avulla käyttäjät voivat nyt luoda laajan valikoiman tekoälykuvia tai luoda useita käyttäjätunnuksia käyttämällä säilytettyjä malleja tai käyttää SD-mallia päätelmäpohjien luomiseen. Yllä lisätyt kuvat osoittavat EasyPhoto-kehyksen kyvyn tuottaa monipuolisia ja laadukkaita tekoälykuvia.

Yhteenveto

Tässä artikkelissa olemme puhuneet EasyPhotosta, a uusi WebUI-laajennus jonka avulla loppukäyttäjät voivat luoda tekoälymuotokuvia ja -kuvia. EasyPhoto WebUI -laajennus luo tekoälymuotokuvia mielivaltaisilla malleilla, ja EasyPhoto WebUI:n nykyiset vaikutukset tukevat erilaisia ​​valokuvatyylejä ja useita muokkauksia. Lisäksi EasyPhoton ominaisuuksien parantamiseksi käyttäjät voivat joustavasti luoda kuvia käyttämällä SDXL-mallia tyydyttävämpien, tarkempien ja monipuolisempien kuvien luomiseksi. EasyPhoto-kehys käyttää vakaata diffuusioperusmallia yhdistettynä esiopetettuun LoRA-malliin, joka tuottaa korkealaatuisia kuvatulosteita.

Kiinnostaako kuvageneraattorit? Tarjoamme myös luettelon Parhaat AI Headshot -generaattorit ja Parhaat AI-kuvageneraattorit jotka ovat helppokäyttöisiä eivätkä vaadi teknistä asiantuntemusta.