Stable Diffusion Web-käyttöliittymä, tai SD-WebUI, on kattava projekti Stable Diffusion -malleille, joka hyödyntää Gradio-kirjastoa tarjoamaan selainkäyttöliittymän. Tänään puhumme EasyPhotosta, innovatiivisesta WebUI-liitännaisesta, joka mahdollistaa loppukäyttäjille luoda AI-muotokuvia ja kuvia. EasyPhoto WebUI-liitännainen luo AI-muotokuvia käyttäen erilaisia malleja, tukeen eri valokuvatyylejä ja useita muokkauksia. Lisäksi parantamaan EasyPhotoin kykyjä, käyttäjät voivat luoda kuvia käyttäen SDXL-mallia tarkempien, tarkin ja monipuolisempien tuloksien saavuttamiseksi. Aloita.

Johdanto EasyPhotoon ja Stable Diffusion

Stable Diffusion -kehys on suosittu ja vankka diffuusiopohjainen generointikehys, jota kehittäjät käyttävät luomaan realistisia kuvia syötetekstikuvauksien perusteella. Kiitoksena sen kyvyistä, Stable Diffusion -kehys tarjoaa laajan soveltamisalueen, mukaan lukien kuvien ulkomaalaus, kuvien täyttäminen ja kuvasta kuvaan käännös. Stable Diffusion Web UI, tai SD-WebUI, erottuu yhtenä tämän kehyksen sovelluksista. Se tarjoaa selainkäyttöliittymän, joka on rakennettu Gradio-kirjastolle, tarjoten interaktiivisen ja käyttäjäystävällisen käyttöliittymän Stable Diffusion -malleille. Parantamaan ohjausta ja käytettävyyttä kuvien generoinnissa, SD-WebUI integroi useita Stable Diffusion -sovelluksia.

Stable Diffusion Web UI -kehyksen tarjoaman helppokäyttöisyyden ansiosta EasyPhoto-kehyksen kehittäjät päättivät luoda sen Web-liitännaisena, ei täysimittaisena sovelluksena. Toisin kuin olemassa olevat menetelmät, jotka usein kärsivät identiteetin menetyksestä tai esittivät epärealistisia piirteitä kuvissa, EasyPhoto-kehys hyödyntää Stable Diffusion -mallien kuvasta kuvaan kykyjä tuottamaan tarkat ja realistiset kuvat. Käyttäjät voivat helposti asentaa EasyPhoto-kehyksen laajennuksena WebUI:hin, parantamaan käyttäjäystävällisyyttä ja saavutettavuutta laajemmalle käyttäjäryhmälle. EasyPhoto-kehys sallii käyttäjien luoda identiteetin ohjaamia, laadukkaita ja realistisia AI-muotokuvia, jotka muistuttavat läheisesti syötettyä identiteettiä.

Ensisijaisesti EasyPhoto-kehys pyytää käyttäjiä luomaan digitaalisen kaksoiskappaleen lataamalla muutamia kuvia koulutusaineistoksi kasvojen LoRA- tai matalan sijaintitunnistemalliin verkkoon. LoRA-kehys kouluttaa nopeasti diffuusiomalleja hyödyntäen matalan sijaintitunnistustekniikkaa. Tämä prosessi mahdollistaa perusmallin ymmärtää tietyntyyppisiä käyttäjien ID-tietoja. Koulutetut mallit yhdistetään ja integroidaan perus-Stable Diffusion -malliin häiriintymiseen. Lisäksi häiriintymisprosessin aikana malli käyttää Stable Diffusion -malleja yrittääkseen maalata kasvoseudun häiriintymismallissa, ja syötteen ja tuotoksen kuvien välisen samankaltaisuuden todennetaan eri ControlNet-yksiköillä.

EasyPhoto-kehys käyttää myös kahden vaiheen diffuusioprosessia ratkaisemaan potentiaalisia ongelmia, kuten reunaeffeektejä ja identiteetin menetystä, varmistaen, että generoidut kuvat minimoi visuaaliset epäjohdonmukaisuudet säilyttäen käyttäjän identiteetin. Lisäksi häiriintymisputki EasyPhoto-kehyksessä ei ole rajoitettu pelkästään muotokuvien generointiin, vaan sitä voidaan käyttää luomaan mitä tahansa, mikä liittyy käyttäjän ID:hen. Tämä tarkoittaa, että kun koulutat LoRA-mallin tietyn ID:lle, voit generoida laajan valikoiman AI-kuvia, ja se voi olla laajasti sovellettavissa, mukaan lukien virtuaalisen try-on.

Yhteenvetona, EasyPhoto-kehys

1. Ehdottaa uudenlaista lähestymistapaa kouluttaa LoRA-malli sisällyttämällä useita LoRA-malleja säilyttääksesi kasvojen uskollisuutta generoiduissa kuvissa.
2. Käyttää erilaisia vahvistusoppimismenetelmiä optimoidakseen LoRA-malleja kasvojen identiteetin palkkioita, mikä edelleen auttaa parantamaan identiteetin samankaltaisuutta koulutuskuville ja tuloksiin.
3. Ehdottaa kaksivaiheista täyttöpohjaista diffuusioprosessia, joka pyrkii generoida AI-kuvia, joilla on korkea esteettisyys ja samankaltaisuus.

EasyPhoto: Arkkitehtuuri ja koulutus

Seuraava kuva havainnollistaa EasyPhoto AI-kehyksen koulutusprosessia.

Kuten voidaan nähdä, kehys pyytää ensin käyttäjiä syöttämään koulutuskuvia ja suorittamaan kasvojen havainnon kasvojen sijaintien havainnointiin. Kun kehys havaitsee kasvot, se leikkaa syötteen kuvan ennalta määritellyllä suhteella, joka keskittyy pelkästään kasvojen alueelle. Kehys käyttää sitten ihon kauneus- ja merkityksellisyyden havainnomallia saadakseen puhdas ja selkeä kasvokuvan. Nämä kaksi mallia ovat ratkaisevia kuvan visuaalisen laadun parantamisessa ja varmistavat, että taustatiedot on poistettu ja koulutuskuva sisältää pääasiassa kasvon. Lopulta kehys käyttää näitä prosessoituja kuvia ja syötteen ohjeita kouluttaakseen LoRA-mallin ja varustaa sen kyvyllä ymmärtää käyttäjän kasvojen ominaispiirteitä tehokkaammin ja tarkemmin.

Lisäksi koulutusvaiheessa kehys sisältää kriittisen validointivaiheen, jossa kehys laskee kasvojen ID-erän käyttäjän syötteen kuvan ja vahvistuskuvan välillä, jonka koulutettu LoRA-malli generoi. Validointivaihe on perustava prosessi, joka on avainasemassa saavuttamassa LoRA-mallien yhdistymistä, varmistaen, että koulutettu LoRA-kehys muuttuu kaksoiskappaleeksi, tai tarkaksi digitaaliseksi edustajaksi käyttäjästä. Lisäksi vahvistuskuva, jolla on optimaalinen kasvo_ID-piste, valitaan kasvo_ID-kuvaksi, ja tämä kasvo_ID-kuvaksi käytetään parantamaan identiteetin samankaltaisuutta häiriintymisen generoinnissa.

Jatkaen, perustuen yhdistämismenettelystä, kehys kouluttaa LoRA-malleja todennäköisyysarvioinnin ollessa pääasiallinen tavoite, kun taas kasvojen identiteetin samankaltaisuuden säilyttäminen on alivirtauskohteena. Ratkaisemaan tämän ongelman, EasyPhoto-kehys käyttää vahvistusoppimismenetelmiä optimoidakseen alivirtauskohteen suoraan. Tuloksena, kasvonpiirteet, joita LoRA-mallit oppivat, näyttävät parantuneen, mikä johtaa identiteetin samankaltaisuuden parantumiseen mallien tuloksissa, ja osoittaa yleistymistä mallien välillä.

Häiriintymisprosessi

Seuraava kuva havainnollistaa häiriintymisprosessia yksittäiselle Käyttäjän ID:lle EasyPhoto-kehyksessä, ja se on jaettu kolmeen osaan

• Kasvojen esikäsittely ControlNet-viitekuvan ja esikäsitellyn syötteen kuvan saamiseksi.

• Ensimmäinen diffuusio joka auttaa karkeiden tuloksien generoimisessa, jotka muistuttavat käyttäjän syötettä.

• Toinen diffuusio joka korjaa reunaeffeektejä, tehdessä kuvista tarkemmat ja realistisemmat.

Syötteenä kehys ottaa kasvo_ID-kuvan (generoitu koulutusvalidoinnissa käyttäen optimaalista kasvo_ID-pistettä) ja häiriintymismallin. Tuloksena on yksityiskohtainen, tarkka ja realistinen muotokuva käyttäjästä, joka muistuttaa läheisesti identiteetin ja yksilöllisen ulkonäön perusteella häiriintymismallista. Tutustumme tarkemmin näihin prosesseihin.

Kasvojen esikäsittely

Tapa luoda AI-muotokuva ilman tietoista päättelyä on käyttää SD-mallia täyttämään kasvojen alue häiriintymismallissa. Lisäksi ControlNet-kehyksen lisääminen prosessiin parantaa identiteetin säilyttämistä ja samankaltaisuutta generoiduissa kuvissa. Kuitenkin ControlNetin suora käyttäminen alueen täyttöön voi aiheuttaa potentiaalisia ongelmia, kuten

• Epäjohdonmukaisuus syötteen ja generoidun kuvan välillä: On ilmeistä, että mallin avainpisteet eivät ole yhdenmukaisia kasvo_ID-kuvan avainpisteiden kanssa, miksi ControlNetin käyttäminen kasvo_ID-kuvana voi johtaa joitain epäjohdonmukaisuuksia tuloksessa.

• Virheitä täyttöalueella: Alueen maskaus ja sen täyttäminen uudella kasvolla voi johtaa merkittäviin virheisiin, erityisesti täyttöalueen reunalla, mikä ei ainoastaan vaikuta kuvan aitoutta vaan myös realismia.
• Identiteetin menetys ControlNetin vuoksi: Koska koulutusprosessi ei käytä ControlNet-kehystä, sen käyttäminen häiriintymisvaiheessa voi vaikuttaa koulutettujen LoRA-mallien kykyyn säilyttää käyttäjän ID-tunnus.

Ratkaisemaan mainittuja ongelmia, EasyPhoto-kehys ehdottaa kolmea menettelyä.

• Kiinnitä ja liimaa: Käyttämällä kasvojen liimamista, EasyPhoto-kehys pyrkii ratkaisemaan kasvojen merkittävien piirteiden välistä epäjohdonmukaisuutta mallin ja mallin välillä. Ensinnäkin, malli laskee kasvojen merkittävät piirteet kasvo_ID-kuvasta ja mallista, minkä jälkeen malli määrittää affiini-muunnosmatrix, jota käytetään kasvojen merkittävien piirteiden kohdistamiseen mallikuvan kanssa. Tuloksena oleva kuva säilyttää samat kasvon piirteet kuin kasvo_ID-kuvassa, ja se on kohdistettu malliin.

• Kasvojen yhdistäminen: Kasvojen yhdistäminen on uudenlainen lähestymistapa, jota käytetään korjaamaan reunaeffeektejä, jotka johtuvat maskin täyttämisestä, ja se sisältää virheiden korjaamisen ControlNet-kehyksen avulla. Menetelmä mahdollistaa EasyPhoto-kehyksen varmistaa harmonisten reunojen säilyttämisen, ja siten ohjata kuvan generointiprosessia. Kasvojen yhdistämisalgoritmi yhdistää myös roopin (todellisen käyttäjän kuvan) ja mallin, mikä mahdollistaa tuloksena olevan yhdistetyn kuvan näyttää reunaeffeektien stabiloimisen, mikä johtaa parannettuun tulokseen ensimmäisessä diffuusiovaiheessa.
• ControlNet-ohjattu validointi: Koska LoRA-mallit eivät olleet koulutettu ControlNet-kehyksen avulla, sen käyttäminen johtaa häiriintymisprosessiin voi vaikuttaa LoRA-mallin kykyyn säilyttää identiteetin. Parantamaan EasyPhotoin yleistymiskykyä, kehys ottaa huomioon ControlNet-kehyksen vaikutuksen ja sisältää LoRA-malleja eri vaiheista.

Ensimmäinen diffuusio

Ensimmäinen diffuusiovaihe käyttää mallikuvaa generoidakseen kuvan, jolla on yksilöllinen ID, joka muistuttaa käyttäjän syötettä. Syötteen kuva on yhdistelmä käyttäjän syötteen kuvasta ja mallikuvasta, kun taas kalibroitu kasvomaski on syötteen maski. Jotta kuvan generoinnin ohjaus voitaisiin lisätä, EasyPhoto-kehys integroi kolme ControlNet-yksikköä, joista ensimmäinen ControlNet-yksikkö keskittyy yhdistettyjen kuvien ohjaamiseen, toinen ControlNet-yksikkö ohjaa yhdistetyn kuvan värejä, ja viimeinen ControlNet-yksikkö on avoimen asennon (reaaliaikainen monen henkilön asennon ohjaus) korvattavasta kuvasta, joka sisältää sekä mallin kasvorakenteen että käyttäjän kasvon identiteetin.

Toinen diffuusio

Toisessa diffuusiovaiheessa kasvojen reunaeffeektejä hienonnetaan ja viimeistellään, ja käyttäjille annetaan mahdollisuus maskata tietty alue kuvassa parantamaan generoinnin tehokkuutta kyseisessä alueessa. Tässä vaiheessa kehys yhdistää ensimmäisen diffuusiovaiheen tuloksen roopin (käyttäjän kuvan) tulokseksi, generoiden syötteen kuvan toiselle diffuusiovaiheelle. Kokonaisuudessaan toinen diffuusiovaihe on avainasemassa parantamaan generoidun kuvan laatua ja yksityiskohtaisuutta.

Monet Käyttäjän ID:t

Yksi EasyPhotoin erityispiirteistä on sen tuki monien Käyttäjän ID:den generoimiselle, ja alla oleva kuva havainnollistaa häiriintymisprosessin monille Käyttäjän ID:lle EasyPhoto-kehyksessä.

Tukeakseen monen Käyttäjän ID:n generointia, EasyPhoto-kehys suorittaa ensin kasvojen havainnon häiriintymismallissa. Nämä häiriintymismallit jaetaan useisiin maskeihin, joista jokainen maski sisältää vain yhden kasvon, ja loput kuvasta on maskattu valkoisella, minkä ansiosta monen Käyttäjän ID:n generointi muuttuu yksinkertaiseksi tehtäväksi, jossa luodaan yksittäisiä Käyttäjän ID:itä. Kun kehys on generoinut Käyttäjän ID-kuvat, ne yhdistetään häiriintymismalliin, mahdollistaen mallin ja generoiden kuvien vaivattoman integroinnin, mikä lopulta johtaa laadukkaaseen kuvaan.

Kokeet ja tulokset

Nyt kun meillä on ymmärrys EasyPhoto-kehyksestä, on aika tutkia EasyPhoto-kehyksen suorituskykyä.

Yllä oleva kuva on generoitu EasyPhoto-liitännäisella, ja se käyttää tyyliin perustuvaa SD-mallia kuvan generoimiseen. Kuten voidaan nähdä, generoidut kuvat näyttävät realistisilta ja ovat melko tarkkoja.

Yllä oleva kuva on generoitu EasyPhoto-kehyksellä käyttäen sarjakuva-tyyliin perustuvaa SD-mallia. Kuten voidaan nähdä, sarjakuva- ja realistiset kuvat näyttävät realistisilta ja muistuttavat läheisesti syötettä kuvaa käyttäjän ohjeiden tai vaatimusten perusteella.

Alla oleva kuva on generoitu EasyPhoto-kehyksellä käyttäen monen henkilön mallia. Kuten voidaan selvästi nähdä, generoidut kuvat ovat selkeitä, tarkkoja ja muistuttavat alkuperäistä kuvaa.

EasyPhotoin avulla käyttäjät voivat nyt generoida laajan valikoiman AI-muotokuvia, generoida useita Käyttäjän ID:itä säilytetyistä malleista tai käyttää SD-mallia generoimaan häiriintymismalleja. Yllä olevat kuvat osoittavat EasyPhoto-kehyksen kyvyn tuottaa monipuolisia ja laadukkaita AI-kuvia.

Johtopäätös

Tässä artikkelissa olemme puhuneet EasyPhotosta, uudenlaisesta WebUI-liitännaisesta, joka mahdollistaa loppukäyttäjille luoda AI-muotokuvia ja kuvia. EasyPhoto WebUI-liitännainen generoi AI-muotokuvia käyttäen mielivaltaisia malleja, ja sen nykyinen vaikutus EasyPhoto WebUI-liitännäisessä tukee eri valokuvatyylejä ja useita muokkauksia. Lisäksi parantamaan EasyPhotoin kykyjä, käyttäjillä on mahdollisuus generoida kuvia käyttäen SDXL-mallia tarkempien, tarkin ja monipuolisempien tuloksien saavuttamiseksi. EasyPhoto-kehys hyödyntää Stable Diffusion -perusmallia, johon on liitetty esikoulutettu LoRA-malli, joka tuottaa laadukkaita kuvatuloksia.