Stable Diffusion Web-käyttöliittymä, tai SD-WebUI, on kattava projekti Stable Diffusion-malleille, joka käyttää Gradio-kirjastoa tarjoamaan selainkäyttöliittymän. Tänään puhumme EasyPhotosta, innovatiivisesta WebUI-liitännaisesta, joka mahdollistaa loppukäyttäjille luodaan AI-muotokuvia ja kuvia. EasyPhoto WebUI-liitännainen luo AI-muotokuvia eri mallien avulla, tukee eri valokuvatyylejä ja useita muokkauksia. Lisäksi parantamaan EasyPhoton kykyjä entisestään, käyttäjät voivat luoda kuvia SDXL-mallin avulla saavuttaakseen tyytyväisempiä, tarkempia ja monipuolisempia tuloksia. Aloita meille.

Johdanto EasyPhotoon ja Stable Diffusioniin

Stable Diffusion -kehyksessä on suosittu ja vankka diffuusiopohjainen generointikehyksessä, jota kehittäjät käyttävät luomaan realistisia kuvia syötetekstikuvauksien perusteella. Kiitos sen kyvyistä, Stable Diffusion -kehyksessä on laaja sovellusalue, mukaan lukien kuvan ulkopainterointi, kuvan täyttö ja kuvasta kuvaan käännös. Stable Diffusion Web UI, tai SD-WebUI, on yksi suosituimmista ja tunnetuimmista sovelluksista tässä kehyksessä. Se tarjoaa selainkäyttöliittymän, joka on rakennettu Gradio-kirjastolle, tarjoten interaktiivisen ja käyttäjäystävällisen käyttöliittymän Stable Diffusion -malleille. Jotta voidaan parantaa ohjattavuutta ja käytettävyyttä kuvien luomisessa, SD-WebUI integroi useita Stable Diffusion -sovelluksia.

SD-WebUI-kehyksen tarjoaman helppokäyttöisyyden ansiosta EasyPhoton kehittäjät päättivät luoda sen web-liitännaisena, ei itsenäisenä sovelluksena. Toisin kuin olemassa olevat menetelmät, jotka usein kärsivät identiteetin menetyksestä tai tuottavat epärealistisia piirteitä kuvissa, EasyPhoto-kehyksessä hyödyntää kuvasta kuvaan -kykyjä Stable Diffusion -malleissa tuottaakseen tarkkoja ja realistisia kuvia. Käyttäjät voivat helposti asentaa EasyPhoto-kehyksen laajennuksena WebUI:hin, parantaen käyttäjäystävällisyyttä ja saatavuutta laajemmalle käyttäjäryhmälle. EasyPhoto-kehyksessä sallii käyttäjien luoda identiteettiopohjaisia, laadukkaita ja realistisia AI-muotokuvia, jotka muistuttavat läheisesti syötettyä identiteettiä.

Ensinnäkin EasyPhoto-kehyksessä pyytää käyttäjiä luomaan digitaalisen kaksoiskappaleen lataamalla muutamia kuvia kouluttaakseen kasvojen LoRA- tai matalan arvon sovittamismallin verkossa. LoRA-kehyksessä nopeasti hienosäätää diffuusiomalleja hyödyntämällä matalan arvon sovittamistekniikkaa. Tämä prosessi mahdollistaa perusmallin ymmärtäämisen tiettyjen käyttäjien ID-tietoja. Koulutetut mallit yhdistetään ja integroidaan perus-Stable Diffusion -malliin häiriintymiseen. Lisäksi häiriintymisprosessin aikana malli käyttää vakaata diffuusiota yrittääkseen maalata kasvot häiriintymismallissa, ja syötteen ja tulosteen kuvien välinen samankaltaisuus vahvistetaan eri ControlNet-yksiköiden avulla.

EasyPhoto-kehyksessä käyttää myös kahden vaiheen diffuusioprosessia puuttuvien reunaeffektien ja identiteetin menetyksen ratkaisemiseksi, varmistaen, että luodut kuvat minimoi visuaaliset epäjohdonmukaisuudet säilyttäen käyttäjän identiteetin. Lisäksi häiriintymisputki EasyPhoto-kehyksessä ei rajoitu vain muotokuvien luomiseen, vaan se voidaan käyttää luomaan mitä tahansa, joka liittyy käyttäjän ID:hen. Tämä tarkoittaa, että kun koulutat LoRA-mallin tietyn ID:lle, voit luoda laajan valikoiman AI-kuvia, ja se voi olla laajasti sovellettavissa, mukaan lukien virtuaaliset kokeilut.

Yhteenvetona EasyPhoto-kehyksessä

1. Ehdottaa uudenlaista lähestymistapaa kouluttaa LoRA-malli sisällyttämällä useita LoRA-malleja ylläpitämään kasvojen uskottavuutta luoduissa kuvissa.
2. Käyttää eri vahvistusoppimismenetelmiä optimoidaakseen LoRA-malleja kasvojen identiteetin palkkioita, mikä edelleen auttaa lisäämään identiteettien samankaltaisuutta koulutuskuville ja tuloksiin.
3. Ehdottaa kaksivaiheista täyttöpohjaista diffuusioprosessia, jolla voidaan luoda esteettisiä ja samankaltaisia AI-kuvia.

EasyPhoto: Arkkitehtuuri ja koulutus

Seuraava kuva havainnollistaa EasyPhoto-kehyksen koulutusprosessia.

Kuten voidaan nähdä, kehyksessä pyytää ensin käyttäjiä syöttämään koulutuskuvia, ja sitten suorittaa kasvojen havaitsemisen havaitsemaan kasvojen sijainnit. Kun kehyksessä havaitsee kasvot, se leikkaa syötteen kuvan ennalta määritellyn tietyn suhteen, joka keskittyy pelkästään kasvojen alueelle. Keheyksessä käyttää sitten ihon kauneuden ja merkityksen havaitsemismallia saadakseen puhdas ja selkeä kasvojen koulutuskuvan. Nämä kaksi mallia ovat tärkeitä kasvojen visuaalisen laadun parantamisessa ja varmistavat, että taustatiedot on poistettu ja koulutuskuvassa on pääasiassa kasvot. Lopulta kehyksessä käyttää näitä prosessoituja kuvia ja syötteen ohjeita kouluttaakseen LoRA-mallin, jolloin se voi ymmärtää käyttäjäkohtaisia kasvonpiirteitä tehokkaammin ja tarkemmin.

Lisäksi koulutusvaiheessa kehyksessä sisältää kriittisen validointivaiheen, jossa kehyksessä laskee kasvojen ID-erän käyttäjän syötteen kuvan ja vahvistuskuvan, jonka koulutettu LoRA-malli on luonut. Validointivaihe on perustava prosessi, jolla voidaan saavuttaa LoRA-mallien yhdistäminen, mikä lopulta varmistaa, että koulutettu LoRA-kehyksessä muuttuu kaksoiskappaleeksi tai tarkaksi digitaaliseksi edustajaksi käyttäjälle. Lisäksi vahvistuskuva, jolla on optimaalinen kasvo_ID-piste, valitaan kasvo_ID-kuvaksi, ja tämä kasvo_ID-kuvaksi käytetään parantamaan identiteetin samankaltaisuutta häiriintymisen luomisessa.

Jatkaessa, perustuen yhdistämismenettelyyn, kehyksessä kouluttaa LoRA-malleja, joiden ensisijainen tavoite on todennäköisyyden arvio, kun taas kasvojen identiteetin samankaltaisuuden säilyttäminen on alimääräinen tavoite. Tätä ongelmia ratkaisemaan EasyPhoto-kehyksessä käyttää vahvistusoppimismenetelmiä suoraan alimääräisen tavoitteen optimoimiseksi. Tuloksena LoRA-malleissa opitut kasvonpiirteet näyttävät parantuneen, mikä johtaa identiteetin samankaltaisuuden parantumiseen mallin luotujen tuloksien ja mallejen yleistymisen välillä.

Häiriintymisprosessi

Seuraava kuva havainnollistaa häiriintymisprosessin yksittäiselle käyttäjän ID:lle EasyPhoto-kehyksessä, ja se on jaettu kolmeen osaan

• Kasvojen esikäsittely ControlNet-viitekuvan ja esikäsitellyn syötteen kuvan saamiseksi.

• Ensimmäinen diffuusio joka auttaa luomaan karkeita tuloksia, jotka muistuttavat käyttäjän syötettä.

• Toinen diffuusio joka korjaa reunaeffektit, mikä tekee kuvista tarkemmat ja realistisemmat.

Syötteenä kehyksessä ottaa kasvo_ID-kuvan (luotu koulutusvahvistuksessa optimaalisen kasvo_ID-pisteen avulla) ja häiriintymismallin. Tuloste on yksityiskohtainen, tarkka ja realistinen muotokuva käyttäjästä, joka muistuttaa läheisesti identiteetin ja yksilöllisen ulkonäön perusteella häiriintymismallista. Tarkastellaan näitä prosesseja yksityiskohtaisemmin.

Kasvojen esikäsittely

Tapa luoda AI-muotokuva häiriintymismallin perusteella ilman tietoista päättelyä on käyttää SD-mallia täyttämään kasvojen alue häiriintymismallissa. Lisäksi ControlNet-kehyksen lisääminen prosessiin parantaa käyttäjän identiteetin säilyttämistä ja lisää samankaltaisuutta luotujen kuvien välillä. Kuitenkin ControlNetin suora käyttäminen alueellisessa täyttössä voi aiheuttaa potentiaalisia ongelmia, kuten

• Epäjohdonmukaisuus syötteen ja luodun kuvan välillä On selvää, että mallin avainpisteet eivät ole yhdenmukaisia mallin avainpisteiden kanssa, joten ControlNetin käyttäminen kasvo_ID-kuvan viiteenä voi johtaa joitain epäjohdonmukaisuuksia tuloksessa.

• Virheet täyttöalueella Alueen maskaus ja sen täyttäminen uudella kasvolla voi johtaa merkittäviin virheisiin, erityisesti täyttörajan reunalla, mikä ei ainoastaan vaikuta luodun kuvan aitoutta vaan myös negatiivisesti kuvan realismin.
• Identiteetin menetys ControlNetin vuoksi Koska koulutusprosessi ei käytä ControlNet-kehyksen, sen käyttäminen häiriintymisvaiheessa voi vaikuttaa koulutettujen LoRA-mallien kykyyn säilyttää syötetyn käyttäjän ID-tiedon.

Ratkaisemaan edellä mainittuja ongelmia EasyPhoto-kehyksessä ehdottaa kolmea menettelyä.

• Kiinnitä ja liimaa Käyttämällä kasvojen liimamista, EasyPhoto-kehyksessä pyrkii ratkaisemaan kasvojen maamerkkien välistä epäyhtenäisyyttä mallin ja mallin välillä. Ensinnäkin malli laskee kasvojen maamerkit kasvo_ID-kuvasta ja mallista, minkä jälkeen malli määrittää affiini-muunnosmatrix, jota käytetään mallin kasvojen maamerkkien kohdistamiseen kasvo_ID-kuvan kanssa. Tuloksena oleva kuva säilyttää samat kasvojen maamerkit kuin kasvo_ID-kuvassa ja kohdistuu myös malliin.

• Kasvojen yhdistäminen Kasvojen yhdistäminen on uudenlainen lähestymistapa, jota käytetään korjaamaan reunaeffektit, jotka johtuvat maskin täyttämisestä, ja se sisältää virheiden korjaamisen ControlNet-kehyksen avulla. Menetelmä mahdollistaa EasyPhoto-kehyksessä varmistaa harmonisten reunojen säilyttämisen, mikä lopulta ohjaa kuvien luomisprosessia. Kasvojen yhdistämisalgoritmi yhdistää myös roop- (todellisen käyttäjän kuvan) ja mallin, mikä mahdollistaa tuloksena olevan yhdistetyn kuvan näyttää paremman reunanrajauskokemuksen, mikä johtaa parannettuun tulokseen ensimmäisessä diffuusiovaiheessa.
• ControlNet-ohjattu vahvistus Koska LoRA-mallit eivät olleet koulutettu ControlNet-kehyksen avulla, sen käyttäminen häiriintymisprosessissa voi vaikuttaa LoRA-mallin kykyyn säilyttää identiteetin. Parantamaan EasyPhoton yleistymiskykyjä, kehyksessä ottaa huomioon ControlNet-kehyksen vaikutuksen ja sisällyttää LoRA-malleja eri vaiheista.

Ensimmäinen diffuusio

Ensimmäinen diffuusioprosessi käyttää mallia luomaan kuva, jolla on yksilöllinen ID, joka muistuttaa syötettyä käyttäjän ID:tä. Syötteenä on yhdistelmä käyttäjän syötteen kuvasta ja mallista, kun taas kalibroitu kasvomaski on syötteenä oleva maski. Jotta voidaan lisätä ohjattavuutta kuvien luomisessa, EasyPhoto-kehyksessä integroi kolme ControlNet-yksikköä, joista ensimmäinen ControlNet-yksikkö keskittyy yhdistettyjen kuvien ohjaamiseen, toinen ControlNet-yksikkö ohjaa yhdistetyn kuvan värejä, ja viimeinen ControlNet-yksikkö on avoimen asennon (reaaliaikainen monen henkilön asento-ohjaus) korvattavasta kuvasta, joka sisältää sekä mallin kasvorakenteen että käyttäjän kasvon identiteetin.

Toinen diffuusio

Toisessa diffuusioprosessissa reunaeffektit kasvojen reunalla hienosäädetään ja parannetaan, ja käyttäjille annetaan mahdollisuus maskata tietty alue kuvassa parantamaan luomisen tehokkuutta kyseisessä alueessa. Tässä vaiheessa kehyksessä yhdistää ensimmäisen diffuusioprosessin tulokset roop-kuvan (käyttäjän kuvan tulokset) tai tulokset, luoden syötteen toiselle diffuusioprosessille. Kokonaisuudessaan toinen diffuusioprosessi on tärkeä kuvan laadun ja yksityiskohtien parantamisessa.

Useat käyttäjän ID:t

Yksi EasyPhoton erityispiirteistä on sen tuki useiden käyttäjän ID:ien luomiselle, ja seuraava kuva havainnollistaa häiriintymisprosessin putken useille käyttäjän ID:ille EasyPhoto-kehyksessä.

Tukeakseen useiden käyttäjän ID:ien luomista, EasyPhoto-kehyksessä suorittaa ensin kasvojen havaitsemisen häiriintymismallissa. Nämä häiriintymismallit jaetaan useisiin maskeihin, joista kussakin on vain yksi kasvo, ja loput kuvasta on maskattu valkoisella, mikä muuttaa monen käyttäjän ID:n luomisen yksinkertaiseksi tehtäväksi. Kun kehyksessä on luonut käyttäjän ID-kuvat, ne yhdistetään häiriintymismalliin, mikä mahdollistaa mallin kuvien ja luotujen kuvien nahtattoman integroimisen, mikä lopulta johtaa korkealaatuisen kuvan luomiseen.

Kokeet ja tulokset

Nyt kun meillä on ymmärrys EasyPhoto-kehyksestä, on aika tutkia EasyPhoto-kehyksen suorituskykyä.

Yllä oleva kuva on luotu EasyPhoto-liitännäisella, ja se käyttää tyyliin perustuvaa SD-mallia kuvan luomiseen. Kuten voidaan nähdä, luodut kuvat näyttävät realistisilta ja ovat melko tarkkoja.

Yllä oleva kuva on luotu EasyPhoto-kehyksessä käyttäen sarjakuva-tyyliin perustuvaa SD-mallia. Kuten voidaan nähdä, sarjakuva- ja realistiset kuvat näyttävät realistisilta ja muistuttavat läheisesti syötettyä kuvaa käyttäjän ohjeiden tai vaatimusten perusteella.

Yllä oleva kuva on luotu EasyPhoto-kehyksessä käyttäen monen henkilön mallia. Kuten voidaan nähdä, luodut kuvat ovat selkeitä, tarkkoja ja muistuttavat alkuperäistä kuvaa.

EasyPhoton avulla käyttäjät voivat nyt luoda laajan valikoiman AI-muotokuvia, luoda useita käyttäjän ID:itä säilytettyjen mallien avulla tai käyttää SD-mallia luomaan häiriintymismalleja. Yllä olevat kuvat osoittavat EasyPhoto-kehyksen kyvyn tuottaa monipuolisia ja korkealaatuisia AI-kuvia.

Johtopäätös

Tässä artikkelissa olemme puhuneet EasyPhotosta, uudesta WebUI-liitännaisesta, joka mahdollistaa loppukäyttäjille luoda AI-muotokuvia ja kuvia. EasyPhoto WebUI-liitännainen luo AI-muotokuvia mielivaltaisilla malleilla, ja sen nykyinen vaikutus EasyPhoto WebUI-liitännäisessä tukee eri valokuvatyylejä ja useita muokkauksia. Lisäksi parantamaan EasyPhoton kykyjä entisestään, käyttäjillä on mahdollisuus luoda kuvia SDXL-mallin avulla saavuttaakseen tyytyväisempiä, tarkempia ja monipuolisempia tuloksia. EasyPhoto-kehyksessä käyttää vakaata diffuusiopohjaista mallia, joka on yhdistetty esikoulutetun LoRA-mallin kanssa, joka tuottaa korkealaatuisia kuvatuloksia.

Onko sinä kiinnostunut kuvageneraattoreista? Tarjoamme myös luettelon parhaista AI-muotokuva-generaattoreista ja parhaista AI-kuvageneraattoreista, jotka ovat helppokäyttöisiä ja vaativat vain vähän teknistä osaamista.