Stabiilne difusioon Veebikasutajaliides ehk SD-WebUI on terviklik projekt stabiilse difusiooni mudelite jaoks, mis kasutab brauseri liidese pakkumiseks Gradio teeki. Täna räägime EasyPhotost, uuenduslikust WebUI pistikprogrammist, mis võimaldab lõppkasutajatel luua tehisintellekti portreesid ja pilte. EasyPhoto WebUI pistikprogramm loob AI-portreesid, kasutades erinevaid malle, toetades erinevaid fotostiile ja mitmeid modifikatsioone. Lisaks saavad kasutajad EasyPhoto võimaluste edasiseks täiustamiseks luua pilte, kasutades SDXL-mudelit, et saada rahuldavamaid, täpsemaid ja mitmekesisemaid tulemusi. Alustagem.

Sissejuhatus EasyPhotosse ja stabiilsesse difusiooni

Stabiilse difusiooni raamistik on populaarne ja jõuline difusioonipõhine genereerimisraamistik, mida arendajad kasutavad sisendteksti kirjelduste põhjal realistlike piltide genereerimiseks. Tänu oma võimalustele on Stable Diffusion raamistikul lai valik rakendusi, sealhulgas piltide väljamaalimine, piltide sissemaalimine ja kujutisest pildiks tõlkimine. Stable Diffusion Web UI ehk SD-WebUI paistab silma selle raamistiku ühe populaarseima ja tuntuma rakendusena. Sellel on Gradio raamatukogule ehitatud brauseri liides, mis pakub interaktiivset ja kasutajasõbralikku liidest Stable Diffusion mudelite jaoks. Piltide genereerimise kontrolli ja kasutatavuse edasiseks täiustamiseks integreerib SD-WebUI arvukalt stabiilse hajutamise rakendusi.

Tänu SD-WebUI raamistiku pakutavale mugavusele otsustasid EasyPhoto raamistiku arendajad luua selle pigem veebiplugina kui täisväärtusliku rakendusena. Erinevalt olemasolevatest meetoditest, mis sageli kannatavad identiteedi kaotuse all või lisavad piltidele ebarealistlikke funktsioone, kasutab EasyPhoto raamistik Stable Diffusion mudelite pilt-pildiks võimekust täpsete ja realistlike piltide loomiseks. Kasutajad saavad hõlpsasti installida EasyPhoto raamistiku WebUI laiendusena, suurendades kasutajasõbralikkust ja juurdepääsetavust suuremale hulgale kasutajatele. EasyPhoto raamistik võimaldab kasutajatel luua identiteedipõhiseid, kvaliteetseid ja realistlikud AI portreed mis sarnanevad väga sisendidentiteediga.

Esiteks palub EasyPhoto raamistik kasutajatel luua oma digitaalne doppelganger, laadides üles mõned pildid, et treenida veebis näo LoRA või madala asetusega kohanemismudelit. LoRA raamistik viimistleb difusioonimudeleid kiiresti, kasutades madala astme kohandamistehnoloogiat. See protsess võimaldab põhisel mudelil mõista konkreetsete kasutajate ID-teavet. Seejärel liidetakse ja integreeritakse väljaõppinud mudelid häirete jaoks stabiilse difusiooni baasmudeliga. Lisaks kasutab mudel interferentsiprotsessi ajal stabiilseid difusioonimudeleid, et häiremalli näopiirkonnad ümber värvida, ning sisend- ja väljundpiltide sarnasust kontrollitakse erinevate ControlNeti seadmete abil. 

EasyPhoto raamistik kasutab ka kaheetapilise difusiooniprotsessi, et lahendada võimalikke probleeme, nagu piiride artefaktid ja identiteedi kadu, tagades sellega, et loodud kujutised minimeerivad visuaalseid ebakõlasid, säilitades samal ajal kasutaja identiteedi. Lisaks ei piirdu EasyPhoto raamistiku häirete konveier ainult portreede genereerimisega, vaid seda saab kasutada ka kõige muu kasutaja ID-ga seotud genereerimiseks. See tähendab, et kui olete treeninud LoRA mudel konkreetse ID jaoks saate luua suure hulga AI-pilte ja seega võivad sellel olla laialt levinud rakendused, sealhulgas virtuaalsed proovid. 

Kokkuvõtteks võib öelda, et EasyPhoto raamistik

1. Pakub välja uudse lähenemisviisi LoRA mudeli treenimiseks, kaasates mitu LoRA mudelit, et säilitada loodud piltide näotruudus. 
2. Kasutab erinevaid tugevdamise õppemeetodeid, et optimeerida LoRA mudeleid näo identiteedi preemiate jaoks, mis aitab veelgi suurendada identiteetide sarnasust treeningpiltide ja genereeritud tulemuste vahel. 
3. Pakub välja kaheastmelise värvipõhise difusiooniprotsessi, mille eesmärk on luua kõrge esteetika ja sarnasusega AI-fotosid. 

EasyPhoto: arhitektuur ja koolitus

Järgmine joonis näitab EasyPhoto AI raamistiku koolitusprotsessi. 

Nagu näha, palub raamistik kasutajatel esmalt sisestada treeningpildid ja seejärel teostab näo tuvastamiseks näotuvastuse. Kui raamistik näo tuvastab, kärbib see sisendpildi, kasutades eelnevalt määratletud kindlat suhet, mis keskendub ainult näopiirkonnale. Seejärel rakendab raamistik naha kaunistamise ja silmapaistvuse tuvastamise mudeli, et saada puhas ja selge näo treenimise pilt. Need kaks mudelit mängivad üliolulist rolli näo visuaalse kvaliteedi tõstmisel ning tagavad ka selle, et taustinfo on eemaldatud ning treeningpilt sisaldab valdavalt nägu. Lõpuks kasutab raamistik neid töödeldud pilte ja sisendviipasid, et treenida LoRA mudelit, andes seeläbi sellele võimaluse mõista kasutajaspetsiifilisi näoomadusi tõhusamalt ja täpsemalt. 

Lisaks sisaldab raamistik koolitusfaasis kriitilist valideerimisetappi, mille käigus raamistik arvutab kasutaja sisendpildi ja koolitatud LoRA mudeli poolt genereeritud kinnituspildi vahelise näo ID lünka. Valideerimisetapp on põhiprotsess, mis mängib võtmerolli LoRA mudelite liitmise saavutamisel, tagades lõpuks, et koolitatud LoRA raamistik muundub doppelgangeriks ehk kasutaja täpseks digitaalseks esituseks. Lisaks valitakse näo_id kujutiseks optimaalse face_id skooriga kinnituspilt ja seda face_id kujutist kasutatakse seejärel häirete genereerimise identiteedi sarnasuse suurendamiseks. 

Edasi liikudes treenib raamistik ansambliprotsessi põhjal LoRA mudeleid, mille peamine eesmärk on tõenäosuse hindamine, samas kui näo identiteedi sarnasuse säilitamine on allavoolu eesmärk. Selle probleemi lahendamiseks kasutab EasyPhoto raamistik tugevdamisõppe tehnikaid, et optimeerida otse allavoolu eesmärki. Selle tulemusel paranevad LoRA mudelite näoomadused, mis suurendavad mallide loodud tulemuste sarnasust ja näitavad ka mallide üldistamist. 

Häireprotsess

Järgmisel joonisel on kujutatud EasyPhoto raamistiku individuaalse kasutaja ID häirete protsessi ja see on jagatud kolmeks osaks

• Näo eeltöötlus ControlNeti viite ja eeltöödeldud sisendkujutise saamiseks. 

• Esimene difusioon mis aitab luua jämedaid tulemusi, mis sarnanevad kasutaja sisendiga. 

• Teine difusioon mis fikseerib piirdeartefaktid, muutes pildid täpsemaks ja realistlikumaks. 

Sisend jaoks võtab raamistik face_id kujutise (mis genereeritakse koolituse valideerimise käigus, kasutades optimaalset face_id skoori) ja häiremalli. Väljund on väga detailne, täpne ja realistlik kasutaja portree ning sarnaneb järeldusmalli põhjal väga kasutaja identiteedi ja ainulaadse välimusega. Vaatame neid protsesse üksikasjalikult.

Näo eelprotsess

AI-portree loomiseks häiremalli põhjal ilma teadliku põhjenduseta on kasutada SD-mudelit näopiirkonna värvimiseks häiremallis. Lisaks sellele ei paranda ControlNeti raamistiku lisamine protsessi mitte ainult kasutaja identiteedi säilimist, vaid suurendab ka loodud piltide sarnasust. ControlNeti kasutamine piirkondlikuks maalimiseks võib aga kaasa tuua võimalikke probleeme, mis võivad hõlmata

• Vastuolu sisendi ja genereeritud pildi vahel: On ilmne, et mallipildi põhipunktid ei ühildu pildi face_id võtmepunktidega, mistõttu võib ControlNeti kasutamine koos näo_id kujutisega viitena põhjustada väljundis mõningaid ebakõlasid. 

• Defektid värvimispiirkonnas: Piirkonna maskeerimine ja seejärel uue näoga värvimine võib kaasa tuua märgatavaid defekte, eriti värvi piiril, mis mitte ainult ei mõjuta loodud kujutise autentsust, vaid mõjutab negatiivselt ka pildi realistlikkust. 
• Identiteedi kaotus kontrollivõrgu poolt: Kuna koolitusprotsess ei kasuta ControlNeti raamistikku, võib ControlNeti kasutamine häirete faasis mõjutada koolitatud LoRA mudelite võimet säilitada sisendkasutaja ID identiteet. 

Eespool nimetatud probleemide lahendamiseks pakub EasyPhoto raamistik kolme protseduuri. 

• Joonda ja kleebi: Näo kleepimise algoritmi kasutades püüab EasyPhoto raamistik lahendada näo ID ja malli vahelise näo orientiiride mittevastavuse. Esiteks arvutab mudel välja face_id ja malli kujutise näo orientiirid, mille järel määrab mudel afiinse teisendusmaatriksi, mida kasutatakse malli kujutise näo orientiiride joondamiseks face_id kujutisega. Saadud kujutis säilitab samad orientiirid nagu näo_id kujutis ja joondub ka mallipildiga. 

• Näokaitse: Face Fuse on uudne lähenemine, mida kasutatakse maski maalimise tulemusel tekkivate piiride artefaktide parandamiseks, ja see hõlmab artefaktide parandamist ControlNeti raamistiku abil. Meetod võimaldab EasyPhoto raamistikul tagada harmooniliste servade säilimise ja seeläbi lõppkokkuvõttes suunata pildi genereerimise protsessi. Näo liitmisalgoritm ühendab veelgi roop-kujutise (põhitõe kasutaja kujutised) ja malli, mis võimaldab saadud liitpildil paremini stabiliseerida servapiire, mis annab esimeses difusioonietapis parema väljundi. 
• ControlNeti juhitud valideerimine: Kuna LoRA mudeleid ei koolitatud ControlNeti raamistikuga, võib selle kasutamine järeldusprotsessi ajal mõjutada LoRA mudeli võimet identiteete säilitada. EasyPhoto üldistusvõimaluste suurendamiseks arvestab raamistik ControlNeti raamistiku mõju ja sisaldab LoRA mudeleid erinevatest etappidest. 

Esimene difusioon

Esimene difusioonietapp kasutab malli kujutist, et luua pilt, millel on kordumatu ID, mis sarnaneb sisendkasutaja ID-ga. Sisendpilt on kasutaja sisestatud kujutise ja malli kujutise suland, kalibreeritud näomask on aga sisendmask. Piltide loomise kontrolli veelgi suurendamiseks integreerib EasyPhoto raamistik kolm ControlNeti seadet, kus esimene ControlNeti seade keskendub liitpiltide juhtimisele, teine ​​ControlNeti seade juhib sulatatud kujutise värve ja viimane ControlNeti seade on avatud asendis. (reaalajas mitme inimese inimese poosi juhtimine) asendatud kujutisega, mis ei sisalda mitte ainult mallipildi näostruktuuri, vaid ka kasutaja näo identiteeti.

Teine difusioon

Teises hajutusetapis viimistletakse ja peenhäälestatakse näo piiri lähedal olevaid artefakte, pakkudes kasutajatele paindlikkust pildi konkreetse piirkonna maskeerimiseks, et suurendada genereerimise tõhusust sellel spetsiaalsel alal. Selles etapis liidab raamistik esimesest difusiooniastmest saadud väljundkujutise roop-kujutise või kasutaja kujutise tulemusega, genereerides seeläbi sisendpildi teise difusioonietapi jaoks. Üldiselt mängib teine ​​difusioonietapp otsustavat rolli genereeritud pildi üldise kvaliteedi ja detailide parandamisel. 

Mitu kasutaja ID-d

Üks EasyPhoto tipphetki on selle toetus mitme kasutaja ID genereerimiseks ja alloleval joonisel on kujutatud EasyPhoto raamistikus mitme kasutaja ID häirete protsessi konveier. 

Mitme kasutaja ID genereerimise toetamiseks teostab EasyPhoto raamistik esmalt näotuvastuse häirete mallil. Need interferentsimallid jagatakse seejärel arvukateks maskideks, kus iga mask sisaldab ainult ühte nägu ja ülejäänud pilt on maskeeritud valgeks, mis muudab mitme kasutaja ID genereerimise lihtsaks ülesandeks luua individuaalseid kasutajatunnuseid. Kui raamistik loob kasutaja ID-kujutised, liidetakse need kujutised järeldusmalliga, hõlbustades nii mallipiltide sujuvat integreerimist loodud piltidega, mille tulemuseks on lõpuks kvaliteetne pilt. 

Katsed ja tulemused

Nüüd, mil oleme EasyPhoto raamistikust aru saanud, on aeg uurida EasyPhoto raamistiku toimivust. 

Ülaltoodud kujutise genereerib EasyPhoto pistikprogramm ja see kasutab kujutise genereerimiseks stiilipõhist SD-mudelit. Nagu näha, näevad loodud pildid realistlikud ja üsna täpsed. 

Ülaltoodud pilt on loodud EasyPhoto raamistikuga, kasutades Comic Style'il põhinevat SD-mudelit. Nagu näha, näevad koomilised fotod ja realistlikud fotod üsna realistlikud välja ning sarnanevad kasutaja viipade või nõuete alusel sisendpildiga. 

Allpool lisatud pilt on loodud EasyPhoto raamistiku abil, kasutades Multi-Person malli. Nagu on selgelt näha, on loodud pildid selged, täpsed ja meenutavad originaalpilti. 

EasyPhoto abil saavad kasutajad nüüd luua laia valikut tehisintellekti portreesid või luua mitu kasutaja ID-d, kasutades säilitatud malle, või kasutada SD-mudelit järeldusmallide loomiseks. Ülaltoodud pildid näitavad EasyPhoto raamistiku võimet luua mitmekesiseid ja kvaliteetseid tehisintellekti pilte.

Järeldus

Selles artiklis oleme rääkinud EasyPhotost, a uudne WebUI pistikprogramm mis võimaldab lõppkasutajatel luua tehisintellekti portreesid ja pilte. EasyPhoto WebUI pistikprogramm genereerib AI-portreesid suvaliste mallide abil ning EasyPhoto WebUI praegused tagajärjed toetavad erinevaid fotostiile ja mitmeid modifikatsioone. Lisaks saavad kasutajad EasyPhoto võimaluste edasiseks täiustamiseks paindlikult luua pilte, kasutades SDXL-mudelit, et luua rahuldavamaid, täpsemaid ja mitmekesisemaid pilte. EasyPhoto raamistik kasutab stabiilset difusiooni baasmudelit koos eelkoolitatud LoRA mudeliga, mis toodab kvaliteetseid pildiväljundeid.

Kas olete huvitatud pildigeneraatoritest? Pakume ka nimekirja Parimad tehisintellekti peavõtete generaatorid ja Parimad AI pildigeneraatorid mida on lihtne kasutada ega vaja tehnilisi teadmisi.