Тогтвортой тархалт Вэб хэрэглэгчийн интерфэйс буюу SD-WebUI нь хөтчийн интерфэйсийг хангахын тулд Gradio номын санг ашигладаг Stable Diffusion загваруудад зориулсан цогц төсөл юм. Өнөөдөр бид эцсийн хэрэглэгчдэд хиймэл оюун ухаанаар хөрөг зураг үүсгэх боломжийг олгодог шинэлэг WebUI залгаас болох EasyPhoto-ийн талаар ярих болно. EasyPhoto WebUI залгаас нь янз бүрийн загваруудыг ашиглан AI хөрөг зургийг бүтээж, янз бүрийн зургийн хэв маяг, олон өөрчлөлтийг дэмждэг. Нэмж дурдахад EasyPhoto-ийн чадавхийг сайжруулахын тулд хэрэглэгчид SDXL загварыг ашиглан илүү сэтгэл ханамжтай, үнэн зөв, олон төрлийн үр дүнд хүрэхийн тулд зураг үүсгэх боломжтой. Эхэлцгээе.

EasyPhoto болон тогтвортой тархалтын талаархи танилцуулга

Тогтвортой тархалтын хүрээ нь оруулгын текстийн тайлбар дээр үндэслэн бодит зураг үүсгэхийн тулд хөгжүүлэгчид ашигладаг түгээмэл бөгөөд бат бөх тархалтад суурилсан үүсгүүр юм. Тогтвортой тархалтын хүрээ нь чадавхынхаа ачаар дүрсийг будах, дүрсийг будах, зурагнаас зураг руу хөрвүүлэх зэрэг өргөн хүрээний хэрэглээтэй. Stable Diffusion Web UI буюу SD-WebUI нь энэхүү хүрээний хамгийн алдартай бөгөөд алдартай програмуудын нэг гэдгээрээ онцлог юм. Энэ нь Gradio номын сан дээр бүтээгдсэн хөтөчийн интерфейстэй бөгөөд тогтвортой тархалтын загваруудад интерактив, хэрэглэгчдэд ээлтэй интерфэйсийг бий болгодог. Зураг үүсгэхэд хяналт, ашиглах чадварыг сайжруулахын тулд SD-WebUI нь олон тооны тогтвортой тархалтын програмуудыг нэгтгэдэг.

SD-WebUI хүрээний санал болгож буй тав тухтай байдлын улмаас EasyPhoto хүрээний хөгжүүлэгчид үүнийг бүрэн хэмжээний програм биш харин вэб залгаас болгон бүтээхээр шийдсэн. Дүрслэлээ алдах эсвэл бодит бус шинж чанаруудыг зурганд оруулдаг одоо байгаа аргуудаас ялгаатай нь EasyPhoto хүрээ нь Stable Diffusion загваруудын дүрсийг дүрслэх чадварыг ашиглан үнэн зөв, бодитой дүрсийг гаргадаг. Хэрэглэгчид EasyPhoto хүрээг WebUI доторх өргөтгөл болгон хялбархан суулгаж, илүү өргөн хүрээний хэрэглэгчдэд хэрэглэхэд хялбар, хүртээмжтэй байдлыг сайжруулдаг. EasyPhoto хүрээ нь хэрэглэгчдэд таниулах, өндөр чанартай, мөн бодит хиймэл хиймэл хөрөг зураг оролтын таних тэмдэгтэй маш төстэй.

Нэгдүгээрт, EasyPhoto хүрээ нь хэрэглэгчдэд нүүр LoRA эсвэл Low-Rank Adaptation загварыг онлайнаар сургах цөөн хэдэн зураг байршуулж, өөрсдийн дижитал doppelganger үүсгэхийг хүсдэг. LoRA хүрээ нь доод түвшний дасан зохицох технологийг ашиглан тархалтын загваруудыг хурдан тохируулдаг. Энэ процесс нь суурилсан загварт тодорхой хэрэглэгчдийн ID мэдээллийг ойлгох боломжийг олгодог. Дараа нь бэлтгэгдсэн загваруудыг нэгтгэж, хөндлөнгийн оролцооны үүднээс тогтвортой тархалтын үндсэн загварт нэгтгэдэг. Цаашилбал, интерференцийн процессын явцад загвар нь хөндлөнгийн загвар дахь нүүрний хэсгүүдийг дахин будах оролдлого хийхдээ тогтвортой тархалтын загваруудыг ашигладаг бөгөөд оролт ба гаралтын зургуудын ижил төстэй байдлыг ControlNet-ийн янз бүрийн нэгжүүдийг ашиглан шалгадаг. 

EasyPhoto хүрээ нь хилийн олдвор, таних тэмдэг алдагдах зэрэг болзошгүй асуудлуудыг шийдвэрлэхийн тулд хоёр үе шаттай тархалтын процессыг ашигладаг бөгөөд ингэснээр үүсгэсэн зургууд нь хэрэглэгчийн хувийн шинж чанарыг хадгалахын зэрэгцээ харааны зөрчилдөөнийг багасгах боломжийг олгодог. Цаашилбал, EasyPhoto хүрээн дэх интерференцийн дамжуулах хоолой нь зөвхөн хөрөг зураг үүсгэхээр хязгаарлагдахгүй бөгөөд хэрэглэгчийн ID-тай холбоотой бүх зүйлийг үүсгэхэд ашиглаж болно. Энэ нь та нэг удаа сургана гэсэн үг юм LoRA загвар Тодорхой ID-ийн хувьд та олон төрлийн хиймэл оюун ухааны зургийг үүсгэж болох ба ингэснээр виртуал туршилтуудыг багтаасан өргөн хэрэглээний программуудтай байж болно. 

Дүгнэж хэлэхэд EasyPhoto хүрээ

1. Үүсгэсэн зургуудын нүүрний үнэнч байдлыг хадгалахын тулд олон LoRA загварыг нэгтгэн LoRA загварыг сургах шинэ аргыг санал болгож байна. 
2. Нүүрний таних урамшууллын LoRA загваруудыг оновчтой болгохын тулд сургалтын янз бүрийн бататгах аргуудыг ашигладаг бөгөөд энэ нь сургалтын зураг болон үүссэн үр дүнгийн ижил төстэй байдлыг сайжруулахад тусалдаг. 
3. Өндөр гоо зүй, ижил төстэй AI гэрэл зургуудыг бий болгох зорилготой хоёр үе шаттай будаг дээр суурилсан тархалтын процессыг санал болгож байна. 

EasyPhoto: Архитектур ба сургалт

Дараах зураг нь EasyPhoto AI хүрээний сургалтын үйл явцыг харуулж байна. 

Эндээс харахад хүрээ нь эхлээд хэрэглэгчдээс сургалтын зургуудыг оруулахыг шаарддаг бөгөөд дараа нь нүүрний байршлыг илрүүлэхийн тулд царай илрүүлэх ажиллагааг гүйцэтгэдэг. Фреймворк нь нүүр царайг илрүүлсний дараа зөвхөн нүүрний хэсэгт анхаарлаа төвлөрүүлэх урьдчилан тодорхойлсон тодорхой харьцааг ашиглан оролтын зургийг тайрдаг. Дараа нь уг хүрээ нь цэвэр, тунгалаг нүүрний сургалтын дүр төрхийг олж авахын тулд арьсыг гоо сайхан болгох, тод байдлыг илрүүлэх загварыг ашигладаг. Эдгээр хоёр загвар нь нүүрний харааны чанарыг сайжруулахад чухал үүрэг гүйцэтгэдэг бөгөөд суурь мэдээллийг устгасан, сургалтын зураг нь нүүр царайг голчлон агуулна. Эцэст нь, уг хүрээ нь LoRA загварыг сургахад эдгээр боловсруулсан зураг, оролтын сануулгыг ашигладаг бөгөөд ингэснээр хэрэглэгчийн нүүрний онцлогийг илүү үр дүнтэй, үнэн зөв ойлгох чадвартай болгодог. 

Цаашилбал, сургалтын үе шатанд уг хүрээ нь хэрэглэгчийн оруулсан зураг болон бэлтгэгдсэн LoRA загвараар үүсгэсэн баталгаажуулалтын зургийн хоорондох нүүрний ID зөрүүг тооцоолох чухал баталгаажуулалтын үе шатыг агуулдаг. Баталгаажуулах алхам нь LoRA загваруудыг нэгтгэхэд гол үүрэг гүйцэтгэдэг үндсэн үйл явц бөгөөд эцэст нь бэлтгэгдсэн LoRA хүрээ doppelganger буюу хэрэглэгчийн үнэн зөв дижитал дүрслэл болгон хувиргадаг. Нэмж хэлэхэд, хамгийн оновчтой face_id оноотой баталгаажуулах зургийг face_id зургаар сонгох ба энэ face_id зургийг хөндлөнгийн оролцоо үүсгэх ижил төстэй байдлыг сайжруулахад ашиглана. 

Чуулганы үйл явц дээр үндэслэн уг хүрээ нь LoRA загваруудыг сургах гол зорилго нь магадлалын тооцоолол, харин нүүрний ижил төстэй байдлыг хадгалах нь доод зорилт юм. Энэ асуудлыг шийдвэрлэхийн тулд EasyPhoto хүрээ нь доод зорилтыг шууд оновчтой болгохын тулд сургалтын бэхжүүлэх арга техникийг ашигладаг. Үүний үр дүнд LoRA загвар өмсөгчдийн сурч буй нүүрний онцлог нь сайжруулалтыг харуулж байгаа нь загвар үүсгэсэн үр дүнгийн хоорондын ижил төстэй байдлыг нэмэгдүүлэхээс гадна загваруудын ерөнхий байдлыг харуулдаг. 

Хөндлөнгийн үйл явц

Дараах зураг нь EasyPhoto хүрээн дэх хувь хүний ​​хэрэглэгчийн ID-д хөндлөнгөөс оролцох үйл явцыг харуулсан бөгөөд гурван хэсэгт хуваагдсан болно.

• Нүүрний урьдчилсан боловсруулалт ControlNet лавлагаа болон урьдчилан боловсруулсан оролтын дүрсийг авахад зориулагдсан. 

• Эхний тархалт Энэ нь хэрэглэгчийн оруулсан мэдээлэлтэй төстэй бүдүүлэг үр дүнг гаргахад тусалдаг. 

• Хоёр дахь тархалт Энэ нь хилийн олдворуудыг засч, зургийг илүү нарийвчлалтай болгож, илүү бодитой болгодог. 

Оролтын хувьд хүрээ нь face_id дүрсийг (хамгийн оновчтой face_id оноог ашиглан сургалтын баталгаажуулалтын явцад үүсгэсэн) болон хөндлөнгийн загварыг авдаг. Гаралт нь хэрэглэгчийн өндөр нарийвчлалтай, үнэн зөв, бодит хөрөг зураг бөгөөд дүгнэлтийн загвар дээр үндэслэн хэрэглэгчийн таних байдал, өвөрмөц дүр төрхтэй маш төстэй юм. Эдгээр үйл явцыг нарийвчлан авч үзье.

Нүүрний өмнөх процесс

Ухамсартай үндэслэлгүйгээр хөндлөнгийн загварт суурилсан хиймэл оюун ухааны хөрөг үүсгэх арга бол интерференцийн загварт нүүрний хэсгийг будахын тулд SD загварыг ашиглах явдал юм. Нэмж дурдахад, ControlNet хүрээг уг процесст нэмэх нь хэрэглэгчийн хувийн шинж чанарыг хадгалахаас гадна үүсгэсэн зургуудын ижил төстэй байдлыг сайжруулдаг. Гэсэн хэдий ч ControlNet-ийг бүс нутгийн будгийн ажилд шууд ашиглах нь багтаж болзошгүй асуудлуудыг танилцуулж болно

• Оруулсан болон үүсгэсэн зургийн хоорондын зөрчил: Загварын зургийн гол цэгүүд нь face_id зургийн гол цэгүүдтэй тохирохгүй байгаа нь тодорхой байна, иймээс ControlNet-ийг face_id дүрстэй хамт лавлагаа болгон ашиглах нь гаралтын зарим зөрчилд хүргэж болзошгүй юм. 

• Inpaint бүсийн согогууд: Бүс нутгийг далдлах, дараа нь шинэ нүүрээр будах нь мэдэгдэхүйц согог, ялангуяа будгийн хилийн дагуу үүссэн зургийн жинхэнэ байдалд нөлөөлөхөөс гадна зургийн бодит байдалд сөргөөр нөлөөлнө. 
• Хяналтын сүлжээгээр таних тэмдэг алдагдах: Сургалтын үйл явц нь ControlNet хүрээг ашигладаггүй тул хөндлөнгийн үе шатанд ControlNet-ийг ашиглах нь бэлтгэгдсэн LoRA загваруудын оролтын хэрэглэгчийн ID-г хадгалах чадварт нөлөөлж болзошгүй. 

Дээр дурдсан асуудлуудыг шийдвэрлэхийн тулд EasyPhoto хүрээ нь гурван процедурыг санал болгодог. 

• Зэрэгцүүлэх ба буулгах: Нүүрийг наах алгоритмыг ашигласнаар EasyPhoto хүрээ нь нүүрний id болон загвар хоёрын хоорондох нүүрний тэмдэгтүүдийн хоорондын үл нийцэх асуудлыг шийдвэрлэх зорилготой юм. Эхлээд загвар нь face_id болон загварын зургийн нүүрний тэмдэглэгээг тооцоолж, үүний дараа загвар нь загварын зургийн нүүрний тэмдэглэгээг face_id дүрстэй зэрэгцүүлэхэд ашиглагдах аффин хувиргах матрицыг тодорхойлно. Үүссэн зураг нь face_id зургийн ижил цэгүүдийг хадгалж, мөн загвар зурагтай зэрэгцэнэ. 

• Нүүрний гал хамгаалагч: Face Fuse нь маск будсаны үр дүнд үүссэн хилийн олдворыг засахад ашигладаг шинэлэг арга бөгөөд ControlNet хүрээг ашиглан олдворуудыг засч залруулах явдал юм. Энэхүү арга нь EasyPhoto хүрээ нь эв найртай ирмэгийг хадгалах боломжийг олгодог бөгөөд ингэснээр зураг үүсгэх үйл явцыг удирдан чиглүүлдэг. Нүүр царайг нэгтгэх алгоритм нь roop(ground true user images) зураг ба загварыг цаашид нэгтгэдэг бөгөөд энэ нь үүссэн хайлсан дүрс нь ирмэгийн хилийн тогтворжилтыг илүү сайн харуулах боломжийг олгодог бөгөөд энэ нь тархалтын эхний үе шатанд сайжруулсан гаралтад хүргэдэг. 
• ControlNet удирдамжтай баталгаажуулалт: LoRA загваруудыг ControlNet хүрээ ашиглан сургаагүй тул дүгнэлт хийх явцад үүнийг ашиглах нь LoRA загварын таних тэмдэгийг хадгалах чадварт нөлөөлж болзошгүй. EasyPhoto-ийн ерөнхий чадавхийг сайжруулахын тулд уг хүрээ нь ControlNet хүрээний нөлөөг авч үздэг бөгөөд өөр өөр үе шатуудын LoRA загваруудыг нэгтгэсэн. 

Эхний тархалт

Эхний тархалтын үе шат нь загвар дүрсийг ашиглан оролтын хэрэглэгчийн id-тэй төстэй өвөрмөц id-тай зураг үүсгэдэг. Оруулсан зураг нь хэрэглэгчийн оруулсан зураг болон загвар дүрсийг нэгтгэсэн, харин тохируулсан нүүрний маск нь оролтын маск юм. Зураг үүсгэх хяналтыг цаашид нэмэгдүүлэхийн тулд EasyPhoto хүрээ нь гурван ControlNet нэгжийг нэгтгэсэн бөгөөд эхний ControlNet нэгж нь нэгтгэсэн зургуудын удирдлагад төвлөрдөг, хоёр дахь ControlNet нэгж нь хайлсан зургийн өнгийг хянадаг бөгөөд эцсийн ControlNet нэгж нь нээлттэй байна. Загварын зургийн нүүрний бүтэц төдийгүй хэрэглэгчийн нүүр царайг агуулсан солигдсон зургийн (бодит цагийн олон хүний ​​​​хүний ​​дүр төрхийг хянах).

Хоёр дахь тархалт

Хоёр дахь тархалтын үе шатанд нүүрний хилийн ойролцоох олдворуудыг боловсронгуй болгож, нарийн тааруулахын зэрэгцээ тухайн тусгай зориулалтын талбайд үүсгэх үр нөлөөг нэмэгдүүлэхийн тулд зураг дээрх тодорхой бүсийг далдлах уян хатан байдлыг хэрэглэгчдэд олгодог. Энэ үе шатанд фреймворк нь тархалтын эхний үе шатнаас олж авсан гаралтын дүрсийг рооп дүрс эсвэл хэрэглэгчийн зургийн үр дүнтэй нэгтгэж, улмаар хоёр дахь тархалтын үе шатанд оролтын дүрсийг үүсгэдэг. Ерөнхийдөө хоёр дахь тархалтын үе шат нь ерөнхий чанар, үүссэн зургийн дэлгэрэнгүй мэдээллийг сайжруулахад чухал үүрэг гүйцэтгэдэг. 

Олон хэрэглэгчийн ID

EasyPhoto-ийн онцлох зүйлсийн нэг нь олон хэрэглэгчийн ID үүсгэхэд дэмжлэг үзүүлдэг бөгөөд доорх зураг нь EasyPhoto хүрээн дэх олон хэрэглэгчийн ID-д хөндлөнгөөс оролцох үйл явцын шугамыг харуулж байна. 

Олон хэрэглэгчийн ID үүсгэхэд дэмжлэг үзүүлэхийн тулд EasyPhoto хүрээ нь эхлээд хөндлөнгийн загвар дээр нүүр таних ажлыг гүйцэтгэдэг. Дараа нь эдгээр хөндлөнгийн загварууд нь олон тооны маскуудад хуваагддаг бөгөөд маск бүр нь зөвхөн нэг нүүрийг агуулж, үлдсэн зураг нь цагаанаар бүрхэгдсэн байдаг тул олон хэрэглэгчийн ID үүсгэх ажлыг энгийн хэрэглэгчийн ID үүсгэх энгийн ажил болгон задалдаг. Хүрээ нь хэрэглэгчийн ID дүрсийг үүсгэсний дараа эдгээр зургуудыг дүгнэлтийн загварт нэгтгэж, загвар зургуудыг үүсгэсэн зургуудтай саадгүй нэгтгэх ажлыг хөнгөвчлөх бөгөөд энэ нь эцсийн дүндээ өндөр чанартай дүрсийг бий болгодог. 

Туршилт ба үр дүн

Одоо бид EasyPhoto хүрээний талаар ойлголттой болсон тул EasyPhoto хүрээний гүйцэтгэлийг судлах цаг болжээ. 

Дээрх зургийг EasyPhoto залгаас үүсгэсэн бөгөөд зураг үүсгэхдээ Style-д суурилсан SD загварыг ашигладаг. Ажиглаж байгаагаар үүсгэсэн зургууд нь бодитой бөгөөд нэлээд нарийвчлалтай харагдаж байна. 

Дээр нэмсэн зургийг EasyPhoto хүрээ нь Comic Style дээр суурилсан SD загварыг ашиглан үүсгэсэн. Эндээс харахад хошин зураг, бодит зурагнууд нь нэлээд бодитой харагддаг бөгөөд хэрэглэгчийн санал хүсэлт, шаардлагын үндсэн дээр оруулсан зурагтай маш төстэй байдаг. 

Доор нэмсэн зургийг EasyPhoto framework ашиглан Олон хүний ​​загвар ашиглан бүтээв. Эндээс харахад үүссэн зургууд нь тодорхой, үнэн зөв, анхны зурагтай төстэй байдаг. 

EasyPhoto-ийн тусламжтайгаар хэрэглэгчид одоо олон төрлийн хиймэл хиймэл хөрөг үүсгэх, эсвэл хадгалагдсан загваруудыг ашиглан олон хэрэглэгчийн ID үүсгэх эсвэл SD загварыг ашиглан дүгнэлтийн загвар үүсгэх боломжтой. Дээр нэмсэн зургууд нь EasyPhoto хүрээ нь төрөл бүрийн, өндөр чанартай хиймэл оюун ухаантай зургуудыг бүтээх чадварыг харуулж байна.

Дүгнэлт

Энэ нийтлэлд бид EasyPhoto, a шинэ WebUI залгаас Энэ нь эцсийн хэрэглэгчдэд AI хөрөг, зураг үүсгэх боломжийг олгодог. EasyPhoto WebUI залгаас нь дурын загваруудыг ашиглан AI хөрөг үүсгэдэг бөгөөд EasyPhoto WebUI-ийн одоогийн үр дагавар нь янз бүрийн зургийн хэв маяг, олон өөрчлөлтийг дэмждэг. Нэмж дурдахад EasyPhoto-ийн чадавхийг сайжруулахын тулд хэрэглэгчид SDXL загварыг ашиглан илүү сэтгэл ханамжтай, үнэн зөв, олон янзын зураг үүсгэх уян хатан байдаг. EasyPhoto хүрээ нь өндөр чанартай зургийн гаралтыг гаргадаг, урьдчилан бэлтгэгдсэн LoRA загвартай хослуулан тогтвортой тархалтын үндсэн загварыг ашигладаг.

Зураг үүсгэгчийг сонирхож байна уу? Бид мөн жагсаалтыг гаргаж өгдөг Шилдэг AI Headshot генераторууд болон Шилдэг AI дүрс үүсгэгчид хэрэглэхэд хялбар бөгөөд техникийн мэдлэг шаарддаггүй.