Stable Diffusion Web User Interface, atau SD-WebUI, adalah proyek komprehensif untuk model Stable Diffusion yang menggunakan perpustakaan Gradio untuk menyediakan antarmuka browser. Hari ini, kita akan membahas tentang EasyPhoto, plugin WebUI inovatif yang memungkinkan pengguna akhir untuk menghasilkan potret AI dan gambar. Plugin WebUI EasyPhoto menciptakan potret AI menggunakan berbagai templat, mendukung gaya foto yang berbeda dan beberapa modifikasi. Selain itu, untuk meningkatkan kemampuan EasyPhoto lebih lanjut, pengguna dapat menghasilkan gambar menggunakan model SDXL untuk hasil yang lebih memuaskan, akurat, dan beragam. Mari kita mulai.

Pengenalan EasyPhoto dan Stable Diffusion

Kerangka kerja Stable Diffusion adalah kerangka kerja generasi difusi berbasis yang populer dan kuat yang digunakan oleh pengembang untuk menghasilkan gambar realistis berdasarkan deskripsi teks input. Berkat kemampuannya, kerangka kerja Stable Diffusion memiliki berbagai aplikasi, termasuk outpainting gambar, inpainting gambar, dan terjemahan gambar-ke-gambar. Antarmuka Web Stable Diffusion, atau SD-WebUI, menonjol sebagai salah satu aplikasi paling populer dan terkenal dari kerangka kerja ini. Ini memiliki antarmuka browser yang dibangun di atas perpustakaan Gradio, menyediakan antarmuka interaktif dan ramah pengguna untuk model Stable Diffusion. Untuk lebih meningkatkan kontrol dan kenyamanan dalam generasi gambar, SD-WebUI mengintegrasikan berbagai aplikasi Stable Diffusion.

Berkat kenyamanan yang ditawarkan oleh kerangka kerja SD-WebUI, pengembang kerangka kerja EasyPhoto memutuskan untuk menciptakannya sebagai plugin web bukan sebagai aplikasi lengkap. Berbeda dengan metode yang ada yang sering menderita kehilangan identitas atau memperkenalkan fitur tidak realistis ke dalam gambar, kerangka kerja EasyPhoto menggunakan kemampuan gambar-ke-gambar dari model Stable Diffusion untuk menghasilkan gambar yang akurat dan realistis. Pengguna dapat dengan mudah menginstal kerangka kerja EasyPhoto sebagai ekstensi dalam WebUI, meningkatkan kenyamanan pengguna dan aksesibilitas ke berbagai pengguna. Kerangka kerja EasyPhoto memungkinkan pengguna untuk menghasilkan potret AI yang dipandu identitas, berkualitas tinggi, dan realistis yang sangat mirip dengan identitas input.

Pertama, kerangka kerja EasyPhoto meminta pengguna untuk membuat doppelganger digital dengan mengunggah beberapa gambar untuk melatih model LoRA atau Low-Rank Adaptation online. Kerangka kerja LoRA dengan cepat melakukan fine-tuning model difusi dengan menggunakan teknologi adaptasi berperingkat rendah. Proses ini memungkinkan model dasar untuk memahami informasi ID pengguna tertentu. Model yang dilatih kemudian digabungkan dan diintegrasikan ke dalam model Stable Diffusion dasar untuk interferensi. Selain itu, selama proses interferensi, model menggunakan model difusi stabil dalam upaya untuk melukis ulang wilayah wajah dalam templat interferensi, dan kesamaan antara gambar input dan output diverifikasi menggunakan berbagai unit ControlNet.

Kerangka kerja EasyPhoto juga menerapkan proses difusi dua tahap untuk menangani masalah potensial seperti artefak batas dan kehilangan identitas, sehingga memastikan bahwa gambar yang dihasilkan meminimalkan inkonsistensi visual sambil mempertahankan identitas pengguna. Selain itu, pipa interferensi dalam kerangka kerja EasyPhoto tidak hanya terbatas pada menghasilkan potret, tetapi juga dapat digunakan untuk menghasilkan apa pun yang terkait dengan ID pengguna. Ini berarti bahwa sekali Anda melatih model LoRA untuk ID tertentu, Anda dapat menghasilkan berbagai gambar AI, dan dengan demikian dapat memiliki aplikasi yang luas, termasuk virtual try-ons.

Untuk merangkum, kerangka kerja EasyPhoto

1. Mengusulkan pendekatan baru untuk melatih model LoRA dengan menggabungkan beberapa model LoRA untuk mempertahankan kesetiaan wajah gambar yang dihasilkan.
2. Menggunakan berbagai metode pembelajaran penguatan untuk mengoptimalkan model LoRA untuk penghargaan identitas wajah yang lebih lanjut membantu dalam meningkatkan kesamaan identitas antara gambar pelatihan dan hasil yang dihasilkan.
3. Mengusulkan proses difusi berbasis inpaint dua tahap yang bertujuan untuk menghasilkan foto AI dengan estetika tinggi dan kesamaan.

EasyPhoto: Arsitektur & Pelatihan

Gambar berikut menunjukkan proses pelatihan kerangka kerja AI EasyPhoto.

Seperti yang dapat dilihat, kerangka kerja pertama kali meminta pengguna untuk memasukkan gambar pelatihan, lalu melakukan deteksi wajah untuk mendeteksi lokasi wajah. Setelah kerangka kerja mendeteksi wajah, itu memotong gambar input menggunakan rasio tertentu yang hanya fokus pada wilayah wajah. Kerangka kerja kemudian menerapkan model kecantikan kulit dan deteksi saliensi untuk mendapatkan gambar pelatihan wajah yang bersih dan jelas. Kedua model ini memainkan peran penting dalam meningkatkan kualitas visual wajah dan memastikan bahwa informasi latar belakang telah dihapus, dan gambar pelatihan sebagian besar berisi wajah. Akhirnya, kerangka kerja menggunakan gambar yang diproses dan prompt input untuk melatih model LoRA, dan dengan demikian memberinya kemampuan untuk memahami karakteristik wajah pengguna secara lebih efektif dan akurat.

Selain itu, selama fase pelatihan, kerangka kerja termasuk langkah validasi kritis, di mana kerangka kerja menghitung celah ID wajah antara gambar input pengguna dan gambar verifikasi yang dihasilkan oleh model LoRA yang dilatih. Langkah validasi adalah proses fundamental yang memainkan peran kunci dalam mencapai fusi model LoRA, pada akhirnya memastikan bahwa kerangka kerja LoRA yang dilatih berubah menjadi doppelganger, atau representasi digital yang akurat dari pengguna. Selain itu, gambar verifikasi yang memiliki skor face_id optimal akan dipilih sebagai gambar face_id, dan gambar face_id ini kemudian digunakan untuk meningkatkan kesamaan identitas generasi interferensi.

Melanjutkan, berdasarkan proses ensemble, kerangka kerja melatih model LoRA dengan estimasi kemungkinan sebagai tujuan utama, sedangkan mempertahankan kesamaan identitas wajah sebagai tujuan hilir. Untuk menangani masalah ini, kerangka kerja EasyPhoto menggunakan teknik pembelajaran penguatan untuk mengoptimalkan tujuan hilir secara langsung. Sebagai hasilnya, fitur wajah yang dipelajari model LoRA menunjukkan perbaikan yang meningkatkan kesamaan antara hasil generasi templat dan menunjukkan generalisasi di seluruh templat.

Proses Interferensi

Gambar berikut menunjukkan proses interferensi untuk ID Pengguna individu dalam kerangka kerja EasyPhoto, dan dibagi menjadi tiga bagian

• Praproses Wajah untuk mendapatkan referensi ControlNet dan gambar input yang diproses.

• Difusi Pertama yang membantu dalam menghasilkan hasil kasar yang menyerupai input pengguna.

• Difusi Kedua yang memperbaiki artefak batas, sehingga membuat gambar lebih akurat dan terlihat lebih realistis.

Untuk input, kerangka kerja mengambil gambar face_id (dihasilkan selama validasi pelatihan menggunakan skor face_id optimal), dan templat interferensi. Outputnya adalah potret yang sangat detail, akurat, dan realistis dari pengguna, dan sangat mirip dengan identitas dan penampilan unik pengguna berdasarkan templat inferensi. Mari kita lihat proses ini secara lebih rinci.

Praproses Wajah

Cara untuk menghasilkan potret AI berdasarkan templat interferensi tanpa penalaran sadar adalah dengan menggunakan model SD untuk mengisi wilayah wajah dalam templat interferensi. Selain itu, menambahkan kerangka kerja ControlNet ke dalam proses tidak hanya meningkatkan pelestarian identitas pengguna, tetapi juga meningkatkan kesamaan antara gambar yang dihasilkan. Namun, menggunakan ControlNet secara langsung untuk inpainting regional dapat memperkenalkan masalah potensial yang mungkin termasuk

• Inkonsistensi antara Gambar Input dan Gambar yang Dihasilkan: Jelas bahwa titik kunci dalam gambar templat tidak kompatibel dengan titik kunci dalam gambar face_id, yang mengapa menggunakan ControlNet dengan gambar face_id sebagai referensi dapat menyebabkan beberapa inkonsistensi dalam output.

• Defek dalam Wilayah Inpaint: Menggunakan topeng untuk mengisi wilayah dengan wajah baru mungkin menyebabkan defek yang terlihat, terutama di sepanjang batas inpaint yang tidak hanya memengaruhi autentisitas gambar yang dihasilkan, tetapi juga memengaruhi realisme gambar.
• Kehilangan Identitas oleh Control Net: Karena proses pelatihan tidak menggunakan kerangka kerja ControlNet, menggunakan ControlNet selama fase interferensi mungkin memengaruhi kemampuan model LoRA yang dilatih untuk mempertahankan identitas pengguna.

Untuk menangani masalah yang disebutkan di atas, kerangka kerja EasyPhoto mengusulkan tiga prosedur.

• Align dan Tempel: Dengan menggunakan algoritma perekatan wajah, kerangka kerja EasyPhoto bertujuan untuk menangani masalah ketidakcocokan antara landmark wajah antara face_id dan templat. Pertama, model menghitung landmark wajah dari gambar face_id dan gambar templat, kemudian model menentukan matriks transformasi afinitas yang akan digunakan untuk menyelaraskan landmark wajah gambar templat dengan gambar face_id. Gambar yang dihasilkan mempertahankan landmark wajah yang sama dengan gambar face_id, dan juga selaras dengan gambar templat.

• Fuse Wajah: Fuse Wajah adalah pendekatan baru yang digunakan untuk memperbaiki artefak batas yang dihasilkan oleh inpainting mask, dan melibatkan koreksi artefak menggunakan kerangka kerja ControlNet. Metode ini memungkinkan kerangka kerja EasyPhoto untuk memastikan pelestarian tepi yang harmonis, dan dengan demikian memandu proses generasi gambar. Algoritma fusi wajah lebih lanjut menggabungkan gambar roop (gambar pengguna asli) dan templat, yang memungkinkan gambar yang dihasilkan untuk menunjukkan stabilisasi batas tepi yang lebih baik, yang kemudian menyebabkan output yang ditingkatkan selama tahap difusi pertama.
• Validasi ControlNet yang Dipandu: Karena model LoRA tidak dilatih menggunakan kerangka kerja ControlNet, menggunakan kerangka kerja tersebut selama proses interferensi mungkin memengaruhi kemampuan model LoRA untuk mempertahankan identitas. Untuk meningkatkan kemampuan generalisasi EasyPhoto, kerangka kerja mempertimbangkan pengaruh kerangka kerja ControlNet, dan mengintegrasikan model LoRA dari tahap yang berbeda.

Difusi Pertama

Tahap difusi pertama menggunakan gambar templat untuk menghasilkan gambar dengan ID unik yang menyerupai ID pengguna input. Gambar input adalah fusi dari gambar input pengguna dan gambar templat, sedangkan masker wajah yang dikalibrasi adalah masker input. Untuk lebih meningkatkan kontrol atas generasi gambar, kerangka kerja EasyPhoto mengintegrasikan tiga unit ControlNet di mana unit ControlNet pertama fokus pada kontrol gambar yang difus, unit ControlNet kedua mengontrol warna gambar yang difus, dan unit ControlNet terakhir adalah openpose (kontrol pose manusia waktu nyata) dari gambar yang diganti yang tidak hanya berisi struktur wajah gambar templat, tetapi juga identitas wajah pengguna.

Difusi Kedua

Pada tahap difusi kedua, artefak di dekat batas wajah diperhalus dan diperbarui, serta memberikan pengguna fleksibilitas untuk menutupi area tertentu dalam gambar dalam upaya untuk meningkatkan efektivitas generasi dalam area yang didedikasikan. Pada tahap ini, kerangka kerja menggabungkan gambar output yang diperoleh dari tahap difusi pertama dengan gambar roop atau hasil gambar pengguna, sehingga menghasilkan gambar input untuk tahap difusi kedua. Secara keseluruhan, tahap difusi kedua memainkan peran penting dalam meningkatkan kualitas keseluruhan dan detail gambar yang dihasilkan.

Multi ID Pengguna

Salah satu sorotan EasyPhoto adalah dukungannya untuk menghasilkan beberapa ID pengguna, dan gambar di bawah menunjukkan pipa interferensi untuk multi ID pengguna dalam kerangka kerja EasyPhoto.

Untuk mendukung generasi multi-ID pengguna, kerangka kerja EasyPhoto pertama-tama melakukan deteksi wajah pada templat interferensi. Templat interferensi ini kemudian dibagi menjadi beberapa masker, di mana setiap masker berisi hanya satu wajah, dan sisanya dari gambar diisi dengan warna putih, sehingga memecah generasi multi-ID pengguna menjadi tugas sederhana untuk menghasilkan ID pengguna individu. Setelah kerangka kerja menghasilkan gambar ID pengguna, gambar-gambar tersebut digabungkan ke dalam templat interferensi, sehingga memfasilitasi integrasi yang mulus dari gambar templat dengan gambar yang dihasilkan, yang pada akhirnya menghasilkan gambar berkualitas tinggi.

Eksperimen dan Hasil

Sekarang bahwa kita memiliki pemahaman tentang kerangka kerja EasyPhoto, saatnya bagi kita untuk mengeksplorasi kinerja kerangka kerja EasyPhoto.

Gambar di atas dihasilkan oleh plugin EasyPhoto, dan menggunakan model SD berbasis gaya untuk generasi gambar. Seperti yang dapat dilihat, gambar yang dihasilkan terlihat realistis dan cukup akurat.

Gambar yang ditambahkan di atas dihasilkan oleh kerangka kerja EasyPhoto menggunakan model SD berbasis gaya komik. Seperti yang dapat dilihat, foto komik dan foto realistis terlihat sangat realistis dan mirip dengan gambar input berdasarkan prompt atau persyaratan pengguna.

Gambar yang ditambahkan di bawah telah dihasilkan oleh kerangka kerja EasyPhoto dengan menggunakan templat multi-pengguna. Seperti yang dapat dilihat dengan jelas, gambar yang dihasilkan jelas, akurat, dan mirip dengan gambar asli.

Dengan bantuan EasyPhoto, pengguna sekarang dapat menghasilkan berbagai potret AI, atau menghasilkan beberapa ID pengguna menggunakan templat yang dipertahankan, atau menggunakan model SD untuk menghasilkan templat interferensi. Gambar yang ditambahkan di atas menunjukkan kemampuan kerangka kerja EasyPhoto dalam menghasilkan gambar AI yang beragam dan berkualitas tinggi.

Kesimpulan

Dalam artikel ini, kita telah membahas tentang EasyPhoto, sebuah plugin WebUI inovatif yang memungkinkan pengguna akhir untuk menghasilkan potret AI dan gambar. Plugin WebUI EasyPhoto menghasilkan potret AI menggunakan templat sewenang-wenang, dan implikasi saat ini dari plugin WebUI EasyPhoto mendukung gaya foto yang berbeda dan beberapa modifikasi. Selain itu, untuk lebih meningkatkan kemampuan EasyPhoto, pengguna memiliki fleksibilitas untuk menghasilkan gambar menggunakan model SDXL untuk menghasilkan gambar yang lebih memuaskan, akurat, dan beragam. Kerangka kerja EasyPhoto menggunakan model difusi stabil dasar yang dipasangkan dengan model LoRA pra-dilatih yang menghasilkan output gambar berkualitas tinggi.

Terminat dalam generator gambar? Kami juga menyediakan daftar Generator Potret AI Terbaik dan Generator Gambar AI Terbaik yang mudah digunakan dan tidak memerlukan keahlian teknis.