Stable Diffusion Web User Interface หรือ SD-WebUI เป็นโครงการที่ครอบคลุมสำหรับโมเดล Stable Diffusion ซึ่งใช้ไลบรารี Gradio เพื่อให้สามารถใช้งานผ่านเบราว์เซอร์ได้ วันนี้ เราจะพูดถึง EasyPhoto โปรแกรมปลั๊กอิน WebUI ที่ช่วยให้ผู้ใช้สามารถสร้างภาพถ่าย AI และภาพที่มีลักษณะเฉพาะตัวได้ โปรแกรมปลั๊กอิน EasyPhoto WebUI สร้างภาพถ่าย AI โดยใช้เทมเพลตต่างๆ ที่รองรับหลายรูปแบบและหลายการปรับเปลี่ยน นอกจากนี้ เพื่อเพิ่มความสามารถของ EasyPhoto ให้มากขึ้น ผู้ใช้สามารถสร้างภาพโดยใช้โมเดล SDXL เพื่อให้ได้ผลลัพธ์ที่น่าพอใจ แม่นยำ และหลากหลายมากขึ้น มาเริ่มกันเลย

การแนะนำ EasyPhoto และ Stable Diffusion

เฟรมเวิร์ก Stable Diffusion เป็นเฟรมเวิร์กการสร้างภาพที่ใช้การกระจายตัวที่เป็นที่นิยมและแข็งแกร่ง ซึ่งผู้พัฒนาใช้ในการสร้างภาพที่สมจริงตามคำอธิบายข้อความที่ให้มา เนื่องจากความสามารถของมัน เฟรมเวิร์ก Stable Diffusion มีการใช้งานที่หลากหลาย รวมถึงการขยายภาพออกนอกขอบเดิม การเติมภาพภายในบริเวณที่กำหนด และการแปลภาพจากภาพหนึ่งไปเป็นอีกภาพหนึ่ง Stable Diffusion Web UI หรือ SD-WebUI เป็นหนึ่งในแอปพลิเคชันที่มีชื่อเสียงที่สุดของเฟรมเวิร์กนี้ โดยมีอินเทอร์เฟซผู้ใช้ที่สร้างขึ้นโดยใช้ไลบรารี Gradio ทำให้ผู้ใช้สามารถใช้งานโมเดล Stable Diffusion ได้อย่างง่ายดายและสนุกสนาน

ด้วยความสะดวกที่ SD-WebUI มอบให้ ผู้พัฒนาเฟรมเวิร์ก EasyPhoto จึงตัดสินใจสร้างเป็นปลั๊กอินเว็บแทนที่จะเป็นแอปพลิเคชันเต็มรูปแบบ ในทางตรงกันข้ามกับวิธีการที่มีอยู่ซึ่งมักจะสูญเสียเอกลักษณ์หรือเพิ่มลักษณะที่ไม่สมจริงลงในภาพ เฟรมเวิร์ก EasyPhoto ใช้ความสามารถในการแปลภาพจากภาพหนึ่งไปเป็นอีกภาพหนึ่งของโมเดล Stable Diffusion เพื่อสร้างภาพที่แม่นยำและสมจริง ผู้ใช้สามารถติดตั้งเฟรมเวิร์ก EasyPhoto เป็น ส่วนขยายภายใน WebUI ได้อย่างง่ายดาย ทำให้ผู้ใช้สามารถเข้าถึงได้ง่ายขึ้น เฟรมเวิร์ก EasyPhoto ช่วยให้ผู้ใช้สามารถสร้างภาพบุคคล AI ที่สมจริง ซึ่งรักษาเอกลักษณ์และมีคุณภาพสูง ซึ่งคล้ายกับภาพต้นฉบับที่ให้มา

ขั้นแรก เฟรมเวิร์ก EasyPhoto จะขอให้ผู้ใช้สร้างดิจิตอลดอปเปลแกงโดยอัปโหลดภาพหลายภาพเพื่อฝึกโมเดล LoRA หรือ Low-Rank Adaptation ออนไลน์ โมเดล LoRA จะปรับโมเดลการกระจายตัวได้อย่างรวดเร็วโดยใช้เทคโนโลยีการปรับเปลี่ยนอันดับต่ำ ทำให้โมเดลฐานสามารถเข้าใจข้อมูล ID ของผู้ใช้ได้ โมเดลที่ฝึกแล้วจะถูกผสมและรวมเข้ากับโมเดล Stable Diffusion ระหว่างกระบวนการอนุมาน เพื่อที่จะใช้โมเดลการกระจายตัวที่เสถียรในการทาสีใหม่บริเวณใบหน้าในเทมเพลตการอนุมาน และความคล้ายคลึงกันระหว่างภาพเข้าและภาพออกจะถูกตรวจสอบโดยใช้หน่วย ControlNet ต่างๆ

เฟรมเวิร์ก EasyPhoto ยังใช้กระบวนการกระจายตัวสองขั้นตอนเพื่อแก้ไขปัญหาที่อาจเกิดขึ้น เช่น อาร์ติแฟคต์บริเวณขอบและการสูญเสียเอกลักษณ์ ทำให้แน่ใจว่าภาพที่สร้างขึ้นมีข้อผิดพลาดด้านภาพน้อยที่สุด ในขณะที่ยังคงเอกลักษณ์ของผู้ใช้ไว้ กระบวนการอนุมานในเฟรมเวิร์ก EasyPhoto ไม่ได้จำกัดเฉพาะการสร้างภาพถ่ายเท่านั้น แต่ยังสามารถใช้สร้างสิ่งอื่นๆ ที่เกี่ยวข้องกับ ID ของผู้ใช้ได้ ซึ่งหมายความว่าเมื่อคุณฝึกโมเดล LoRA สำหรับ ID ใด ID หนึ่ง คุณสามารถสร้างภาพ AI หลากหลายรูปแบบ และมีการใช้งานที่กว้างขวาง รวมถึงการลองเสื้อผ้าเสมือน

สรุปแล้ว เฟรมเวิร์ก EasyPhoto

1. เสนอแนวทางใหม่ในการฝึกโมเดล LoRA โดยรวมโมเดล LoRA หลายๆ โมเดลเพื่อรักษาความเหมือนของใบหน้าในภาพที่สร้างขึ้น
2. ใช้วิธีการเรียนรู้แบบเสริมเพื่อปรับโมเดล LoRA สำหรับรางวัลเอกลักษณ์ใบหน้า ซึ่งช่วยเพิ่มความคล้ายคลึงกันระหว่างภาพที่ให้มาและผลลัพธ์ที่สร้างขึ้น
3. เสนอกระบวนการกระจายตัวสองขั้นตอนที่ใช้การเติมภาพภายในบริเวณที่กำหนดเพื่อสร้างภาพ AI ที่มีคุณภาพสูงและคล้ายกับภาพที่ให้มา

EasyPhoto : สถาปัตยกรรมและการฝึก

รูปด้านล่างแสดงกระบวนการฝึกของเฟรมเวิร์ก EasyPhoto AI

ดังที่เห็นได้จากภาพ เฟรมเวิร์กจะขอให้ผู้ใช้ป้อนภาพฝึกก่อน จากนั้นจะทำการตรวจจับใบหน้าเพื่อตรวจหาตำแหน่งของใบหน้า เมื่อตรวจพบใบหน้าแล้ว เฟรมเวิร์กจะใช้อัตราส่วนการคัดภาพที่กำหนดไว้ล่วงหน้าเพื่อเน้นเฉพาะบริเวณใบหน้า จากนั้นจะใช้โมเดลการเพิ่มความสวยงามของใบหน้าและโมเดลการตรวจจับจุดเด่นเพื่อให้ได้ภาพฝึกที่สะอาดและชัดเจน โมเดลเหล่านี้มีบทบาทสำคัญในการปรับปรุงคุณภาพภาพและทำให้แน่ใจว่าข้อมูลพื้นหลังถูกลบออกและภาพฝึกมีใบหน้าเป็นส่วนหลัก สุดท้าย เฟรมเวิร์กจะใช้ภาพที่ประมวลผลแล้วและคำสั่งป้อนเพื่อฝึกโมเดล LoRA และทำให้สามารถเข้าใจลักษณะเฉพาะของใบหน้าผู้ใช้ได้ดีขึ้น

นอกจากนี้ ในระหว่างขั้นตอนฝึก เฟรมเวิร์กจะมีขั้นตอนการตรวจสอบที่สำคัญ ซึ่งจะคำนวณช่องว่าง ID ใบหน้าระหว่างภาพป้อนของผู้ใช้และภาพยืนยันที่สร้างโดยโมเดล LoRA ที่ฝึกแล้ว ขั้นตอนการตรวจสอบเป็นกระบวนการที่สำคัญที่ช่วยให้โมเดล LoRA รวมเข้ากับโมเดล Stable Diffusion ได้ และทำให้โมเดล LoRA ที่ฝึกแล้วกลายเป็นดิจิทัลฝาแฝดหรือการแสดงภาพดิจิตอลที่แม่นยำของผู้ใช้ นอกจากนี้ ภาพยืนยันที่มีคะแนน ID ใบหน้าที่ดีที่สุดจะถูกเลือกเป็นภาพ ID ใบหน้า และจะใช้เพื่อปรับปรุงความคล้ายคลึงกันของเอกลักษณ์ในกระบวนการสร้าง

ต่อไป ตามกระบวนการรวม เฟรมเวิร์กจะฝึกโมเดล LoRA โดยมีเป้าหมายหลักในการประมาณการความน่าจะเป็น ในขณะที่การรักษาความคล้ายคลึงกันของเอกลักษณ์ใบหน้าเป็นเป้าหมายรอง เพื่อแก้ไขปัญหานี้ เฟรมเวิร์ก EasyPhoto ใช้เทคนิคการเรียนรู้แบบเสริมเพื่อปรับเป้าหมายรองโดยตรง ซึ่งทำให้ลักษณะใบหน้าที่โมเดล LoRA เรียนรู้ได้รับการปรับปรุง ซึ่งนำไปสู่ความคล้ายคลึงกันที่ดีขึ้นระหว่างผลลัพธ์ที่สร้างขึ้นและเทมเพลต

กระบวนการอนุมาน

รูปด้านล่างแสดงกระบวนการอนุมานสำหรับ ID ผู้ใช้แต่ละคนในเฟรมเวิร์ก EasyPhoto และแบ่งออกเป็นสามส่วน

• การประมวลผลใบหน้า สำหรับการรับอ้างอิง ControlNet และการประมวลผลภาพป้อน

• การกระจายตัวครั้งแรก ที่ช่วยในการสร้างผลลัพธ์คร่าวๆ ที่คล้ายกับภาพป้อนของผู้ใช้

• การกระจายตัวครั้งที่สอง ที่แก้ไขอาร์ติแฟคต์บริเวณขอบ ทำให้ภาพดูแม่นยำและสมจริงมากขึ้น

สำหรับภาพป้อน เฟรมเวิร์กจะรับภาพ ID ใบหน้า (ที่สร้างขึ้นระหว่างการตรวจสอบการฝึกโดยใช้คะแนน ID ใบหน้าที่ดีที่สุด) และเทมเพลตการอนุมาน ผลลัพธ์คือภาพถ่ายที่มีรายละเอียดสูงและแม่นยำมาก ซึ่งคล้ายกับเอกลักษณ์และลักษณะเฉพาะของผู้ใช้ตามเทมเพลตการอนุมาน มาเริ่มดูกระบวนการเหล่านี้อย่างละเอียด

การประมวลผลใบหน้า

วิธีการสร้างภาพถ่าย AI โดยอาศัยเทมเพลตการอนุมานโดยไม่ต้องมีการให้เหตุผลอย่างตั้งใจคือการใช้โมเดล SD เพื่อทาสีใหม่บริเวณใบหน้าในเทมเพลตการอนุมาน นอกจากนี้ การเพิ่มเฟรมเวิร์ก ControlNet ลงในกระบวนการจะไม่เพียงแต่ช่วยรักษาเอกลักษณ์ของผู้ใช้เท่านั้น แต่ยังช่วยเพิ่มความคล้ายคลึงกันระหว่างภาพที่สร้างขึ้นด้วย

• ความไม่สอดคล้องกันระหว่างภาพป้อนและภาพที่สร้างขึ้น : เห็นได้ชัดว่าจุดสำคัญในภาพเทมเพลตไม่เข้ากันกับจุดสำคัญในภาพ ID ใบหน้า ซึ่งเป็นเหตุผลที่การใช้ ControlNet โดยอ้างอิงจากภาพ ID ใบหน้าอาจนำไปสู่ความไม่สอดคล้องกันในผลลัพธ์

• ข้อบกพร่องในพื้นที่ทาสีใหม่ : การปิดพื้นที่และทาสีใหม่ด้วยใบหน้าใหม่อาจทำให้เกิดข้อบกพร่องที่เห็นได้ชัด โดยเฉพาะอย่างยิ่งบริเวณขอบที่ทาสีใหม่ ซึ่งจะไม่เพียงแต่ส่งผลต่อความถูกต้องของภาพที่สร้างขึ้นเท่านั้น แต่ยังจะส่งผลเสียต่อความสมจริงของภาพด้วย
• การสูญเสียเอกลักษณ์โดย Control Net : เนื่องจากกระบวนการฝึกไม่ได้ใช้เฟรมเวิร์ก ControlNet การใช้ ControlNet ระหว่างกระบวนการอนุมานอาจส่งผลต่อความสามารถของโมเดล LoRA ที่ฝึกแล้วในการรักษาเอกลักษณ์ของผู้ใช้

เพื่อแก้ไขปัญหาที่กล่าวมาข้างต้น เฟรมเวิร์ก EasyPhoto เสนอกระบวนการสามขั้นตอน

• จัดตำแหน่งและวาง : โดยใช้อัลกอริทึมการวางใบหน้าเพื่อแก้ไขปัญหาการไม่ตรงกันของจุดสำคัญใบหน้าระหว่างภาพ ID ใบหน้าและภาพเทมเพลต อัลกอริทึมจะคำนวณจุดสำคัญใบหน้าของภาพ ID ใบหน้าและภาพเทมเพลตก่อน จากนั้นจะกำหนดเมทริกซ์การแปลงแบบแอฟไฟน์ที่จะใช้ในการจัดตำแหน่งจุดสำคัญใบหน้าในภาพเทมเพลตให้ตรงกับภาพ ID ใบหน้า ภาพที่ได้จะยังคงมีจุดสำคัญใบหน้าเหมือนกับภาพ ID ใบหน้าและจัดตำแหน่งให้ตรงกับภาพเทมเพลต

• การหลอมใบหน้า : การหลอมใบหน้าเป็นวิธีการใหม่ที่ใช้ในการแก้ไขข้อบกพร่องบริเวณขอบที่เกิดจากการทาสีใหม่ โดยใช้เฟรมเวิร์ก ControlNet วิธีนี้ช่วยให้เฟรมเวิร์ก EasyPhoto รักษาความกลมกลืนของขอบได้ และช่วยชี้นำกระบวนการสร้างภาพ อัลกอริทึมยังผสานภาพ roop ซึ่งเป็นภาพผู้ใช้จริงที่ใช้อ้างอิง เข้ากับเทมเพลต ทำให้ขอบของภาพผสานมีเสถียรภาพมากขึ้นและปรับปรุงผลลัพธ์ในขั้นตอนการกระจายตัวครั้งแรก
• การตรวจสอบโดย ControlNet : เนื่องจากโมเดล LoRA ไม่ได้ถูกฝึกโดยใช้เฟรมเวิร์ก ControlNet การใช้ ControlNet ระหว่างกระบวนการอนุมานอาจส่งผลต่อความสามารถของโมเดล LoRA ในการรักษาเอกลักษณ์ เพื่อเพิ่มความสามารถในการสร้างภาพที่หลากหลายของเฟรมเวิร์ก EasyPhoto เฟรมเวิร์กจะพิจารณาผลกระทบของเฟรมเวิร์ก ControlNet และรวมโมเดล LoRA จากขั้นต่างๆ

การกระจายตัวครั้งแรก

ขั้นตอนการกระจายตัวครั้งแรกใช้ภาพเทมเพลตเพื่อสร้างภาพที่มีเอกลักษณ์เฉพาะตัวที่คล้ายกับภาพป้อนของผู้ใช้ ภาพป้อนเป็นการผสมผสานระหว่างภาพป้อนของผู้ใช้และภาพเทมเพลต ในขณะที่หน้ากากที่ปรับให้เหมาะสมเป็นหน้ากากป้อน เพื่อเพิ่มการควบคุมการสร้างภาพ เฟรมเวิร์ก EasyPhoto รวมหน่วย ControlNet สามหน่วย โดยหน่วย ControlNet หน่วยแรกควบคุมการผสมผสานของภาพ หน่วย ControlNet หน่วยที่สองควบคุมสีของภาพผสม และหน่วย ControlNet สุดท้ายคือการควบคุมท่าทางของมนุษย์หลายคนแบบเรียลไทม์ (openpose) ของภาพที่ถูกแทนที่ ซึ่งไม่เพียงแต่มีโครงสร้างใบหน้าจากภาพเทมเพลตเท่านั้น แต่ยังมีเอกลักษณ์ของผู้ใช้ด้วย

การกระจายตัวครั้งที่สอง

ในขั้นตอนการกระจายตัวครั้งที่สอง อาร์ติแฟคต์บริเวณขอบของใบหน้าจะถูกปรับให้ละเอียดและปรับปรุงให้ดีขึ้น นอกจากนี้ ผู้ใช้ยังสามารถเลือกพื้นที่เฉพาะในภาพเพื่อเพิ่มประสิทธิภาพการสร้างในพื้นที่นั้นได้ ในขั้นตอนนี้ เฟรมเวิร์กจะผสมผสานภาพที่ได้จากขั้นตอนการกระจายตัวครั้งแรกกับภาพ roop (หรือผลลัพธ์ของภาพผู้ใช้) เพื่อสร้างภาพป้อนสำหรับการกระจายตัวครั้งที่สอง โดยรวมแล้ว ขั้นตอนการกระจายตัวครั้งที่สองมีบทบาทสำคัญในการปรับปรุงคุณภาพและรายละเอียดของภาพที่สร้างขึ้น

ผู้ใช้หลายคน

จุดเด่นหนึ่งของ EasyPhoto คือการรองรับการสร้าง ID ผู้ใช้หลายคน รูปด้านล่างแสดงกระบวนการอนุมานสำหรับ ID ผู้ใช้หลายคนในเฟรมเวิร์ก EasyPhoto

เพื่อรองรับการสร้าง ID ผู้ใช้หลายคน เฟรมเวิร์ก EasyPhoto จะทำการตรวจจับใบหน้าในเทมเพลตการอนุมานก่อน จากนั้นจะแบ่งเทมเพลตออกเป็นหลายหน้ากาก โดยแต่ละหน้ากากจะมีใบหน้าเพียงหนึ่งใบ และส่วนที่เหลือของภาพจะถูกปิดทับด้วยสีขาว ทำให้การสร้าง ID ผู้ใช้หลายคนกลายเป็นงานที่ง่ายขึ้น เมื่อเฟรมเวิร์กสร้างภาพ ID ผู้ใช้แล้ว จะรวมภาพเหล่านั้นเข้ากับเทมเพลตการอนุมาน ทำให้สามารถผสมผสานภาพเทมเพลตกับภาพที่สร้างขึ้นได้อย่างราบรื่น และส่งผลให้ได้ภาพที่มีคุณภาพสูง

การทดลองและผลลัพธ์

ตอนนี้ที่เราเข้าใจเฟรมเวิร์ก EasyPhoto แล้ว มาเริ่มดูผลการทำงานของเฟรมเวิร์ก EasyPhoto กัน

ภาพด้านบนถูกสร้างโดยปลั๊กอิน EasyPhoto โดยใช้โมเดล Style based SD สำหรับการสร้างภาพ และเห็นได้ชัดว่าภาพที่สร้างขึ้นมีลักษณะที่สมจริงและแม่นยำ

ภาพที่เพิ่มด้านบนถูกสร้างโดยเฟรมเวิร์ก EasyPhoto โดยใช้โมเดล Comic Style based SD และเห็นได้ชัดว่าภาพถ่ายที่สร้างขึ้นมีลักษณะที่สมจริงและคล้ายกับภาพที่ให้มาจากคำสั่งหรือความต้องการของผู้ใช้

ภาพที่เพิ่มด้านล่างถูกสร้างโดยเฟรมเวิร์ก EasyPhoto โดยใช้เทมเพลต Multi-Person และเห็นได้ชัดว่าภาพที่สร้างขึ้นมีความชัดเจนและแม่นยำ และคล้ายกับภาพต้นฉบับ

ด้วยเฟรมเวิร์ก EasyPhoto ผู้ใช้สามารถสร้างภาพถ่าย AI ที่หลากหลายหรือสร้าง ID ผู้ใช้หลายคนโดยใช้เทมเพลตที่ถูกเก็บไว้ หรือใช้โมเดล SD เพื่อสร้างเทมเพลตการอนุมานได้ ภาพที่เพิ่มด้านบนแสดงให้เห็นถึงความสามารถของเฟรมเวิร์ก EasyPhoto ในการสร้างภาพ AI ที่มีคุณภาพสูงและหลากหลาย

สรุป

ในบทความนี้ เราได้พูดถึง EasyPhoto ซึ่งเป็นปลั๊กอิน WebUI แบบใหม่ ที่ช่วยให้ผู้ใช้สามารถสร้างภาพถ่าย AI และภาพที่มีลักษณะเฉพาะตัวได้ โปรแกรมปลั๊กอิน EasyPhoto WebUI สร้างภาพถ่าย AI โดยใช้เทมเพลตต่างๆ ที่รองรับหลายรูปแบบและหลายการปรับเปลี่ยน นอกจากนี้ ผู้ใช้ยังสามารถสร้างภาพโดยใช้โมเดล SDXL เพื่อให้ได้ผลลัพธ์ที่น่าพอใจ แม่นยำ และหลากหลายมากขึ้น เฟรมเวิร์ก EasyPhoto ใช้โมเดลการกระจายตัวที่เสถียรเป็นฐานและรวมกับโมเดล LoRA ที่ฝึกไว้ล่วงหน้าเพื่อสร้างภาพที่มีคุณภาพสูง

สนใจในเครื่องมือสร้างภาพ AI หรือไม่? เรายังมีรายชื่อเครื่องมือสร้างภาพบุคคล AI ที่ดีที่สุดและเครื่องมือสร้างภาพ AI ที่ดีที่สุด ซึ่งใช้งานง่ายและไม่ต้องมีความเชี่ยวชาญทางเทคนิค