โมเดลและแพลตฟอร์ม AI

การแก้ไขภาพเซมานติกความแม่นยำสูงด้วย EditGAN

Kunal Kejriwal
เพิ่ม Unite.AI ลงในแหล่งข้อมูลที่คุณต้องการบน Google
ประเด็นสำคัญEditGAN ช่วยให้แก้ไขภาพระดับพิกเซลได้โดยการปรับเปลี่ยนหน้ากากการแบ่งส่วนในพื้นที่แฝงของ…
ดูเพิ่มเติม
  • EditGAN ช่วยให้แก้ไขภาพระดับพิกเซลได้โดยการปรับเปลี่ยนหน้ากากการแบ่งส่วนในพื้นที่แฝงของ GAN
  • โมเดลเรียนรู้เวกเตอร์การแก้ไขที่นำกลับมาใช้ใหม่ได้จากข้อมูลที่ติดป้ายน้อยที่สุด เพื่อการประยุกต์ใช้แบบเรียลไทม์ที่รวดเร็ว
  • มันบรรลุความแม่นยำที่ไม่เคยมีมาก่อนในงานอย่างการเปลี่ยนซี่ล้อรถหรือการขยายม่านตา

เครือข่ายปฏิปักษ์เชิงกำเนิด หรือ GAN มีการประยุกต์ใช้ใหม่ในการแก้ไขภาพ ในช่วงไม่กี่เดือนที่ผ่านมา EditGAN ได้รับความนิยมในวงการ AI/ML เพราะเป็นวิธีใหม่ในการแก้ไขภาพเชิงความหมายที่ให้ความแม่นยำและคุณภาพสูง บทความนี้จะอธิบายโมเดลและเหตุผลที่เป็นพัฒนาการสำคัญของงานประเภทนี้

ทำไมจึงต้องมี EditGAN?

แม้ GAN แบบเดิมช่วยพัฒนาการแก้ไขภาพด้วย AI แต่ยังมีปัญหาในการสร้างระบบตั้งแต่ต้น ได้แก่ ต้องใช้ข้อมูลพร้อมป้ายกำกับการแบ่งส่วนเชิงความหมายจำนวนมาก ควบคุมได้เพียงภาพรวม และมักทำได้เพียงแทรกค่าระหว่างภาพ ปัญหาประสิทธิภาพเหล่านี้ทำให้การใช้งานในวงกว้างยาก ต้นฉบับระบุว่า NVIDIA (NVDA ) เสนอ EditGAN ในปี 2022

EditGAN รองรับ การแก้ไขภาพ โดยเปลี่ยนมาสก์แบ่งส่วนที่ละเอียด สถาปัตยกรรมสร้างแบบจำลองภาพและการแบ่งส่วนร่วมกัน จึงต้องการข้อมูลที่ติดป้ายกำกับเพียงเล็กน้อย ภาพถูกฝังในปริภูมิแฝงของ GAN แล้วปรับรหัสแฝงแบบมีเงื่อนไขให้ตรงกับมาสก์ที่แก้ไข

เพื่อลดต้นทุนการปรับให้เหมาะสมซ้ำ โมเดลเรียนรู้ “เวกเตอร์การแก้ไข” ในปริภูมิแฝงและนำไปใช้กับภาพอื่นได้อย่างรวดเร็ว เรียนรู้เวกเตอร์ได้หลายรูปแบบ ผลการทดลองแสดงการแก้ไขรายละเอียดเล็กมากโดยรักษาคุณภาพภาพ

ผู้เขียนระบุว่า EditGAN เป็นกรอบการแก้ไขภาพที่ใช้ GAN กรอบแรกซึ่งรวมคุณสมบัติต่อไปนี้:

  • แก้ไขได้แม่นยำสูง
  • ใช้ข้อมูลติดป้ายกำกับน้อย
  • นำไปใช้ในสถานการณ์แบบเรียลไทม์ได้อย่างมีประสิทธิภาพ
  • ประกอบการแก้ไขหลายอย่างพร้อมกันได้
  • ใช้กับภาพจาก GAN ภาพจริงที่ฝังในโมเดล และภาพนอกโดเมนบางชนิด

การแก้ไขภาพเชิงความหมายด้วย EditGAN

StyleGAN2 ซึ่งเป็นกรอบ GAN ชั้นนำด้านการสังเคราะห์ภาพ เป็นองค์ประกอบหลักในการสร้างภาพ โดยแปลงรหัสแฝงที่สุ่มจากการแจกแจงปกติหลายตัวแปรเป็นภาพสมจริง เป็นโมเดลเชิงกำเนิดแบบลึกที่ฝึกเพื่อ สังเคราะห์ภาพ คุณภาพสูงและใช้เป็นฐานของการเรียนรู้ความหมายในภาพ

การฝึกและการอนุมานการแบ่งส่วน

EditGAN ใช้ตัวเข้ารหัสร่วมกับการปรับให้เหมาะสมเพื่อฝังภาพในปริภูมิแฝง ฝึกตัวเข้ารหัสด้วยภาพจาก GAN และภาพจริง โดยใช้ฟังก์ชันสูญเสียสร้างภาพกลับแบบ L2 ระดับพิกเซลและ LPIPS และใช้รหัสแฝงกำกับตัวเข้ารหัสโดยตรงเมื่อทำงานกับตัวอย่างที่ GAN สร้าง

จากนั้นฝังภาพที่มีป้ายกำกับการแบ่งส่วนลงในปริภูมิแฝง และใช้ฟังก์ชันสูญเสีย cross-entropy ฝึกแขนงแบ่งส่วนของตัวสร้างภาพ

ใช้มาสก์แบ่งส่วนค้นหาความหมายในปริภูมิแฝง

เป้าหมายคือใช้การแจกแจงร่วมของภาพกับการแบ่งส่วนสำหรับ การแก้ไขภาพความแม่นยำสูง หากต้องการแก้ภาพ x ระบบจะฝังภาพในปริภูมิแฝงหรือใช้ภาพที่โมเดลสร้าง แขนงแบ่งส่วนสร้างมาสก์ y โดยภาพ RGB และมาสก์ใช้รหัสแฝง w เดียวกัน ผู้ใช้จึงแก้มาสก์ด้วยเครื่องมือติดป้ายกำกับหรือวาดภาพดิจิทัลได้ตามต้องการ

วิธีแก้ไขระหว่างการอนุมาน

เวกเตอร์ที่ได้จากการปรับให้เหมาะสมมีความหมายเชิงภาพและมักแยกคุณลักษณะต่าง ๆ ออกจากกันได้ เมื่อต้องแก้ภาพใหม่จึงฝังภาพแล้วใช้การแก้ไขที่เรียนรู้แล้ว โดยไม่ต้องเริ่มปรับใหม่ทั้งหมด เป็นการเฉลี่ยต้นทุนการคำนวณครั้งแรกไปยังหลายภาพ

แต่การแยกคุณลักษณะยังไม่สมบูรณ์ เวกเตอร์อาจกระทบส่วนอื่นเมื่อใช้กับภาพใหม่ จึงอาจต้องปรับเพิ่มตอนทดสอบเพื่อกำจัดสิ่งผิดปกติ มีสามโหมดหลัก:

  • แก้ไขแบบเรียลไทม์ด้วยเวกเตอร์: สำหรับการแก้เฉพาะบริเวณที่แยกจากคุณลักษณะอื่นได้ดี ใช้เวกเตอร์ที่เรียนรู้แล้วด้วยขนาดต่างกันเพื่อโต้ตอบได้รวดเร็ว
  • เวกเตอร์ร่วมกับการปรับปรุงแบบกำกับตนเอง: เริ่มจากเวกเตอร์เดิมแล้วปรับเพิ่มไม่กี่ขั้นตอน เพื่อลดผลกระทบต่อส่วนอื่นที่ยังแยกไม่สมบูรณ์
  • แก้ไขด้วยการปรับให้เหมาะสม: สำหรับการเปลี่ยนแปลงขนาดใหญ่หรือเฉพาะภาพ ต้องเริ่มปรับใหม่ เพราะไม่สามารถถ่ายโอนด้วยเวกเตอร์เดิมได้โดยตรง

การนำไปใช้

ประเมินบนสี่หมวด ได้แก่ รถยนต์ นก แมว และใบหน้า โดยใช้คู่ภาพกับมาสก์ที่ติดป้ายกำกับ 16, 30, 30 และ 16 คู่ตามลำดับ เมื่อแก้ด้วยการปรับให้เหมาะสมล้วนหรือเรียนรู้เวกเตอร์ ใช้ตัวปรับ Adam จำนวน 100 ขั้นตอน

หมวดแมว รถยนต์ และใบหน้าใช้ภาพจริงจากชุดทดสอบ DatasetGAN ที่ไม่ได้ใช้ฝึก GAN แล้วฝังด้วยตัวเข้ารหัสและการปรับให้เหมาะสม ส่วนหมวดนกสาธิตบนภาพที่ GAN สร้าง

ผลลัพธ์

ผลลัพธ์เชิงคุณภาพในโดเมน

ภาพแสดงการใช้เวกเตอร์เดิมกับภาพใหม่แล้วปรับเพิ่ม 30 ขั้นตอน การแก้ไขในแต่ละหมวดแยกจากส่วนอื่นได้ดีและรักษาคุณภาพโดยรวม เมื่อเทียบกับวิธีอื่น EditGAN แก้ไขซับซ้อนอย่างแม่นยำพร้อมรักษาเอกลักษณ์ของวัตถุและคุณภาพของภาพ

ตัวอย่างละเอียดมาก ได้แก่ ขยายรูม่านตาหรือแก้ซี่ล้อรถ สามารถแก้ส่วนที่มีเพียงไม่กี่พิกเซลหรือเปลี่ยนภาพครั้งใหญ่ได้ บางผลลัพธ์แตกต่างจากภาพที่พบในข้อมูลฝึก GAN

ผลลัพธ์นอกโดเมน

ทดสอบด้วย MetFaces โดยเรียนรู้เวกเตอร์จากใบหน้าจริงในโดเมนก่อน จากนั้นฝังภาพเหมือนนอกโดเมนด้วยการปรับ 100 ขั้นตอน และใช้เวกเตอร์ร่วมกับการปรับปรุงแบบกำกับตนเอง 30 ขั้นตอน

ผลลัพธ์เชิงปริมาณ

ใช้เบนช์มาร์กการเพิ่มรอยยิ้มที่ MaskGAN เสนอ โดยเปลี่ยนใบหน้าเป็นกลางให้ยิ้ม แล้ววัดสามด้าน:

  • ความถูกต้องเชิงความหมาย: ตัวจำแนกคุณลักษณะรอยยิ้มที่ฝึกแล้วตรวจว่าภาพหลังแก้ไขกำลังยิ้มหรือไม่
  • คุณภาพระดับการแจกแจง: คำนวณ Kernel Inception Distance (KID) และ Fréchet Inception Distance (FID) ระหว่างชุดทดสอบ CelebA กับภาพทดสอบที่แก้ไข 400 ภาพ
  • การรักษาอัตลักษณ์: ใช้เครือข่ายสกัดคุณลักษณะ ArcFace ที่ฝึกแล้ววัดว่าใบหน้ายังคงเป็นบุคคลเดิมเพียงใด

ตารางเปรียบเทียบ EditGAN กับวิธีฐานในงานแก้รอยยิ้ม วิธีที่กล่าวถึง ได้แก่:

  • MaskGAN: รับภาพที่ไม่ยิ้ม มาสก์เดิม และมาสก์เป้าหมายที่ยิ้ม ต้องใช้ข้อมูลติดป้ายกำกับมากกว่า EditGAN
  • Local Editing: จัดกลุ่มคุณลักษณะ GAN เพื่อแก้เฉพาะบริเวณและอาศัยภาพอ้างอิง
  • InterFaceGAN: ค้นหาเวกเตอร์ในปริภูมิแฝงเช่นกัน แต่ต้องใช้ป้ายกำกับและตัวจำแนกคุณลักษณะเสริมจำนวนมาก และไม่ละเอียดเท่า EditGAN
  • StyleGAN2Distillation: ใช้โมเดลเวกเตอร์แก้ไขสร้างชุดฝึก โดยไม่จำเป็นต้องฝังภาพจริงในรูปแบบเดียวกัน

ข้อจำกัด

EditGAN มีข้อจำกัดของ GAN คือแก้ได้เฉพาะภาพที่ GAN สามารถแทนได้ ทำให้ใช้ในสถานการณ์หลากหลายได้ยาก แม้เวกเตอร์ช่วยถ่ายโอนการแก้ไขละเอียดไปยังภาพอื่น แต่ไม่ได้ทำให้ข้อจำกัดนี้หายไป

สรุป

ข้อจำกัดด้านการใช้งานจริง ความต้องการข้อมูลติดป้ายกำกับจำนวนมาก และประสิทธิภาพหรือความแม่นยำที่ไม่สม่ำเสมอ ทำให้ GAN แบบเดิมยังไม่เป็นมาตรฐานสำหรับการแก้ไขภาพ EditGAN พยายามแก้ปัญหาเหล่านี้ด้วยการแก้ไขเชิงความหมายคุณภาพสูงและแม่นยำ ผลที่รายงานแสดงว่าเหนือกว่าวิธีเปรียบเทียบบางวิธีและเป็นแนวทางที่มีศักยภาพ

Kunal Kejriwal เป็นวิศวกรแบ็กเอนด์ที่เชี่ยวชาญด้าน Python, PostgreSQL, Redis และโครงสร้างพื้นฐานคลาวด์บน GCP และ AWS. ด้วยประสบการณ์สามปีในการสร้างและขยายระบบที่ใช้งานจริง เขาเขียนเกี่ยวกับโครงสร้างพื้นฐาน AI, ระบบแบบกระจาย, และสถาปัตยกรรมที่อยู่เบื้องหลังการนำเวิร์กโหลดแมชชีนเลิร์นนิงไปใช้งาน