ศัลยกรรมพลาสติกสำหรับใบหน้าที่สร้างด้วย GAN

การวิจัยใหม่ ใหม่ จากประเทศเกาหลีใต้ สัญญาว่าจะปรับปรุงคุณภาพของข้อมูลใบหน้าซินเทติกที่สร้างโดยเครือข่าย Generative Adversarial Networks (GANs)

ระบบนี้สามารถระบุและแก้ไขอาร์ติแฟคที่เกิดจากกระบวนการ GAN รวมถึงการแทนที่เส้นผมที่ถูกบดบังโดยหมวก การแทนที่ส่วนหน้าโดยสมบูรณ์ที่หายไปในต้นฉบับ และการลบสิ่งบดบัง เช่น มือและแว่นตากันแดด และยังทำงานได้ดีกับผลลัพธ์ทางภูมิทัศน์และสถาปัตยกรรม

ซ้ายสำหรับแต่ละคอลัมน์ ผลลัพธ์ GAN ต้นฉบับพร้อมข้อบกพร่อง ตามด้วยวิธีการอื่นๆ ในการแก้ไขข้อบกพร่อง และสุดท้ายคือวิธีการที่นักวิจัยจากเกาหลีใต้ใช้ Source: https://arxiv.org/pdf/2104.06118.pdf

แนวทางที่มีมาก่อนหน้านี้ในการปรับปรุงคุณภาพของภาพที่สร้างโดย GAN มักจะถือว่าข้อบกพร่องเป็นผลพลอยได้จากกระบวนการ และไม่ได้พยายามแก้ไขข้อบกพร่องเหล่านั้น

ในทางกลับกัน การวิจัยของเกาหลีใต้เสนอวิธีการ “แก้ไข” ภาพที่ได้รับผลกระทบโดยไม่ส่งผลกระทบต่อกระบวนการสร้างต่อไป โดยการระบุส่วนประกอบที่ทำให้เกิดข้อบกพร่องและลดหรือกำจัดผลกระทบของส่วนประกอบเหล่านั้นในเครือข่าย GAN ที่ระดับกึ่ง监督ซึ่งเกินและขยายกลไกการแก้ไขตัวเองในโครงสร้าง GAN

สำหรับโครงการนี้ จำเป็นต้องสร้างชุดข้อมูลที่มีภาพที่ได้รับผลกระทบจากข้อบกพร่องของ GAN ในระดับกว้าง โดยเริ่มต้นด้วยการใช้ Frechet Inception Distance (FID) เป็นหน่วยวัดคุณภาพของผลลัพธ์ GAN โดยการเปรียบเทียบคุณลักษณะในภาพ

หลังจากนั้น ใช้ Gradient-weighted Class Activation Mapping (Grad-CAM) เพื่อสร้างมาสก์สำหรับพื้นที่ที่ได้รับผลกระทบจากข้อบกพร่อง ซึ่งสามารถทำการระบุและแก้ไขข้อบกพร่องได้อย่างอัตโนมัติ

ในภาพด้านบน มาสก์ Grad-CAM ถูกใช้กับผลลัพธ์จากชุดข้อมูล LSUN-Church outdoor และ CelebA-HQ dataset

โดยการวิเคราะห์ผลลัพธ์ที่ได้รับผลกระทบมากที่สุด 20 รายการจากผลลัพธ์ทั้งหมด 20,000 รายการ สามารถสร้างมาสก์สำหรับพื้นที่ที่ได้รับผลกระทบและแทนที่ด้วยผลลัพธ์ที่มีคุณภาพดีกว่า

การประเมินของมนุษย์ต่อการแก้ไขข้อบกพร่องแสดงให้เห็นว่า 53% ของภาพที่ได้รับการแก้ไขถูกจัดให้เป็น “ปกติ” ในขณะที่ 97% ของภาพต้นฉบับยังคงมีการปรับปรุงอย่างมีนัยสำคัญ

นักวิจัยอ้างว่าวิธีการนี้สามารถปรับให้เหมาะสมกับ StyleGAN2 ของ NVIDIA ได้

ประโยชน์ของข้อมูลซินเทติก

โดยเฉพาะอย่างยิ่งสำหรับข้อมูลใบหน้า การขาดชุดข้อมูลในโลกแห่งความเป็นจริงสำหรับการมองเห็นของคอมพิวเตอร์เป็นอุปสรรคต่อการวิจัยที่หลากหลายในด้านสำคัญๆ เช่น การรู้จำใบหน้า การรู้จำอารมณ์ การวิจัยทางการแพทย์ และการศึกษาที่เกี่ยวข้องกับการแบ่งส่วนของใบหน้า

การฟันเฟืองในปัจจุบันต่อการใช้ข้อมูลบนเว็บและเก็บข้อมูลใบหน้าจริงสำหรับใช้ในฐานข้อมูลใบหน้าเป็นอุปสรรคเพิ่มเติมต่อการวิจัย โดยมีหลายประเทศและรัฐเริ่ม ปราบปราม การเก็บข้อมูลใบหน้าบนเว็บและใช้ภาพบนโซเชียลมีเดียสำหรับวัตถุประสงค์เหล่านี้

ในช่วง 10 ปีที่ผ่านมา ชุดข้อมูลใบหน้าที่ถูกเลือกและจัดทำขึ้นอย่างดีเพียงไม่กี่ชุดได้ให้การคุ้มครองจากความไม่แน่นอนนี้ โดยมีการท้าทายการวิจัยสาธารณะ hàngปีเกี่ยวกับชุดข้อมูลเหล่านี้ อย่างไรก็ตาม สิ่งนี้อาจนำไปสู่การวิจัยที่มีแนวทางเฉพาะเจาะจงสำหรับชุดข้อมูลเหล่านี้ โดยมีผลลัพธ์ที่สอดคล้องกันและเทียบเท่ากันในแต่ละปี แต่สูญเสียความหลากหลายของวัสดุแหล่งที่มา – สถานการณ์ที่เลวร้ายลงในแต่ละปีที่การวิจัยใหม่จำกัดตัวเองไว้ภายในขอบเขตเหล่านี้

นอกจากนี้ ชุดข้อมูล “传统” บางชุดได้รับการวิพากษ์วิจารณ์เกี่ยวกับการขาดความหลากหลายทางเชื้อชาติ ซึ่งแสดงให้เห็นว่าชุดข้อมูลที่ใช้เป็นมาตรฐานเหล่านี้อาจไม่ถือเป็นทรัพยากรที่เหมาะสมในอนาคต

สิ่งนี้แสดงให้เห็นถึงความจำเป็นของข้อมูลใบหน้าที่มีคุณภาพสูงและสมจริง แต่โดยที่ภาพ “โลกแห่งความเป็นจริง” ที่ใช้ในการสร้างข้อมูลเหล่านั้นได้ถูกเปลี่ยนแปลงไปอย่างมาก แม้ว่าการใช้ข้อมูลใบหน้า “โลกแห่งความเป็นจริง” ในลักษณะนี้อาจทำให้เกิดปัญหาเกี่ยวกับ ที่มา ของใบหน้าที่สร้างโดย GAN ในอนาคต แต่ก็ยังคงเป็นความเสี่ยงที่น้อยกว่าการใช้ภาพของคนจริง

การอ่านเพิ่มเติม:

การปรับปรุงความสมจริงของภาพซินเทติก
การแก้ไขอัตโนมัติของหน่วยภายในเครือข่าย Generative Neural Networks