การจัดเรียงการสังเคราะห์ใบหน้าด้วยการแบ่งส่วนแบบเชิงความหมาย

ปัญหาในการคิดค้นใบหน้ามนุษย์ด้วยเครือข่ายผู้สร้างและผู้วิจารณ์ (GAN) คือ ข้อมูลจากโลกแห่งความเป็นจริงที่ใช้ในการสร้างภาพปลอมมาพร้อมกับสิ่งแวดล้อมที่ไม่ต้องการและไม่สามารถแยกออกได้ เช่น ผมบนหัว (และ/หรือ ใบหน้า) พื้นหลัง และสิ่งของต่างๆ เช่น แว่นตา หมวก และเครื่องประดับ และสิ่งเหล่านี้กลายเป็นส่วนหนึ่งของ ‘อัตลักษณ์ที่รวมกัน’ ในรูปแบบที่ไม่สามารถแยกออกได้

ภายใต้โครงสร้าง GAN ทั่วไป สิ่งเหล่านี้ไม่สามารถเข้าถึงได้ในพื้นที่ที่มีไว้เพื่อตัวมันเอง แต่กลับเกี่ยวข้องกับใบหน้า (หรือรอบๆ ใบหน้า) ที่มันถูกฝังอยู่

ไม่สามารถบอกหรือส่งผลต่อการปรากฏของ ‘ส่วนย่อย’ ของใบหน้าที่สร้างโดย GAN เช่น การทำให้ดวงตาลดลง การยืดจมูก หรือการเปลี่ยนสีผมในลักษณะที่นักวาดภาพของตำรวจสามารถทำได้

อย่างไรก็ตาม ภาคการวิจัยการสังเคราะห์ภาพกำลังทำงานอยู่:

การวิจัยใหม่เกี่ยวกับการสร้างใบหน้าโดยใช้ GAN ได้แบ่งส่วนต่างๆ ของใบหน้าออกเป็นพื้นที่ที่แตกต่างกัน โดยแต่ละพื้นที่มี ‘ผู้สร้าง’ ของมันเอง ซึ่งทำงานร่วมกับผู้สร้างอื่นๆ สำหรับภาพ ในแถวกลาง เราจะเห็น ‘แผนที่คุณลักษณะ’ ที่สร้างพื้นที่เพิ่มเติมของใบหน้า Source: https://arxiv.org/pdf/2112.02236.pdf

ใน เอกสารวิจัย นักวิจัยจากบริษัทไบต์แดนซ์แห่งสหรัฐฯ ใช้การแบ่งส่วนแบบเชิงความหมายเพื่อแบ่งส่วนต่างๆ ของใบหน้าออกเป็นพื้นที่ที่แตกต่างกัน โดยแต่ละพื้นที่มี ‘ผู้สร้าง’ ของมันเอง เพื่อให้สามารถบรรลุระดับการ ‘แยกออก’ ที่สูงขึ้น หรืออย่างน้อยก็ ‘แยกออก’ ในเชิงการรับรู้

เอกสารวิจัยนี้มีชื่อว่า SemanticStyleGAN: การเรียนรู้แบบ Compositional Generative Priors สำหรับการสังเคราะห์ภาพและแก้ไขที่ควบคุมได้ และมาพร้อมกับ หน้าโครงการ ที่มีตัวอย่างมากมายของการเปลี่ยนแปลงที่สามารถทำได้เมื่อใช้การแบ่งส่วนแบบเชิงความหมาย

เนื้อหาใบหน้า รูปแบบผม สีผม รูปร่างตา และสีตา และหลายๆ สิ่งที่เป็นหนึ่งเดียวกันของใบหน้าที่สร้างโดย GAN สามารถแยกออกได้ แม้ว่าคุณภาพของการแยกออกและระดับการควบคุมจะแตกต่างกันไปในแต่ละกรณี Source: https://semanticstylegan.github.io/

พื้นที่ Latent ที่ไม่สามารถควบคุมได้

เครือข่ายผู้สร้างและผู้วิจารณ์ที่ถูกฝึกให้สร้างใบหน้า เช่น StyleGan2 ที่ใช้ในเว็บไซต์ thispersondoesnotexist.com สร้างความสัมพันธ์ที่ซับซ้อนระหว่าง ‘คุณลักษณะ’ (ไม่ใช่ในความหมายของใบหน้า) ที่ได้รับจากการวิเคราะห์ใบหน้าจริงหลายพันรูป เพื่อเรียนรู้วิธีการสร้างใบหน้ามนุษย์ที่มีลักษณะเหมือนจริง

กระบวนการเหล่านี้เป็น ‘รหัสลับ’ ที่ซ่อนอยู่ ซึ่งเรียกว่า ‘พื้นที่ Latent’ พวกมัน难ที่จะวิเคราะห์และควบคุม

เมื่อสัปดาห์ที่แล้ว มีโครงการการสังเคราะห์ภาพใหม่ที่พยายาม ‘ทำแผนที่’ พื้นที่ Latent ระหว่างกระบวนการฝึกอบรม และใช้แผนที่เหล่านั้นเพื่อควบคุมการสร้างภาพ และมีหลายวิธีที่ได้ถูกเสนอเพื่อควบคุมเนื้อหาที่สร้างโดย GAN

มีการทำความก้าวหน้าบางอย่าง โดยมีการเสนอโครงสร้าง GAN ที่พยายาม ‘เข้าถึง’ พื้นที่ Latent ในบางวิธีและควบคุมการสร้างใบหน้าจากที่นั่น

สิ่งเหล่านี้รวมถึง InterFaceGAN, StyleFlow, GANSpace, และ StyleRig เป็นต้น

สิ่งเหล่านี้มีลักษณะร่วมกันคือ ระดับการแยกออกที่จำกัด ควบคุมการเปลี่ยนแปลงของใบหน้าโดยใช้ GUI ที่มีหลายๆ ส่วน แต่ไม่สามารถแก้ปัญหาเรื่องเส้นผมได้

การแบ่งและ征服พื้นที่ Latent

ในกรณีนี้ โครงการวิจัยของไบต์แดนซ์ใช้วิธีการที่แตกต่าง แทนที่จะพยายามเข้าใจความลึกลับของ GAN ที่ทำงานบนภาพใบหน้าทั้งหมด โครงการนี้ใช้วิธีการแบ่งส่วนใบหน้าออกเป็นหลายๆ ส่วน โดยแต่ละส่วนมีผู้สร้างของมันเอง

เพื่อให้บรรลุเป้าหมายนี้ โครงการใช้ Fourier Features เพื่อสร้างแผนที่การแบ่งส่วนแบบเชิงความหมาย (การแบ่งส่วนใบหน้าออกเป็นหลายๆ ส่วน) เพื่อแยกใบหน้าออกจากส่วนอื่นๆ ของภาพ

โครงสร้างของวิธีการใหม่นี้ ซึ่งใส่ชั้นการแบ่งส่วนแบบเชิงความหมายลงในใบหน้า ทำให้โครงสร้างนี้กลายเป็น ‘ผู้จัดเรียง’ ของผู้สร้างหลายๆ ตัวสำหรับส่วนต่างๆ ของภาพ

แผนที่การแบ่งส่วนแบบเชิงความหมายถูกสร้างขึ้นสำหรับภาพปลอมที่ถูกนำไปให้กับเครื่องวิจารณ์ของ GAN เพื่อประเมินระหว่างกระบวนการฝึกอบรม และสำหรับภาพจริงที่ใช้ในการฝึกอบรม

ในตอนเริ่มต้น Multi-Layer Perceptron จะทำการแมป ‘รหัสลับ’ ที่ถูกเลือกแบบสุ่ม ซึ่งจะถูกใช้เพื่อควบคุมน้ำหนักของผู้สร้างหลายๆ ตัวที่จะสร้างส่วนต่างๆ ของภาพ

ผู้สร้างแต่ละตัวจะสร้าง ‘แผนที่คุณลักษณะ’ และ ‘แผนที่ความลึก’ จาก Fourier Features ที่ถูกส่งเข้าไปในตัวมัน

ผลลัพธ์นี้เป็นพื้นฐานสำหรับแผนที่การแบ่งส่วน

เครือข่ายการแสดงผลที่อยู่หลังๆ จะถูกควบคุมโดยแผนที่คุณลักษณะก่อนหน้า และรู้วิธีการสร้างแผนที่การแบ่งส่วนแบบเชิงความหมายที่มีความละเอียดสูงขึ้น ซึ่งจะช่วยให้สามารถสร้างภาพสุดท้ายได้

สุดท้าย เครื่องวิจารณ์ที่มีหลายทางจะดูแลการกระจายของภาพ RGB (ซึ่งเป็นผลลัพธ์สุดท้ายสำหรับเรา) และแผนที่การแบ่งส่วนแบบเชิงความหมายที่ทำให้สามารถแยกส่วนต่างๆ ของภาพออกได้

ด้วย SemanticStyleGAN ไม่มีการเปลี่ยนแปลงที่ไม่ต้องการเมื่อ ‘ตั้งค่า’ ลักษณะใบหน้า เพราะ แต่ละลักษณะใบหน้าถูกฝึกอบรมแยกกันภายในโครงสร้าง

การแทนที่พื้นหลัง

เนื่องจากวัตถุประสงค์ของโครงการคือการควบคุมสภาพแวดล้อมที่สร้างขึ้น กระบวนการแสดงผล/การประกอบรวมถึงผู้สร้างพื้นหลังที่ถูกฝึกอบรมจากภาพจริง

เหตุผลที่พื้นหลังไม่ถูกดึงเข้ามาในกระบวนการเปลี่ยนแปลงใบหน้าใน SemanticStyleGAN คือ พวกมันอยู่ในระดับที่ไกลออกไป และเป็นภาพที่สมบูรณ์ แม้ว่าจะถูกปิดบังบางส่วนโดยใบหน้าที่ถูกวางทับ

เนื่องจากแผนที่การแบ่งส่วนแบบเชิงความหมายจะทำให้ได้ใบหน้าโดยไม่มีพื้นหลัง พื้นหลังที่ ‘ถูกวางทับ’ เหล่านี้จึงไม่เพียงแต่ให้ความหมายเท่านั้น แต่ยังถูกตั้งค่าให้เหมาะสมในด้านแสงสำหรับใบหน้าที่ถูกวางทับ

การฝึกอบรมและการใช้ข้อมูล

‘models ที่มีลักษณะเหมือนจริง’ ถูกฝึกอบรมจาก 28,000 รูปแรกใน CelebAMask-HQ โดยถูกปรับขนาดให้ 256×256 เพื่อให้เหมาะสมกับพื้นที่ฝึกอบรม (เช่น VRAM ที่มีให้ ซึ่งกำหนดขนาดแบตช์สูงสุดต่อการวนซ้ำ)

มีการฝึกอบรมหลายๆ โมเดล และมีการทดลองใช้เครื่องมือ ตัวช่วย และโครงสร้างต่างๆ ระหว่างกระบวนการฝึกอบรมและทดสอบการลบส่วนต่างๆ ออก โครงการที่มีผลผลิตสูงสุดมีขนาด 512×512 และถูกฝึกอบรมเป็นเวลา 2.5 วันบน 8 GPU ของ NVIDIA Tesla V100 หลังจากการฝึกอบรม การสร้างภาพหนึ่งรูปใช้เวลา 0.137 วินาทีบน GPU lobe โดยไม่ต้องใช้การขนาน

การทดลองที่มีลักษณะเหมือนการ์ตูน/อนิเมะที่แสดงในหลายๆ วิดีโอในหน้าโครงการ (ดูลิงก์ด้านบน) มาจากชุดข้อมูลใบหน้าที่เป็นที่นิยม เช่น Toonify, MetFaces, และ Bitmoji

วิธีแก้ปัญหาแบบชั่วคราว?

ผู้เขียนอ้างว่าไม่มีเหตุผลที่ว่าทำไม SemanticStyleGAN จึงไม่สามารถใช้กับโดเมนอื่นๆ เช่น ทิวทัศน์ รถยนต์ โบสถ์ และโดเมนอื่นๆ ที่โครงสร้างใหม่ๆ มักจะถูกทดสอบในตอนต้นของอาชีพ

อย่างไรก็ตาม เอกสารวิจัยยอมรับว่าเมื่อจำนวนคลาสเพิ่มขึ้นสำหรับโดเมน (เช่น ‘รถยนต์‘, ‘เสาไฟ‘, ‘คนเดิน‘, ‘อาคาร‘, ‘รถยนต์‘ ฯลฯ) วิธีการแบ่งส่วนนี้อาจไม่สามารถใช้ได้โดยไม่ต้องมีการปรับปรุงเพิ่มเติม ชุดข้อมูล CityScapes มี 30 คลาสใน 8 หมวด

ยากที่จะบอกได้ว่าความสนใจในปัจจุบันในการ征服พื้นที่ Latent ในรูปแบบที่ตรงไปตรงมาจะถูกตัดสินว่าเป็นไปไม่ได้เหมือนกับเวทมนตร์ หรือว่ารหัสลับ Latent จะสามารถถูกอ่านและควบคุมได้ในอนาคต ซึ่งอาจทำให้วิธีการที่ซับซ้อนกว่านี้ไม่จำเป็นต้องใช้