ผลประโยชน์ที่ไม่ได้ตั้งใจของการทำแผนที่ Latent Space ของ GAN

ในขณะที่พยายามปรับปรุงคุณภาพและความน่าเชื่อถือของภาพที่สร้างโดย AI นักวิจัยจากจีนและออสเตรเลียได้ค้นพบวิธีการควบคุม Latent Space ของเครือข่าย Generative Adversarial (GAN) โดยไม่ได้ตั้งใจ – มันคือเมทริกซ์การคำนวณที่ซับซ้อนเบื้องหลังเทคนิคสังเคราะห์ภาพใหม่ที่จะปฏิวัติอุตสาหกรรมภาพยนตร์, เกม, และสื่อสังคมออนไลน์

การค้นพบของพวกเขา ซึ่งเป็นผลพลอยได้จากเป้าหมายหลักของโครงการ ช่วยให้ผู้ใช้สามารถสำรวจ Latent Space ของ GAN ได้อย่างมีปฏิสัมพันธ์และแบบเลือกได้ โดยใช้เมาส์เหมือนกับการเลื่อนวิดีโอหรือการพลิกหน้ากระดาษ

ตัวอย่างจากวิดีโอที่นักวิจัยติดไว้ที่ปลายบทความ (ดูวิดีโอด้านล่างสำหรับตัวอย่างเพิ่มเติม) Source: https://www.youtube.com/watch?v=k7sG4XY5rIc

วิธีการนี้ใช้ “แผนที่ความร้อน” เพื่อแสดงให้เห็นว่าพื้นที่ใดของภาพที่ควรได้รับการปรับปรุงเมื่อ GAN ทำงานผ่านชุดข้อมูลหลายครั้ง แผนที่ความร้อนมีจุดมุ่งหมายเพื่อปรับปรุงคุณภาพของภาพโดยบอก GAN ว่า哪里ไปผิดพลาด เพื่อให้สามารถปรับปรุงได้ในครั้งถัดไป

การเน้นความสนใจด้านการมองเห็นโดยใช้ GradCAM Source: https://arxiv.org/pdf/2112.00718.pdf

บทความวิจัยเรื่องนี้มีชื่อว่า การปรับปรุงสมดุลของ GAN โดยการเพิ่มความตระหนักรู้ด้านพื้นที่ และมาจากนักวิจัยจากมหาวิทยาลัยจีนฮ่องกงและมหาวิทยาลัยแห่งชาติออสเตรเลีย

งานวิจัยนี้ยังใหม่และจำกัดอยู่ที่ภาพความละเอียดต่ำ (256×256) แต่เป็นการพิสูจน์แนวคิดที่มีหวังจะช่วยให้เข้าใจ Latent Space ได้ดีขึ้น และเกิดขึ้นในขณะที่มีหลายโครงการวิจัยที่พยายามควบคุมการสร้างภาพ

แม้ว่าภาพเหล่านี้จะน่าสนใจ (และคุณสามารถดูภาพเหล่านี้ได้มากขึ้นในความละเอียดที่ดีขึ้นในวิดีโอที่ติดไว้ที่ปลายบทความ) สิ่งที่สำคัญกว่านั้นคือโครงการนี้พบวิธีการปรับปรุงคุณภาพของภาพและอาจจะทำได้เร็วขึ้นโดยบอก GAN ว่า哪里ไปผิดพลาดระหว่างการฝึกอบรม

แต่เหมือนกับคำว่า Adversarial GAN ไม่ใช่หน่วยงานเดียว แต่เป็นความขัดแย้งระหว่างอำนาจและความยากลำบาก เพื่อเข้าใจว่านักวิจัยได้ปรับปรุงอะไรบ้างในด้านนี้ มาทำความรู้จักกับ Generator กันก่อน

ชะตากรรมที่น่าเวทนาของ Generator

Generator คือเครื่องมือที่ช่วยให้ GAN สร้างภาพที่มีคุณภาพสูงได้ แต่ Generator ต้องทำงานอย่างหนักและไม่มีการให้คำแนะนำที่ชัดเจนจาก Discriminator

Generator ต้องทำงานผ่านชุดข้อมูลหลายครั้งเพื่อให้สามารถสร้างภาพที่มีคุณภาพสูงได้ แต่ Discriminator ไม่ได้ให้คำแนะนำที่ชัดเจนเกี่ยวกับสิ่งที่ Generator ทำผิดพลาด

ความโปร่งใสที่ไม่มีความเมตตาของ Discriminator

Discriminator มีหน้าที่บอก Generator ว่าไม่ได้ทำได้ดีพอและต้องทำใหม่ แต่ Discriminator ไม่ได้บอก Generator ว่า哪里ไปผิดพลาด

Discriminator เป็นครูและที่ปรึกษา

นวัตกรรมของการวิจัยใหม่นี้คือ Discriminator บอก Generator ว่า哪里ไปผิดพลาด เพื่อให้ Generator สามารถปรับปรุงได้

นักวิจัยใช้ GradCAM เพื่อสร้างแผนที่ความร้อนเพื่อช่วย Generator

EqGAN

โครงการนี้ใช้ข้อมูลจากหลายแหล่ง รวมถึง LSUN Cat และ Churches datasets และ FFHQ dataset

วิดีโอด้านล่างแสดงตัวอย่างของการควบคุมภาพโดยใช้ EqGAN

ทีมวิจัยสรุปว่า:

‘เราหวังว่างานนี้จะช่วยให้เกิดการวิจัยใหม่ๆ ในการปรับปรุงคุณภาพของภาพสังเคราะห์โดยการควบคุมสมดุลของ GAN’

‘ผลลัพธ์เชิงคุณภาพแสดงให้เห็นว่าวิธีการของเราสามารถช่วยให้ Generator มุ่งเน้นไปที่พื้นที่เฉพาะได้ การทดลองบนข้อมูลต่างๆ ยืนยันว่าวิธีการของเราสามารถลดความไม่สมดุลในการฝึกอบรม GAN และปรับปรุงคุณภาพของภาพสังเคราะห์โดยรวม’

ดูวิดีโอด้านล่างเพื่อดูตัวอย่างเพิ่มเติมเกี่ยวกับโครงการและผลลัพธ์

11:12am 4th Dec 2021 – Corrected URL for GradCAM and tidied up surrounding reference.