มุมมองของ Anderson
การสร้างเครือข่าย Generative Adversarial ที่กำหนดเองด้วยการวาดภาพ
เพิ่ม Unite.AI ลงในแหล่งข้อมูลที่คุณต้องการบน Google
นักวิจัยจากมหาวิทยาลัยคาร์เนกีเมลลอนและ MIT ได้พัฒนาวิธีการใหม่ที่ช่วยให้ผู้ใช้สามารถสร้างระบบ Generative Adversarial Network (GAN) ที่กำหนดเองสำหรับการสร้างภาพได้โดยการวาดภาพด้วยมือ
ระบบประเภทนี้จะช่วยให้ผู้ใช้สามารถสร้างระบบที่สามารถสร้างภาพที่มีลักษณะเฉพาะได้ เช่น สัตว์บางชนิด อาคาร หรือแม้กระทั่งบุคคล โดยปัจจุบันระบบ GAN ส่วนใหญ่สามารถสร้างภาพที่มีลักษณะทั่วไปและไม่เฉพาะเจาะจงได้เท่านั้น
วิธีการนี้ได้ถูกอธิบายไว้ใน เอกสาร Sketch Your Own GAN โดยใช้การวาดภาพเป็นฟังก์ชัน “ค้นหา” เพื่อค้นหาลักษณะและประเภทของภาพในฐานข้อมูลที่มีภาพหลายพันภาพ
โดยการวาดภาพที่มีลักษณะเฉพาะที่ผู้ใช้ต้องการ ระบบจะสามารถสร้างภาพที่มีลักษณะนั้นได้ เช่น หากผู้ใช้ต้องการสร้างระบบที่สร้างภาพแมวที่มีลักษณะเฉพาะ ระบบจะใช้การวาดภาพเป็นฟังก์ชัน “ค้นหา” เพื่อค้นหาภาพแมวที่มีลักษณะนั้น
การวิจัยนี้ได้รับการนำโดย Sheng Yu-Wang จากมหาวิทยาลัยคาร์เนกีเมลลอน ร่วมกับ Jun-Yan Zhu และ David Bau จาก MIT
วิธีการนี้ได้ถูกตั้งชื่อว่า “GAN Sketching” และใช้การวาดภาพเพื่อเปลี่ยนแปลงน้ำหนักของโมเดล GAN ที่กำหนดเองเพื่อสร้างภาพที่มีลักษณะเฉพาะ
This [$class] Does Not Exist
ระบบ GAN สำหรับการสร้างภาพได้กลายเป็นกระแสยอดนิยมในหลายปีที่ผ่านมา โดยมีหลายโครงการที่สามารถสร้างภาพที่ไม่มีอยู่จริงได้
ระบบ GAN ส่วนใหญ่จะถูกสร้างขึ้นโดยการรวบรวมและจัดระเบียบฐานข้อมูลที่มีภาพหลายพันภาพ และใช้โมเดลที่สามารถสร้างภาพที่มีลักษณะทั่วไปได้
I Know What You Mean…
โดยการวาดภาพที่มีลักษณะเฉพาะ ระบบจะสามารถสร้างภาพที่มีลักษณะนั้นได้ และสามารถสร้างภาพที่มีลักษณะที่ซับซ้อนได้
นอกจากนี้ ระบบยังสามารถสร้างภาพที่มีลักษณะเฉพาะจากภาพที่มีลักษณะทั่วไปได้
Simplifying Sketch-To-Image
วิธีการใหม่นี้ได้ถูกออกแบบมาเพื่อทำให้การสร้างภาพที่มีลักษณะเฉพาะจากภาพที่มีลักษณะทั่วไปง่ายขึ้น
ระบบจะใช้การวาดภาพเพื่อเปลี่ยนแปลงน้ำหนักของโมเดล GAN ที่กำหนดเองเพื่อสร้างภาพที่มีลักษณะเฉพาะ
Latent Space and Natural Image Editing
นักวิจัยได้พัฒนาระบบที่สามารถสร้างภาพที่มีลักษณะเฉพาะจากภาพที่มีลักษณะทั่วไปได้
ระบบจะใช้การวาดภาพเพื่อเปลี่ยนแปลงน้ำหนักของโมเดล GAN ที่กำหนดเองเพื่อสร้างภาพที่มีลักษณะเฉพาะ
นอกจากนี้ ระบบยังสามารถสร้างภาพที่มีลักษณะเฉพาะจากภาพที่มีลักษณะทั่วไปได้
Transformations from customized FFHQ models trained on only for human-generated sketches.
ระบบต้องการเวลาในการฝึกอบรมประมาณ 30,000 ครั้ง และต้องการการเข้าถึงฐานข้อมูลที่ใช้ในการฝึกอบรม
ในกรณีที่ฐานข้อมูลเปิดให้ใช้และสามารถคัดลอกได้ ระบบสามารถทำงานได้โดยการรวมฐานข้อมูลเข้ากับแพ็คเกจที่ติดตั้งบนเครื่องหรือโดยการเข้าถึงฐานข้อมูลจากระยะไกลผ่านการเข้าถึงแบบคลาวด์ ซึ่งอาจมีค่าใช้จ่ายในการประมวลผลและค่าใช้จ่ายในการส่งผ่านเครือข่าย
