ระบบ AI ที่สามารถสร้างภาพคนให้สวยงามขึ้น

นักวิจัยจากประเทศจีนได้พัฒนาระบบการเพิ่มคุณภาพภาพโดยใช้ AI ที่สามารถทำให้ภาพคนสวยงามขึ้น โดยอาศัยแนวทางใหม่ในการเรียนรู้แบบเสริม

แนวทางใหม่นี้ใช้ ‘เครือข่ายการคาดการณ์ความงามของใบหน้า’ เพื่อสร้างความแปรผันของภาพตามปัจจัยหลายอย่าง ซึ่งรวมถึง ‘แสง’ และท่าทางของดวงตา Source: https://arxiv.org/pdf/2208.04517.pdf

เทคนิคนี้อาศัยนวัตกรรมที่ค้นพบสำหรับ EigenGAN generator ซึ่งเป็นโครงการของจีนในปี 2021 ที่ได้ทำการระบุและควบคุมคุณลักษณะทางวิทยาศาสตร์ภายในพื้นที่ 潜在 ของเครือข่าย GANs

เครื่องกำเนิด EigenGAN ในปี 2021 สามารถแยกคุณลักษณะระดับสูง เช่น ‘สีผม’ ภายในพื้นที่ 潜在 ของเครือข่าย GAN Source: https://arxiv.org/pdf/2104.12476.pdf

ระบบนี้ใช้ ‘เครือข่ายการให้คะแนนความงาม’ ที่ได้รับจาก SCUT-FBP5500 (SCUT) ซึ่งเป็นชุดข้อมูลมาตรฐานสำหรับการคาดการณ์ความงามของใบหน้าในปี 2018 จากมหาวิทยาลัยเทคโนโลยีแห่งจีนใต้ ที่กว่างโจว

จากงานวิจัย ‘SCUT-FBP5500: ชุดข้อมูลมาตรฐานที่หลากหลายสำหรับการคาดการณ์ความงามของใบหน้า’ ซึ่งเสนอวิธีการ ‘การคาดการณ์ความงามของใบหน้า’ (FBP) ที่สามารถจัดอันดับใบหน้าตามความน่าดึงดูด แต่ไม่สามารถเปลี่ยนแปลงหรือ ‘อัปเกรด’ ใบหน้าได้ Source: https://arxiv.org/pdf/1801.06345.pdf

ไม่เหมือนกับงานวิจัยใหม่นี้ โครงการในปี 2018 ไม่สามารถดำเนินการเปลี่ยนแปลงได้ แต่มีค่าพื้นฐานในการตัดสินจาก 5,500 ใบหน้า ซึ่งจัดทำโดยผู้ให้คะแนน 60 คน (แบ่งเป็นชายและหญิงเท่าๆ กัน) ซึ่งถูกนำมาใช้ในระบบใหม่นี้เป็นเครื่องมือ ‘ตัดสิน’ ที่มีประสิทธิภาพในการแจ้งการเปลี่ยนแปลงที่อาจเพิ่ม ‘ความน่าดึงดูด’ ของภาพ

น่าสนใจที่ว่า งานวิจัยใหม่ มีชื่อเรื่องว่า การสร้างใบหน้าที่สวยงามแบบควบคุมโดยการเรียนรู้แบบเสริมที่ขับเคลื่อนด้วยความงาม สาเหตุที่ไม่รวมเชื้อชาติอื่นๆ นอกเหนือจากเชื้อชาติแคสเปียนในระบบนี้ (และนักวิจัยเองก็เป็นคนจีน) คือเพราะข้อมูลที่ใช้จาก SCUT มีแนวโน้มไปทางแหล่งที่มาของเอเชีย (4,000 คนเอเชียชายและหญิงแบ่งเท่าๆ กัน และ 1,500 คนแคสเปียนชายและหญิงแบ่งเท่าๆ กัน) ทำให้ ‘คนเฉลี่ย’ ในชุดข้อมูลนี้มีสีผมและดวงตาสีน้ำตาล

คุณลักษณะที่เกี่ยวข้อง

เพื่อกำหนดปัจจัยหลักที่ทำให้ภาพคนสวยงาม นักวิจัยได้ทดสอบผลกระทบของการเปลี่ยนแปลงต่างๆ ต่อภาพ โดยพิจารณาจากวิธีการที่การเปลี่ยนแปลงเหล่านั้นเพิ่มคะแนนความงามของอัลกอริทึม พวกเขาพบว่าหนึ่งในด้านที่สำคัญที่สุดคือการถ่ายภาพที่ดีมากกว่าการมีจีโนมที่ดี

นอกเหนือจากแสงแล้ว สิ่งที่มีผลกระทบมากที่สุดต่อคะแนนความงามคือ การมีผมหน้า (ซึ่งในกรณีของผู้ชายอาจเทียบเท่ากับการมีผมที่สมบูรณ์), ท่าทางของร่างกาย และท่าทางของดวงตา (ที่มีการมองตรงเข้ามาในกล้องถ่ายรูปเป็นสิ่งที่ดึงดูด)

(เกี่ยวกับ ‘สีของลิปสติก’ ระบบใหม่นี้ซึ่งสามารถทำงานได้กับทั้งการนำเสนอเพศชายและหญิง ไม่ได้แยกแยะการปรากฏของเพศ แต่ขึ้นอยู่กับระบบ ‘ตัดสิน’ ใหม่นี้เป็น ‘ฟิลเตอร์’ ในด้านนี้)

วิธีการ

ฟังก์ชันรางวัลในกลไกการเรียนรู้แบบเสริมในระบบใหม่นี้ได้รับพลังจากการถดถอยแบบง่ายๆ เหนือข้อมูล SCUT ซึ่งให้ผลลัพธ์เป็นการคาดการณ์ความงามของใบหน้า

ระบบฝึกอบรมจะวนซ้ำข้อมูลภาพเข้า (ด้านล่างซ้ายในแผนภาพด้านล่าง) ในตอนแรก โมเดล ResNet18 ที่ได้รับการฝึกอบรมแล้ว (ฝึกอบรมบน ImageNet) จะถอดรหัสคุณลักษณะจากภาพที่เหมือนกันทั้ง 5 ภาพ (‘y’) ต่อไป คุณลักษณะการเปลี่ยนแปลงที่เป็นไปได้จะถูกสร้างจากสถานะที่ซ่อนอยู่ของชั้นเชื่อมต่ออย่างเต็มรูปแบบ (ชั้นเชื่อมต่ออย่างเต็มรูปแบบ, GRUCell ในภาพด้านล่าง) และการเปลี่ยนแปลงจะถูกนำไปใช้ ซึ่งนำไปสู่ภาพที่เปลี่ยนแปลงไป 5 ภาพที่ถูกส่งเข้าเครือข่ายการให้คะแนนความงาม ซึ่งการจัดอันดับจะกำหนดว่าการเปลี่ยนแปลงใดจะถูกพัฒนาและใดจะถูกทิ้ง

ภาพประกอบกระบวนการฝึกอบรม

เครือข่ายการให้คะแนนความงามใช้โมดูล Efficient Channel Attention (ECA) ในขณะที่การปรับแต่งของ EfficientNet-B4 ที่ได้รับการฝึกอบรมแล้วถูกใช้ในการถอดรหัสคุณลักษณะ 1,792 คุณลักษณะจากภาพแต่ละภาพ

หลังจากการปรับมาตรฐานผ่านฟังก์ชันการกระตุ้น ReLU การแปลง 4 มิติจะถูกส่งกลับจากโมดูล ECA ซึ่งจะถูกแบนให้เป็นเวกเตอร์หนึ่งมิติหลังจากการกระตุ้นและ การปรับขนาดเฉลี่ยแบบปรับได้ สุดท้าย ผลลัพธ์จะถูกส่งเข้าเครือข่ายการถดถอย ซึ่งจะให้คะแนนความงาม

การเปรียบเทียบคุณภาพของผลลัพธ์

การทดสอบและการศึกษากับผู้ใช้

รูปแบบที่แตกต่างกัน 5 แบบของวิธีการที่เสนอถูกประเมินโดยใช้อัลกอริทึม (ดูภาพด้านบน) โดยมีคะแนน Fréchet inception distance (FID, มีข้อถกเถียงในบางกรณี) ที่ถูกกำหนดให้กับภาพ 1,000 ภาพที่ผ่านระบบ

นักวิจัยสังเกตว่าการปรับปรุงแสงสามารถให้คะแนนความน่าดึงดูดที่ดีกว่าการเปลี่ยนแปลงอื่นๆ ที่เห็นได้ชัดเจน (เช่น การเปลี่ยนแปลงที่เกิดขึ้นกับคนในภาพ)

การทดสอบระบบในลักษณะนี้มีข้อจำกัดโดยข้อมูล SCUT ซึ่งไม่มี ‘รอยยิ้มสว่าง’ มากนัก และผู้เขียนโต้แย้งว่าสิ่งนี้อาจทำให้ ‘ดูเป็นคนลึกลับ’ ในข้อมูลมากกว่าที่ผู้ใช้ปลายทางที่เป็นไปได้ (อาจเป็นตลาดตะวันตก) คาดหวัง

อย่างไรก็ตาม เนื่องจากระบบทั้งหมดขึ้นอยู่กับความคิดเห็นเฉลี่ยของคนเพียง 60 คน (ในงานวิจัย EigenGAN) และเนื่องจากคุณภาพที่กำลังศึกษาไม่ใช่สิ่งที่เป็นรูปธรรม จึงสามารถแย้งได้ว่ากระบวนการนี้มีความสมเหตุสมผลมากกว่าข้อมูลที่ใช้

แม้ว่าจะกล่าวถึงอย่างสั้นๆ ในงานวิจัย แต่ภาพจาก EigenGAN และรูปแบบที่แตกต่างกัน 5 แบบของระบบก็ถูกนำไปใช้ในการศึกษากับผู้ใช้ (8 คน) ซึ่งถูกขอให้เลือก ‘ภาพที่ดีที่สุด’ (คำว่า ‘น่าดึงดูด’ ถูกหลีกเลี่ยง)

ด้านบนเป็น GUI ที่นำเสนอให้กับกลุ่มศึกษาเล็กๆ ด้านล่างเป็นผลลัพธ์

ผลลัพธ์แสดงให้เห็นว่าผลลัพธ์ของระบบใหม่นี้ได้รับการเลือกมากที่สุดจากผู้เข้าร่วม (‘MAES’ ในภาพด้านบน)

การไล่ล่าความงาม (ที่ไม่มีจุดหมาย?)

ความมีประโยชน์ของระบบดังกล่าวยากที่จะกำหนดไว้ แม้ว่าจะดูเหมือนว่ามี จุดสนใจที่สำคัญ จุดสนใจ ของ ความพยายาม ใน ประเทศจีน ที่มุ่งไปสู่เป้าหมายนี้ ไม่มีการระบุไว้ในงานวิจัยใหม่นี้

งานวิจัย EigenGAN ก่อนหน้านี้ชี้ให้เห็นว่าระบบการรู้จักความงามสามารถใช้ได้ในระบบแนะนำการทำผม การทำผม, ศัลยกรรมความงาม, การเพิ่มความงามของใบหน้า หรือการค้นหาภาพตามเนื้อหา

โดยสมมติว่าแนวทางนี้สามารถใช้ได้ในเว็บไซต์หาคู่ โดยผู้ใช้สามารถ ‘เพิ่มความงาม’ ให้กับภาพโปรไฟล์ของตนเองเพื่อให้ได้ ‘ช็อตที่ดี’ ที่รับประกัน หรือใช้เป็นทางเลือกในการใช้ภาพเก่าหรือภาพของคนอื่น

เว็บไซต์หาคู่เองก็สามารถ ‘จัดอันดับ’ ลูกค้าเพื่อสร้างอันดับและแม้กระทั่ง ‘ชั้นการเข้าถึงที่ถูกจำกัด’ ได้ แม้ว่าสิ่งนี้จะทำงานได้เฉพาะผ่านการยืนยันการมีชีวิตจริงเท่านั้น ไม่ใช่ผ่านการอัปโหลดภาพ (ซึ่งลูกค้าสามารถ ‘เพิ่มความงาม’ ได้หากวิธีการนี้กลายเป็นที่นิยม)

ในด้านโฆษณา เทคโนโลยีการประเมินความงามแบบอัลกอริทึมสามารถใช้ในการเลือกผลงานสร้างสรรค์ที่ไม่ได้ถูกปรับแต่งซึ่งมีแนวโน้มที่จะดึงดูดผู้ชมเป้าหมายมากที่สุด ในขณะที่ความสามารถในการเพิ่มผลกระทบทาง审美ของภาพใบหน้าโดยไม่ต้องเขียนทับภาพด้วย deepfakes สามารถเพิ่มภาพที่มีประสิทธิภาพในการดึงดูดความสนใจของสาธารณชน

งานวิจัยใหม่นี้ได้รับการสนับสนุนจาก National Natural Science Foundation of China, Open Fund Project of the State Key Laboratory of Complex System Management and Control และ Project of Philosophy and Social Science Research from China’s ministry of education, among other supporters.

* การแนะนำหลายอย่างในงานวิจัย EigenGAN ชี้ไปที่หนังสือที่ขายได้ในปี 2016 ที่มีชื่อ ‘Computer Models for Facial Beauty Analysis’ มากกว่าแหล่งข้อมูลทางวิชาการ

เผยแพร่ครั้งแรกเมื่อวันที่ 11 สิงหาคม 2022