มุมมองของ Anderson

ระบบ AI ที่ทำให้ภาพคนสวยงามขึ้นได้

Martin Anderson
เพิ่ม Unite.AI ลงในแหล่งข้อมูลที่คุณต้องการบน Google
Background image: DALL-E 2 'Award-winning 8K photo of the most beautiful Caucasian catwalk model in the world' - https://labs.openai.com/s/kRXusxOR5GcYyb6pqZjNH2AA
ประเด็นสำคัญระบบ AI…
ดูเพิ่มเติม
  • ระบบ AI ใหม่ใช้การเรียนรู้แบบเสริมกำลังเพื่อปรับแต่งใบหน้าให้สวยงามโดยไม่เปลี่ยนแปลงอัตลักษณ์
  • แสงและท่าทางของดวงตามีความสำคัญมากกว่าพันธุกรรมในการเพิ่มคะแนนความสวยงามตามอัลกอริทึม
  • ระบบอาศัยการตัดสินความสวยงามจากผู้ให้ป้ายกำกับเพียง 60 คนจากชุดข้อมูล SCUT-FBP5500

นักวิจัยจากประเทศจีนได้พัฒนาระบบการเพิ่มคุณภาพภาพโดยใช้ AI ที่สามารถทำให้ภาพคนสวยงามขึ้น โดยอาศัยแนวทางใหม่ในการเรียนรู้แบบเสริมกำลัง

แนวทางใหม่นี้ใช้ 'เครือข่ายการคาดการณ์ความงามของใบหน้า' เพื่อสร้างความแปรผันของภาพตามปัจจัยหลายอย่าง ซึ่งรวมถึง 'แสง' และทิศทางของสายตาซึ่งอาจเป็นปัจจัยสำคัญ ภาพต้นฉบับทางซ้ายของแต่ละคอลัมน์มาจากระบบ EigenGAN และผลลัพธ์ใหม่อยู่ทางขวา

แนวทางใหม่นี้ใช้ ‘เครือข่ายการคาดการณ์ความงามของใบหน้า’ เพื่อสร้างความแปรผันของภาพตามปัจจัยหลายอย่าง ซึ่งรวมถึง ‘แสง’ และทิศทางของสายตาซึ่งอาจเป็นปัจจัยสำคัญ ภาพต้นฉบับทางซ้ายของแต่ละคอลัมน์มาจากระบบ EigenGAN และผลลัพธ์ใหม่อยู่ทางขวา Source: https://arxiv.org/pdf/2208.04517.pdf

เทคนิคนี้อาศัยนวัตกรรมที่ค้นพบสำหรับ EigenGAN generator ซึ่งเป็นโครงการของจีนในปี 2021 ที่ได้ทำการระบุและควบคุมคุณลักษณะเชิงความหมายที่หลากหลายภายในปริภูมิแฝงของเครือข่ายปฏิปักษ์เชิงกำเนิด (GAN)

เครื่องกำเนิด EigenGAN ในปี 2021 สามารถแยกคุณลักษณะระดับสูง เช่น 'สีผม' ภายในปริภูมิแฝง ของเครือข่าย GAN

เครื่องกำเนิด EigenGAN ในปี 2021 สามารถแยกคุณลักษณะระดับสูง เช่น ‘สีผม’ ภายในปริภูมิแฝง ของเครือข่าย GAN Source: https://arxiv.org/pdf/2104.12476.pdf

ระบบนี้ใช้ ‘เครือข่ายการให้คะแนนความงาม’ ที่ได้รับจาก SCUT-FBP5500 (SCUT) ซึ่งเป็นชุดข้อมูลมาตรฐานสำหรับการคาดการณ์ความงามของใบหน้าในปี 2018 จากมหาวิทยาลัยเทคโนโลยีแห่งจีนใต้ ที่กว่างโจว

จากงานวิจัยปี 2018 'SCUT-FBP5500: ชุดข้อมูลมาตรฐานที่หลากหลายสำหรับการคาดการณ์ความงามของใบหน้าแบบหลายกระบวนทัศน์' ซึ่งเสนอวิธีการ 'การคาดการณ์ความงามของใบหน้า' (FBP) ที่สามารถจัดอันดับใบหน้าตามความน่าดึงดูด แต่ไม่สามารถเปลี่ยนแปลงหรือ 'อัปเกรด' ใบหน้าได้

จากงานวิจัยปี 2018 ‘SCUT-FBP5500: ชุดข้อมูลมาตรฐานที่หลากหลายสำหรับการคาดการณ์ความงามของใบหน้าแบบหลายกระบวนทัศน์’ ซึ่งเสนอวิธีการ ‘การคาดการณ์ความงามของใบหน้า’ (FBP) ที่สามารถจัดอันดับใบหน้าตามความน่าดึงดูด แต่ไม่สามารถเปลี่ยนแปลงหรือ ‘อัปเกรด’ ใบหน้าได้ Source: https://arxiv.org/pdf/1801.06345.pdf

ไม่เหมือนกับงานวิจัยใหม่นี้ โครงการในปี 2018 ไม่สามารถดำเนินการเปลี่ยนแปลงได้ แต่มีค่าพื้นฐานในการตัดสินจาก 5,500 ใบหน้า ซึ่งจัดทำโดยผู้ให้คะแนน 60 คน (แบ่งเป็นชายและหญิงเท่าๆ กัน) ซึ่งถูกนำมาใช้ในระบบใหม่นี้เป็นตัวจำแนกที่มีประสิทธิภาพในการแจ้งการเปลี่ยนแปลงที่อาจเพิ่ม ‘ความน่าดึงดูด’ ของภาพ

น่าสนใจที่ว่า งานวิจัยใหม่ มีชื่อเรื่องว่า การสร้างใบหน้าคอเคเซียนที่สวยงามและควบคุมคุณลักษณะได้ด้วยการเรียนรู้แบบเสริมกำลังที่ขับเคลื่อนด้วยสุนทรียศาสตร์ สาเหตุที่ไม่รวมเชื้อชาติอื่นๆ นอกเหนือจากเชื้อชาติคอเคเซียนในระบบนี้ (และนักวิจัยเองก็เป็นคนจีน) คือเพราะข้อมูลที่ใช้จาก SCUT มีแนวโน้มไปทางแหล่งที่มาของเอเชีย (4,000 คนเอเชียชายและหญิงแบ่งเท่าๆ กัน และ 1,500 คนคอเคเซียนชายและหญิงแบ่งเท่าๆ กัน) ทำให้ ‘คนเฉลี่ย’ ในชุดข้อมูลนี้มีสีผมและดวงตาสีน้ำตาล

ดังนั้น เพื่อให้รองรับความหลากหลายของสีผมและดวงตาอย่างน้อยภายในกลุ่มเชื้อชาติเดียว จึงจำเป็นต้องตัดข้อมูลส่วนของชาวเอเชียออกจากข้อมูลต้นฉบับ หรือมิฉะนั้นก็ต้องเสียค่าใช้จ่ายสูงในการจัดทำข้อมูลใหม่เพื่อพัฒนาวิธีที่อาจไม่ประสบผลสำเร็จ นอกจากนี้ ความแตกต่างของมุมมองเรื่องความงามในแต่ละวัฒนธรรมย่อมทำให้ระบบเช่นนี้ต้องปรับตั้งค่าตามภูมิภาคได้ในระดับหนึ่ง ว่าสิ่งใดถือว่า “น่าดึงดูด”

คุณลักษณะที่เกี่ยวข้อง

เพื่อกำหนดปัจจัยหลักที่ทำให้ภาพคนสวยงาม นักวิจัยได้ทดสอบผลกระทบของการเปลี่ยนแปลงต่างๆ ต่อภาพ โดยพิจารณาจากวิธีการที่การเปลี่ยนแปลงเหล่านั้นเพิ่มคะแนนความงามของอัลกอริทึม พวกเขาพบว่าหนึ่งในด้านที่สำคัญที่สุดคือการถ่ายภาพที่ดีมากกว่าการมีจีโนมที่ดี

นอกเหนือจากแสงแล้ว สิ่งที่มีผลกระทบมากที่สุดต่อคะแนนความงามคือ ผมหน้าม้า (ซึ่งในกรณีของผู้ชายอาจเทียบเท่ากับการมีผมที่สมบูรณ์), ท่าทางของร่างกาย และทิศทางของสายตา (ที่มีการมองตรงเข้ามาในกล้องถ่ายรูปเป็นสิ่งที่ดึงดูด)

(เกี่ยวกับ ‘สีของลิปสติก’ ระบบใหม่นี้ซึ่งสามารถทำงานได้กับทั้งการนำเสนอเพศชายและหญิง ไม่ได้แยกแยะการปรากฏของเพศ แต่ขึ้นอยู่กับระบบ ‘ตัดสิน’ ใหม่นี้เป็น ‘ฟิลเตอร์’ ในด้านนี้)

วิธีการ

ฟังก์ชันรางวัลในกลไกการเรียนรู้แบบเสริมกำลังในระบบใหม่นี้ได้รับพลังจากการถดถอยแบบง่ายๆ เหนือข้อมูล SCUT ซึ่งให้ผลลัพธ์เป็นการคาดการณ์ความงามของใบหน้า

ระบบฝึกอบรมจะวนซ้ำข้อมูลภาพเข้า (ด้านล่างซ้ายในแผนภาพด้านล่าง) ในตอนแรก โมเดล ResNet18 ที่ได้รับการฝึกอบรมแล้ว (ฝึกบน ImageNet) จะสกัดคุณลักษณะจากภาพที่เหมือนกันทั้ง 5 ภาพ (‘y’) ต่อไป คุณลักษณะการเปลี่ยนแปลงที่เป็นไปได้จะถูกสร้างจากสถานะที่ซ่อนอยู่ของชั้นเชื่อมต่ออย่างเต็มรูปแบบ (ชั้นเชื่อมต่ออย่างเต็มรูปแบบ, GRUCell ในภาพด้านล่าง) และการเปลี่ยนแปลงจะถูกนำไปใช้ ซึ่งนำไปสู่ภาพที่เปลี่ยนแปลงไป 5 ภาพที่ถูกส่งเข้าเครือข่ายการให้คะแนนความงาม ซึ่งการจัดอันดับในลักษณะการคัดเลือกแบบดาร์วินจะกำหนดว่าการเปลี่ยนแปลงใดจะถูกพัฒนาและใดจะถูกทิ้ง

ภาพประกอบกระบวนการฝึกอบรม

ภาพประกอบกระบวนการฝึกอบรม

เครือข่ายการให้คะแนนความงามใช้โมดูล Efficient Channel Attention (ECA) ในขณะที่การปรับใช้โมเดล EfficientNet-B4 ที่ได้รับการฝึกอบรมแล้วถูกใช้ในการสกัดคุณลักษณะ 1,792 คุณลักษณะจากภาพแต่ละภาพ

หลังจากการปรับมาตรฐานผ่านฟังก์ชันกระตุ้น ReLU เวกเตอร์ 4 มิติจะถูกส่งกลับจากโมดูล ECA ซึ่งจะถูกแบนให้เป็นเวกเตอร์หนึ่งมิติหลังจากการกระตุ้นและ การปรับขนาดเฉลี่ยแบบปรับได้ สุดท้าย ผลลัพธ์จะถูกส่งเข้าเครือข่ายการถดถอย ซึ่งจะให้คะแนนความงาม

การเปรียบเทียบผลลัพธ์เชิงคุณภาพ แถวล่างคือผลรวมของคุณลักษณะที่แยกแยะด้วย EigenGAN แล้วปรับปรุง ค่าคะแนน FID เฉลี่ยอยู่ทางซ้ายของแต่ละแถว (ยิ่งสูงยิ่งดี)

การเปรียบเทียบผลลัพธ์เชิงคุณภาพ แถวล่างคือผลรวมของคุณลักษณะที่แยกแยะด้วย EigenGAN แล้วปรับปรุง ค่าคะแนน FID เฉลี่ยอยู่ทางซ้ายของแต่ละแถว (ยิ่งสูงยิ่งดี)

การทดสอบและการศึกษากับผู้ใช้

รูปแบบที่แตกต่างกัน 5 แบบของวิธีการที่เสนอถูกประเมินโดยใช้อัลกอริทึม (ดูภาพด้านบน) โดยมีคะแนน Fréchet inception distance (FID, มีข้อถกเถียงในบางกรณี) ที่ถูกกำหนดให้กับภาพ 1,000 ภาพที่ผ่านระบบ

นักวิจัยสังเกตว่าการปรับปรุงแสงสามารถให้คะแนนความน่าดึงดูดที่ดีกว่าการเปลี่ยนแปลงอื่นๆ ที่เห็นได้ชัดเจน (เช่น การเปลี่ยนแปลงที่เกิดขึ้นกับคนในภาพ)

การทดสอบระบบในลักษณะนี้มีข้อจำกัดโดยข้อมูล SCUT ซึ่งไม่มี ‘รอยยิ้มสว่าง’ มากนัก ผู้เขียนจึงเห็นว่าสิ่งนี้อาจให้คะแนนสูงเกินไปกับสีหน้า “ลึกลับ” ที่พบบ่อยในข้อมูล เมื่อเทียบกับความชอบที่น่าจะเป็นของผู้ใช้ปลายทางเป้าหมาย ซึ่งในกรณีนี้คาดว่าเป็นตลาดตะวันตก

อย่างไรก็ตาม เนื่องจากระบบทั้งหมดขึ้นอยู่กับความคิดเห็นเฉลี่ยของคนเพียง 60 คน (ในงานวิจัย EigenGAN) และเนื่องจากคุณภาพที่กำลังศึกษาไม่ใช่สิ่งที่เป็นรูปธรรม จึงสามารถแย้งได้ว่ากระบวนการนี้มีความสมเหตุสมผลมากกว่าข้อมูลที่ใช้

แม้ว่าจะกล่าวถึงอย่างสั้นๆ ในงานวิจัย แต่ภาพจาก EigenGAN และรูปแบบที่แตกต่างกัน 5 แบบของระบบก็ถูกนำไปใช้ในการศึกษากับผู้ใช้ (8 คน) ซึ่งถูกขอให้เลือก ‘ภาพที่ดีที่สุด’ (คำว่า ‘น่าดึงดูด’ ถูกหลีกเลี่ยง)

ด้านบนเป็น GUI ที่นำเสนอให้กับกลุ่มศึกษาเล็กๆ ด้านล่างเป็นผลลัพธ์

ด้านบนเป็น GUI ที่นำเสนอให้กับกลุ่มศึกษาเล็กๆ ด้านล่างเป็นผลลัพธ์

ผลลัพธ์แสดงให้เห็นว่าผลลัพธ์ของระบบใหม่นี้ได้รับการเลือกมากที่สุดจากผู้เข้าร่วม (‘MAES’ ในภาพด้านบน)

การไล่ล่าความงาม (ที่ไม่มีจุดหมาย?)

ความมีประโยชน์ของระบบดังกล่าวยากที่จะกำหนดไว้ แม้ว่าจะดูเหมือนว่ามี จุดสนใจที่สำคัญ จุดสนใจ ของ ความพยายาม ใน ประเทศจีน ที่มุ่งไปสู่เป้าหมายนี้ ไม่มีการระบุไว้ในงานวิจัยใหม่นี้

งานวิจัย EigenGAN ก่อนหน้านี้ชี้ให้เห็นว่าระบบการรู้จักความงามสามารถใช้ได้ในระบบแนะนำการสังเคราะห์เครื่องสำอางบนใบหน้า, ศัลยกรรมความงาม, การเพิ่มความงามของใบหน้า หรือการค้นหาภาพตามเนื้อหา

โดยสมมติว่าแนวทางนี้สามารถใช้ได้ในเว็บไซต์หาคู่ โดยผู้ใช้สามารถ ‘เพิ่มความงาม’ ให้กับภาพโปรไฟล์ของตนเองเพื่อให้ได้ ‘ช็อตที่ดี’ ที่รับประกัน หรือใช้เป็นทางเลือกในการใช้ภาพเก่าหรือภาพของคนอื่น

เว็บไซต์หาคู่เองก็สามารถ ‘จัดอันดับ’ ลูกค้าเพื่อสร้างอันดับและแม้กระทั่ง ระดับการเข้าถึงแบบจำกัด ได้ แม้ว่าสิ่งนี้จะทำงานได้เฉพาะผ่านการยืนยันการมีชีวิตจริงเท่านั้น ไม่ใช่ผ่านการอัปโหลดภาพ (ซึ่งลูกค้าสามารถ ‘เพิ่มความงาม’ ได้หากวิธีการนี้กลายเป็นที่นิยม)

ในด้านโฆษณา วิธีประเมินความงามแบบอัลกอริทึม (เทคโนโลยีที่ไมเคิล ไครช์ตัน นักเขียนนิยายวิทยาศาสตร์ผู้ล่วงลับ เคยคาดการณ์ไว้ในภาพยนตร์ Looker ปี 1982) สามารถใช้ในการเลือกผลงานสร้างสรรค์ที่ไม่ได้ถูกปรับแต่งซึ่งมีแนวโน้มที่จะดึงดูดผู้ชมเป้าหมายมากที่สุด ในขณะที่ความสามารถในการเพิ่มผลกระทบด้านสุนทรียภาพของภาพใบหน้าโดยไม่ต้องเขียนทับภาพด้วย deepfakes สามารถเพิ่มภาพที่มีประสิทธิภาพในการดึงดูดความสนใจของสาธารณชน

งานวิจัยใหม่นี้ได้รับการสนับสนุนจาก National Natural Science Foundation of China, Open Fund Project of the State Key Laboratory of Complex System Management and Control และ Project of Philosophy and Social Science Research from China’s ministry of education, รวมถึงผู้สนับสนุนรายอื่นๆ

 

* การแนะนำหลายอย่างในงานวิจัย EigenGAN ชี้ไปที่หนังสือที่วางจำหน่ายเชิงพาณิชย์ในปี 2016 ที่มีชื่อ ‘Computer Models for Facial Beauty Analysis’ มากกว่าแหล่งข้อมูลทางวิชาการ

เผยแพร่ครั้งแรกเมื่อวันที่ 11 สิงหาคม 2022

ผู้เขียนด้านการเรียนรู้ของเครื่อง, ผู้เชี่ยวชาญด้านการสังเคราะห์ภาพมนุษย์. อดีตหัวหน้าฝ่ายเนื้อหาการวิจัยที่ Metaphysic.ai, จนกระทั่งการรวมเข้าเป็น Brahma.ai ของ DNEG.
เว็บไซต์: martinanderson.ai
ติดต่อ: martin@martinanderson.ai