การคาดการณ์ความน่าดึงดูดของใบหน้าสำหรับไลฟ์สตรีม

จนถึงปัจจุบัน การคาดการณ์ความน่าดึงดูดของใบหน้า (FAP) ได้รับการศึกษาหลักในบริบทของการวิจัยจิตวิทยา อุตสาหกรรมความงามและเครื่องสำอาง และในบริบทของการผ่าตัดพลาสติก เป็นหนึ่งในสาขาที่ท้าทาย เนื่องจากมาตรฐานความงามมักจะแตกต่างกันไปในแต่ละประเทศ มากกว่ามาตรฐานความงามที่เป็นสากล

ซึ่งหมายความว่าไม่มีฐานข้อมูล AI ที่มีประสิทธิภาพใดที่สามารถใช้ได้กับทุกวัฒนธรรม เนื่องจากค่าเฉลี่ยที่ได้รับจากการสุ่มตัวอย่างใบหน้าและคะแนนจากทุกวัฒนธรรมจะถูกเอนเอียงไปในทางที่ผิด (โดยที่ประเทศที่มีประชากรมากขึ้นจะมีผลกระทบมากขึ้น) หรือไม่สามารถใช้ได้กับวัฒนธรรมใดๆ เลย (โดยที่ค่าเฉลี่ยของใบหน้าและคะแนนจากหลายเชื้อชาติจะเท่ากับไม่มีเชื้อชาติใดๆ)

แทนที่จะพัฒนาแนวทางปฏิบัติและกระบวนการทำงานที่สามารถประมวลผลข้อมูลที่เฉพาะเจาะจงสำหรับประเทศหรือวัฒนธรรมใดๆ เพื่อให้สามารถพัฒนาโมเดล FAP ที่มีประสิทธิภาพสำหรับแต่ละภูมิภาค

กรณีการใช้งาน FAP ในด้านความงามและจิตวิทยานั้นเป็นเรื่องที่จำกัดและเฉพาะเจาะจง ดังนั้นฐานข้อมูลส่วนใหญ่ที่ได้รับการเก็บรวบรวมจนถึงปัจจุบันจึงมีข้อมูลที่จำกัดหรือยังไม่ได้รับการเผยแพร่

ความพร้อมใช้งานของตัวคาดการณ์ความน่าดึงดูดออนไลน์ที่มุ่งเป้าไปที่กลุ่มคนในตะวันตกไม่จำเป็นต้องเป็นตัวแทนของสถานะปัจจุบันของ FAP ซึ่งดูเหมือนว่าได้รับการครอบงำโดยการวิจัยจากเอเชียตะวันออก (โดยเฉพาะจีน) และฐานข้อมูลจากเอเชียตะวันออก

ตัวอย่างจากฐานข้อมูล 2020 ‘Asian Female Facial Beauty Prediction Using Deep Neural Networks via Transfer Learning and Multi-Channel Feature Fusion’ แหล่งที่มา: https://www.semanticscholar.org/paper/Asian-Female-Facial-Beauty-Prediction-Using-Deep-Zhai-Huang/59776a6fb0642de5338a3dd9bac112194906bf30

การใช้งานเชิงพาณิชย์ที่กว้างขึ้นสำหรับการประเมินความงามรวมถึงแอปพลิเคชันหาคู่ออนไลน์ และระบบ AI ที่ออกแบบมาเพื่อ “แต่งหน้า” ใบหน้าจริงของคน (เนื่องจากการประยุกต์ใช้เหล่านี้ต้องการมาตรฐานความงามที่เป็นมาตรฐานในการวัดประสิทธิภาพ)

การวาดใบหน้า

บุคคลที่มีความน่าดึงดูดยังคงเป็นสินทรัพย์ที่มีค่าในด้านการโฆษณาและสร้างอิทธิพล ทำให้โอกาสทางการเงินในภาคส่วนเหล่านี้ชัดเจนสำหรับการพัฒนา FAP ที่มีประสิทธิภาพและเฟรมเวิร์ก

ตัวอย่างเช่น โมเดล AI ที่ได้รับการฝึกฝนจากข้อมูลจริงเพื่อประเมินและจัดอันดับความงามของใบหน้าอาจสามารถระบุเหตุการณ์หรือบุคคลที่มีศักยภาพสูงในการโฆษณาได้ ความสามารถนี้จะมีความเกี่ยวข้องอย่างมากในบริบทของการถ่ายทอดสดวิดีโอ โดยที่เมตริกเช่น “ผู้ติดตาม” และ “ไลค์” ปัจจุบันใช้เป็นตัวชี้วัดที่ไม่ชัดเจนของความสามารถของบุคคล (หรือแม้แต่ประเภทใบหน้า) ในการดึงดูดผู้ชม

นี่เป็นตัวชี้วัดที่ผิวเผิน และเสียง การนำเสนอ และมุมมองยังมีบทบาทสำคัญในการดึงดูดผู้ชม ดังนั้นการเก็บรวบรวมฐานข้อมูล FAP จึงต้องการการดูแลจากมนุษย์ เช่นเดียวกับความสามารถในการแยกแยะระหว่างความน่าดึงดูดของใบหน้าและความน่าดึงดูดที่ไม่แท้จริง (โดยไม่เช่นนั้น ผู้มีอิทธิพลที่ไม่เหมาะสม เช่น Alex Jones อาจส่งผลต่อเส้นโค้ง FAP สำหรับสะสมที่ออกแบบมาเพื่อประเมินความงามของใบหน้าเท่านั้น)

LiveBeauty

เพื่อแก้ไขปัญหาการขาดแคลนฐานข้อมูล FAP นักวิจัยจากจีนได้เสนอฐานข้อมูล FAP ขนาดใหญ่ ซึ่งมีภาพใบหน้า 100,000 ภาพ พร้อมด้วยการแสดงความงามของใบหน้า 200,000 ครั้ง

ตัวอย่างจากฐานข้อมูล LiveBeauty แหล่งที่มา: https://arxiv.org/pdf/2501.02509

ฐานข้อมูลที่เรียกว่า LiveBeauty มีเอกลักษณ์ที่แตกต่างกัน 10,000 รายการ ซึ่งถูกบันทึกจากแพลตฟอร์มการถ่ายทอดสดที่ไม่ระบุชื่อในเดือนมีนาคม 2024

ผู้เขียนยังนำเสนอ FPEM ซึ่งเป็นวิธีการคาดการณ์ความน่าดึงดูดของใบหน้าแบบหลายโหมดใหม่ FPEM รวมถึงความรู้เบื้องต้นของใบหน้าและคุณลักษณะทางสุนทรียศาสตร์หลายโหมดผ่านโมดูลความงามส่วนบุคคล (PAPM) โมดูลการเข้ารหัสความงามหลายโหมด (MAEM) และโมดูลการผสมผสานหลายโหมด (CMFM)

งานวิจัยระบุว่า FPEM มีประสิทธิภาพสูงสุดในฐานข้อมูล LiveBeauty และฐานข้อมูล FAP อื่นๆ ผู้เขียนยังระบุด้วยว่าการวิจัยนี้มีศักยภาพในการใช้งานสำหรับการปรับปรุงคุณภาพวิดีโอ การแนะนำเนื้อหา และการแต่งหน้าใบหน้าในบริบทการถ่ายทอดสด

ผู้เขียนยังให้คำมั่นว่าจะเผยแพร่ฐานข้อมูล “เร็วๆ นี้” แม้ว่าจะต้องยอมรับว่าข้อจำกัดในการออกใบอนุญาตที่มีอยู่ในโดเมนแหล่งที่มาอาจส่งผลต่อโครงการที่ใช้งานได้

งานวิจัยเรื่องนี้มีชื่อว่า การคาดการณ์ความน่าดึงดูดของใบหน้าในบริบทการถ่ายทอดสด: บンチมาร์กใหม่และวิธีการหลายโหมด และมาจากนักวิจัย 10 คนจาก Alibaba Group และ Shanghai Jiao Tong University

วิธีการและข้อมูล

จากการส่งสัญญาณการถ่ายทอดสด 10 ชั่วโมง นักวิจัยได้รวบรวมภาพหนึ่งภาพต่อชั่วโมงในชั่วโมงแรกสามชั่วโมง การส่งสัญญาณที่มียอดผู้ชมสูงสุดถูกเลือก

ข้อมูลที่รวบรวมถูกส่งผ่านขั้นตอนการประมวลผลล่วงหน้าหลายขั้นตอน ขั้นตอนแรกคือ การวัดขนาดของบริเวณใบหน้า ซึ่งใช้โมเดลการตรวจจับใบหน้า FaceBoxes ในปี 2018 เพื่อสร้างกล่องขอบเขตรอบๆ ใบหน้า

ขั้นตอนที่สองคือ การตรวจจับภาพเบลอ ซึ่งถูกใช้กับบริเวณใบหน้าโดยใช้ความแปรปรวนของ ออปเปอเรเตอร์ Laplacian ในช่องสี Y ของภาพใบหน้า ความแปรปรวนนี้จะต้องมากกว่า 10 เพื่อกรองภาพที่ไม่ชัดเจน

ขั้นตอนที่สามคือ การประมาณมุมใบหน้า ซึ่งใช้โมเดลการประมาณมุมใบหน้า 3DDFA-V2 ในปี 2021:

ตัวอย่างจากโมเดลการประมาณมุมใบหน้า 3DDFA-V2 แหล่งที่มา: https://arxiv.org/pdf/2009.09960

ในขั้นตอนนี้ โมเดลจะตรวจสอบให้แน่ใจว่ามุม俯ของใบหน้าที่ถูกตัดออกมาไม่เกิน 20 องศา และมุมทิศไม่เกิน 15 องศา ซึ่งจะช่วยแยกใบหน้าที่มีมุมที่รุนแรงออก

ขั้นตอนที่สี่คือ การประเมินสัดส่วนของใบหน้า ซึ่งใช้ความสามารถในการแบ่งส่วนของโมเดล 3DDFA-V2 เพื่อให้แน่ใจว่าบริเวณใบหน้าที่ถูกตัดออกมาจะมีขนาดมากกว่า 60% ของภาพ ซึ่งจะช่วยแยกภาพที่ใบหน้าไม่เด่น

สุดท้าย ขั้นตอนที่ห้าคือ การลบตัวละครซ้ำ ซึ่งใช้โมเดลการรู้จำใบหน้าที่ไม่ได้ระบุชื่อ สำหรับกรณีที่ตัวละครเดียวกันปรากฏในภาพมากกว่าหนึ่งภาพที่รวบรวมจากวิดีโอที่มีความยาว 10 ชั่วโมง

การประเมินและบันทึกโดยมนุษย์

มีผู้เข้าร่วมการประเมิน 20 คน ซึ่งประกอบด้วยชาย 6 คนและหญิง 14 คน สะท้อนถึงประชากรของแพลตฟอร์มการถ่ายทอดสดที่ใช้* ใบหน้าถูกแสดงบนจอ 6.7 นิ้วของ iPhone 14 Pro Max ในห้องปฏิบัติการที่มีเงื่อนไขที่สม่ำเสมอ

การประเมินถูกแบ่งออกเป็น 200 เซสชัน แต่ละเซสชันใช้ภาพ 50 ภาพ ผู้เข้าร่วมถูกขอให้จัดอันดับความน่าดึงดูดของตัวอย่างบนคะแนน 1-5 โดยมีการพัก 5 นาทีระหว่างเซสชัน และผู้เข้าร่วมทุกคนเข้าร่วมเซสชันทั้งหมด

ดังนั้น ใบหน้าทั้ง 10,000 ใบจึงถูกประเมินโดยผู้เข้าร่วม 20 คน โดยได้รับการบันทึก 200,000 ครั้ง

การวิเคราะห์และการประมวลผลล่วงหน้า

ขั้นแรก การประเมินหลังการบันทึกถูกทำโดยใช้อัตราส่วนผู้ออกและ สัมประสิทธิ์สหสัมพันธ์ระดับของ Spearman (SROCC) ผู้เข้าร่วมที่มีคะแนน SROCC น้อยกว่า 0.75 หรืออัตราส่วนผู้ออกมากกว่า 2% ถูกถือว่าไม่น่าเชื่อถือและถูกลบออก โดยเหลือผู้เข้าร่วม 20 คน

ต่อไป คะแนนความเห็นชอบเฉลี่ย (MOS) ถูกคำนวณสำหรับแต่ละภาพใบหน้า โดยการเฉลี่ยคะแนนที่ได้รับจากผู้เข้าร่วมที่ถูกต้อง MOS ทำหน้าที่เป็นคะแนนความงามที่แท้จริงสำหรับแต่ละภาพ และคะแนนนี้คำนวณโดยการเฉลี่ยคะแนนแต่ละคะแนนจากผู้เข้าร่วมที่ถูกต้อง

สุดท้าย การวิเคราะห์การกระจายตัวของ MOS สำหรับตัวอย่างทั้งหมด รวมถึงตัวอย่างเพศหญิงและเพศชาย พบว่ามีรูปแบบ แบบกอสเซียน ซึ่งสอดคล้องกับการกระจายตัวของความน่าดึงดูดของใบหน้าในโลกแห่งความเป็นจริง:

ตัวอย่างการกระจายตัวของ MOS ของ LiveBeauty

โดยทั่วไป บุคคลส่วนใหญ่มีความน่าดึงดูดของใบหน้าระดับปานกลาง มีเพียงไม่กี่คนที่มีความน่าดึงดูดต่ำมากหรือสูงมาก

นอกจากนี้ การวิเคราะห์ค่า ความเบ้และความโด่ง พบว่าการกระจายตัวมีหางที่บางและกระจุกตัวอยู่รอบคะแนนเฉลี่ย และพบว่า ความน่าดึงดูดสูงมีมากขึ้นในตัวอย่างเพศหญิง ในวิดีโอการถ่ายทอดสดที่รวบรวม

สถาปัตยกรรม

กลยุทธ์การฝึกอบรมสองขั้นตอนถูกใช้สำหรับโมเดล FPEM และเฟสการผสมผสานหลายโหมดใน LiveBeauty โดยแบ่งออกเป็นสี่โมดูล: โมดูลความงามส่วนบุคคล (PAPM) โมดูลการเข้ารหัสความงามหลายโหมด (MAEM) โมดูลการผสมผสานหลายโหมด (CMFM) และโมดูลการผสมผสานการตัดสินใจ (DFM)

สเคมาทางคอนเซปต์สำหรับพายพายป์ไลน์การฝึกอบรมของ LiveBeauty

โมดูล PAPM นำเข้าภาพและดึงคุณลักษณะที่มองเห็นได้หลายระดับโดยใช้ Swin Transformer และดึงคุณลักษณะที่ตระหนักถึงใบหน้าโดยใช้โมเดล FaceNet ที่ได้รับการฝึกอบรมล่วงหน้า คุณลักษณะเหล่านี้ถูกผสมผสานโดยใช้บล็อกความสนใจแบบข้ามเพื่อสร้างคุณลักษณะความงามส่วนบุคคล

ในเฟสการฝึกอบรมเบื้องต้น MAEM ใช้ภาพและคำอธิบายความงามแบบข้อความ โดยใช้ CLIP เพื่อดึงคุณลักษณะทางสุนทรียศาสตร์หลายโหมด

คำอธิบายข้อความที่มีแบบแผนอยู่ในรูปแบบ ‘ภาพของบุคคลที่มีความงาม {a}’ (โดยที่ {a} สามารถเป็น ไม่ดี ไม่ดี ปานกลาง ดี หรือ สมบูรณ์แบบ) กระบวนการนี้คำนวณความคล้ายคลึงกันแบบโคไซน์ระหว่างการฝังตัวข้อความและภาพเพื่อให้ได้คะแนนความน่าดึงดูด

ในเฟสการผสมผสานหลายโหมด CMFM 會ปรับปรุงการฝังตัวข้อความโดยใช้คุณลักษณะความงามส่วนบุคคลที่สร้างโดย PAPM เพื่อสร้างการฝังตัวข้อความส่วนบุคคล จากนั้นใช้กลยุทธ์การถดถอยความคล้ายคลึงเพื่อทำการคาดการณ์

สุดท้าย DFM รวมการคาดการณ์แต่ละรายการจาก PAPM MAEM และ CMFM เพื่อสร้างคะแนนความน่าดึงดูดสุดท้าย โดยมีเป้าหมายในการบรรลุความเห็นพ้องกันที่มั่นคง

ฟังก์ชันการสูญเสีย

สำหรับเมตริกการวัดความสูญเสีย PAPM ถูกฝึกโดยใช้ L1 loss ซึ่งเป็นมาตรการของความแตกต่างสัมบูรณ์ระหว่างคะแนนความน่าดึงดูดที่คาดการณ์ไว้และคะแนนความงามที่แท้จริง (คะแนนความเห็นชอบเฉลี่ย)

โมดูล MAEM ใช้ฟังก์ชันการวัดความสูญเสียที่ซับซ้อนกว่า ซึ่งรวมถึงความสูญเสียจากการให้คะแนน (LS) และความสูญเสียจากการจัดอันดับ (LR) ความสูญเสียในการจัดอันดับ (LR) ประกอบด้วยความสูญเสียความจริง (LR1) และความสูญเสียการจัดอันดับสองทิศทาง (LR2)

LR1 เปรียบเทียบความน่าดึงดูดสัมพัทธ์ของคู่ภาพ ในขณะที่ LR2 รับรองว่าการกระจายตัวของความน่าดึงดูดที่คาดการณ์ไว้มีจุดสูงสุดเดียวและลดลงในทิศทางทั้งสอง ซึ่งเป็นแนวทางที่มุ่งหมายเพื่อปรับปรุงการให้คะแนนและจัดอันดับที่ถูกต้องของภาพตามความน่าดึงดูด

CMFM และ DFM ถูกฝึกโดยใช้ L1 loss ที่ง่าย

การทดสอบ

ในการทดสอบ นักวิจัยได้เทียบ LiveBeauty กับแนวทางที่ผ่านมา 9 แนวทาง: ComboNet 2D-FAP REX-INCEP CNN-ER (ที่นำเสนอใน REX-INCEP) MEBeauty AVA-MLSP TANet Dele-Trans และ EAT

วิธีการที่เป็นมาตรฐานตาม การประเมินความงามของภาพ (IAA) ก็ถูกทดสอบเช่นกัน ซึ่งรวมถึง ViT-B ResNeXt-50 และ Inception-V3

นอกเหนือจาก LiveBeauty ฐานข้อมูลอื่นๆ ที่ถูกทดสอบคือ SCUT-FBP5000 และ MEBeauty ต่อไปนี้คือการกระจายตัวของ MOS สำหรับฐานข้อมูลที่เปรียบเทียบ:

การกระจายตัวของ MOS สำหรับฐานข้อมูลที่เปรียบเทียบ

ฐานข้อมูลที่เป็นแขกเหล่านี้ถูกแบ่งออกเป็น 60%-40% และ 80%-20% สำหรับการฝึกอบรมและการทดสอบ ตามลำดับ เพื่อรักษาความสอดคล้องกับโพรโทคอลเดิมของพวกมัน LiveBeauty ถูกแบ่งออกเป็น 90%-10%

สำหรับการเริ่มต้นโมเดลใน MAEM VT-B/16 และ GPT-2 ถูกใช้เป็นตัวเข้ารหัสภาพและข้อความ ตามลำดับ โดยใช้การตั้งค่าจาก CLIP สำหรับ PAPM Swin-T ถูกใช้เป็นตัวเข้ารหัสภาพที่สามารถฝึกได้ ตาม SwinFace

ตัวเพิ่ม AdamW ถูกใช้ และตัวกำหนดอัตราการเรียนรู้ อัตราการเรียนรู้ ตารางการเรียนรู้ ถูกตั้งค่าด้วย การอุ่นเครื่องเชิงเส้น ภายใต้แผน การลดลงแบบโคไซน์ อัตราการเรียนรู้แตกต่างกันไปในแต่ละเฟสการฝึกอบรม แต่ละเฟสจะมีขนาด แบตช์ 32 สำหรับ 50 รอบการฝึก

ผลลัพธ์จากการทดสอบ

ผลลัพธ์จากการทดสอบบนฐานข้อมูล FAP สามฐานข้อมูลแสดงไว้ด้านบน ในผลลัพธ์เหล่านี้ งานวิจัยระบุว่า:

‘วิธีการที่เราเสนอได้รับอันดับหนึ่งและเหนือกว่าอันดับสองประมาณ 0.012 0.081 และ 0.021 ในแง่ของค่าสัมประสิทธิ์สหสัมพันธ์ระดับของ Spearman (SROCC) บน LiveBeauty MEBeauty และ SCUT-FBP5500 ตามลำดับ ซึ่งแสดงให้เห็นถึงความเหนือกว่าของวิธีการที่เราเสนอ’

‘วิธีการที่ใช้การประเมินความงามของภาพ (IAA) นั้นไม่ดีเท่าวิธีการ FAP ซึ่งแสดงให้เห็นว่าวิธีการประเมินความงามทั่วไปไม่ได้คำนึงถึงคุณลักษณะของใบหน้าที่เกี่ยวข้องกับธรรมชาติของความน่าดึงดูดของใบหน้า ซึ่งนำไปสู่ประสิทธิภาพที่ไม่ดีในการทำนายความน่าดึงดูดของใบหน้า’

‘ประสิทธิภาพของวิธีการทั้งหมดลดลงอย่างมากใน MEBeauty เนื่องจากตัวอย่างการฝึกอบรมมีจำนวนจำกัดและใบหน้ามีความหลากหลายทางเชื้อชาติใน MEBeauty ซึ่งบ่งชี้ว่ามีความหลากหลายที่มากในความน่าดึงดูดของใบหน้า ซึ่งทำให้การทำนายความน่าดึงดูดของใบหน้าใน MEBeauty มีความท้าทายมากขึ้น’

‘ปัจจัยเหล่านี้ทำให้การทำนายความน่าดึงดูดของใบหน้าใน MEBeauty มีความท้าทายมากขึ้น’

ข้อพิจารณาทางจริยธรรม

การวิจัยเกี่ยวกับความน่าดึงดูดเป็นเรื่องที่อาจสร้างความแตกแยก เนื่องจากการสร้างมาตรฐานความงามที่เป็นมาตรฐานจะทำให้ระบบเหล่านี้มีแนวโน้มที่จะเสริมสร้างและยืดเยื้อความลำเอียงเกี่ยวกับอายุ เชื้อชาติ และหลายส่วนของการวิจัยด้านการมองเห็นของเครื่องจักรที่เกี่ยวข้องกับมนุษย์

สามารถแย้งได้ว่าระบบ FAP มีแนวโน้มที่จะเสริมสร้างและยืดเยื้อความลำเอียงเกี่ยวกับความงามโดยธรรมชาติ การตัดสินเหล่านี้อาจเกิดขึ้นจากข้อมูลที่ได้รับการบันทึกโดยมนุษย์ ซึ่งมักจะถูกดำเนินการในระดับที่จำกัดสำหรับการทั่วไปของโดเมน – หรือจากการวิเคราะห์รูปแบบการดึงดูดในบริบทออนไลน์ เช่น แพลตฟอร์มสตรีมมิ่ง ซึ่งโดยทั่วไปไม่ใช่สิ่งที่ยุติธรรม

* งานวิจัยอ้างอิงโดเมนแหล่งที่มาโดยไม่ระบุชื่อในรูปเอกพจน์และพหูพจน์

เผยแพร่ครั้งแรกวันพุธที่ 8 มกราคม 2025