Dự đoán mức độ hấp dẫn khuôn mặt cho Livestream

Đến nay, Dự đoán mức độ hấp dẫn khuôn mặt (FAP) chủ yếu được nghiên cứu trong lĩnh vực nghiên cứu tâm lý, trong ngành công nghiệp mỹ phẩm và thẩm mỹ, và trong lĩnh vực phẫu thuật thẩm mỹ. Đây là một lĩnh vực nghiên cứu đầy thách thức, vì tiêu chuẩn về vẻ đẹp có xu hướng quốc gia hơn là toàn cầu.

Điều này có nghĩa là không có cơ sở dữ liệu AI nào hiệu quả có thể được áp dụng, vì giá trị trung bình thu được từ việc lấy mẫu khuôn mặt/rating từ tất cả các nền văn hóa sẽ bị thiên vị (trong đó các quốc gia đông dân hơn sẽ có thêm động lực), hoặc không áp dụng được cho bất kỳ nền văn hóa nào (trong đó giá trị trung bình của nhiều chủng tộc/rating sẽ tương đương với không có chủng tộc thực sự).

Thay vào đó, thách thức là phải phát triển phương pháp luận khái niệm và quy trình làm việc mà dữ liệu cụ thể của quốc gia hoặc nền văn hóa có thể được xử lý, để cho phép phát triển các mô hình FAP hiệu quả cho từng khu vực.

Các trường hợp sử dụng FAP trong nghiên cứu về vẻ đẹp và tâm lý là khá nhỏ; do đó, hầu hết các tập dữ liệu được tạo ra cho đến nay chỉ chứa dữ liệu hạn chế, hoặc không được công bố.

Sự sẵn có dễ dàng của các công cụ dự đoán hấp dẫn trực tuyến, chủ yếu nhắm vào khán giả phương Tây, không nhất thiết phải đại diện cho tình hình hiện tại của FAP, mà dường như đang bị chi phối bởi nghiên cứu của châu Á (chủ yếu là Trung Quốc), và các tập dữ liệu của châu Á tương ứng.

Ví dụ về tập dữ liệu từ bài báo năm 2020 ‘Asian Female Facial Beauty Prediction Using Deep Neural Networks via Transfer Learning and Multi-Channel Feature Fusion’. Nguồn: https://www.semanticscholar.org/paper/Asian-Female-Facial-Beauty-Prediction-Using-Deep-Zhai-Huang/59776a6fb0642de5338a3dd9bac112194906bf30

Các ứng dụng thương mại rộng hơn cho việc ước lượng vẻ đẹp bao gồm các ứng dụng hẹn hò trực tuyến và các hệ thống AI tạo ra hình ảnh người đẹp hơn (vì những ứng dụng này yêu cầu một tiêu chuẩn vẻ đẹp định lượng hóa để đo lường hiệu quả).

Vẽ khuôn mặt

Những người hấp dẫn tiếp tục là một tài sản quý giá trong quảng cáo và xây dựng ảnh hưởng, khiến cho các động lực tài chính trong những lĩnh vực này trở thành một cơ hội rõ ràng để phát triển các tập dữ liệu và khuôn khổ FAP tiên tiến.

Ví dụ, một mô hình AI được đào tạo với dữ liệu thực tế để đánh giá và xếp hạng vẻ đẹp khuôn mặt có thể xác định các sự kiện hoặc cá nhân có tiềm năng cao cho tác động quảng cáo. Khả năng này sẽ đặc biệt phù hợp trong các ngữ cảnh phát trực tuyến video, nơi các chỉ số như ‘người theo dõi’ và ‘lượt thích’ hiện chỉ phục vụ như đại diện ngầm cho khả năng thu hút khán giả của một cá nhân (hoặc thậm chí một loại khuôn mặt).

Đây là một chỉ số bề mặt, và giọng nói, trình bày và quan điểm cũng đóng vai trò quan trọng trong việc thu hút khán giả. Do đó, việc tạo ra các tập dữ liệu FAP đòi hỏi sự giám sát của con người, cũng như khả năng phân biệt giữa vẻ đẹp khuôn mặt và ‘vẻ đẹp giả tạo’ (trong đó, nếu không, những người ảnh hưởng ngoài lĩnh vực như Alex Jones có thể ảnh hưởng đến đường cong FAP trung bình cho một bộ sưu tập được thiết kế chỉ để ước lượng vẻ đẹp khuôn mặt).

LiveBeauty

Để giải quyết sự thiếu hụt của các tập dữ liệu FAP, các nhà nghiên cứu từ Trung Quốc đang cung cấp tập dữ liệu FAP lớn đầu tiên, chứa 100.000 hình ảnh khuôn mặt, cùng với 200.000 đánh giá của con người về vẻ đẹp khuôn mặt.

Ví dụ về tập dữ liệu LiveBeauty. Nguồn: https://arxiv.org/pdf/2501.02509

Được gọi là LiveBeauty, tập dữ liệu này có 10.000 danh tính khác nhau, tất cả được thu thập từ (không xác định) các nền tảng phát trực tuyến vào tháng 3 năm 2024.

Các tác giả cũng trình bày FPEM, một phương pháp FAP đa phương thức mới. FPEM tích hợp kiến thức khuôn mặt toàn diện và các tính năng thẩm mỹ đa phương thức tính năng thông qua một mô-đun Trước Attractiveness Prior (PAPM), một mô-đun mã hóa Attractiveness đa phương thức (MAEM) và một mô-đun hợp nhất đa phương thức (CMFM).

Bài báo cho rằng FPEM đạt được hiệu suất tốt nhất trên tập dữ liệu LiveBeauty mới và các tập dữ liệu FAP khác. Các tác giả lưu ý rằng nghiên cứu này có tiềm năng ứng dụng để nâng cao chất lượng video, đề xuất nội dung và chỉnh sửa khuôn mặt trong phát trực tuyến.

Các tác giả cũng hứa sẽ cung cấp tập dữ liệu này ‘sớm’ – mặc dù phải thừa nhận rằng bất kỳ hạn chế cấp phép nào trong miền nguồn có thể sẽ được chuyển sang hầu hết các dự án có thể sử dụng công việc này.

Bài báo mới có tiêu đề Dự đoán mức độ hấp dẫn khuôn mặt trong phát trực tuyến: Một điểm chuẩn mới và phương pháp đa phương thức, và đến từ mười nhà nghiên cứu trên toàn bộ Tập đoàn Alibaba và Đại học Shanghai Jiao Tong.

Phương pháp và Dữ liệu

Từ mỗi buổi phát trực tuyến 10 giờ từ các nền tảng phát trực tuyến, các nhà nghiên cứu đã thu thập một hình ảnh mỗi giờ trong ba giờ đầu tiên. Các buổi phát trực tuyến có số lượng người xem trang cao nhất được chọn.

Dữ liệu thu thập được sau đó được xử lý qua nhiều giai đoạn tiền xử lý. Giai đoạn đầu tiên là đo kích thước vùng khuôn mặt, sử dụng mô hình phát hiện khuôn mặt dựa trên CPU năm 2018 FaceBoxes để tạo ra một hộp giới hạn xung quanh các đặc điểm khuôn mặt. Đường ống đảm bảo rằng chiều ngắn hơn của hộp giới hạn vượt quá 90 pixel, tránh các vùng khuôn mặt nhỏ hoặc không rõ ràng.

Giai đoạn thứ hai là phát hiện mờ, được áp dụng cho vùng khuôn mặt bằng cách sử dụng phương sai của toán tử Laplace trong kênh chiều cao (Y) của hình ảnh khuôn mặt. Phương sai này phải lớn hơn 10, giúp lọc ra các hình ảnh mờ.

Giai đoạn thứ ba là ước lượng tư thế khuôn mặt, sử dụng mô hình ước lượng tư thế khuôn mặt năm 2021 3DDFA-V2:

Ví dụ từ mô hình ước lượng tư thế khuôn mặt 3DDFA-V2. Nguồn: https://arxiv.org/pdf/2009.09960

Ở đây, quy trình đảm bảo rằng góc pitch của khuôn mặt được cắt nhỏ không vượt quá 20 độ, và góc yaw không vượt quá 15 độ, loại bỏ các khuôn mặt có tư thế cực đoan.

Giai đoạn thứ tư là đánh giá tỷ lệ khuôn mặt, cũng sử dụng khả năng phân đoạn của mô hình 3DDFA-V2, đảm bảo rằng vùng khuôn mặt được cắt nhỏ chiếm hơn 60% hình ảnh, loại bỏ các hình ảnh mà khuôn mặt không nổi bật. tức là nhỏ trong hình ảnh tổng thể.

Cuối cùng, giai đoạn thứ năm là loại bỏ nhân vật trùng lặp, sử dụng một mô hình nhận dạng khuôn mặt (không được chỉ định) để loại bỏ các khuôn mặt trùng lặp trong các hình ảnh thu thập được.

Đánh giá và chú thích của con người

Hai mươi người chú thích được tuyển dụng, bao gồm sáu nam và 14 nữ, phản ánh nhân khẩu học của nền tảng trực tuyến được sử dụng*. Các khuôn mặt được hiển thị trên màn hình 6,7 inch của iPhone 14 Pro Max, trong điều kiện phòng thí nghiệm nhất quán.

Đánh giá được chia thành 200 phiên, mỗi phiên sử dụng 50 hình ảnh. Các đối tượng được yêu cầu đánh giá mức độ hấp dẫn khuôn mặt của các mẫu trên thang điểm 1-5, với thời gian nghỉ năm phút giữa mỗi phiên, và tất cả các đối tượng tham gia vào tất cả các phiên.

Do đó, toàn bộ 10.000 hình ảnh đã được đánh giá trên 20 đối tượng con người, đưa đến 200.000 chú thích.

Phân tích và tiền xử lý

Trước hết, sàng lọc sau đối tượng được thực hiện bằng cách sử dụng tỷ lệ ngoại lệ và hệ số tương quan thứ tự Spearman (SROCC). Các đối tượng có xếp hạng có hệ số SROCC nhỏ hơn 0,75 hoặc tỷ lệ ngoại lệ lớn hơn 2% được coi là không đáng tin cậy và bị loại bỏ, với 20 đối tượng cuối cùng được thu thập..

Điểm trung bình ý kiến (MOS) sau đó được tính toán cho mỗi hình ảnh khuôn mặt, bằng cách tính trung bình các điểm số thu được từ các đối tượng hợp lệ. MOS phục vụ như nhãn hấp dẫn thực sự cho mỗi hình ảnh, và điểm số được tính bằng cách tính trung bình tất cả các điểm số cá nhân từ mỗi đối tượng hợp lệ.

Cuối cùng, phân tích phân phối MOS cho tất cả các mẫu, cũng như cho các mẫu nữ và nam, cho thấy chúng có hình dạng giống Gaussian, phù hợp với phân phối hấp dẫn khuôn mặt trong thế giới thực:

Ví dụ về phân phối MOS LiveBeauty.

Hầu hết các cá nhân có xu hướng có mức độ hấp dẫn khuôn mặt trung bình, với ít cá nhân ở các cực của hấp dẫn rất thấp hoặc rất cao.

Hơn nữa, phân tích độ lệch và độ nhọn cho thấy các phân phối được đặc trưng bởi đuôi mỏng và tập trung xung quanh điểm trung bình, và rằng mức độ hấp dẫn cao hơn được tìm thấy nhiều hơn trong các mẫu nữ trong các video phát trực tuyến thu thập được.

Kiến trúc

Một chiến lược đào tạo hai giai đoạn được sử dụng cho mô hình FPEM và giai đoạn hợp nhất trong LiveBeauty, chia thành bốn mô-đun: mô-đun Trước Attractiveness Prior (PAPM), mô-đun mã hóa Attractiveness đa phương thức (MAEM), mô-đun hợp nhất đa phương thức (CMFM) và mô-đun hợp nhất quyết định (DFM).

Sơ đồ khái niệm cho quy trình đào tạo LiveBeauty.

Mô-đun PAPM lấy một hình ảnh làm đầu vào và trích xuất các tính năng hình ảnh đa quy mô bằng cách sử dụng Swin Transformer, và cũng trích xuất các tính năng khuôn mặt bằng cách sử dụng mô hình FaceNet được đào tạo trước. Các tính năng này sau đó được kết hợp bằng cách sử dụng một khối chú ý chéo để tạo ra một tính năng hấp dẫn được cá nhân hóa.

Cũng trong giai đoạn đào tạo sơ bộ, MAEM sử dụng một hình ảnh và mô tả văn bản về hấp dẫn, tận dụng CLIP để trích xuất các tính năng thẩm mỹ đa phương thức.

Các mô tả văn bản được tạo mẫu theo dạng ‘một bức ảnh của một người với {a} hấp dẫn’ (trong đó {a} có thể là không tốt, không đủ tốt, trung bình, tốt hoặc hoàn hảo). Quá trình này ước tính tương đồng cosine giữa các bản nhúng văn bản và hình ảnh để đến được một mức hấp dẫn.

Trong giai đoạn hợp nhất, CMFM tinh chỉnh các bản nhúng văn bản bằng cách sử dụng tính năng hấp dẫn được cá nhân hóa được tạo ra bởi PAPM, do đó tạo ra các bản nhúng văn bản được cá nhân hóa. Sau đó, nó sử dụng một chiến lược hồi quy tương đồng để đưa ra một dự đoán.

Cuối cùng, DFM kết hợp các dự đoán cá nhân từ PAPM, MAEM và CMFM để tạo ra một điểm hấp dẫn duy nhất, với mục tiêu đạt được một sự đồng thuận vững chắc

Hàm mất mát

Đối với các chỉ số mất mát, PAPM được đào tạo bằng cách sử dụng mất mát L1, một thước đo sự khác biệt tuyệt đối giữa điểm hấp dẫn dự đoán và điểm hấp dẫn thực sự (nhãn thực sự).

MAEM sử dụng một hàm mất mát phức tạp hơn, kết hợp mất mát điểm với mất mát xếp hạng. Mất mát xếp hạng bao gồm mất mát trung thành và mất mát xếp hạng hai chiều.

Mất mát trung thành so sánh sự hấp dẫn tương đối của các cặp hình ảnh, trong khi mất mát xếp hạng hai chiều đảm bảo rằng phân phối xác suất của các mức hấp dẫn có một đỉnh duy nhất và giảm ở cả hai hướng. Cách tiếp cận kết hợp này nhằm tối ưu hóa cả việc đánh giá chính xác và xếp hạng chính xác các hình ảnh dựa trên hấp dẫn.

CMFM và DFM được đào tạo bằng cách sử dụng mất mát L1 đơn giản.

Thử nghiệm

Trong các thử nghiệm, các nhà nghiên cứu đã so sánh LiveBeauty với chín phương pháp trước đó: ComboNet; 2D-FAP; REX-INCEP; CNN-ER (được giới thiệu trong REX-INCEP); MEBeauty; AVA-MLSP; TANet; Dele-Trans; và EAT.

Các phương pháp cơ sở tuân theo giao thức Đánh giá thẩm mỹ hình ảnh (IAA) cũng được thử nghiệm. Những phương pháp này bao gồm ViT-B; ResNeXt-50; và Inception-V3.

Besides LiveBeauty, các tập dữ liệu khác được thử nghiệm bao gồm SCUT-FBP5000 và MEBeauty. Dưới đây, phân phối MOS của các tập dữ liệu này được so sánh:

Phân phối MOS của các tập dữ liệu chuẩn.

Respectively, những tập dữ liệu khách này được chia 60%-40% và 80%-20% cho đào tạo và kiểm tra, riêng biệt, để duy trì sự nhất quán với các giao thức ban đầu của chúng. LiveBeauty được chia theo tỷ lệ 90%-10%.

Đối với việc khởi tạo mô hình trong MAEM, VT-B/16 và GPT-2 được sử dụng làm mã hóa hình ảnh và văn bản, lần lượt được khởi tạo bằng cách thiết lập từ CLIP. Đối với PAPM, Swin-T được sử dụng làm mã hóa hình ảnh có thể đào tạo, theo SwinFace.

Bộ tối ưu hóa AdamW được sử dụng, và một lịch trình học được thiết lập với lịch trình học tăng tuyến tính dưới một lịch trình giảm cosine. Tốc độ học khác nhau trong các giai đoạn đào tạo, nhưng mỗi giai đoạn đều có kích thước lô là 32, trong 50 đợt.

Kết quả từ các thử nghiệm

Kết quả từ các thử nghiệm trên ba tập dữ liệu FAP được hiển thị ở trên. Trong số những kết quả này, bài báo cho biết:

‘Phương pháp chúng tôi đề xuất đạt vị trí đầu tiên và vượt qua vị trí thứ hai khoảng 0,012, 0,081, 0,021 về giá trị SROCC trên LiveBeauty, MEBeauty và SCUT-FBP5500, điều này chứng tỏ sự vượt trội của phương pháp chúng tôi đề xuất.

‘Các phương pháp IAA kém hơn so với các phương pháp FAP, điều này cho thấy rằng các phương pháp đánh giá thẩm mỹ chung không tính đến các đặc điểm khuôn mặt liên quan đến bản chất chủ quan của hấp dẫn khuôn mặt, dẫn đến hiệu suất kém trên các nhiệm vụ FAP.

‘Hiệu suất của tất cả các phương pháp giảm đáng kể trên MEBeauty. Điều này là do các mẫu đào tạo bị giới hạn và khuôn mặt có sự đa dạng về chủng tộc trong MEBeauty, cho thấy sự đa dạng lớn về hấp dẫn khuôn mặt.

‘Tất cả các yếu tố này làm cho việc dự đoán hấp dẫn khuôn mặt trong MEBeauty trở nên khó khăn hơn.’

Considerations về đạo đức

Nghiên cứu về hấp dẫn là một việc theo đuổi có thể gây chia rẽ, vì khi thiết lập các tiêu chuẩn hấp dẫn được cho là có cơ sở, những hệ thống này sẽ có xu hướng củng cố các thành kiến về tuổi tác, chủng tộc và nhiều lĩnh vực khác của nghiên cứu về tầm nhìn máy tính liên quan đến con người.

Nó có thể được lập luận rằng một hệ thống FAP vốn dĩ được định hướng để củng cố và duy trì các quan điểm thiên vị và hạn chế về hấp dẫn. Những đánh giá này có thể xuất phát từ việc chú thích của con người – thường được thực hiện trên các thang đo quá nhỏ để có sự khái quát hóa hiệu quả – hoặc từ việc phân tích các mẫu chú ý trong các môi trường trực tuyến như các nền tảng phát trực tuyến, những môi trường này, có thể nói, không phải là hoàn toàn công bằng.

* Bài báo đề cập đến miền nguồn không được đặt tên trong cả số ít và số nhiều.

Được xuất bản lần đầu vào thứ Tư, ngày 8 tháng 1 năm 2025