Làm giả ‘cơ thể tốt hơn’ với Trí tuệ nhân tạo

Nghiên cứu mới từ học viện Alibaba DAMO cung cấp một quy trình làm việc được thúc đẩy bởi Trí tuệ nhân tạo để tự động hóa việc thay đổi hình ảnh của cơ thể – một nỗ lực hiếm hoi trong lĩnh vực thị giác máy tính hiện đang bị chiếm đóng bởi các thao tác dựa trên khuôn mặt như deepfakes và chỉnh sửa khuôn mặt dựa trên GAN.

Chèn vào cột ‘kết quả’, các bản đồ chú ý được tạo ra định nghĩa các khu vực cần sửa đổi. Nguồn: https://arxiv.org/pdf/2203.04670.pdf

Các nhà nghiên cứu sử dụng ước tính tư thế xương để giải quyết sự phức tạp lớn hơn mà các hệ thống tổng hợp và chỉnh sửa hình ảnh phải đối mặt trong việc khái niệm hóa và tham số hóa các hình ảnh cơ thể hiện có, ít nhất là ở mức độ chi tiết cho phép chỉnh sửa có ý nghĩa và chọn lọc.

Bản đồ tư thế xương ước tính giúp cá nhân hóa và tập trung chú ý vào các khu vực của cơ thể có khả năng được chỉnh sửa, chẳng hạn như khu vực cánh tay trên.

Hệ thống cuối cùng cho phép người dùng đặt các tham số có thể thay đổi hình dạng của trọng lượng, khối lượng cơ hoặc phân phối trọng lượng trong ảnh toàn thân hoặc ảnh nửa người, và có thể tạo ra các biến đổi tùy ý trên các phần cơ thể được quần áo che phủ hoặc không.

Bên trái, hình ảnh đầu vào; giữa, bản đồ nhiệt của các khu vực chú ý được tạo ra; bên phải, hình ảnh đã được biến đổi.

Động lực cho công việc này là sự phát triển của các quy trình làm việc tự động có thể thay thế các thao tác chỉnh sửa kỹ thuật số繁 tạp được thực hiện bởi các nhiếp ảnh gia và nghệ sĩ đồ họa sản xuất trong các ngành truyền thông khác nhau, từ thời trang đến đầu ra theo phong cách tạp chí và vật liệu quảng cáo.

Nói chung, các tác giả thừa nhận, những biến đổi này thường được áp dụng với các kỹ thuật ‘warp’ trong Photoshop và các trình chỉnh sửa bitmap truyền thống khác, và gần như độc quyền được sử dụng trên hình ảnh của phụ nữ. Do đó, tập dữ liệu tùy chỉnh được phát triển để tạo điều kiện cho quá trình mới này chủ yếu bao gồm hình ảnh của các đối tượng nữ:

‘Vì việc chỉnh sửa cơ thể chủ yếu được mong muốn bởi phụ nữ, đa số bộ sưu tập của chúng tôi là ảnh của phụ nữ, xem xét sự đa dạng về tuổi tác, chủng tộc (Châu Phi: Châu Á: Châu Âu = 0,33: 0,35: 0,32), tư thế và trang phục.’

Bài báo này có tiêu đề Structure-Aware Flow Generation for Human Body Reshaping, và đến từ năm tác giả liên kết với học viện DAMO toàn cầu của Alibaba.

Phát triển Dữ liệu

Giống như thường thấy với các hệ thống tổng hợp và chỉnh sửa hình ảnh, kiến trúc cho dự án này yêu cầu một tập dữ liệu đào tạo tùy chỉnh. Các tác giả đã ủy thác cho ba nhiếp ảnh gia để tạo ra các thao tác chỉnh sửa Photoshop tiêu chuẩn của các hình ảnh phù hợp từ trang web ảnh stock Unsplash, dẫn đến một tập dữ liệu – có tên BR-5K* – gồm 5.000 hình ảnh chất lượng cao với độ phân giải 2K.

Các nhà nghiên cứu nhấn mạnh rằng mục tiêu của việc đào tạo trên tập dữ liệu này không phải là tạo ra các tính năng ‘lý tưởng hóa’ và tổng quát liên quan đến chỉ số hấp dẫn hoặc ngoại hình mong muốn, mà là để trích xuất các bản đồ tính năng trung tâm liên quan đến các thao tác chỉnh sửa chuyên nghiệp của hình ảnh cơ thể.

Tuy nhiên, họ thừa nhận rằng các thao tác chỉnh sửa cuối cùng phản ánh các quá trình biến đổi mà ánh xạ một tiến trình từ ‘thực’ đến một khái niệm ‘lý tưởng’ đã đặt trước:

‘Chúng tôi mời ba nghệ sĩ chuyên nghiệp chỉnh sửa cơ thể bằng Photoshop độc lập, với mục tiêu đạt được hình dạng mảnh mai đáp ứng thẩm mỹ phổ biến, và chọn cái tốt nhất làm chân lý.’

Vì khuôn mặt không được xử lý tại tất cả, chúng đã được làm mờ trước khi được đưa vào tập dữ liệu.

Kiến trúc và Khái niệm Cốt lõi

Quy trình làm việc của hệ thống liên quan đến việc đưa vào một bức ảnh chân dung độ phân giải cao, giảm mẫu xuống độ phân giải thấp hơn có thể phù hợp với các tài nguyên tính toán có sẵn, và trích xuất một bản đồ tư thế xương ước tính (hình thứ hai từ trái trong hình dưới), cũng như các Trường Tương quan Phần (PAFs), được đổi mới vào năm 2016 bởi Viện Robot tại Đại học Carnegie Mellon (xem video nhúng trực tiếp dưới đây).

Các Trường Tương quan Phần giúp định nghĩa hướng của các chi và sự liên kết chung với khung xương rộng hơn, cung cấp cho dự án mới này một công cụ chú ý / định vị bổ sung.

Từ bài báo năm 2016 về Trường Tương quan Phần, các PAF dự đoán encode hướng của chi như một phần của vector 2D cũng bao gồm vị trí chung của chi. Nguồn: https://arxiv.org/pdf/1611.08050.pdf

Mặc dù chúng dường như không liên quan đến sự xuất hiện của trọng lượng, các bản đồ xương là hữu ích trong việc chỉ đạo các quá trình biến đổi cuối cùng đến các phần của cơ thể cần sửa đổi, chẳng hạn như cánh tay trên, mông và đùi.

Sau đó, kết quả được đưa vào một cơ chế Tự chú ý Tương quan Cấu trúc (SASA) trong phần cổ chai trung tâm của quá trình (xem hình dưới).

Cơ chế SASA điều chỉnh sự nhất quán của bộ tạo dòng nhiên liệu cho quá trình, kết quả của đó được chuyển đến mô-đun biến dạng (thứ hai từ phải trong hình trên), áp dụng các biến đổi được học từ đào tạo trên các bản sửa đổi thủ công trong tập dữ liệu.

Mô-đun Tự chú ý Tương quan Cấu trúc (SASA) phân bổ chú ý đến các phần cơ thể phù hợp, giúp tránh các biến đổi không cần thiết hoặc không liên quan.

Hình ảnh đầu ra sau đó được lấy mẫu lại lên độ phân giải 2K ban đầu, sử dụng các quá trình không khác gì so với kiến trúc deepfake tiêu chuẩn năm 2017 từ đó các gói như DeepFaceLab đã được衍生; quá trình lấy mẫu lại cũng phổ biến trong các khuôn khổ chỉnh sửa GAN.

Mạng lưới chú ý cho lược đồ được mô hình hóa theo Mạng lưới Chú ý Phân tích (CODA), một sự hợp tác học thuật giữa Mỹ và Singapore vào năm 2019 với Amazon AI và Microsoft.

Thử nghiệm

Khung làm việc dựa trên dòng được thử nghiệm chống lại các phương pháp dựa trên dòng trước đó FAL và Hoạt hình thông qua Biến dạng (ATW), cũng như các kiến trúc dịch hình ảnh Pix2PixHD và GFLA, với SSIM, PSNR và LPIPS làm các chỉ số đánh giá.

Kết quả của các thử nghiệm ban đầu (hướng mũi tên trong tiêu đề chỉ ra liệu các con số thấp hơn hay cao hơn là tốt hơn).

Dựa trên các chỉ số này, hệ thống của các tác giả vượt trội so với các kiến trúc trước đó.

Các kết quả được chọn. Vui lòng tham khảo bản PDF gốc được liên kết trong bài viết này để so sánh độ phân giải cao hơn.

Bên cạnh các chỉ số tự động, các nhà nghiên cứu đã thực hiện một nghiên cứu người dùng (cột cuối cùng của bảng kết quả được hiển thị trước đó), trong đó 40 người tham gia mỗi người được hiển thị 30 câu hỏi được chọn ngẫu nhiên từ một nhóm 100 câu hỏi liên quan đến các hình ảnh được tạo ra thông qua các phương pháp khác nhau. 70% người trả lời ưa thích kỹ thuật mới hơn như ‘thực sự hấp dẫn về mặt thị giác’.

Thử thách

Bài báo mới này đại diện cho một cuộc thám hiểm hiếm hoi vào việc thao túng cơ thể dựa trên Trí tuệ nhân tạo. Lĩnh vực tổng hợp hình ảnh hiện đang quan tâm nhiều hơn đến việc tạo ra các cơ thể có thể chỉnh sửa thông qua các phương pháp như Trường Quang tuyến Tính toán (NeRF), hoặc tập trung vào việc khám phá không gian tiềm ẩn của GAN và tiềm năng của các bộ tự mã hóa cho việc chỉnh sửa khuôn mặt.

Sáng kiến của các tác giả hiện đang bị giới hạn ở việc tạo ra các thay đổi về trọng lượng cảm nhận, và họ chưa triển khai bất kỳ kỹ thuật nào để phục hồi nền tảng mà chắc chắn sẽ bị lộ ra khi bạn làm mỏng một bức ảnh của ai đó.

Tuy nhiên, họ đề xuất rằng việc tạo mặt nạ chân dung và trộn nền thông qua suy luận về kết cấu có thể dễ dàng giải quyết vấn đề phục hồi các phần của thế giới mà trước đây bị che khuất trong hình ảnh bởi ‘khuyết điểm’ của con người.

Một giải pháp đề xuất để phục hồi nền mà được tiết lộ bởi giảm mỡ AI.

* Mặc dù bản thảo đề cập đến tài liệu bổ sung cung cấp thêm chi tiết về tập dữ liệu, cũng như các ví dụ khác từ dự án, vị trí của tài liệu này không được cung cấp trong bài báo, và tác giả tương ứng chưa phản hồi yêu cầu của chúng tôi để truy cập.

Được xuất bản lần đầu vào ngày 10 tháng 3 năm 2022.