Nghiên cứu Adobe Mở rộng Chỉnh sửa Mặt bằng GAN Latent

Không khó để hiểu tại sao sự phức tạp là một vấn đề trong tổng hợp hình ảnh, vì nó thường là một vấn đề trong các lĩnh vực khác của cuộc sống; ví dụ, nó khó hơn nhiều để loại bỏ nghệ tây khỏi cà ri so với việc loại bỏ dưa chuột muối khỏi bánh mì kẹp, và gần như không thể làm giảm độ ngọt của một tách cà phê. Một số thứ chỉ đến cùng nhau.

Tương tự như vậy, sự phức tạp là một chướng ngại vật đối với các kiến trúc tổng hợp hình ảnh muốn tách biệt các tính năng và khái niệm khác nhau khi sử dụng học máy để tạo hoặc chỉnh sửa khuôn mặt (hoặc chó, thuyền, hoặc bất kỳ lĩnh vực nào khác).

Nếu bạn có thể tách biệt các yếu tố như tuổi, giới tính, màu tóc, màu da, tình cảm, và như vậy, bạn sẽ có những khởi đầu thực sự của công cụ và sự linh hoạt trong một khuôn khổ có thể tạo và chỉnh sửa hình ảnh khuôn mặt ở mức độ thực sự chi tiết, mà không kéo theo những “hành khách” không mong muốn vào những chuyển đổi này.

Ở mức độ phức tạp tối đa (trên cùng bên trái), tất cả những gì bạn có thể làm là thay đổi hình ảnh của một mạng GAN đã học thành hình ảnh của một người khác.

Điều này hiệu quả là sử dụng công nghệ thị giác máy tính AI mới nhất để đạt được điều gì đó đã được giải quyết bằng các phương tiện khác hơn ba mươi năm trước.

Với một số mức độ tách biệt (‘Tách biệt trung bình’ trong hình ảnh trên), có thể thực hiện các thay đổi dựa trên phong cách như màu tóc, biểu cảm, ứng dụng trang điểm, và xoay đầu hạn chế, trong số những thay đổi khác.

Nguồn: FEAT: Face Editing with Attention, tháng 2 2022, https://arxiv.org/pdf/2202.02713.pdf

Đã có một số nỗ lực trong hai năm qua để tạo ra các môi trường chỉnh sửa khuôn mặt tương tác cho phép người dùng thay đổi các đặc điểm khuôn mặt với các thanh trượt và các tương tác UI truyền thống, trong khi giữ nguyên các tính năng cốt lõi của khuôn mặt mục tiêu khi thực hiện các bổ sung hoặc thay đổi. Tuy nhiên, điều này đã chứng minh là một thách thức do sự phức tạp của tính năng/phong cách trong không gian tiềm ẩn của GAN.

Ví dụ, đặc điểm kính thường bị混 hợp với đặc điểm tuổi già, có nghĩa là thêm kính có thể “làm già” khuôn mặt, trong khi việc già đi có thể thêm kính, tùy thuộc vào mức độ tách biệt của các tính năng cấp cao (xem ‘Kiểm tra’ dưới đây để biết các ví dụ).

Đáng chú ý nhất, gần như không thể thay đổi màu tóc và các khía cạnh tóc khác mà không có các sợi tóc và sự sắp xếp được tính toán lại, điều này tạo ra một hiệu ứng “nóng”, chuyển tiếp.

Nguồn: InterFaceGAN Demo (CVPR 2020), https://www.youtube.com/watch?v=uoftpl3Bj6w

Traversing GAN Latent-to-Latent

Một bài báo mới do Adobe dẫn đầu được gửi cho WACV 2022 cung cấp một cách tiếp cận mới cho các vấn đề cơ bản này trong một bài báo có tiêu đề Latent to Latent: A Learned Mapper for Identity Preserving Editing of Multiple Face Attributes in StyleGAN-generated Images.

Tài liệu bổ sung từ bài báo Latent to Latent: A Learned Mapper for Identity Preserving Editing of Multiple Face Attributes in StyleGAN-generated Images. Ở đây, chúng ta thấy rằng các đặc điểm cơ bản trong khuôn mặt đã học không bị kéo vào các thay đổi không liên quan. Xem video nhúng ở cuối bài viết để biết thêm chi tiết và độ phân giải. Nguồn: https://www.youtube.com/watch?v=rf_61llRH0Q

Bài báo này do Nhà khoa học ứng dụng Adobe Siavash Khodadadeh dẫn đầu, cùng với bốn nhà nghiên cứu Adobe khác, và một nhà nghiên cứu từ Bộ phận Khoa học Máy tính tại Đại học Trung Florida.

Bài viết này thú vị một phần vì Adobe đã hoạt động trong không gian này trong một thời gian, và thật hấp dẫn khi tưởng tượng chức năng này sẽ được tích hợp vào một dự án Creative Suite trong vài năm tới; nhưng chủ yếu vì kiến trúc được tạo cho dự án này có cách tiếp cận khác biệt để duy trì tính toàn vẹn trực quan trong một trình chỉnh sửa khuôn mặt GAN khi các thay đổi được áp dụng.

Các tác giả tuyên bố:

‘[Chúng tôi] đào tạo một mạng lưới thần kinh để thực hiện một biến đổi tiềm ẩn sang tiềm ẩn, tìm mã hóa tiềm ẩn tương ứng với hình ảnh có thuộc tính đã thay đổi. Vì kỹ thuật này là một lần, nó không phụ thuộc vào một quỹ đạo tuyến tính hoặc không tuyến tính của sự thay đổi dần dần của các thuộc tính.

‘Bằng cách đào tạo mạng lưới từ đầu đến cuối trên toàn bộ đường ống tạo, hệ thống có thể thích ứng với không gian tiềm ẩn của các kiến trúc tạo ra sẵn. Các thuộc tính bảo tồn, chẳng hạn như duy trì bản sắc của người, có thể được mã hóa dưới dạng tổn thất đào tạo.

‘Một khi mạng lưới tiềm ẩn sang tiềm ẩn được đào tạo, nó có thể được tái sử dụng cho các hình ảnh tùy ý mà không cần đào tạo lại.’

Phần cuối cùng này có nghĩa là kiến trúc được đề xuất đến với người dùng cuối cùng trong trạng thái hoàn thiện. Nó vẫn cần chạy một mạng lưới thần kinh trên tài nguyên cục bộ, nhưng các hình ảnh mới có thể được ‘thả vào’ và sẵn sàng để thay đổi gần như ngay lập tức, vì khuôn khổ đủ tách biệt để không cần đào tạo lại cụ thể cho hình ảnh.

Giới tính và tóc mặt được thay đổi khi các thanh trượt vẽ các đường ngẫu nhiên và tùy ý qua không gian tiềm ẩn, không chỉ ‘chà giữa các điểm cuối’. Xem video nhúng ở cuối bài viết để biết thêm chuyển đổi tại độ phân giải tốt hơn.

Trong số các thành tựu chính trong công việc là khả năng của mạng lưới ‘đông lạnh’ bản sắc trong không gian tiềm ẩn bằng cách thay đổi chỉ thuộc tính trong vector mục tiêu, và cung cấp ‘các điều khoản sửa chữa’ để bảo tồn bản sắc đang được biến đổi.

Về cơ bản, mạng lưới được đề xuất này được nhúng trong một kiến trúc rộng lớn hơn điều phối tất cả các yếu tố được xử lý, các yếu tố này đi qua các thành phần được đào tạo trước có trọng số đông lạnh sẽ không tạo ra các hiệu ứng bên không mong muốn trên các biến đổi.

Vì quá trình đào tạo phụ thuộc vào các bộ ba có thể được tạo ra bởi một hình ảnh hạt giống (dưới đảo ngược GAN) hoặc một mã hóa tiềm ẩn ban đầu, toàn bộ quá trình đào tạo là không giám sát, với các hành động tiềm ẩn của các hệ thống ghi nhãn và chăm sóc thông thường trong các hệ thống như vậy hiệu quả được tích hợp vào kiến trúc. Trên thực tế, hệ thống mới này sử dụng các bộ phân loại thuộc tính sẵn có:

‘[Số lượng thuộc tính mà mạng lưới của chúng tôi có thể kiểm soát độc lập chỉ bị giới hạn bởi khả năng của bộ nhận diện (s) – nếu bạn có một bộ nhận diện cho một thuộc tính, chúng tôi có thể thêm nó vào các khuôn mặt tùy ý. Trong các thí nghiệm của chúng tôi, chúng tôi đã đào tạo mạng lưới tiềm ẩn sang tiềm ẩn để cho phép điều chỉnh 35 thuộc tính khuôn mặt khác nhau, nhiều hơn bất kỳ phương pháp nào trước đó.’

Hệ thống này kết hợp một biện pháp bảo vệ bổ sung chống lại các biến đổi ‘hiệu ứng phụ’ không mong muốn: trong sự vắng mặt của một yêu cầu thay đổi thuộc tính, mạng lưới tiềm ẩn sang tiềm ẩn sẽ ánh xạ một vector tiềm ẩn thành chính nó, tăng cường sự ổn định của bản sắc mục tiêu.

Nhận dạng Khuôn mặt

Một vấn đề lặp lại với các trình chỉnh sửa khuôn mặt GAN và mã hóa/giải mã dựa trên các năm trước là các biến đổi áp dụng có xu hướng làm giảm sự tương đồng. Để chống lại điều này, dự án Adobe sử dụng một mạng lưới nhận dạng khuôn mặt nhúng gọi là FaceNet làm một bộ phân biệt.

Kiến trúc dự án, xem giữa bên trái để biết việc bao gồm FaceNet. Nguồn: Latent to Latent: A Learned Mapper for Identity Preserving Editing of Multiple Face Attributes in StyleGAN-generated Images, OpenAccess.

(Về một lưu ý cá nhân, điều này dường như là một động thái khuyến khích hướng tới việc tích hợp các hệ thống nhận dạng khuôn mặt và thậm chí nhận dạng biểu cảm tiêu chuẩn vào các mạng lưới tạo, có lẽ là cách tốt nhất để vượt qua sự ánh xạ pixel-pixel mù mà hiện đang chiếm ưu thế trong các kiến trúc deepfake hiện tại với chi phí của sự trung thực biểu cảm và các lĩnh vực quan trọng khác trong lĩnh vực tạo khuôn mặt.)

Truy cập Tất cả các Khu vực trong Không gian Tiềm ẩn

Một tính năng ấn tượng khác của khuôn khổ này là khả năng di chuyển tùy ý giữa các biến đổi tiềm năng trong không gian tiềm ẩn, theo ý muốn của người dùng. Một số hệ thống trước đó cung cấp các giao diện khám phá thường để lại người dùng thực sự ‘chà’ giữa các đường thời gian biến đổi tính năng cố định – ấn tượng, nhưng thường khá tuyến tính hoặc proscriptive.

Từ Cải thiện Sự cân bằng GAN bằng cách Nâng cao Sự nhận thức Không gian: ở đây, người dùng chà qua một loạt các điểm chuyển tiếp tiềm năng giữa hai vị trí không gian tiềm ẩn, nhưng trong khuôn khổ của các vị trí không gian tiềm ẩn được đào tạo trước. Để áp dụng các loại biến đổi khác dựa trên cùng một tài liệu, cần phải cấu hình lại và/hoặc đào tạo lại. Nguồn: https://genforce.github.io/eqgan/

Ngoài việc dễ dàng tiếp nhận các hình ảnh người dùng hoàn toàn mới, người dùng cũng có thể tự ‘đông lạnh’ các yếu tố mà họ muốn bảo tồn trong quá trình biến đổi. Theo cách này, người dùng có thể đảm bảo rằng (ví dụ) các nền không thay đổi, hoặc mắt được giữ mở hoặc đóng.

Dữ liệu

Mạng lưới hồi quy thuộc tính được đào tạo trên ba mạng lưới: FFHQ, CelebAMask-HQ, và một mạng lưới được tạo ra bởi GAN, thu được bằng cách lấy mẫu 400.000 vector từ không gian Z của StyleGAN-V2.

Các hình ảnh ngoài phân phối (OOD) đã được lọc bỏ, và các thuộc tính được trích xuất bằng cách sử dụng Face API của Microsoft, với tập hợp hình ảnh kết quả được chia 90/10, để lại 721.218 hình ảnh đào tạo và 72.172 hình ảnh thử nghiệm để so sánh.

Thử nghiệm

Mặc dù mạng lưới thử nghiệm ban đầu được cấu hình để hỗ trợ 35 biến đổi tiềm năng, nhưng chúng đã được thu hẹp lại còn tám để thực hiện các thử nghiệm tương tự so với các khuôn khổ có thể so sánh được InterFaceGAN, GANSpace, và StyleFlow.

Tám thuộc tính được chọn là Tuổi, Trọc, Râu, Biểu cảm, Giới tính, Kính, Góc, và Góc quay. Cần phải tái cấu trúc các khuôn khổ cạnh tranh cho một số thuộc tính trong tám thuộc tính đó không được cung cấp trong phân phối ban đầu, chẳng hạn như thêm trọc và râu vào InterFaceGAN.

Como dự kiến, một mức độ phức tạp lớn hơn đã xảy ra trong các kiến trúc đối thủ. Ví dụ, trong một thử nghiệm, InterFaceGAN và StyleFlow đã thay đổi giới tính của đối tượng khi được yêu cầu áp dụng tuổi:

Hai trong số các khuôn khổ cạnh tranh đã cuộn một thay đổi giới tính vào biến đổi ‘tuổi’, cũng thay đổi màu tóc mà không có yêu cầu trực tiếp của người dùng.

Ngoài ra, hai trong số các đối thủ đã tìm thấy rằng kính và tuổi là các khía cạnh không thể tách rời:

Kính và màu tóc thay đổi được đưa vào mà không có yêu cầu thêm của người dùng!

Nó không phải là một chiến thắng đồng đều cho nghiên cứu: như có thể thấy trong video đính kèm ở cuối bài viết, khuôn khổ này là kém hiệu quả nhất khi cố gắng ngoại suy các góc đa dạng (góc quay), trong khi GANSpace có kết quả chung tốt hơn cho tuổi và việc áp dụng kính. Khung lưới tiềm ẩn sang tiềm ẩn đã hòa với GANSpace và StyleFlow về việc thêm góc (góc đầu).

Kết quả được tính toán dựa trên việc hiệu chỉnh bộ phát hiện khuôn mặt MTCNN. Kết quả thấp hơn là tốt hơn.

Để biết thêm chi tiết và độ phân giải tốt hơn của các ví dụ, hãy xem video đính kèm ở cuối bài viết.

Được xuất bản lần đầu vào ngày 16 tháng 2 năm 2022.