Bình Minh Của Tình Cảm Deepfaked

Những nhà nghiên cứu đã phát triển một kỹ thuật học máy mới để áp đặt tùy ý các cảm xúc mới lên khuôn mặt trong video, bằng cách sử dụng các công nghệ hiện có gần đây đã xuất hiện như các giải pháp để phù hợp với chuyển động môi để lồng tiếng ngôn ngữ nước ngoài.

Nghiên cứu này là một sự hợp tác bình đẳng giữa Đại học Northeastern tại Boston và Phòng thí nghiệm Truyền thông tại MIT, và được đặt tên là Invertable Frowns: Video-to-Video Facial Emotion Translation. Mặc dù các nhà nghiên cứu thừa nhận rằng chất lượng ban đầu của kết quả phải được phát triển thông qua nghiên cứu thêm, họ tuyên bố rằng kỹ thuật này, được gọi là Wav2Lip-Emotion, là kỹ thuật đầu tiên thuộc loại này để trực tiếp giải quyết việc sửa đổi biểu thức toàn bộ video thông qua các kỹ thuật mạng nơ-ron.

Mã cơ sở đã được phát hành trên GitHub, mặc dù các điểm kiểm tra mô hình sẽ được thêm vào kho mã nguồn mở sau, các tác giả hứa.

Bên trái, một khung ‘buồn’ của video nguồn. Bên phải, một khung ‘hạnh phúc’. Ở trung tâm là hai cách tiếp cận mới để tổng hợp các cảm xúc thay thế – hàng trên: một khuôn mặt được che hoàn toàn nơi toàn bộ bề mặt biểu thức đã được thay thế; hàng dưới: một phương pháp Wav2Lip truyền thống hơn, chỉ thay thế phần dưới của khuôn mặt. Nguồn: https://raw.githubusercontent.com/jagnusson/Wav2Lip-Emotion/main/literature/ADGD_2021_Wav2Lip-emotion.pdf

Video Đơn Là Dữ Liệu Nguồn

Trong lý thuyết, những thao túng như vậy có thể đạt được hiện nay thông qua đào tạo toàn diện trên các kho deepfake truyền thống như DeepFaceLab hoặc FaceSwap. Tuy nhiên, quy trình làm việc tiêu chuẩn sẽ liên quan đến việc sử dụng một bản sắc thay thế cho ‘bản sắc mục tiêu’, chẳng hạn như một diễn viên giả mạo bản sắc mục tiêu, những biểu thức của người đó sẽ được chuyển đến một cá nhân khác, cùng với phần còn lại của hiệu suất. Ngoài ra, các kỹ thuật nhân bản giọng nói deepfake thường sẽ cần thiết để hoàn thành ảo giác.

Để thay đổi thực sự biểu thức của mục tiêu1>mục tiêu1 trong một video nguồn duy nhất theo các khuôn khổ phổ biến này sẽ liên quan đến việc thay đổi vector căn chỉnh khuôn mặt theo cách mà các kiến trúc này hiện không hỗ trợ.

Wav2Lip-Emotion duy trì sự đồng bộ hóa môi của hội thoại âm thanh video gốc trong khi biến đổi các biểu thức liên quan.

Thay vào đó, Wav2Lip-Emotion hiệu quả tìm cách ‘sao chép và dán’ các biểu thức liên quan đến cảm xúc từ một phần của video và thay thế chúng vào các điểm khác, với sự tiết kiệm dữ liệu nguồn tự áp đặt mà cuối cùng sẽ cung cấp một phương pháp thấp hơn để thao túng biểu thức.

Các mô hình ngoại tuyến có thể được phát triển sau này sẽ được đào tạo trên các video thay thế của người nói, loại bỏ nhu cầu có bất kỳ video nào chứa một ‘bảng màu’ của các trạng thái biểu thức để thao túng video.

Mục Đích Tiềm Năng

Các tác giả đề xuất một số ứng dụng cho việc sửa đổi biểu thức, bao gồm một bộ lọc video trực tiếp để bù đắp cho các tác động của PTSD và những người bị liệt mặt. Bài viết quan sát:

‘Những người có hoặc không có biểu thức khuôn mặt bị ức chế có thể được hưởng lợi từ việc điều chỉnh biểu thức của họ để phù hợp tốt hơn với hoàn cảnh xã hội của họ. Một người có thể muốn thay đổi biểu thức trong các video được hiển thị cho họ. Những người nói có thể đang la hét với nhau trong một hội nghị video, nhưng vẫn muốn thu thập nội dung trong trao đổi của họ mà không có biểu thức không愉快. Hoặc một đạo diễn phim có thể muốn tăng cường hoặc giảm bớt biểu thức của một diễn viên.’

Vì biểu thức khuôn mặt là một chỉ số cốt lõi và quan trọng của ý định, ngay cả khi nó có thể mài mòn chống lại những lời được nói, khả năng thay đổi biểu thức cũng cung cấp, ở một mức độ nhất định, khả năng thay đổi cách thức giao tiếp được nhận.

Công Việc Trước Đó

Sự quan tâm đến việc thay đổi biểu thức học máy quay trở lại ít nhất là năm 2012, khi một hợp tác giữa Adobe, Facebook và Đại học Rutgers đã đề xuất một phương pháp để thay đổi biểu thức bằng cách sử dụng một cách tiếp cận tái tạo hình học 3D dựa trên tensor, đã áp đặt một lưới CGI lên từng khung của video mục tiêu để thực hiện thay đổi.

Nghiên cứu của Adobe/Facebook năm 2012 đã thao túng biểu thức bằng cách áp đặt các thay đổi CGI truyền thống lên video. Biểu thức có thể được tăng cường hoặc ức chế. Nguồn: https://yfalan.github.io/files/papers/FeiYang_CVPR2012.pdf

Mặc dù kết quả rất hứa hẹn, kỹ thuật này rất tốn kém và tài nguyên cần thiết là đáng kể. Tại thời điểm này, CGI đã vượt xa các phương pháp dựa trên tầm nhìn máy tính để thao túng tính năng và pixel trực tiếp.

Closer liên quan đến bài báo mới là MEAD, một tập dữ liệu và mô hình tạo biểu thức được phát hành vào năm 2020, có khả năng tạo ra các video ‘đầu nói’, mặc dù không có mức độ tinh vi có thể đạt được bằng cách sửa đổi trực tiếp video nguồn.

Tạo biểu thức với MEAD năm 2020, một sự hợp tác giữa SenseTime Research, Carnegie Mellon và ba trường đại học Trung Quốc. Nguồn: https://wywu.github.io/projects/MEAD/MEAD.html

Vào năm 2018, một bài báo khác, có tiêu đề GANimation: Facial Animation từ Một Hình Ảnh, đã xuất hiện như một sự hợp tác nghiên cứu học thuật giữa Mỹ và Tây Ban Nha, và sử dụng Mạng Đối Nghịch để tăng cường hoặc thay đổi biểu thức trong hình ảnh tĩnh chỉ.

Thay đổi biểu thức trong hình ảnh tĩnh với GANimation. Nguồn: https://arxiv.org/pdf/1807.09251.pdf

Wav2Lip-Emotion

Thay vào đó, dự án mới này dựa trên Wav2Lip, đã thu hút sự chú ý vào năm 2020 bằng cách cung cấp một phương pháp tiềm năng để đồng bộ hóa lại chuyển động môi để phù hợp với đầu vào ngôn ngữ hoặc bài hát mới (hoặc bài hát) không bao giờ có trong video gốc.

Kiến trúc Wav2Lip ban đầu được đào tạo trên một tập hợp các câu nói từ kho lưu trữ của BBC. Để thích nghi Wav2Lip với nhiệm vụ thay đổi biểu thức, các nhà nghiên cứu ‘tinh chỉnh’ kiến trúc trên tập dữ liệu MEAD đã đề cập ở trên.

MEAD bao gồm 40 giờ video với 60 diễn viên đọc một câu相同 trong khi thực hiện nhiều biểu thức khuôn mặt khác nhau. Các diễn viên đến từ 15 quốc gia khác nhau và cung cấp một loạt các đặc điểm quốc tế nhằm giúp dự án (và các dự án phái sinh) tạo ra tổng hợp biểu thức có thể áp dụng và được tổng quát hóa.

Tại thời điểm nghiên cứu, MEAD chỉ phát hành phần đầu tiên của tập dữ liệu, bao gồm 47 cá nhân thực hiện các biểu thức như ‘tức giận’, ‘ghê tởm’, ‘sợ hãi’, ‘khinh thường’, ‘hạnh phúc’, ‘buồn’ và ‘bất ngờ’. Trong lần ra mắt đầu tiên vào một cách tiếp cận mới, các nhà nghiên cứu đã giới hạn phạm vi dự án để áp đặt hoặc thay đổi các cảm xúc ‘hạnh phúc’ và ‘buồn’, vì đây là những cảm xúc dễ nhận biết nhất.

Phương Pháp và Kết Quả

Kiến trúc Wav2Lip ban đầu chỉ thay thế phần dưới của khuôn mặt, trong khi Wav2Lip-Emotion cũng thí nghiệm với một mặt nạ thay thế khuôn mặt hoàn toàn và tổng hợp biểu thức. Do đó, cần thiết cho các nhà nghiên cứu phải sửa đổi thêm các phương pháp đánh giá tích hợp, vì những phương pháp này không được thiết kế cho một cấu hình toàn khuôn mặt.

Các tác giả cải tiến mã ban đầu bằng cách giữ lại đầu vào âm thanh gốc, duy trì sự nhất quán của chuyển động môi.

Phần tạo của mô hình bao gồm một mã hóa danh tính, mã hóa giọng nói và giải mã khuôn mặt, theo công việc trước đó. Phần giọng nói được mã hóa thêm như các tích chập 2D được xếp chồng lên nhau và sau đó được nối với các khung liên quan.

Bên cạnh phần tạo, kiến trúc sửa đổi bao gồm ba thành phần phân biệt chính, nhắm vào chất lượng của việc đồng bộ hóa môi, một yếu tố mục tiêu cảm xúc và một mục tiêu chất lượng hình ảnh được đào tạo đối nghịch.

Để tái tạo khuôn mặt hoàn toàn, công việc Wav2Lip ban đầu không có tiền lệ, và do đó mô hình được đào tạo từ đầu. Đối với đào tạo khuôn mặt dưới (nửa mặt nạ), các nhà nghiên cứu đã tiếp tục từ các điểm kiểm tra được bao gồm trong mã Wav2Lip ban đầu.

Bên cạnh đánh giá tự động, các nhà nghiên cứu đã sử dụng ý kiến ​​của đám đông được cung cấp bởi một nền tảng dịch vụ bán tự động. Những người lao động nói chung đã đánh giá cao đầu ra về khả năng nhận ra cảm xúc được áp đặt, trong khi chỉ báo cáo các đánh giá ‘trung bình’ về chất lượng hình ảnh.

Các tác giả đề xuất rằng, ngoài việc cải thiện chất lượng video được tạo ra với các tinh chỉnh thêm, các phiên bản tương lai của công việc có thể bao gồm một loạt các cảm xúc rộng hơn, và rằng công việc này cũng có thể được áp dụng trong tương lai cho dữ liệu nguồn được dán nhãn hoặc suy diễn tự động và tập dữ liệu, dẫn đến cuối cùng là một hệ thống xác thực trong đó cảm xúc có thể được điều chỉnh lên hoặc xuống theo ý muốn của người dùng, hoặc cuối cùng được thay thế bằng cảm xúc tương phản liên quan đến video nguồn ban đầu.