Tại Sao Deepfakes Không Thể Truyền Tải Được Sự tinh tế Của Cảm Xúc

Vào ngày hôm qua, tập 6 của loạt phim spin-off Star Wars The Book of Boba Fett đã được phát hành và dường như đã chia cắt ý kiến của người hâm mộ. Mặc dù nhận được sự tán thưởng chung, nhưng có một giả định rộng rãi trên các mạng xã hội rằng việc tái tạo lại Mark Hamill đã được cải thiện đáng kể (so với khả năng trước đó của nhân vật trong tập cuối mùa 2 của The Mandalorian vào năm 2020) là kết quả trực tiếp của việc Industrial Light and Magic thuê một nhà thực hành deepfakes nghiệp dư tên là Shamook (người đã cải thiện đáng kể công việc của mình với phần mềm mã nguồn mở); và rằng việc tái tạo nhân vật phải là sự kết hợp của công nghệ deepfake, có thể được chỉnh sửa bằng CGI.

Hiện tại, vẫn chưa có xác nhận chính thức về điều này, mặc dù Shamook đã nói rất ít với thế giới kể từ khi NDA của ILM được áp dụng. Tuy nhiên, công việc này đã thể hiện sự cải thiện vượt trội so với CGI năm 2020; thể hiện một số ‘độ bóng’ liên quan đến các mô hình deepfake được tạo từ các tác phẩm lưu trữ; và nói chung phù hợp với tiêu chuẩn trực quan tốt nhất hiện tại cho deepfakes.

Chi nhánh ý kiến của người hâm mộ khác cho rằng nỗ lực mới để tái tạo ‘Young Luke’ có một đặt điểm sai sót khác so với nỗ lực trước. Có thể nói rằng, điều đáng nói nhất là sự thiếu biểu cảm và cảm xúc tinh tế trong các chuỗi dài có nhân vật Skywalker mới, là điều典 hình của deepfakes hơn là CGI; The Verge đã mô tả mô phỏng Boba Fett theo thuật ngữ ‘uncanny, blank visage of Mark Hamill’s frozen 1983 face’.

Bất kể công nghệ nào đằng sau việc tái tạo ILM mới, các biến đổi deepfakes có một vấn đề cơ bản với sự tinh tế của cảm xúc mà khó có thể giải quyết được bằng cách thay đổi kiến trúc hoặc cải thiện tài liệu đào tạo nguồn, và thường được tránh bằng cách lựa chọn cẩn thận mà các nhà tạo deepfakes nổi tiếng thực hiện khi chọn video mục tiêu.

Giới hạn Của Sự Đối齐 Khuôn Mặt

Hai kho lưu trữ FOSS deepfakes được sử dụng rộng rãi nhất là DeepFaceLab (DFL) và FaceSwap, cả hai đều được tạo từ mã nguồn ẩn danh và được tranh cãi vào năm 2017, với DFL có một lợi thế khổng lồ trong ngành công nghiệp VFX, mặc dù có công cụ hạn chế.

Mỗi gói này được giao nhiệm vụ, ban đầu, để trích xuất các điểm mốc khuôn mặt từ các khuôn mặt mà nó đã xác định được từ tài liệu nguồn (tức là khung hình của video và / hoặc hình ảnh tĩnh).

Mạng lưới Đối齐 Khuôn Mặt (FAN) trong hoạt động, từ kho lưu trữ chính thức. Nguồn: https://github.com/1adrianb/face-alignment

Cả DFL và FaceSwap đều sử dụng thư viện Mạng lưới Đối齐 Khuôn Mặt (FAN). FAN có thể tạo ra các điểm mốc 2D và 3D (xem hình ảnh trên) cho các khuôn mặt được trích xuất. Các điểm mốc 3D có thể tính đến hướng của khuôn mặt, lên đến các góc và góc nhìn cực đoan.

Tuy nhiên, rõ ràng rằng những điều này là hướng dẫn rất cơ bản cho việc thu thập và đánh giá các điểm ảnh:

Từ diễn đàn FaceSwap, một chỉ số thô về các điểm mốc có sẵn cho các đặc điểm khuôn mặt. Nguồn: https://forum.faceswap.dev/viewtopic.php?f=25&t=27

Các đặc điểm cơ bản nhất của khuôn mặt được cho phép: mắt có thể mở và đóng, cũng như hàm, trong khi các cấu hình cơ bản của miệng (như cười, cau có, v.v.) có thể được theo dõi và thích nghi. Khuôn mặt có thể quay trong bất kỳ hướng nào lên đến khoảng 200 độ từ góc nhìn của máy ảnh.

Beyond đó, những điều này là hàng rào rất thô cho cách các điểm ảnh sẽ hành xử trong các ranh giới này, và đại diện cho các hướng dẫn khuôn mặt chính xác và toán học duy nhất trong toàn bộ quá trình deepfakes. Quá trình đào tạo chỉ đơn giản so sánh cách các điểm ảnh được sắp xếp trong hoặc gần các ranh giới này.

Đào tạo trong DeepFaceLab. Nguồn: https://medium.com/geekculture/realistic-deepfakes-with-deepfacelab-530e90bd29f2

Vì không có quy định về topo của các bộ phận con của khuôn mặt (lồi lõm của má, chi tiết lão hóa, nốt ruồi, v.v.), nên không thể thử để phù hợp với các đặc điểm ‘tinh tế’ như vậy giữa một nguồn (‘khuôn mặt bạn muốn viết’) và một mục tiêu (‘khuôn mặt bạn muốn dán’) danh tính.

Làm Việc Với Dữ Liệu Giới Hạn

Việc nhận được dữ liệu phù hợp giữa hai danh tính cho mục đích đào tạo deepfakes không dễ. Càng góc nhìn không bình thường mà bạn cần phù hợp, bạn càng phải妥協 về việc liệu góc nhìn đó giữa hai danh tính A và B thực sự có cùng một biểu cảm.

Gần, nhưng không chính xác là một trận đấu.

Trong ví dụ trên, hai danh tính khá tương tự về tư thế, nhưng đây là gần như có thể có được một trận đấu chính xác trong tập dữ liệu này.

Sự khác biệt rõ ràng vẫn còn: góc và ống kính không chính xác phù hợp, và cũng không có ánh sáng; đối tượng A không có mắt hoàn toàn đóng, không giống như đối tượng B; chất lượng hình ảnh và nén worse trong đối tượng A; và một cách nào đó đối tượng B dường như hạnh phúc hơn đối tượng A.

Nhưng, bạn biết, đó là tất cả những gì chúng tôi có, vì vậy chúng tôi sẽ phải đào tạo trên nó bất kể.

Vì trận đấu này có nhiều yếu tố không bình thường, bạn có thể chắc chắn rằng có rất ít, nếu có, cặp đôi tương tự trong tập.

Vì vậy, đào tạo sẽ underfit nó hoặc overfit nó.

Underfit: Nếu trận đấu này là một thiểu số thực sự (tức là tập dữ liệu cha là khá lớn và không thường xuyên có các đặc điểm của hai bức ảnh này), nó sẽ không nhận được nhiều thời gian đào tạo so với các cặp đôi ‘popular’ (tức là dễ dàng / trung lập) hơn. Do đó, góc / biểu cảm này sẽ không được đại diện tốt trong một deepfake được tạo với mô hình đã đào tạo.

Overfit: Trong tuyệt vọng vì thiếu dữ liệu phù hợp cho các cặp đôi hiếm như vậy, các nhà tạo deepfakes đôi khi nhân đôi cặp đôi nhiều lần trong tập dữ liệu, để nó có cơ hội tốt hơn để trở thành một tính năng trong mô hình cuối cùng. Điều này sẽ dẫn đến việc overfitting, nơi các video deepfake được tạo với mô hình có khả năng lặp lại các sự không phù hợp rõ ràng giữa hai bức ảnh, chẳng hạn như mức độ khác nhau mà mắt được đóng.

Trong hình ảnh dưới đây, chúng ta thấy Vladimir Putin đang được đào tạo trong DeepFaceLab để thực hiện một swap vào Kevin Spacey. Ở đây, đào tạo tương đối tiên tiến tại 160.000 lần lặp lại.

Nguồn: https://i.imgur.com/OdXHLhU.jpg

Người quan sát bình thường có thể cho rằng Putin trông một chút, tốt, không gian hơn Spacey trong những lần swap thử nghiệm này. Hãy xem một chương trình nhận dạng cảm xúc trực tuyến làm gì với sự không phù hợp trong biểu cảm:

Nguồn: https://www.noldus.com/facereader/measure-your-emotions

Theo chương trình này, phân tích một địa hình khuôn mặt chi tiết hơn nhiều so với DFL và Faceswap, Spacey ít tức giận, ghê tởm, và khinh thường hơn deepfake Putin trong cặp đôi này.

Sự không phù hợp trong biểu cảm đến như một phần của một gói liên kết, vì các ứng dụng deepfakes phổ biến không có khả năng đăng ký hoặc phù hợp với biểu cảm hoặc cảm xúc, ngoại trừ một cách ngầm, như một ánh xạ pixel > pixel thô.

Đối với chúng tôi, những khác biệt này là rất lớn. Chúng tôi học cách đọc biểu cảm khuôn mặt như một kỹ năng sinh tồn cơ bản từ những năm đầu tiên, và tiếp tục dựa vào kỹ năng này trong tuổi trưởng thành cho mục đích tích hợp xã hội và tiến bộ, kết hôn, và như một khuôn khổ đánh giá mối đe dọa liên tục. Vì chúng tôi rất nhạy cảm với các biểu cảm vi mô, công nghệ deepfakes cuối cùng sẽ cần phải tính đến điều này.

Ngược Lại

Mặc dù cuộc cách mạng deepfakes đã mang lại lời hứa về việc chèn ‘cổ điển’ ngôi sao điện ảnh vào các bộ phim và chương trình truyền hình hiện đại, AI không thể quay lại thời gian và quay các tác phẩm kinh điển tại một định nghĩa và chất lượng tương thích hơn, điều này then chốt cho trường hợp sử dụng này.

Giả sử (và đối với mục đích của chúng tôi, nó không quan trọng nếu nó sai) rằng tái tạo Hamill Boba Fett chủ yếu là công việc của một mô hình deepfakes đã được đào tạo, tập dữ liệu cho mô hình sẽ cần phải khai thác các cảnh quay từ thời kỳ gần với dòng thời gian của chương trình (tức là Hamill như một người đàn ông đầu ba mươi vào thời điểm sản xuất Return of the Jedi, 1981-83)).

Phim được quay trên phim Eastman Color Negative 250T 5293/7293, một 250ASA có độ mịn vừa phải vào thời điểm đó, nhưng đã bị vượt qua về độ rõ ràng, phạm vi màu và độ trung thực ngay cả vào cuối những năm 1980. Đó là một loại phim của thời đại, và phạm vi kịch tính của Jedi cho phép rất ít cảnh quay gần cho các diễn viên chính, khiến vấn đề hạt trở nên quan trọng hơn, vì khuôn mặt nguồn chỉ chiếm một phần của khung hình.

Một loạt các cảnh của Hamill trong Return of the Jedi (1983).

Ngoài ra, nhiều cảnh quay hiệu ứng hình ảnh có Hamill đã được chạy qua một máy in quang học, làm tăng hạt phim. Tuy nhiên, việc truy cập vào kho lưu trữ Lucasfilm – những người đã chăm sóc cẩn thận các bản âm chính và có thể cung cấp hàng giờ footage thô chưa sử dụng – có thể vượt qua vấn đề này.

Đôi khi, có thể bao gồm một loạt các năm của sản phẩm diễn viên để tăng và đa dạng hóa tập dữ liệu deepfakes. Trong trường hợp của Hamill, các nhà tạo deepfakes bị hạn chế bởi sự thay đổi ngoại hình của anh sau một tai nạn ô tô vào năm 1977, và thực tế là anh ngay lập tức bắt đầu sự nghiệp thứ hai như một diễn viên lồng tiếng được hoan nghênh sau Jedi, khiến tài liệu nguồn tương đối khan hiếm.

Phạm Vi Cảm Xúc Giới Hạn?

Nếu bạn cần diễn viên deepfaked của mình phải nhai cẩn thận, bạn sẽ cần footage nguồn chứa một phạm vi biểu cảm khuôn mặt không bình thường. Có thể rằng chỉ có footage phù hợp với độ tuổi không có nhiều biểu cảm như vậy.

Ví dụ, vào thời điểm câu chuyện Return of the Jedi xảy ra, nhân vật của Hamill đã chủ yếu kiểm soát được cảm xúc của mình, một sự phát triển hoàn toàn trung tâm cho thần thoại gốc của loạt phim. Do đó, nếu bạn tạo một mô hình deepfakes Hamill từ dữ liệu Jedi, bạn sẽ phải làm việc với phạm vi cảm xúc và tư thế khuôn mặt hạn chế hơn mà vai trò của Hamill đòi hỏi tại thời điểm đó, so với các mục đầu tiên trong loạt phim.

Dаже nếu bạn xem xét rằng có những khoảnh khắc trong Return of the Jedi nơi nhân vật Skywalker có thể cung cấp tài liệu cho một phạm vi biểu cảm lớn hơn, tài liệu khuôn mặt trong những cảnh này vẫn còn ngắn ngủi và bị ảnh hưởng bởi sự mờ và chỉnh sửa nhanh điển hình của các cảnh hành động; vì vậy dữ liệu khá không cân bằng.

Tổng Quan Hóa: Sự Kết Hợp Của Cảm Xúc

Nếu tái tạo Skywalker Boba Fett thực sự là một deepfakes, sự thiếu phạm vi biểu cảm mà đã được đưa ra từ một số phía sẽ không hoàn toàn do tài liệu nguồn hạn chế. Quá trình đào tạo mã hóa – giải mã của deepfakes đang tìm kiếm một mô hình tổng quát hóa thành công trong việc chiết xuất các đặc điểm trung tâm từ hàng nghìn hình ảnh, và có thể ít nhất thử để deepfakes một góc mà đã bị thiếu hoặc hiếm trong tập dữ liệu.

Nếu không có sự linh hoạt này, một kiến trúc deepfakes sẽ chỉ đơn giản là sao chép và dán các hình dạng cơ bản trên cơ sở từng khung hình, mà không xem xét sự thích nghi theo thời gian hoặc ngữ cảnh.

Tuy nhiên, sự đánh đổi đau đớn cho sự linh hoạt này là rằng tính trung thực của biểu cảm có thể là một nạn nhân của quá trình này, và bất kỳ biểu cảm nào mà được ‘tinh tế’ có thể không phải là đúng biểu cảm. Chúng ta đều chơi khuôn mặt của mình như một dàn nhạc 100 món, và được trang bị để làm như vậy, trong khi phần mềm deepfakes có thể đang thiếu ít nhất một phần của dàn nhạc.

Sự Khác Biệt Của Ảnh Hưởng Trong Biểu Hiện

Các chuyển động khuôn mặt và ảnh hưởng của chúng lên chúng ta không phải là một ngôn ngữ đồng nhất trên tất cả các khuôn mặt; lông mày nâng lên mà trông vô tư trên Roger Moore có thể trông ít tinh tế hơn trên Seth Rogan, trong khi sự quyến rũ của Marilyn Monroe có thể dịch sang một cảm xúc tiêu cực hơn nếu được deepfakes lên một người có vai trò dữ liệu có sẵn nhất là ‘tức giận’ hoặc ‘không hài lòng’ (như nhân vật của Aubrey Plaza trong bảy mùa của Parks and Recreation).

Do đó, sự tương đương điểm ảnh > điểm ảnh trên các tập khuôn mặt A / B không nhất thiết có ích trong khía cạnh này; nhưng đó là tất cả những gì được cung cấp trong phần mềm deepfakes FOSS hiện đại.

Cái gì có thể được cho là cần thiết là một khuôn khổ deepfakes không chỉ có thể nhận biết biểu cảm và suy luận cảm xúc, mà còn có khả năng thể hiện các khái niệm cấp cao như tức giận, quyến rũ, chán, mệt mỏi, v.v., và để phân loại những cảm xúc và biểu cảm liên quan của chúng trong từng tập khuôn mặt, thay vì kiểm tra và sao chép sự sắp xếp của miệng hoặc mí mắt.

Được xuất bản lần đầu vào ngày 3 tháng 2 năm 2022. Cập nhật 7:47 pm EET, tên không chính xác.