Cách mạng Deepfake Tiếp Theo: Sự Thay Đổi Không Thể Ngờ

Công nghệ tăng cường dữ liệu CGI đang được sử dụng trong một dự án mới để có được sự kiểm soát tốt hơn đối với hình ảnh deepfake. Mặc dù bạn vẫn không thể sử dụng đầu CGI để lấp đầy khoảng trống trong tập dữ liệu khuôn mặt deepfake, nhưng một làn sóng nghiên cứu mới về việc tách biệt danh tính khỏi ngữ cảnh có nghĩa là sớm thôi, bạn có thể không cần phải làm như vậy.

Người tạo ra một số video deepfake nổi tiếng nhất trong những năm qua chọn video nguồn của họ rất cẩn thận, tránh các cảnh quay hồ sơ được duy trì (tức là loại cảnh quay từ bên cạnh phổ biến được sử dụng trong các thủ tục bắt giữ của cảnh sát), góc độ cấp tính và biểu cảm không bình thường hoặc quá mức. Ngày càng nhiều, các video trình diễn được sản xuất bởi các nhà tạo deepfake nổi tiếng là các bản biên tập được chọn lọc cẩn thận, chọn các góc độ và biểu cảm “dễ nhất” để deepfake.

Trên thực tế, video mục tiêu dễ nhất để chèn một deepfake của một ngôi sao nổi tiếng là một video mà người gốc (những người có danh tính sẽ bị xóa bởi deepfake) đang nhìn thẳng vào máy quay, với một phạm vi biểu cảm tối thiểu.

Hầu hết các deepfake phổ biến trong những năm gần đây đã thể hiện các đối tượng trực diện với máy quay, và chỉ có các biểu cảm phổ biến (như cười), có thể dễ dàng trích xuất từ ​​đầu ra của nhiếp ảnh gia paparazzi trên thảm đỏ, hoặc (như với deepfake giả của Sylvester Stallone như Terminator vào năm 2019, được hiển thị ở bên trái), lý tưởng là không có biểu cảm nào, vì các biểu cảm trung tính rất phổ biến, khiến chúng dễ dàng kết hợp vào các mô hình deepfake.

Bởi vì các công nghệ deepfake như DeepFaceLab và FaceSwap thực hiện các trao đổi đơn giản này rất tốt, chúng ta đủ ấn tượng với những gì họ đạt được để không nhận thấy những gì họ không thể làm, và – thường – không thậm chí cố gắng:

Cảnh quay từ một video deepfake được hoan nghênh, nơi Arnold Schwarzenegger được biến thành Sylvester Stallone – trừ khi góc độ quá khó. Các hồ sơ vẫn là một vấn đề dai dẳng với các phương pháp deepfake hiện tại, một phần vì phần mềm mã nguồn mở được sử dụng để xác định tư thế khuôn mặt trong các khuôn khổ deepfake không được tối ưu hóa cho các góc nhìn từ bên, nhưng chủ yếu là do sự thiếu thốn của vật liệu nguồn phù hợp trong một hoặc cả hai tập dữ liệu cần thiết. Nguồn: https://www.youtube.com/watch?v=AQvCmQFScMA

Nghiên cứu mới từ Israel đề xuất một phương pháp mới sử dụng dữ liệu tổng hợp, chẳng hạn như đầu CGI, để đưa deepfake vào những năm 2020, bằng cách tách biệt thực sự danh tính khuôn mặt (tức là các đặc điểm khuôn mặt cơ bản của ‘Tom Cruise’, từ tất cả các góc độ) khỏi ngữ cảnh (tức là nhìn lên, nhìn sang bên, càu gắt, càu gắt trong bóng tối, nhăn mặt, đóng mắt, v.v.).

Hệ thống mới tách biệt tư thế và ngữ cảnh (tức là nhắm mắt) khỏi mã hóa danh tính của cá nhân, sử dụng dữ liệu khuôn mặt tổng hợp không liên quan (hình bên trái). Ở hàng trên cùng, chúng ta thấy một ‘nhắm mắt’ được chuyển sang danh tính của Barack Obama, được kích hoạt bởi đường dẫn phi tuyến tính của không gian tiềm ẩn của GAN, được đại diện bởi hình ảnh CGI bên trái. Ở hàng dưới, chúng ta thấy góc miệng bị kéo giãn được chuyển sang cựu Tổng thống. Phía dưới bên phải, chúng ta thấy cả hai đặc điểm được áp dụng đồng thời. Nguồn: https://arxiv.org/pdf/2111.08419.pdf

Đây không phải là đầu giả deepfake, một kỹ thuật phù hợp hơn với các hình đại diện và lip-synching khuôn mặt một phần, và có tiềm năng hạn chế cho các biến đổi video deepfake đầy đủ.

Thay vào đó, đây đại diện cho một cách tiến bộ cho sự tách biệt cơ bản giữa công cụ (chẳng hạn như ‘thay đổi góc của đầu’, ‘tạo một cái nhăn mặt’) khỏi danh tính, cung cấp một con đường đến một khuôn khổ tổng hợp hình ảnh deepfake dựa trên tổng hợp chứ không phải ‘phụ thuộc’.

Bài báo nghiên cứu mới này có tiêu đề Delta-GAN-Encoder: Mã hóa các thay đổi ngữ nghĩa cho chỉnh sửa hình ảnh rõ ràng, sử dụng vài mẫu tổng hợp, và đến từ các nhà nghiên cứu tại Technion – Viện Công nghệ Israel.

Để hiểu được ý nghĩa của công việc này, hãy xem cách deepfakes được tạo ra hiện nay, từ các trang web deepfake khiêu dâm đến Industrial Light and Magic (vì kho lưu trữ mã nguồn mở DeepFaceLab hiện đang chiếm ưu thế trong cả deepfaking ‘nghiệp dư’ và chuyên nghiệp).

Điều gì đang cản trở công nghệ deepfake hiện tại?

Deepfakes hiện được tạo ra bằng cách đào tạo một mô hình máy học mã hóa/đ码 hóa trên hai thư mục hình ảnh khuôn mặt – người bạn muốn ‘vẽ chồng’ (trong ví dụ trước, đó là Arnie) và người bạn muốn chồng lên vào video (Sly).

Ví dụ về các tư thế và điều kiện ánh sáng khác nhau trên hai tập dữ liệu khuôn mặt. Lưu ý biểu cảm đặc biệt ở cuối hàng thứ ba trong cột A, điều này không thể có một tương đương gần gũi trong tập dữ liệu khác.

Hệ thống mã hóa/đ码 hóa sau đó so sánh mỗi hình ảnh trong từng thư mục với nhau, duy trì, cải thiện và lặp lại hoạt động này trong hàng trăm nghìn lần lặp (thường trong một tuần), cho đến khi nó hiểu các đặc điểm cơ bản của cả hai danh tính đủ tốt để có thể hoán đổi chúng tùy ý.

Đối với từng người trong hai người được hoán đổi trong quá trình, những gì kiến trúc deepfake học được về danh tính được gắn kết với ngữ cảnh. Nó không thể học và áp dụng các nguyên tắc về một tư thế ‘tốt và luôn luôn’, mà cần nhiều ví dụ trong tập dữ liệu đào tạo, cho từng danh tính sẽ được tham gia vào việc hoán đổi khuôn mặt.

Do đó, nếu bạn muốn hoán đổi hai danh tính đang làm điều gì đó không bình thường hơn là chỉ mỉm cười hoặc nhìn thẳng vào máy quay, bạn sẽ cần nhiều ví dụ về tư thế đó trên cả hai tập dữ liệu:

Bởi vì các đặc điểm danh tính khuôn mặt và tư thế hiện được gắn kết chặt chẽ, sự tương đương rộng rãi về biểu cảm, tư thế đầu và (đến mức độ thấp hơn) ánh sáng là cần thiết trên hai tập dữ liệu khuôn mặt để đào tạo một mô hình deepfake hiệu quả trên các hệ thống như DeepFaceLab. Cấu hình càng ít được trình bày trong cả hai tập dữ liệu, thì deepfake video sẽ càng không chính xác khi cần thiết.

Nếu tập A chứa tư thế không bình thường, nhưng tập B thiếu nó, bạn gần như không may mắn; không quan trọng bạn đào tạo mô hình trong bao lâu, nó sẽ không bao giờ học cách tái tạo tư thế đó tốt giữa các danh tính, vì nó chỉ có một nửa thông tin cần thiết khi được đào tạo.

Thậm chí nếu bạn có hình ảnh khớp, nó có thể không đủ:
Nếu tập A có tư thế khớp, nhưng với ánh sáng bên hắt mạnh, so với tư thế khớp phẳng trong tập dữ liệu khuôn mặt khác, chất lượng của việc hoán đổi sẽ không tốt như nếu mỗi tập dữ liệu chia sẻ các đặc điểm ánh sáng chung.

Tại sao dữ liệu lại khan hiếm?

Trừ khi bạn bị bắt thường xuyên, bạn có thể không có nhiều hình ảnh hồ sơ của mình. Bất kỳ hình ảnh nào xuất hiện, bạn có thể đã vứt chúng đi. Vì các cơ quan ảnh cũng làm như vậy, nên các hình ảnh hồ sơ khuôn mặt rất khó tìm.

Deepfakers thường bao gồm nhiều bản sao của dữ liệu hồ sơ bên hông hạn chế mà họ có cho một danh tính trong một tập dữ liệu khuôn mặt, chỉ để tư thế đó nhận được ít nhất sự chú ý và thời gian trong quá trình đào tạo, thay vì bị loại bỏ như một dữ liệu ngoại lệ.

Nhưng có nhiều loại hình ảnh hồ sơ bên hông có thể hơn là có sẵn để đưa vào một tập dữ liệu – cười, càu gắt, hét, khóc, được chiếu sáng yếu, khinh thường, chán, vui vẻ, được chiếu sáng bằng flash, nhìn lên, nhìn xuống, mắt mở, mắt đóng… và như vậy. Bất kỳ tư thế nào trong số này, trong nhiều kết hợp, có thể được yêu cầu trong một video deepfake mục tiêu.

Và đó chỉ là hồ sơ. Bạn có bao nhiêu hình ảnh của mình đang nhìn thẳng lên? Bạn có đủ để đại diện rộng rãi cho 10.000 biểu cảm có thể bạn có thể đang mặc trong khi giữ tư thế đó từ góc máy ảnh chính xác, bao gồm ít nhất một số một triệu môi trường ánh sáng có thể?

Khả năng là bạn thậm chí không có một hình ảnh của mình đang nhìn lên. Và đó chỉ là hai góc độ trong số hàng trăm góc độ cần thiết cho phạm vi đầy đủ.

Thậm chí nếu có thể tạo ra phạm vi đầy đủ của một khuôn mặt từ tất cả các góc độ dưới các điều kiện ánh sáng khác nhau, tập dữ liệu kết quả sẽ quá lớn để đào tạo, với hàng trăm nghìn hình ảnh; và ngay cả khi nó có thể được đào tạo, bản chất của quá trình đào tạo cho các khuôn khổ deepfake hiện tại sẽ loại bỏ phần lớn dữ liệu bổ sung này để ủng hộ một số lượng hạn chế các tính năng được派生, vì các khuôn khổ hiện tại là giảm thiểu và không thể mở rộng.

Thay thế tổng hợp

Kể từ khi deepfakes ra đời, các nhà tạo deepfake đã thử nghiệm việc sử dụng hình ảnh kiểu CGI, đầu được tạo trong các ứng dụng 3D như Cinema4D và Maya, để tạo ra những ‘tư thế bị thiếu’ đó.

Không cần AI; một nữ diễn viên được tái tạo trong một chương trình CGI truyền thống, Cinema 4D, sử dụng lưới và kết cấu được ánh xạ – công nghệ có từ những năm 1960, mặc dù chỉ được sử dụng rộng rãi từ những năm 1990. Về lý thuyết, mô hình khuôn mặt này có thể được sử dụng để tạo dữ liệu nguồn deepfake cho các tư thế, phong cách chiếu sáng và biểu cảm khuôn mặt không bình thường. Trên thực tế, nó đã được sử dụng rất ít hoặc không có trong deepfaking, vì ‘sự giả tạo’ của các kết xuất thường xuyên ‘làm hỏng’ các video được hoán đổi. Nguồn: https://rossdawson.com/futurist/implications-of-ai/comprehensive-guide-ai-artificial-intelligence-visual-effects-vfx/

Phương pháp này thường bị bỏ rơi sớm bởi những người thực hành deepfake mới, vì mặc dù nó có thể cung cấp các tư thế và biểu cảm không có sẵn, nhưng hình ảnh tổng hợp của các khuôn mặt CGI thường xuyên ‘làm hỏng’ các video được hoán đổi do sự gắn kết của ID và thông tin ngữ cảnh/semantics.

Điều này có thể dẫn đến việc các khuôn mặt ‘thung lũng không thoải mái’ xuất hiện đột ngột trong một video deepfake thuyết phục, khi thuật toán bắt đầu dựa vào dữ liệu duy nhất nó có cho một tư thế không bình thường – khuôn mặt giả.

Trong số những chủ đề phổ biến nhất cho các nhà tạo deepfake, một thuật toán deepfake 3D cho nữ diễn viên người Úc Margot Robbie được bao gồm trong cài đặt mặc định của DeepFaceLive, một phiên bản của DeepFaceLab có thể thực hiện deepfakes trong một luồng trực tiếp, chẳng hạn như một phiên buổi quay webcam. Một phiên bản CGI, như được hiển thị ở trên, có thể được sử dụng để có được các ‘góc độ bị thiếu’ không bình thường trong các tập dữ liệu deepfake. Nguồn: https://sketchfab.com/3d-models/margot-robbie-bust-for-full-color-3d-printing-98d15fe0403b4e64902332be9cfb0ace

Khuôn mặt CGI như một hướng dẫn khái niệm tách biệt

Thay vào đó, phương pháp Delta-GAN Encoder (DGE) mới từ các nhà nghiên cứu Israel hiệu quả hơn, vì thông tin tư thế và ngữ cảnh từ các hình ảnh CGI đã được tách biệt hoàn toàn khỏi thông tin ‘danh tính’ của mục tiêu.

Chúng ta có thể thấy nguyên tắc này hoạt động trong hình ảnh dưới đây, nơi các hướng đầu khác nhau đã được thu được bằng cách sử dụng hình ảnh CGI làm hướng dẫn. Vì các đặc điểm danh tính không liên quan đến các đặc điểm ngữ cảnh, nên không có ‘làm hỏng’ nào cả về sự xuất hiện ‘giả’ của khuôn mặt CGI hay danh tính được thể hiện trong đó:

Với phương pháp mới, bạn không cần tìm ba hình ảnh nguồn thực tế riêng biệt để thực hiện một deepfake từ nhiều góc độ – bạn chỉ cần xoay đầu CGI, các đặc điểm trừu tượng cao cấp của nó được áp đặt lên danh tính mà không làm hỏng bất kỳ thông tin ID nào.

Delta-GAN-Encoder. Nhóm trên cùng bên trái: góc của hình ảnh nguồn có thể được thay đổi trong một giây để kết xuất một hình ảnh nguồn mới, được phản ánh trong đầu ra; nhóm trên cùng bên phải: ánh sáng cũng được tách biệt khỏi danh tính, cho phép chồng lên các phong cách chiếu sáng; nhóm dưới cùng bên trái: nhiều chi tiết khuôn mặt được thay đổi để tạo ra một biểu cảm ‘buồn’; nhóm dưới cùng bên phải: một chi tiết biểu cảm khuôn mặt duy nhất được thay đổi, để mắt nhắm lại.

Sự tách biệt này của danh tính và ngữ cảnh được thực hiện trong giai đoạn đào tạo. Đường ống cho kiến trúc deepfake mới tìm kiếm vectơ tiềm ẩn trong một Mạng Đối nghịch Sinh (GAN) được đào tạo trước để phù hợp với hình ảnh sẽ được biến đổi – một phương pháp Sim2Real xây dựng trên một dự án năm 2018 từ bộ phận nghiên cứu AI của IBM.

Các nhà nghiên cứu quan sát:

‘Với chỉ một vài mẫu, khác nhau bởi một thuộc tính cụ thể, bạn có thể học hành vi tách biệt của một mô hình sinh tổng hợp được đào tạo trước. Không cần các mẫu thực tế chính xác để đạt được mục tiêu đó, điều này không nhất thiết phải khả thi.

‘Bằng cách sử dụng các mẫu dữ liệu không thực tế, mục tiêu tương tự có thể đạt được nhờ tận dụng các ngữ nghĩa của các vectơ tiềm ẩn được mã hóa. Việc áp dụng các thay đổi mong muốn trên các mẫu dữ liệu hiện có có thể được thực hiện mà không cần khám phá hành vi của không gian tiềm ẩn một cách rõ ràng.’

Các nhà nghiên cứu dự đoán rằng các nguyên tắc cơ bản của sự tách biệt được khám phá trong dự án có thể được chuyển sang các lĩnh vực khác, chẳng hạn như mô phỏng kiến trúc nội thất, và phương pháp Sim2Real được áp dụng cho Delta-GAN-Encoder cuối cùng có thể cho phép deepfake dựa trên các bản phác thảo, chứ không phải dữ liệu đầu vào kiểu CGI.

Nó có thể được lập luận rằng mức độ mà hệ thống Israel mới có thể hoặc không thể tổng hợp các video deepfake là ít quan trọng hơn so với tiến bộ mà nghiên cứu đã đạt được trong việc tách biệt ngữ cảnh khỏi danh tính, trong quá trình đạt được nhiều quyền kiểm soát hơn đối với không gian tiềm ẩn của một GAN.

Sự tách biệt là một lĩnh vực nghiên cứu tích cực trong tổng hợp hình ảnh; vào tháng 1 năm 2021, một bài báo nghiên cứu do Amazon dẫn đầu đã chứng minh sự kiểm soát tư thế và tách biệt tương tự, và vào năm 2018, một bài báo từ Viện Công nghệ Tiên tiến Thâm Quyến tại Học viện Khoa học Trung Quốc đã đạt được tiến bộ trong việc tạo ra các góc nhìn tùy ý trong một GAN.