Phát trực tuyến DeepFake thời gian thực với DeepFaceLive

Phần mềm deepfake được sử dụng nhiều nhất trên thế giới, và cũng là phần mềm được liên kết mạnh mẽ nhất với deepfake khiêu dâm, đang nhận được một tính năng mới – khả năng chồng lên khuôn mặt của một người nổi tiếng vào hình ảnh từ webcam trực tiếp.

Kho mã nguồn mở DeepFaceLive là một ứng dụng Windows 10 được xây dựng trên nền tảng của DeepFaceLab, đã nhanh chóng trở thành nguồn tài liệu hàng đầu cho việc hoán đổi khuôn mặt dựa trên khiêu dâm sau khi người tạo ra phần mềm deepfake ban đầu bỏ dự án ngay sau khi deepfake gây ra tranh cãi trên toàn thế giới vào năm 2018. Cả hai dự án liệt kê phần diễn đàn của trang web khiêu dâm deepfake mrdeepfakes là một tài nguyên hỗ trợ chính thức.

Trong một đoạn video về giao diện DeepFaceLive được phát hành bởi nhà phát triển Ivan Petrov vào tháng 4, chúng ta thấy hình ảnh của người giả mạo Miles Fisher được biến thành Tom Cruise trong thời gian thực. Nguồn: https://martinanderson.substack.com/p/real-time-deepfake-streaming-is-apparently

Hôm qua, người đứng đầu cả hai dự án, nhà phát triển người Nga Ivan Petrov, đã công bố một phiên bản mới của DeepFaceLive trên nhóm Discord của dự án, lưu ý rằng DeepFaceLive hiện đã tích hợp một mô hình được đào tạo của nữ diễn viên Margot Robbie, một chủ đề phổ biến của các video khiêu dâm tại mrdeepfakes.

Bốn đoạn video mẫu đã được tải lên để chứng minh khả năng của DeepFaceLive trong việc gắn mô hình Robbie vào bất kỳ người nói nào trong luồng webcam.

Một trong những đoạn demo Margot Robbie của deepfaking trực tiếp. Nguồn: https://github.com/iperov/DeepFaceLive/tree/master/doc/celebs/Margot_Robbie

Các đoạn video biến đổi Robbie ban đầu được chia sẻ trên Twitch, nhưng sau đó đã bị xóa.

Ba ví dụ khác về việc hoán đổi khuôn mặt được cung cấp bởi DeepFaceLive. Yêu cầu về sự trùng khớp khuôn mặt gần giống với đối tượng mục tiêu vẫn còn rõ ràng. Trong hình ảnh dưới cùng bên trái, chúng ta thấy rằng phần mềm không thể che giấu các chướng ngại vật một cách hiệu quả, như có thể đạt được trong DeepFaceLab, vì điều này đòi hỏi phải đào tạo các mặt nạ trong ứng dụng XSeg của DeepFaceLab, một phương pháp không thể áp dụng cho việc giả mạo thời gian thực.

Một mô hình mặc định khác, của diễn viên hài và diễn viên người Anh Rowan Atkinson, sẽ được cung cấp cho DeepFaceLive trong thời gian tới. Ban đầu, kho mã nguồn DeepFaceLive có một danh mục CELEB_MODEL, nơi người dùng có thể tải xuống các mô hình của các ngôi sao khác, bao gồm Tom Cruise, dưới dạng tệp Open Neural Network Exchange (.onnx), mặc dù các thư mục này đã bị xóa.

Tom Cruise từng là một khuôn mặt được tích hợp trong DeepFaceLive vào tháng 4 năm 2021, nhưng dường như đã bị xóa khỏi gói mặc định. Tuy nhiên, mô hình có thể được tải xuống và cài đặt, cùng với các mô hình được đào tạo từ nhiều ngôi sao khác, và các mô hình tùy chỉnh được đào tạo bởi người dùng.

DeepFaceLive chỉ chạy trên ứng dụng Windows 10 và được báo cáo bởi một người dùng rằng nó hoạt động tốt với ứng dụng phát trực tuyến Broadcast của NVIDIA.

Thu được các bản sắc

Người dùng không cần phải trải qua quá trình thu thập tài liệu khuôn mặt cho một tập dữ liệu, sau đó là 3-10 ngày cần thiết để có được một kết quả rất tốt, vì FAQ của DeepFaceLive cho biết rằng nó có thể sử dụng các mô hình khuôn mặt ‘công khai’ đã được biên dịch bởi các nhà tạo khác. Về thực chất, nguồn lớn nhất của các mô hình như vậy là chủ đề Forum-Trained Models (liên kết lưu trữ) tại trang web khiêu dâm deepfake mrdeepfakes, có thể được nhìn thấy trong sử dụng bởi một người dùng cuối Nga trong một video YouTube gần đây.

Vladislav Pedro sử dụng DeepFaceLive để biến mình thành Tom Cruise trong thời gian thực. Mô hình mà anh tải trong video được lưu trữ tại mrdeepfakes và đã được sử dụng cho đến bây giờ cho quá trình xử lý deepfake ngoại tuyến. Nguồn: https://www.youtube.com/watch?v=0TcCKtObSnI

Mặc dù kết quả tốt nhất sẽ được thu được bằng cách đào tạo khuôn mặt của người dùng cuối cùng với khuôn mặt của người nổi tiếng mục tiêu, chất lượng của mô phỏng dường như tỷ lệ thuận với mức độ giống nhau giữa người dùng cuối cùng và người nổi tiếng mục tiêu. Khi người dùng cuối cùng tương đối phù hợp với người nổi tiếng, một kết quả thuyết phục có thể được thu được.

Điều rõ ràng trong ba lần hoán đổi Margot Robbie cuối cùng trong các hình ảnh trên là phần mềm không thể thực hiện những điều kỳ diệu khi khuôn mặt của người dùng cuối cùng có các đặc điểm chung khác biệt đáng kể. Tuy nhiên, DeepFaceLab cũng có thể thực hiện toàn bộ việc hoán đổi đầu, một quá trình hoàn toàn ghi đè lên đầu nguồn, mặc dù có những hạn chế liên quan đến kiểu tóc. Các bình luận trên máy chủ Discord xác nhận rằng những điều này cũng có thể được thực hiện trong DeepFaceLive.

DeepFaceLive hiện chỉ hỗ trợ card đồ họa NVIDIA, với GTX 750 là phần cứng thấp nhất có thể thu được một kết quả hợp lý với ứng dụng. Trên một thẻ đồ họa có 4GB VRAM, nó cũng yêu cầu 32GB không gian đĩa swap.

Đào tạo mô hình Margot Robbie – một hình ảnh đăng tại Discord DeepFaceLab/DeepFaceLive bởi Ivan Petrov. Ở đây, chúng ta thấy rằng tập dữ liệu nguồn rất đa dạng, rõ ràng là với ý định tạo ra một mô hình mạnh mẽ và tổng quát hóa tốt có thể biến nhiều loại khuôn mặt khác nhau thành hình ảnh của nữ diễn viên người Úc. Hầu hết các tập ‘A’ thường chỉ có một cá nhân.

Người dùng báo cáo rằng DeepFaceLive đòi hỏi rất cao về tài nguyên phần cứng, nhưng Petrov đã phản hồi lại điều này bằng cách khẳng định rằng DeepFaceLive được thiết kế cho các máy tính có cấu hình tốt trong môi trường trong nhà.

Kho mã nguồn DeepFaceLab đã được fork hơn 6.000 lần, trong khi DeepFaceLive mới hiện có 85 fork.

Các ứng dụng có thể

Những người bình luận trong một chủ đề (ngôn ngữ Nga) tại trang web xã hội Nga VK.com suy đoán về các ứng dụng có thể của DeepFaceLive, và dường như đã nhận ra tất cả các ứng dụng có thể của phần mềm: như một bộ lọc ‘giấu danh tính’ hoặc giải trí trong các ứng dụng như Zoom; như một phương tiện để thực hiện gian lận hoặc lừa dối người xem luồng trực tiếp; và – có lẽ nhiều nhất, xét về nguồn gốc và cơ sở người dùng của phần mềm – như một phương tiện để thực hiện công việc khiêu dâm dựa trên webcam tập trung vào người nổi tiếng (xem hình ảnh ở cuối bài viết).

Khả năng về ‘cô gái deepfake’ xuất hiện trong truyền thông một vài năm trước. Vào năm 2020, ứng dụng Avatarify đã công bố chức năng deepfake người nổi tiếng trên webcam, nhưng với chất lượng thấp hơn nhiều so với tiêu chuẩn được thiết lập bởi DeepFaceLab, hiện là kho mã nguồn được chọn cho các tiêu đề gần đây về deepfake Tom Cruise của Chris Ume, cũng như các công ty sản xuất phim và truyền hình cấp cao trên toàn thế giới.

DeepFaceLab, ứng dụng gốc cho DeepFaceLive và được báo cáo (ngôn ngữ Nga) là khuôn khổ cho 95% tất cả các deepfake trên YouTube, cũng là phần mềm được sử dụng bởi Shamook, người tạo deepfake đã làm việc phi thường trên việc cải thiện sự xuất hiện của Luke Skywalker trong The Mandalorian gần đây đã truyền cảm hứng cho Lucasfilm để thuê anh làm tư vấn VFX.

Được điều chỉnh để phù hợp với các hạn chế của deepfake

Phương pháp của phần mềm deepfake như DeepFaceLab và FaceSwap được phục vụ tốt bởi một môi trường webcam điển hình, và loại bỏ nhiều chướng ngại vật đối với tính xác thực mà vẫn có thể tồn tại trong các deepfake ngoại tuyến.

Chẳng hạn, deepfake hoạt động kém thuyết phục hơn khi người dùng quay sang ngang (hoặc nhìn lên), di chuyển nhanh hoặc bị ảnh hưởng bởi thay đổi cảnh hoặc thay đổi ánh sáng đột ngột.

Do đó, tính chất ‘tĩnh’ của một cuộc gọi Zoom hoặc webcam điển hình phát huy điểm mạnh của phần mềm. Nhiều ví dụ được tôn vinh nhất về mánh lới deepfake trong ba năm qua đã giới thiệu các diễn giả đối diện với máy quay trực tiếp và di chuyển rất ít trong một môi trường bị giới hạn, chẳng hạn như việc áp đặt Steve Buscemi lên Jennifer Lawrence trong một bài phát biểu tại Oscar, và việc biến đổi các bản phát sóng chính trị ‘trực tiếp’.

Sử dụng mô hình Margot Robbie mặc định trong DeepFaceLive – một đoạn video thử nghiệm đăng trên Discord DeepFaceLab bởi người dùng Nga ‘NoFace’.

Đã sửa 8:52pm 7 tháng 8 – Đã sửa họ.
Đã sửa 8:30pm 8 tháng 8 – thêm hình ảnh từ Discord.