Truyền phát DeepFake theo thời gian thực với DeepFaceLive

Phần mềm deepfake được sử dụng nhiều nhất trên thế giới và là phần mềm có liên quan chặt chẽ nhất với nội dung khiêu dâm deepfake, đang có một triển khai mới - khả năng áp dụng các hình ảnh deepfake giống người nổi tiếng vào cảnh quay webcam trực tiếp.

Kho mã nguồn mở DeepFaceSống là một ứng dụng Windows 10 được xây dựng trên nền tảng của DeepFaceLab, đã nhanh chóng trở thành tài nguyên hàng đầu cho hoán đổi khuôn mặt dựa trên nội dung khiêu dâm sau khi người tạo ra phần mềm deepfake ban đầu từ bỏ dự án ngay sau khi deepfaking ra đời đã tạo ra tranh cãi trên toàn thế giới vào năm 2018. Cả hai dự án phần diễn đàn của trang web khiêu dâm deepfake mrdeepfakes như một nguồn hỗ trợ chính thức.

Trong một video về giao diện DeepFaceLive do nhà phát triển Ivan Petrov phát hành vào tháng XNUMX, chúng ta thấy đoạn phim được tải xuống về người đóng giả Miles Fisher đang bị biến thành Tom Cruise trong thời gian thực. Nguồn: https://martinanderson.substack.com/p/real-time-deepfake-streaming-is-apparently

Hôm qua dẫn đầu cả hai dự án, nhà phát triển Nga Ivan Petrov, công bố một phiên bản mới của DeepFaceLive trong nhóm Discord của dự án, lưu ý rằng DeepFaceLive hiện kết hợp một người mẫu được đào tạo là nữ diễn viên Margot Robbie, một chủ đề thường xuyên của các video khiêu dâm tại mrdeepfakes.

Bốn video clip mẫu đã được tải lên để chứng minh khả năng của DeepFaceLive gắn danh tính Robbie vào bất kỳ người nói nào trong nguồn cấp dữ liệu webcam.

Một trong những màn trình diễn deepfaking trực tiếp của Margot Robbie. Nguồn: https://github.com/iperov/DeepFaceLive/tree/master/doc/celebs/Margot_Robbie

Các video chuyển đổi của Robbie ban đầu được chia sẻ trên Twitch, nhưng sau đó đã bị xóa.

Ba ví dụ khác về hoán đổi khuôn mặt do DeepFaceLive cung cấp. Yêu cầu về một khuôn mặt tương đối khớp với đối tượng mục tiêu vẫn còn tồn tại. Trong hình ảnh dưới cùng bên trái, chúng ta thấy rằng phần mềm không thể che giấu vật cản một cách hiệu quả, như có thể đạt được trong DeepFaceLab, vì điều này yêu cầu đào tạo mặt nạ trong ứng dụng XSeg của DeepFaceLab, một phương pháp không thể áp dụng cho giả mạo thời gian thực.

Một mô hình mặc định bổ sung, của diễn viên hài và diễn viên người Anh Rowan Atkinson, hứa hẹn sẽ sớm được cung cấp cho DeepFaceLive. Ban đầu, kho lưu trữ DeepFaceLive có danh mục CELEB_MODEL, nơi có thể tải xuống những người nổi tiếng khác, bao gồm cả Tom Cruise, dưới dạng Trao đổi mạng thần kinh mở (.onnx), mặc dù các thư mục này đã bị xóa.

Tom Cruise là một danh tính tích hợp cho phiên bản DeepFaceLive beta vào tháng 2021 năm XNUMX, nhưng kể từ đó rõ ràng đã bị xóa dưới dạng mặc định trong gói. Tuy nhiên, mô hình có thể được tải xuống và cài đặt, cùng với các mô hình được đào tạo từ nhiều người nổi tiếng khác và các mô hình tùy chỉnh do người dùng cuối đào tạo.

DeepFaceLive chạy độc quyền dưới dạng ứng dụng Windows 10 và được báo cáo bởi một người dùng để hoạt động tốt với tính năng phát trực tiếp của NVIDIA Phát sóng ứng dụng.

Lấy danh tính

Người dùng không cần phải trải qua quá trình tốn nhiều công sức để thu thập tài liệu khuôn mặt cho tập dữ liệu, sau đó là 3-10 ngày cần thiết để có được một kết quả phù hợp rất tốt, vì Câu hỏi thường gặp về DeepFaceLive nói rằng nó có thể sử dụng 'các mẫu khuôn mặt công khai' ' đã được biên soạn bởi những người sáng tạo khác. Trên thực tế, nguồn lớn nhất của các mô hình như vậy là Người mẫu được đào tạo trên diễn đàn (liên kết lưu trữ) chuỗi tại trang web khiêu dâm mrdeepfakes, có thể được một người dùng cuối người Nga sử dụng trong một video YouTube gần đây.

Vladislav Pedro sử dụng DeepFaceLive để biến mình thành Tom Cruise trong thời gian thực. Mô hình anh ấy tải trong video được lưu trữ tại mrdeepfakes và đã được sử dụng cho đến nay để xử lý deepfake ngoại tuyến. Nguồn: https://www.youtube.com/watch?v=0TcCKtObSnI

Mặc dù sẽ thu được kết quả tốt nhất bằng cách huấn luyện khuôn mặt của người dùng cuối với người nổi tiếng mục tiêu, nhưng chất lượng của mô phỏng dường như tỷ lệ thuận với mức độ gần gũi của người dùng cuối với mục tiêu. Khi người dùng tương đối phù hợp với người nổi tiếng, có thể thu được kết quả thuyết phục.

Rõ ràng là trong ba lần hoán đổi Margot Robbie gần đây nhất trong các hình ảnh ở trên, phần mềm không thể thực hiện phép lạ khi khuôn mặt của người dùng cuối có các đặc điểm chung hoàn toàn khác nhau. Tuy nhiên, DeepFaceLab cũng có thể thực hiện hoán đổi toàn bộ đầu, một quá trình ghi đè hoàn toàn phần đầu nguồn, mặc dù có những hạn chế liên quan đến kiểu tóc. Nhận xét trên máy chủ Discord xác nhận rằng những điều này cũng có thể được triển khai trong DeepFaceLive.

DeepFaceLive hiện chỉ hỗ trợ GPU NVIDIA, với GTX 750 là phần cứng thấp nhất có thể đạt được kết quả hợp lý với ứng dụng. Trên card đồ họa có 4GB VRAM, nó cũng yêu cầu 32GB dung lượng đĩa trao đổi.

Đào tạo người mẫu Margot Robbie – một hình ảnh đăng tại DeepFaceLab/DeepFaceLive Discord của Ivan Petrov. Ở đây, chúng ta thấy rằng tập dữ liệu nguồn vô cùng đa dạng, dường như với mục đích tạo ra một mô hình tổng quát và mạnh mẽ có thể chuyển đổi nhiều loại khuôn mặt thành hình ảnh của nữ diễn viên người Úc. Hầu hết các bộ 'A' thường là của một cá nhân.

Người dùng báo cáo rằng DeepFaceLive cực kỳ khắt khe về tài nguyên phần cứng, nhưng Petrov đã đáp lại điều này bằng cách khẳng định rằng DeepFaceLive dành cho các PC được chỉ định tốt trong môi trường trong nhà.

DeepFaceLab GitHub đã được rèn hơn 6,000 lần, trong khi DeepFaceLive mới hiện có 85 lần.

Sử dụng có thể

Người bình luận trong một Chủ đề (ngôn ngữ tiếng Nga) tại trang mạng xã hội Nga VK.com suy đoán về các cách sử dụng có thể có của DeepFaceLive và dường như đã phân biệt được tất cả các ứng dụng có thể có của phần mềm: dưới dạng 'ẩn danh' hoặc bộ lọc giải trí trong Zoom và các ứng dụng tương tự; như một phương tiện để thực hiện hành vi gian lận hoặc lừa dối người xem luồng trực tiếp; và – có lẽ rất có thể, dựa trên nguồn gốc và cơ sở người dùng của phần mềm – như một phương tiện để thực hiện hoạt động mại dâm dựa trên webcam tập trung vào người nổi tiếng (xem hình ảnh ở cuối bài viết).

Khả năng 'cô gái cam deepfake' xuất hiện trên các phương tiện truyền thông một vài năm trước đây. Vào năm 2020, ứng dụng Avatarify công bố chức năng webcam của người nổi tiếng deepfake, nhưng với chất lượng đáng kể thấp hơn hơn tiêu chuẩn do DeepFaceLab đặt ra, hiện là tiêu chuẩn kho tự chọn cho gần đây tiêu đề Tom Cruise deepfaker Chris Ume, cũng như các công ty sản xuất phim và truyền hình cấp cao trên khắp thế giới.

DeepFaceLab, ứng dụng gốc cho DeepFaceLive và báo cáo (ngôn ngữ tiếng Nga) cho 95% tất cả các deepfakes trên YouTube, cũng là phần mềm được sử dụng bởi Shamook, deepfaker có sức mạnh phi thường công việc về việc cải thiện sự xuất hiện của Luke Skywalker trong The Mandalorian, Lucasfilm đã truyền cảm hứng gần đây thuê anh ta với tư cách là nhà tư vấn VFX.

Thích ứng với các hạn chế của Deepfake

Phương pháp của phần mềm deepfake như DeepFaceLab và Hoán đổi khuôn mặt được phục vụ tốt bởi một môi trường webcam điển hình và loại bỏ nhiều trở ngại đối với tính xác thực vẫn có thể gây ra các tác phẩm sâu ngoại tuyến.

Ví dụ: deepfakes hoạt động kém thuyết phục hơn khi người dùng chuyển sang hồ sơ (hoặc nhìn lên), di chuyển nhanh hoặc có thể thay đổi cảnh hoặc thay đổi ánh sáng đột ngột.

Do đó, tính chất 'tĩnh' của cuộc gọi Zoom hoặc webcam thông thường phát huy thế mạnh của phần mềm. Nhiều ví dụ đáng kính nhất về mánh khóe deepfake trong ba năm qua có cảnh người nói đối diện trực tiếp với máy ảnh và di chuyển rất ít trong một môi trường hạn chế, chẳng hạn như việc Steve Buscemi áp đặt lên Jennifer Lawrence tại một bài phát biểu Oscarvà việc chuyển đổi các chương trình phát sóng chính trị 'sang camera' khác nhau.

Có thể cho rằng việc sử dụng mô hình Margot Robbie mặc định có nhiều khả năng nhất trong DeepFaceLive – một video thử nghiệm triển khai cam công bố trên DeepFaceLab Discord của người dùng Nga 'NoFace'.

Đã sửa đổi 8:52 tối ngày 7 tháng XNUMX – Họ đã sửa.
Đã sửa đổi 8:30 tối ngày 8 tháng XNUMX – thêm hình ảnh từ Discord.