Độ trung thực so với tính hiện thực trong video Deepfake

Không phải tất cả các nhà thực hành deepfake đều chia sẻ cùng một mục tiêu: động lực của lĩnh vực nghiên cứu tổng hợp hình ảnh – được hỗ trợ bởi những người đề xuất có ảnh hưởng như Adobe, NVIDIA và Facebook – là để phát triển trạng thái của nghệ thuật để các kỹ thuật học máy có thể cuối cùng tái tạo hoặc tổng hợp hoạt động của con người ở độ phân giải cao và trong các điều kiện thách thức nhất (độ trung thực).

Ngược lại, mục tiêu của những người muốn sử dụng công nghệ deepfake để lan truyền thông tin sai lệch là tạo ra các mô phỏng đáng tin cậy của những người thực bằng nhiều phương pháp khác ngoài sự chính xác của khuôn mặt deepfaked. Trong kịch bản này, các yếu tố phụ trợ như ngữ cảnh và tính hợp lý gần như bằng với khả năng của video trong việc mô phỏng khuôn mặt (tính hiện thực).

Cách tiếp cận “sleight-of-hand” này mở rộng đến sự suy giảm chất lượng hình ảnh cuối cùng của video deepfake, để toàn bộ video (và không chỉ phần lừa đảo được đại diện bởi khuôn mặt deepfaked) có một cái nhìn “hợp nhất” chính xác với chất lượng dự kiến cho phương tiện.

‘Hợp nhất’ không cần phải có nghĩa là ‘tốt’ – đủ rằng chất lượng nhất quán trên toàn bộ nội dung gốc và nội dung được chèn, được thay đổi, và tuân thủ các kỳ vọng. Về mặt đầu ra luồng VOIP trên các nền tảng như Skype và Zoom, tiêu chuẩn có thể khá thấp, với video giật, video bị giật, và một loạt các hiện象 nén khác, cũng như các thuật toán ‘làm mịn’ được thiết kế để giảm thiểu các hiệu ứng này – những hiệu ứng không chính xác mà chúng ta đã chấp nhận như những điều kiện đi kèm với các hạn chế và tính cách kỳ lạ của luồng trực tiếp.

DeepFaceLive trong hoạt động: phiên bản phát trực tuyến của phần mềm deepfake hàng đầu DeepFaceLab có thể cung cấp tính hiện thực ngữ cảnh bằng cách trình bày các giả mạo trong ngữ cảnh chất lượng video hạn chế, cùng với các vấn đề phát lại và các hiện tượng kết nối khác. Nguồn: https://www.youtube.com/watch?v=IL517EgYH8U

Sự suy giảm có sẵn

Thật vậy, hai gói deepfake phổ biến nhất (cả hai đều được派 sinh từ mã nguồn có vấn đề năm 2017) chứa các thành phần được thiết kế để tích hợp khuôn mặt deepfaked vào ngữ cảnh của ‘lịch sử’ hoặc video chất lượng thấp hơn bằng cách suy giảm khuôn mặt được tạo. Trong DeepFaceLab, tham số bicubic_degrade_power thực hiện việc này, và trong FaceSwap, thiết lập ‘grain’ trong cấu hình Ffmpeg cũng giúp tích hợp khuôn mặt giả bằng cách bảo tồn hạt trong quá trình mã hóa*.

Thiết lập ‘grain’ trong FaceSwap giúp tích hợp chính xác vào nội dung video không phải HQ và nội dung di sản có thể có hiệu ứng hạt phim tương đối hiếm ngày nay.

Thường, thay vì một video deepfake hoàn chỉnh và tích hợp, những người tạo deepfake sẽ xuất một loạt tệp PNG riêng biệt với kênh alpha, mỗi hình ảnh chỉ hiển thị khuôn mặt tổng hợp, để luồng hình ảnh có thể được chuyển đổi thành video trên các nền tảng có khả năng hiệu ứng suy giảm tinh vi hơn, chẳng hạn như Adobe After Effects, trước khi giả mạo và các yếu tố thực được kết hợp lại với nhau cho video cuối cùng.

Ngoài những sự suy giảm có chủ ý này, nội dung của công việc deepfake thường được nén lại, hoặc bằng thuật toán (trong đó các nền tảng truyền thông xã hội tìm cách tiết kiệm băng thông bằng cách tạo ra các phiên bản nhẹ hơn của các bản tải lên của người dùng) trên các nền tảng như YouTube và Facebook, hoặc bằng cách xử lý lại công việc gốc thành các tệp GIF động, phần chi tiết, hoặc các luồng làm việc đa dạng khác có động lực, điều đó coi bản phát hành gốc là điểm bắt đầu và sau đó giới thiệu các nén bổ sung.

Ngữ cảnh phát hiện deepfake thực tế

Với điều này trong tâm trí, một bài báo mới từ Thụy Sĩ đã đề xuất một sự thay đổi trong phương pháp luận đằng sau các phương pháp phát hiện deepfake, bằng cách dạy các hệ thống phát hiện để học các đặc điểm của nội dung deepfake khi nó được trình bày trong các ngữ cảnh suy giảm có chủ ý.

Sự tăng cường dữ liệu ngẫu nhiên được áp dụng cho một trong các tập dữ liệu được sử dụng trong bài báo mới, có nhiễu Gaussian, hiệu chỉnh gamma và mờ Gaussian, cũng như các hiện tượng nén JPEG. Nguồn: https://arxiv.org/pdf/2203.11807.pdf

Trong bài báo mới, các nhà nghiên cứu lập luận rằng các gói phát hiện deepfake tiên phong đang dựa vào các điều kiện chuẩn bị không thực tế cho ngữ cảnh của các chỉ số mà chúng áp dụng, và rằng ‘suy giảm’ đầu ra deepfake có thể rơi xuống dưới ngưỡng chất lượng tối thiểu để phát hiện, mặc dù nội dung ‘bẩn’ thực tế của nó có khả năng đánh lừa người xem do sự chú ý đúng đắn đến ngữ cảnh.

Các nhà nghiên cứu đã thiết lập một quy trình suy giảm dữ liệu ‘thế giới thực’ mới giúp cải thiện tính tổng quát hóa của các bộ phát hiện deepfake hàng đầu, với chỉ sự mất mát nhỏ về độ chính xác trên các tốc độ phát hiện ban đầu được thu được bằng ‘dữ liệu sạch’. Họ cũng cung cấp một khuôn khổ đánh giá mới có thể đánh giá tính vững chắc của các bộ phát hiện deepfake trong các điều kiện thế giới thực, được hỗ trợ bởi các nghiên cứu loại bỏ rộng rãi.

Bài báo bài báo có tiêu đề Một cách tiếp cận mới để cải thiện phát hiện deepfake dựa trên học tập trong các điều kiện thực tế, và đến từ các nhà nghiên cứu tại Nhóm xử lý tín hiệu đa phương tiện (MMSPG) và Trường Bách khoa Liên bang Lausanne (EPFL), cả hai đều có trụ sở tại Lausanne.

Sự混 hợp hữu ích

Các nỗ lực trước đây để kết hợp đầu ra suy giảm vào các phương pháp phát hiện deepfake bao gồm Mixup mạng nơ-ron, một đề xuất năm 2018 từ MIT và FAIR, và AugMix, một sự hợp tác năm 2020 giữa DeepMind và Google, cả hai đều là các phương pháp tăng cường dữ liệu nhằm cố gắng ‘làm mờ’ tài liệu đào tạo theo cách có thể giúp tổng quát hóa.

Các nhà nghiên cứu của công việc mới cũng lưu ý trước các nghiên cứu đã áp dụng nhiễu Gaussian và các hiện象 nén cho dữ liệu đào tạo để thiết lập các ranh giới của mối quan hệ giữa một tính năng dẫn xuất và nhiễu trong đó nó được nhúng.

Công trình nghiên cứu mới cung cấp một đường ống dẫn mô phỏng các điều kiện bị suy giảm của cả quá trình thu thập hình ảnh và các thuật toán nén và phân phối khác có thể làm suy giảm thêm đầu ra hình ảnh. Bằng cách kết hợp luồng làm việc thế giới thực này vào một khuôn khổ đánh giá, có thể tạo ra dữ liệu đào tạo cho các bộ phát hiện deepfake có khả năng chống lại các hiện tượng.

Lô-gic và luồng làm việc khái niệm cho cách tiếp cận mới.

Quá trình suy giảm được áp dụng cho hai tập dữ liệu phổ biến và thành công được sử dụng để phát hiện deepfake: FaceForensics++ và Celeb-DFv2. Ngoài ra, các khuôn khổ phát hiện deepfake hàng đầu Capsule-Forensics và XceptionNet được đào tạo trên các phiên bản bị thay đổi của hai tập dữ liệu.

Các bộ phát hiện được đào tạo với bộ tối ưu hóa Adam trong 25 và 10 kỷ lần lượt. Đối với việc chuyển đổi tập dữ liệu, 100 khung hình được lấy mẫu ngẫu nhiên từ mỗi video đào tạo, với 32 khung hình được trích xuất để kiểm tra, trước khi thêm các quá trình suy giảm.

Các biến dạng được xem xét cho luồng làm việc bao gồm nhiễu, nơi nhiễu Gaussian trung bình không được áp dụng ở sáu mức khác nhau; đổi kích thước, để mô phỏng độ phân giải giảm của cảnh quay ngoài trời điển hình, có thể thường ảnh hưởng đến các bộ phát hiện; nén, nơi các mức nén JPEG khác nhau được áp dụng trên toàn bộ dữ liệu; làm mịn, nơi ba bộ lọc làm mịn điển hình được sử dụng trong ‘loại bỏ nhiễu’ được đánh giá cho khuôn khổ; cải thiện, nơi độ tương phản và độ sáng được điều chỉnh; và kết hợp, nơi bất kỳ sự kết hợp nào của ba phương pháp trên được áp dụng đồng thời cho một hình ảnh.

Thử nghiệm và Kết quả

Khi thử nghiệm dữ liệu, các nhà nghiên cứu đã áp dụng ba chỉ số: Độ chính xác (ACC); Diện tích dưới Đường cong Nhận dạng Tiếp nhận (AUC); và Điểm F1.

Các nhà nghiên cứu đã kiểm tra các phiên bản đào tạo tiêu chuẩn của hai bộ phát hiện deepfake chống lại dữ liệu bị thay đổi và phát hiện chúng thiếu sót:

‘Nói chung, hầu hết các biến dạng thực tế và xử lý đều cực kỳ có hại cho các bộ phát hiện deepfake dựa trên học tập được đào tạo thông thường. Ví dụ, phương pháp Capsule-Forensics cho thấy điểm AUC rất cao trên cả tập kiểm tra FFpp và Celeb-DFv2 không nén sau khi đào tạo trên các tập dữ liệu tương ứng, nhưng sau đó bị giảm đột ngột hiệu suất trên dữ liệu đã sửa đổi từ khuôn khổ đánh giá của chúng tôi. Các xu hướng tương tự đã được quan sát với bộ phát hiện XceptionNet.’

Ngược lại, hiệu suất của hai bộ phát hiện đã được cải thiện đáng kể bằng cách được đào tạo trên dữ liệu đã chuyển đổi, với mỗi bộ phát hiện bây giờ có khả năng phát hiện các phương tiện lừa đảo không nhìn thấy hơn.

‘Phương pháp tăng cường dữ liệu đáng kể cải thiện tính vững chắc của hai bộ phát hiện và trong khi đó, chúng vẫn duy trì hiệu suất cao trên dữ liệu gốc không thay đổi.’

So sánh hiệu suất giữa các tập dữ liệu thô và tăng cường được sử dụng trên cả hai bộ phát hiện deepfake được đánh giá trong nghiên cứu.

Bài báo kết luận:

‘Các phương pháp phát hiện hiện tại được thiết kế để đạt được hiệu suất cao nhất có thể trên các chuẩn mực cụ thể. Điều này thường dẫn đến việc hy sinh khả năng tổng quát hóa cho các kịch bản thực tế hơn. Trong bài báo này, một lược đồ tăng cường dữ liệu cẩn thận dựa trên quá trình suy giảm hình ảnh tự nhiên được đề xuất.

‘Các thí nghiệm rộng rãi cho thấy kỹ thuật đơn giản nhưng hiệu quả này cải thiện đáng kể tính vững chắc của mô hình chống lại các biến dạng và xử lý thực tế trong các luồng làm việc hình ảnh điển hình.’

* Sự phù hợp của hạt trong khuôn mặt được tạo là một chức năng của chuyển giao phong cách trong quá trình chuyển đổi.

Được xuất bản lần đầu vào ngày 29 tháng 3 năm 2022. Cập nhật lúc 8:33 tối EST để làm rõ việc sử dụng hạt trong Ffmpeg.