Các nhà nghiên cứu xác định một đặc điểm bền bỉ của Deepfakes có thể giúp phát hiện lâu dài

Kể từ khi các giải pháp phát hiện deepfake đầu tiên bắt đầu xuất hiện vào năm 2018, lĩnh vực nghiên cứu tầm nhìn máy tính và an ninh đã tìm cách định nghĩa một đặc điểm thiết yếu của video deepfake – các tín hiệu có thể chống lại sự cải tiến của các công nghệ tổng hợp khuôn mặt phổ biến (như các gói deepfake dựa trên autoencoder như DeepFaceLab và FaceSwap, và việc sử dụng Mạng đối lập tạo sinh để tái tạo, mô phỏng hoặc thay đổi khuôn mặt con người).

Nhiều “dấu hiệu” như thiếu chớp mắt, đã trở nên lỗi thời do sự cải tiến của deepfakes, trong khi việc sử dụng các kỹ thuật chứng nhận số (như Sáng kiến chứng thực nội dung do Adobe dẫn đầu) – bao gồm cả các phương pháp blockchain và đánh dấu nước số của các bức ảnh nguồn tiềm năng – hoặc cần có sự thay đổi lớn và tốn kém đối với cơ sở ảnh nguồn hiện có trên internet, hoặc cần có sự hợp tác đáng kể giữa các quốc gia và chính phủ để tạo ra các hệ thống giám sát và xác thực.

Vì vậy, sẽ rất hữu ích nếu một đặc điểm cơ bản và bền bỉ có thể được phân biệt trong nội dung hình ảnh và video có khuôn mặt con người bị thay đổi, bị chế tạo hoặc bị hoán đổi danh tính; một đặc điểm có thể được suy luận trực tiếp từ các video bị giả mạo, mà không cần xác minh lớn, băm tài sản mật mã, kiểm tra ngữ cảnh, đánh giá tính hợp lý, các quy trình phát hiện tập trung vào hiện象, hoặc các phương pháp khác tốn kém để phát hiện deepfake.

Deepfakes trong khung hình

Một sự hợp tác nghiên cứu mới giữa Trung Quốc và Úc tin rằng họ đã tìm thấy “đấng cứu thế” này, dưới dạng gián đoạn tính đều đặn.

Các tác giả đã tạo ra một phương pháp so sánh tính toàn vẹn không gian và tính liên tục thời gian của các video thực so với những video chứa nội dung deepfake, và đã phát hiện ra rằng bất kỳ loại can thiệp deepfake nào cũng làm gián đoạn tính đều đặn của hình ảnh, dù không thể nhận thấy.

Điều này một phần là do quá trình deepfake phá vỡ video mục tiêu thành các khung hình và áp dụng hiệu ứng của mô hình deepfake được đào tạo vào từng khung hình (thay thế). Các phân phối deepfake phổ biến hoạt động giống như các nhà làm phim hoạt hình, ở khía cạnh này, dành nhiều sự chú ý hơn đến tính xác thực của từng khung hình hơn là đến đóng góp của từng khung hình vào tính toàn vẹn không gian và tính liên tục thời gian của video.

Từ bài viết: A) Sự khác biệt giữa các loại dữ liệu. Ở đây, chúng ta thấy rằng sự gián đoạn của p-fake thay đổi chất lượng không gian-thời gian của hình ảnh theo cùng một cách như deepfake, mà không thay thế danh tính. B) Phân tích nhiễu của ba loại dữ liệu, cho thấy cách p-fake bắt chước sự gián đoạn của deepfake. C) Một hình ảnh hóa thời gian của ba loại dữ liệu, với dữ liệu thực cho thấy sự toàn vẹn lớn hơn trong sự thay đổi. D) hình ảnh hóa T-SNE của các tính năng được trích xuất cho video thực, giả và p-fake. Nguồn: https://arxiv.org/pdf/2207.10402.pdf

Điều này không phải là cách một codec video xử lý một loạt khung hình khi một bản ghi gốc đang được thực hiện hoặc xử lý. Để tiết kiệm kích thước tệp hoặc làm cho video phù hợp với phát trực tuyến, một lượng lớn thông tin được loại bỏ bởi codec video. Ngay cả ở cài đặt chất lượng cao nhất, codec sẽ phân bổ khung hình chính (một biến có thể được đặt bởi người dùng) – các hình ảnh hoàn chỉnh, hầu như không bị nén, xảy ra ở một khoảng thời gian cố định trong video.

Các khung hình giữa các khung hình chính được ước tính đến một mức độ nhất định, như một biến thể của các khung hình, và sẽ tái sử dụng càng nhiều thông tin càng可能 từ các khung hình chính liền kề, thay vì là các khung hình hoàn chỉnh theo đúng nghĩa của chúng.

Ở bên trái, một khung hình chính hoàn chỉnh, hoặc ‘i-frame’, được lưu trữ trong video nén, với một chi phí nhất định về kích thước tệp; ở bên phải, một khung hình ‘delta’ giữa các khung hình tái sử dụng bất kỳ phần nào có thể áp dụng của khung hình chính dữ liệu phong phú hơn. Nguồn: https://blog.video.ibm.com/streaming-video-tips/keyframes-interframe-video-compression/

Theo cách này, khối (chứa x số khung hình, tùy thuộc vào cài đặt khung hình chính) có thể được coi là đơn vị nhỏ nhất được xem xét trong một video nén điển hình, thay vì bất kỳ khung hình riêng lẻ nào. Ngay cả khung hình chính, được gọi là i-frame, cũng là một phần của đơn vị đó.

Về mặt hoạt hình truyền thống, một codec đang thực hiện một loại giữa các khung hình, với các khung hình chính hoạt động như cột mốc cho các khung hình giữa các khung hình, được gọi là khung hình delta.

Ngược lại, việc chồng chất deepfake dành sự chú ý và tài nguyên lớn cho từng khung hình riêng lẻ, mà không xem xét bối cảnh rộng hơn, và không cho phép cách nén và mã hóa khối ảnh hưởng đến đặc điểm của video “thật”.

Một cái nhìn gần hơn về sự gián đoạn giữa chất lượng thời gian của một video đích thực (bên trái) và cùng một video khi nó bị gián đoạn bởi deepfakes (bên phải).

Mặc dù một số deepfakers tốt hơn sử dụng hậu xử lý rộng rãi, trong các gói như After Effects, và mặc dù phân phối DeepFaceLab có một số khả năng bản địa để áp dụng các thủ tục “trộn” như hiệu ứng mờ chuyển động, nhưng những thủ thuật này không ảnh hưởng đến sự không phù hợp giữa chất lượng không gian và thời gian giữa các video đích thực và deepfake.

Bài báo mới có tiêu đề Phát hiện Deepfake bằng cách tạo ra sự gián đoạn tính đều đặn không gian-thời gian, và đến từ các nhà nghiên cứu tại Đại học Tsinghua, Bộ phận Công nghệ Tầm nhìn Máy tính (VIS) tại Baidu Inc., và Đại học Melbourne

Video ‘giả’ giả

Các nhà nghiên cứu đứng sau bài báo đã tích hợp chức năng của nghiên cứu vào một mô-đun cắm và phát có tên là Pseudo-fake Generator (P-fake Generator), giúp biến các video thực thành video giả-deepfake, bằng cách làm gián đoạn chúng theo cùng cách mà quá trình deepfake thực sự làm.

Các thử nghiệm chỉ ra rằng mô-đun này có thể được thêm vào tất cả các hệ thống phát hiện deepfake hiện có với chi phí tài nguyên gần như bằng không, và rằng nó cải thiện đáng kể hiệu suất của chúng.

Khám phá này có thể giúp giải quyết một trong những chướng ngại vật khác trong nghiên cứu phát hiện deepfake: sự thiếu hụt của các tập dữ liệu đích thực và cập nhật. Vì việc tạo ra deepfake là một quá trình phức tạp và tốn thời gian, cộng đồng đã phát triển một số tập dữ liệu deepfake trong năm năm qua, nhiều trong số đó đã khá lỗi thời.

Bằng cách cô lập sự gián đoạn tính đều đặn như một tín hiệu không phụ thuộc vào deepfake cho các video bị thay đổi sau khi, phương pháp mới này cho phép tạo ra các mẫu và tập dữ liệu video không giới hạn tập trung vào khía cạnh này của deepfakes.

Tổng quan về khối STE, nơi convolution thời gian kênh được sử dụng như một kích thích để tạo ra mã hóa không gian-thời gian được tăng cường, dẫn đến cùng một chữ ký mà thậm chí một deepfake rất thuyết phục sẽ tạo ra. Bằng phương pháp này, các video ‘giả’ giả có thể được tạo ra mang cùng các đặc điểm chữ ký như bất kỳ video nào bị thay đổi theo phong cách deepfake, và không phụ thuộc vào các phân phối cụ thể hoặc các khía cạnh dễ thay đổi như hành vi tính năng hoặc hiện tượng thuật toán.

Thử nghiệm

Các nhà nghiên cứu đã thực hiện các thí nghiệm trên sáu tập dữ liệu nổi tiếng được sử dụng trong nghiên cứu phát hiện deepfake: FaceForensics++ (FF++); WildDeepFake; Thử thách phát hiện Deepfake (DFDCP); Celeb-DF; Phát hiện Deepfake (DFD); và Face Shifter (FSh).

Đối với FF++, các nhà nghiên cứu đã đào tạo mô hình của họ trên tập dữ liệu ban đầu và thử nghiệm từng tập con riêng biệt. Không sử dụng bất kỳ tài liệu deepfake nào trong quá trình đào tạo, phương pháp mới này đã vượt qua kết quả của các phương pháp hiện tại.

Phương pháp này cũng đứng đầu khi so sánh với tập dữ liệu FF++ C23 nén, cung cấp các ví dụ về các hiện象 nén mà có thể xảy ra trong môi trường xem deepfake thực tế.

Các tác giả nhận xét:

‘Hiệu suất trong FF++ xác nhận tính khả thi của ý tưởng chính của chúng tôi, trong khi tính tổng quát vẫn là một vấn đề lớn đối với các phương pháp phát hiện deepfake hiện có, vì hiệu suất không được đảm bảo khi thử nghiệm trên các deepfakes được tạo ra bằng các kỹ thuật không được nhìn thấy.

‘Hãy xem xét thêm thực tế của cuộc đua vũ trang giữa các bộ phát hiện và tạo giả, tính tổng quát là một tiêu chí quan trọng để đo lường hiệu quả của một phương pháp phát hiện trong thế giới thực.’

Mặc dù các nhà nghiên cứu đã thực hiện một số thử nghiệm phụ (xem bài viết để biết chi tiết) về “tính bền vững” và thay đổi loại video đầu vào (ví dụ: thực, giả, p-fake, v.v.), kết quả thú vị nhất đến từ thử nghiệm về hiệu suất giữa các tập dữ liệu.

Đối với thử nghiệm này, các tác giả đã đào tạo mô hình của họ trên phiên bản “thế giới thực” c23 của FF++ và thử nghiệm mô hình này với bốn tập dữ liệu khác, đạt được, theo các tác giả, hiệu suất vượt trội trên tất cả các tập dữ liệu.

Kết quả từ thử nghiệm giữa các tập dữ liệu. Bài viết lưu ý rằng SBI sử dụng một phương pháp tương tự như phương pháp của các tác giả, trong khi, theo các nhà nghiên cứu, p-fake cho thấy hiệu suất tốt hơn về sự gián đoạn tính đều đặn không gian-thời gian.

Bài viết tuyên bố:

‘Trên Deepwild đầy thách thức, phương pháp của chúng tôi vượt qua phương pháp SOTA khoảng 10 điểm phần trăm về mặt AUC%. Chúng tôi nghĩ rằng điều này là do sự đa dạng lớn của deepfakes trong Deepwild, điều này khiến các phương pháp khác không thể tổng quát hóa tốt từ các deepfakes đã được nhìn thấy.’

Các chỉ số được sử dụng cho các thử nghiệm bao gồm Điểm chính xác (ACC), Diện tích dưới đường cong ROC (AUC) và Tỷ lệ lỗi bằng nhau (EER).

Đáp trả?

Mặc dù truyền thông mô tả sự căng thẳng giữa các nhà phát triển deepfake và các nhà nghiên cứu phát hiện deepfake theo nghĩa của một cuộc chiến công nghệ, có thể nói rằng những người sau chỉ đơn giản là cố gắng tạo ra đầu ra thuyết phục hơn, và sự khó khăn tăng lên trong việc phát hiện deepfake là một sản phẩm phụ của những nỗ lực này.

Liệu các nhà phát triển có cố gắng giải quyết điểm yếu mới được tiết lộ này hay không, có thể phụ thuộc vào việc họ có cảm thấy rằng sự gián đoạn tính đều đặn có thể được nhận thức bởi mắt thường như một dấu hiệu của không đích thực, và do đó, chỉ số này có đáng được giải quyết từ quan điểm chất lượng thuần túy hay không.

Mặc dù đã năm năm kể từ khi các deepfake đầu tiên được đăng trực tuyến, công nghệ deepfake vẫn còn là một công nghệ tương đối mới, và cộng đồng có thể đang tập trung nhiều hơn vào chi tiết và độ phân giải hơn là bối cảnh chính xác hoặc khớp với chữ ký của video nén, cả hai đều yêu cầu một mức độ “phá hủy” đầu ra – chính xác là điều mà toàn bộ cộng đồng deepfake đang đấu tranh chống lại.

Nếu quan điểm chung ở đó cho thấy rằng sự gián đoạn tính đều đặn là một chữ ký non trẻ không ảnh hưởng đến chất lượng, có thể sẽ không có nỗ lực để bù đắp cho nó – ngay cả khi nó có thể được “hủy bỏ” bởi một số thủ tục hậu xử lý hoặc kiến trúc, điều này còn rất xa.

Được xuất bản lần đầu vào ngày 22 tháng 7 năm 2022.