Phát hiện Deepfake dựa trên Đặc điểm Sinh trắc học Con người Ban đầu

Một bài báo mới từ các nhà nghiên cứu ở Ý và Đức đề xuất một phương pháp để phát hiện video deepfake dựa trên hành vi sinh trắc học khuôn mặt và giọng nói, chứ không phải dựa trên các đặc điểm tạo ra bởi các hệ thống tổng hợp khuôn mặt, các giải pháp chống giả mạo tốn kém hoặc các phương pháp khác phức tạp hơn.

Khung khổ này yêu cầu đầu vào là 10 hoặc nhiều video đa dạng, không giả mạo của chủ thể. Tuy nhiên, nó không cần phải được đào tạo, tái đào tạo hoặc tăng cường trên các video trường hợp cụ thể, vì mô hình được tích hợp đã trừu tượng hóa các khoảng cách vectơ có thể giữa các video thực và giả một cách rộng rãi.

Học tương phản là nền tảng của phương pháp POI-Forensics. Vectơ được dẫn xuất từ tài liệu nguồn trên cơ sở từng trường hợp được so sánh với các vectơ相同 trong một video giả tiềm năng, với các mặt và đặc điểm được rút ra từ cả thành phần video và audio của footage giả tiềm năng. Source: https://arxiv.org/pdf/2204.03083.pdf

Được đặt tên là POI-Forensics, phương pháp này dựa vào các tín hiệu di chuyển và âm thanh duy nhất của cá nhân thực được deepfake.

Mặc dù một hệ thống như vậy có thể cho phép các khung khổ xác thực tự động hoàn toàn, ‘trước khi kết xuất’ cho các nhân vật nổi tiếng, các chính trị gia, những người có ảnh hưởng trên YouTube và những người khác mà có rất nhiều tài liệu video sẵn có, nhưng nó cũng có thể được điều chỉnh thành một khung khổ nơi các nạn nhân thông thường của công nghệ deepfake có thể có một nền tảng để chứng minh sự không xác thực của các cuộc tấn công chống lại họ.

Tấm hình trực quan hóa các đặc điểm được trích xuất từ các video thực và giả trên bốn đối tượng trong POI-Forensics, thông qua khuôn khổ t-SNE.

Các tác giả tuyên bố rằng POI-Forensics đạt được một trạng thái mới của nghệ thuật trong việc phát hiện deepfake. Trên nhiều tập dữ liệu phổ biến trong lĩnh vực này, khuôn khổ được báo cáo đạt được sự cải thiện trong các điểm AUC là 3%, 10% và 7% cho các video chất lượng cao, thấp và ‘được tấn công’, tương ứng. Các nhà nghiên cứu hứa sẽ phát hành mã sớm.

Hiệu suất của POI-Forensics so với các khuôn khổ SOTA đối thủ pDFDC, DeepFakeTIMIT, FakeAVCelebV2 và KoDF. Việc đào tạo trong mỗi trường hợp được thực hiện trên FaceForensics++ và phương pháp ID-Reveal của các tác giả trên VoxCeleb2. Kết quả bao gồm các video chất lượng cao và thấp.

Các tác giả tuyên bố:

‘Việc đào tạo được thực hiện độc quyền trên các video khuôn mặt nói chuyện thực, do đó bộ phát hiện không phụ thuộc vào bất kỳ phương pháp thao túng cụ thể nào và mang lại khả năng tổng quát hóa cao nhất. Ngoài ra, phương pháp của chúng tôi có thể phát hiện cả các cuộc tấn công đơn phương thức (chỉ âm thanh, chỉ video) và đa phương thức (âm thanh-video), và có khả năng chống lại các video chất lượng thấp hoặc bị hỏng bằng cách xây dựng chỉ trên các đặc điểm ngữ nghĩa cấp cao.’

Bài báo mới này, kết hợp các yếu tố từ một số dự án ID-Reveal của các tác giả vào năm 2021, được đặt tên là Phát hiện Deepfake Âm thanh-Hình ảnh của Người quan tâm, và là một nỗ lực chung giữa Đại học Federico II ở Naples và Đại học Kỹ thuật Munich.

Cuộc đua vũ trang Deepfake

Để đánh bại một hệ thống phát hiện như vậy, các hệ thống deepfake và tổng hợp con người sẽ cần phải có khả năng mô phỏng ít nhất các tín hiệu sinh trắc học hình ảnh và âm thanh từ đối tượng tổng hợp được – công nghệ mà còn nhiều năm nữa mới có thể đạt được, và có khả năng vẫn nằm trong phạm vi của các hệ thống đóng và độc quyền được phát triển bởi các công ty VFX, những công ty này sẽ có lợi thế của sự hợp tác và tham gia của các đối tượng được nhắm đến (hoặc các di sản của họ, trong trường hợp mô phỏng những người đã qua đời).

Phương pháp trước đó của các tác giả, ID-Reveal, tập trung hoàn toàn vào thông tin hình ảnh. Source: https://arxiv.org/pdf/2012.02512.pdf

Các phương pháp deepfake thành công và phổ biến như FaceSwap và DeepFaceLab/Live hiện tại không có khả năng tạo ra các xấp xỉ sinh trắc học chi tiết như vậy, dựa vào các diễn viên tài năng giả mạo trên những người mà danh tính bị áp đặt, và thường hơn là dựa trên các cảnh quay ngoài trời của những người ‘tương tự’. Cấu trúc của mã cốt lõi năm 2017, có ít mô-đun và vẫn là nguồn thượng游 cho DFL và FaceSwap, cũng không làm cho việc thêm chức năng này trở nên khả thi.

Các gói deepfake thống trị này dựa trên tự mã hóa. Các phương pháp tổng hợp con người thay thế có thể sử dụng một Mạng đối lập tạo sinh (GAN) hoặc Trường bức xạ thần kinh (NeRF) để tái tạo lại danh tính con người; nhưng cả hai hướng nghiên cứu này còn nhiều năm làm việc phía trước để sản xuất video con người hoàn toàn thực tế.

Với ngoại lệ của âm thanh (giọng nói giả), mô phỏng sinh trắc học rất xa trong danh sách các thách thức đối mặt với tổng hợp hình ảnh con người. Trong mọi trường hợp, việc tái tạo âm thanh và các đặc tính khác của giọng nói con người không tái tạo lại các đặc điểm và ‘tells’ của nó, hoặc cách mà chủ thể thực sử dụng cấu trúc ngữ nghĩa. Do đó, ngay cả việc hoàn thiện mô phỏng giọng nói AI cũng không giải quyết được vấn đề về tính xác thực sinh trắc học.

Ở Arxiv alone, nhiều chiến lược và đổi mới phát hiện deepfake được phát hành mỗi tuần. Các phương pháp gần đây đã dựa vào Tính đồng nhất Giọng nói-Khuôn mặt, Lịch sử Histogram Mẫu Nhị phân Địa phương (FF-LBPH), nhận thức của con người về deepfake âm thanh, phân tích các vùng khuôn mặt ngoài, tài khoản cho sự suy giảm video, và ‘Đạn đạo Pháp y’ – trong số nhiều người khác.

Phân tích histogram phân đoạn là một trong những kỹ thuật mới nhất được đề xuất để cải thiện phát hiện deepfake. Source: https://arxiv.org/pdf/2203.09928.pdf

Phương pháp, Dữ liệu và Kiến trúc

POI-Forensics sử dụng một phương pháp đa phương thức để xác minh danh tính, tận dụng các đặc điểm sinh trắc học mềm dựa trên các tín hiệu hình ảnh và âm thanh. Khung khổ này bao gồm các mạng âm thanh và hình ảnh riêng biệt, cuối cùng dẫn xuất dữ liệu vectơ đặc trưng có thể được so sánh với các đặc điểm được trích xuất tương tự trong một video deepfake tiềm năng đang được nghiên cứu.

Khái niệm kiến trúc của POI-Forensics.

Cả phân tích riêng (âm thanh hoặc hình ảnh) và phân tích kết hợp có thể được thực hiện trên các đoạn clip mục tiêu, cuối cùng dẫn đến một chỉ số tương tự POI. Hàm mất tương phản được sử dụng dựa trên một hợp tác học thuật năm 2021 giữa Google Research, Đại học Boston, Snap Inc. và MIT.

Cơ sở dữ liệu cơ bản được chia theo từng danh tính. 4608 danh tính được sử dụng để đào tạo, với 512 còn lại để xác thực. 500 danh tính được sử dụng trong FakeAVCelebV2 (một ứng cử viên thử nghiệm, xem dưới đây) đã được loại trừ để có được kết quả không bị phân cực.

Hai mạng được đào tạo trong 12 kỷ với một kích thước batch lớn bất thường là 2304 batch mỗi kỷ, với mỗi batch bao gồm 8×8 đoạn video – 8 đoạn cho 8 danh tính khác nhau. Bộ tối ưu hóa Adam được sử dụng với sự phân rã trọng số đã ngắt kết nối tại một tốc độ học 10⁻⁴, và sự phân rã trọng số là 0,01.

Thử nghiệm và Kết quả

Các tập dữ liệu deepfake được thử nghiệm cho dự án là tập dữ liệu Thử thách Phát hiện Deepfake, có tính năng trao đổi khuôn mặt trên 68 chủ thể, trong đó 44 danh tính đã được chọn có hơn chín video liên quan, tổng cộng 920 video thực và 2925 video giả; DeepFake-TIMIT, một tập dữ liệu dựa trên GAN có 320 video của 32 chủ thể, tổng cộng 290 video thực và 580 video giả với thời lượng ít nhất bốn giây; FakeAVCelebV2, bao gồm 500 video thực từ Voxceleb2, và khoảng 20.000 video giả từ các tập dữ liệu khác nhau, đến đó thêm âm thanh giả được nhân bản với SV2TTS để tương thích; và KoDF, một tập dữ liệu deepfake Hàn Quốc với 403 danh tính bị giả mạo thông qua FaceSwap, DeepFaceLab và FSGAN, cũng như ba Mô hình Chuyển động Thứ nhất (FOMM).

Cuối cùng cũng có tính năng tổng hợp khuôn mặt âm thanh được điều khiển ATFHP, và đầu ra từ Wav2Lip, với các tác giả sử dụng một tập dữ liệu được dẫn xuất có 276 video thực và 544 video giả.

Các chỉ số được sử dụng bao gồm diện tích dưới đường cong nhận dạng và trả lời (AUC), và một tỷ lệ báo động giả khoảng 10%, điều này sẽ là vấn đề trong các khuôn khổ kết hợp và đào tạo trên dữ liệu giả, nhưng lo lắng này được loại bỏ bởi thực tế là POI-Forensics chỉ lấy footage video thực làm đầu vào.

Các phương pháp được thử nghiệm chống lại bộ phát hiện deepfake Seferbekov, đạt vị trí đầu tiên trong Thử thách Phát hiện Deepfake của Kaggle; FTCN (Mạng đối lập Toàn thời gian), một sự hợp tác giữa Đại học Xiamen của Trung Quốc và Nghiên cứu Microsoft Asia; LipForensics, một công việc chung năm 2021 giữa Đại học Hoàng gia London và Facebook; và ID-Reveal, một dự án trước đó của một số nhà nghiên cứu của bài báo mới, bỏ qua một khía cạnh âm thanh, và sử dụng các Mô hình 3D có thể định hình kết hợp với một kịch bản trò chơi đối lập để phát hiện đầu ra giả.

Trong kết quả (xem bảng trên), POI-Forensics vượt trội so với người dẫn đầu tham chiếu Seferbekov 2,5% về AUC và 1,5% về độ chính xác. Hiệu suất cạnh tranh hơn trên các tập dữ liệu khác tại HQ.

Tuy nhiên, phương pháp mới này đã thể hiện một lợi thế đáng chú ý so với tất cả các phương pháp tham chiếu cạnh tranh cho các video chất lượng thấp, vẫn là kịch bản có khả năng mà các deepfake có thể lừa dối người xem thông thường, dựa trên các ngữ cảnh ‘thế giới thực’.

Các tác giả khẳng định:

‘Thực sự, trong kịch bản đầy thách thức này, chỉ có các phương pháp dựa trên danh tính mới tiếp tục cung cấp hiệu suất tốt, vì chúng dựa trên các đặc điểm ngữ nghĩa cấp cao, khá mạnh mẽ đối với các khiếm khuyết hình ảnh.’

Xét rằng POI-Forensics chỉ sử dụng video thực làm tài liệu nguồn, thành tựu này có thể được coi là tăng lên, và cho thấy rằng việc sử dụng các đặc điểm sinh trắc học bản địa của các nạn nhân deepfake tiềm năng là một con đường đáng giá để thoát khỏi ‘cuộc chiến lạnh về đặc điểm’ giữa phần mềm deepfake và các giải pháp phát hiện deepfake.

Trong một thử nghiệm cuối cùng, các nhà nghiên cứu đã thêm nhiễu đối lập vào đầu vào, một phương pháp có thể lừa dối các phân loại器 một cách đáng tin cậy. Phương pháp dấu hiệu gradient nhanh vẫn chứng minh là đặc biệt hiệu quả trong trường hợp này.

Các chiến lược tấn công đối lập làm giảm tỷ lệ thành công trên tất cả các phương pháp và tập dữ liệu, với AUC giảm từ 10% đến 38%. Tuy nhiên, chỉ có POI-Forensics và phương pháp trước đó của các tác giả là ID-Reveal mới có thể duy trì hiệu suất hợp lý trong kịch bản tấn công này, cho thấy rằng các đặc điểm cấp cao liên quan đến sinh trắc học mềm là cực kỳ mạnh mẽ đối với việc tránh phát hiện deepfake.

Các tác giả kết luận:

‘Tổng thể, chúng tôi tin rằng phương pháp của chúng tôi là một bước đầu tiên; đặc biệt, việc sử dụng các đặc điểm ngữ nghĩa cấp cao là một hướng nghiên cứu đầy hứa hẹn cho nghiên cứu trong tương lai. Ngoài ra, phân tích đa phương thức có thể được làm phong phú hơn bằng cách bao gồm nhiều thông tin từ các lĩnh vực khác như dữ liệu văn bản.’

Được xuất bản lần đầu vào ngày 8 tháng 4 năm 2022.