Thông Tin Chiều Sâu Có Thể Tiết Lộ Deepfakes Trong Thời Gian Thực

Nghiên cứu mới từ Ý đã phát hiện ra rằng thông tin chiều sâu thu được từ hình ảnh có thể là một công cụ hữu ích để phát hiện deepfakes – ngay cả trong thời gian thực.

Trong khi đa số nghiên cứu về phát hiện deepfake trong năm năm qua đã tập trung vào xác định hiện象 (có thể được giảm thiểu bằng các kỹ thuật cải tiến hoặc bị nhầm lẫn với nén codec video kém), ánh sáng môi trường, đặc điểm sinh trắc học, sự gián đoạn thời gian và thậm chí khả năng trực giác của con người, nghiên cứu mới này là nghiên cứu đầu tiên đề xuất rằng thông tin chiều sâu có thể là một mật mã quý giá cho nội dung deepfake.

Ví dụ về bản đồ chiều sâu thu được và sự khác biệt về thông tin chiều sâu nhận thức giữa hình ảnh thực và giả. Nguồn: https://arxiv.org/pdf/2208.11074.pdf

Điều quan trọng là, các khung phát hiện được phát triển cho nghiên cứu mới này hoạt động rất tốt trên một mạng nhẹ như Xception và chấp nhận được trên MobileNet, và bài báo mới này thừa nhận rằng độ trễ thấp của suy luận được cung cấp thông qua các mạng này có thể cho phép phát hiện deepfake trong thời gian thực chống lại xu hướng mới về gian lận deepfake trực tiếp, được minh họa bằng cuộc tấn công vào Binance.

Hiệu quả kinh tế hơn trong thời gian suy luận có thể đạt được vì hệ thống không cần hình ảnh màu đầy đủ để xác định sự khác biệt giữa bản đồ chiều sâu giả và thực, nhưng có thể hoạt động hiệu quả chỉ trên hình ảnh grayscale của thông tin chiều sâu.

Các tác giả tuyên bố: ‘Kết quả này cho thấy rằng chiều sâu trong trường hợp này thêm một đóng góp liên quan hơn đến phân loại hơn là hiện tượng màu.’

Các phát hiện đại diện cho một phần của làn sóng nghiên cứu mới về phát hiện deepfake nhằm vào các hệ thống tổng hợp khuôn mặt thời gian thực như DeepFaceLive – một trọng tâm của nỗ lực đã tăng tốc đáng kể trong 3-4 tháng qua, sau cảnh báo của FBI vào tháng 3 về rủi ro của video và âm thanh deepfake thời gian thực.

Bài báo này có tiêu đề DepthFake: một chiến lược dựa trên chiều sâu để phát hiện video Deepfake và đến từ năm nhà nghiên cứu tại Đại học Sapienza của Rome.

Trường Hợp Cạnh

Trong quá trình đào tạo, các mô hình deepfake dựa trên tự mã hóa ưu tiên các vùng bên trong của khuôn mặt, chẳng hạn như mắt, mũi và miệng. Trong hầu hết các trường hợp, trên các phân phối mã nguồn mở như DeepFaceLab và FaceSwap (cả hai đều fork từ mã Reddit ban đầu năm 2017 trước khi bị xóa), các đường nét bên ngoài của khuôn mặt không trở nên rõ ràng cho đến một giai đoạn rất muộn trong đào tạo và không thể phù hợp với chất lượng tổng hợp trong khu vực khuôn mặt bên trong.

Từ một nghiên cứu trước đó, chúng ta thấy một hình ảnh hóa của ‘bản đồ saliency’ của khuôn mặt. Nguồn: https://arxiv.org/pdf/2203.01318.pdf

Thông thường, điều này không quan trọng, vì xu hướng của chúng ta là tập trung vào mắt và ưu tiên ‘ra ngoài’ ở mức độ chú ý giảm dần, điều này có nghĩa là chúng ta không bị làm phiền bởi những giảm chất lượng này – đặc biệt nếu chúng ta đang nói chuyện trực tiếp với người đang giả mạo một danh tính khác, điều này kích hoạt các quy ước xã hội và giới hạn xử lý không có mặt khi chúng ta đánh giá ‘phim’ deepfake.

Tuy nhiên, sự thiếu chi tiết hoặc độ chính xác trong các vùng biên của khuôn mặt deepfaked có thể được phát hiện thuật toán. Vào tháng 3, một hệ thống dựa trên vùng khuôn mặt ngoại vi đã được thông báo. Tuy nhiên, vì nó yêu cầu một lượng dữ liệu đào tạo trên trung bình, nó chỉ dành cho những người nổi tiếng có khả năng xuất hiện trong các tập dữ liệu khuôn mặt phổ biến (như ImageNet) có nguồn gốc trong các kỹ thuật tầm nhìn máy tính và phát hiện deepfake hiện tại.

Thay vào đó, hệ thống mới, có tên DepthFake, có thể hoạt động chung cho cả danh tính không rõ hoặc không xác định, bằng cách phân biệt chất lượng của thông tin bản đồ chiều sâu trong nội dung video thực và giả.

Đi Sâu

Thông tin bản đồ chiều sâu đang ngày càng được tích hợp vào các điện thoại thông minh, bao gồm cả các triển khai stereo hỗ trợ AI đặc biệt hữu ích cho các nghiên cứu về tầm nhìn máy tính. Trong nghiên cứu mới này, các tác giả đã sử dụng mô hình FaceDepth của Đại học Quốc gia Ireland, một mạng mã hóa/đ码 hóa convolutional có thể ước tính bản đồ chiều sâu từ hình ảnh đơn nguồn một cách hiệu quả.

Mô hình FaceDepth hoạt động. Nguồn: https://tinyurl.com/3ctcazma

Tiếp theo, đường ống cho khuôn khổ mới của các nhà nghiên cứu Ý trích xuất một bản vá 224×224 pixel của khuôn mặt đối tượng từ cả hình ảnh RGB ban đầu và bản đồ chiều sâu thu được. Điều quan trọng là, điều này cho phép quá trình sao chép nội dung cốt lõi mà không cần thay đổi kích thước; điều này quan trọng, vì các thuật toán thay đổi kích thước tiêu chuẩn sẽ ảnh hưởng tiêu cực đến chất lượng của các khu vực được nhắm mục tiêu.

Sử dụng thông tin này, từ cả nguồn thực và deepfaked, các nhà nghiên cứu sau đó đào tạo một mạng nơ-ron convolutional (CNN) có khả năng phân biệt giữa các trường hợp thực và giả, dựa trên sự khác biệt về chất lượng nhận thức của các bản đồ chiều sâu tương ứng.

Đường ống khái niệm cho DepthFake.

Mô hình FaceDepth được đào tạo trên dữ liệu thực và tổng hợp sử dụng một hàm hybrid cung cấp chi tiết hơn ở các biên ngoài của khuôn mặt, khiến nó phù hợp với DepthFake. Nó sử dụng một thể hiện của MobileNet như một bộ trích xuất tính năng và được đào tạo với hình ảnh đầu vào 480×640 và đầu ra bản đồ chiều sâu 240×320. Mỗi bản đồ chiều sâu đại diện cho một phần tư của bốn kênh đầu vào được sử dụng trong dự án phân biệt mới.

Bản đồ chiều sâu được tự động nhúng vào hình ảnh RGB ban đầu để cung cấp loại hình ảnh RGBD, đầy đủ thông tin chiều sâu, mà các máy ảnh điện thoại thông minh hiện đại có thể xuất ra.

Đào Tạo

Mô hình được đào tạo trên một mạng Xception đã được tiền đào tạo trên ImageNet, mặc dù kiến trúc cần một số thích nghi để thích ứng với thông tin chiều sâu bổ sung trong khi duy trì việc khởi tạo trọng số đúng.

Ngoài ra, sự không phù hợp về phạm vi giá trị giữa thông tin chiều sâu và những gì mạng đang mong đợi đòi hỏi các nhà nghiên cứu phải chuẩn hóa các giá trị sang 0-255.

Trong quá trình đào tạo, chỉ có việc lật và xoay được áp dụng. Trong nhiều trường hợp, các biến dạng hình ảnh khác nhau sẽ được trình bày cho mô hình để phát triển suy luận mạnh mẽ, nhưng sự cần thiết phải bảo tồn thông tin bản đồ chiều sâu giới hạn và rất mong manh trong ảnh nguồn buộc các nhà nghiên cứu phải áp dụng một chế độ giảm thiểu.

Hệ thống cũng được đào tạo trên grayscale 2 kênh đơn giản, để xác định độ phức tạp của hình ảnh nguồn cần thiết để có được một thuật toán hoạt động.

Đào tạo diễn ra thông qua API TensorFlow trên một card đồ họa NVIDIA GTX 1080 với 8GB VRAM, sử dụng bộ tối ưu hóa ADAMAX, trong 25 kỷ, với kích thước batch 32. Độ phân giải đầu vào được cố định ở 224×224 trong quá trình cắt, và việc phát hiện và trích xuất khuôn mặt được thực hiện bằng thư viện C++ dlib.

Kết Quả

Độ chính xác của kết quả được kiểm tra chống lại Deepfake, Face2Face, FaceSwap, Neural Texture, và toàn bộ tập dữ liệu với đầu vào RGB và RGBD, sử dụng khuôn khổ FaceForensic++.

Kết quả về độ chính xác trên bốn phương pháp deepfake, và chống lại toàn bộ tập dữ liệu không chia. Kết quả được chia giữa phân tích của hình ảnh RGB nguồn và cùng hình ảnh với bản đồ chiều sâu được nhúng. Kết quả tốt nhất được in đậm, với các con số phần trăm dưới đây cho thấy mức độ thông tin bản đồ chiều sâu cải thiện kết quả.

Trong tất cả các trường hợp, kênh chiều sâu cải thiện hiệu suất của mô hình trên tất cả các cấu hình. Xception đạt được kết quả tốt nhất, với MobileNet linh hoạt đứng ngay sau. Về điều này, các tác giả nhận xét:

‘[Điều này] thú vị khi lưu ý rằng MobileNet slightly kém hơn Xception và vượt trội hơn ResNet50. Đây là một kết quả đáng chú ý khi xem xét mục tiêu giảm thời gian suy luận cho các ứng dụng thời gian thực. Mặc dù đây không phải là đóng góp chính của công việc này, chúng tôi vẫn coi đây là một kết quả khuyến khích cho các phát triển trong tương lai.’

Các nhà nghiên cứu cũng lưu ý một lợi thế nhất quán của đầu vào RGBD và 2 kênh grayscale so với đầu vào RGB và grayscale thông thường, quan sát rằng các chuyển đổi grayscale của suy luận chiều sâu, vốn rất rẻ về mặt tính toán, cho phép mô hình đạt được kết quả cải thiện với tài nguyên cục bộ rất hạn chế, tạo điều kiện cho sự phát triển trong tương lai của phát hiện deepfake thời gian thực dựa trên thông tin chiều sâu.

Được xuất bản lần đầu vào ngày 24 tháng 8 năm 2022.