Phát hiện Deepfake trong hội nghị truyền hình bằng chức năng ‘rung’ của điện thoại thông minh

Nghiên cứu mới từ Singapore đã đề xuất một phương pháp mới để phát hiện xem người ở đầu bên kia của công cụ hội nghị truyền hình trên điện thoại thông minh có sử dụng các phương pháp như DeepFaceLive để giả mạo người khác hay không.

Được đặt tên là SFake, phương pháp mới này từ bỏ các phương pháp thụ động được sử dụng bởi hầu hết các hệ thống và gây ra điện thoại của người dùng rung (sử dụng các cơ chế ‘rung’ giống nhau phổ biến trên điện thoại thông minh), và làm mờ khuôn mặt của họ một cách tinh vi.

Mặc dù các hệ thống giả mạo trực tiếp có khả năng sao chép hiệu ứng mờ chuyển động, miễn là footage mờ đã được bao gồm trong dữ liệu đào tạo hoặc ít nhất trong dữ liệu tiền đào tạo, chúng không thể phản ứng đủ nhanh với hiệu ứng mờ không mong muốn này và tiếp tục xuất ra các phần khuôn mặt không mờ, tiết lộ sự tồn tại của một cuộc gọi hội nghị giả mạo.

DeepFaceLive không thể phản ứng đủ nhanh để mô phỏng hiệu ứng mờ do rung máy ảnh. Nguồn: https://arxiv.org/pdf/2409.10889v1

Kết quả thử nghiệm trên bộ dữ liệu tự tạo của các nhà nghiên cứu (vì không có bộ dữ liệu nào tồn tại cho mục đích này) cho thấy SFake vượt trội so với các phương pháp phát hiện deepfake dựa trên video khác, thậm chí khi đối mặt với các tình huống thách thức, chẳng hạn như chuyển động tự nhiên của tay khi người khác trong cuộc gọi video đang cầm máy ảnh bằng tay, thay vì sử dụng giá đỡ điện thoại tĩnh.

Sự cần thiết ngày càng tăng của Phát hiện Deepfake dựa trên Video

Nghiên cứu về phát hiện deepfake dựa trên video đã tăng lên gần đây. Sau nhiều năm thành công của các vụ trộm cướp dựa trên giọng nói deepfake, đầu năm nay một nhân viên tài chính đã bị lừa vào việc chuyển 25 triệu đô la cho một kẻ lừa đảo đang giả mạo một CFO trong một cuộc gọi hội nghị video deepfake.

Mặc dù một hệ thống như vậy yêu cầu mức độ truy cập phần cứng cao, nhiều người dùng điện thoại thông minh đã quen với các dịch vụ xác thực tài chính và các loại xác thực khác yêu cầu chúng ta ghi lại các đặc điểm khuôn mặt cho xác thực dựa trên khuôn mặt (thật ra, đây là một phần của quá trình xác thực của LinkedIn).

Vì vậy, có vẻ như những phương pháp như vậy sẽ ngày càng được áp dụng cho các hệ thống hội nghị truyền hình, khi loại tội phạm này tiếp tục làm tiêu đề.

Hầu hết các giải pháp giải quyết việc giả mạo hội nghị truyền hình trực tiếp giả định một kịch bản tĩnh, nơi người giao tiếp sử dụng webcam cố định và không có chuyển động hoặc thay đổi môi trường hoặc ánh sáng quá mức.

Một cuộc gọi điện thoại thông minh không cung cấp tình huống ‘cố định’ như vậy.

Thay vào đó, SFake sử dụng một số phương pháp phát hiện để bù đắp cho số lượng lớn các biến thể hình ảnh trong một cuộc gọi hội nghị video dựa trên điện thoại thông minh cầm tay và có vẻ như là dự án nghiên cứu đầu tiên giải quyết vấn đề này bằng cách sử dụng thiết bị rung tiêu chuẩn được tích hợp vào điện thoại thông minh.

Bản bản thảo có tiêu đề Shaking the Fake: Phát hiện Deepfake Videos trong Thời gian Thực qua Active Probes và đến từ hai nhà nghiên cứu từ Đại học Công nghệ Nanyang tại Singapore.

Phương pháp

SFake được thiết kế như một dịch vụ dựa trên đám mây, nơi một ứng dụng cục bộ sẽ gửi dữ liệu đến dịch vụ API từ xa để được xử lý và kết quả sẽ được gửi lại.

Tuy nhiên, với kích thước chỉ 450mb và phương pháp tối ưu hóa, SFake có thể xử lý phát hiện deepfake hoàn toàn trên thiết bị chính, trong trường hợp kết nối mạng có thể gây ra hình ảnh được gửi bị nén quá mức, ảnh hưởng đến quá trình chẩn đoán.

Chạy ‘toàn bộ cục bộ’ theo cách này có nghĩa là hệ thống sẽ có quyền truy cập trực tiếp vào luồng camera của người dùng, mà không có codec can thiệp thường liên quan đến hội nghị truyền hình.

Thời gian phân tích trung bình yêu cầu một mẫu video bốn giây, trong đó người dùng được yêu cầu ở yên, và trong thời gian đó SFake gửi ‘probes’ để gây ra rung máy ảnh xảy ra ở các khoảng thời gian ngẫu nhiên mà các hệ thống như DeepFaceLive không thể phản ứng kịp thời.

(Nên nhấn mạnh lại rằng bất kỳ kẻ tấn công nào không bao gồm nội dung mờ trong tập dữ liệu đào tạo không thể tạo ra một mô hình có thể tạo ra mờ thậm chí trong các tình huống thuận lợi hơn và DeepFaceLive không thể chỉ ‘thêm’ chức năng này vào một mô hình được đào tạo trên một tập dữ liệu không được chăm sóc)

Hệ thống chọn các khu vực chọn lọc của khuôn mặt làm khu vực có thể có nội dung deepfake, loại trừ mắt và lông mày (vì chớp mắt và các động thái khuôn mặt khác trong khu vực đó nằm ngoài phạm vi phát hiện mờ và không phải là chỉ số lý tưởng).

Sơ đồ khái niệm cho SFake.

Como chúng ta có thể thấy trong sơ đồ khái niệm trên, sau khi chọn các mẫu rung phù hợp và không thể đoán trước, chọn độ dài tiêu cự tốt nhất và thực hiện nhận dạng khuôn mặt (bao gồm cả phát hiện điểm mốc khuôn mặt thông qua một Dlib thành phần ước tính 68 điểm mốc khuôn mặt tiêu chuẩn), SFake suy ra các gradient từ khuôn mặt đầu vào và tập trung vào các khu vực chọn lọc của các gradient này.

Chuỗi phương sai được thu được bằng cách phân tích tuần tự từng khung hình trong đoạn clip ngắn đang được nghiên cứu, cho đến khi đạt được chuỗi ‘lý tưởng’ hoặc trung bình và loại bỏ phần còn lại.

Điều này cung cấp các tính năng có thể được sử dụng làm một lượng tử cho xác suất của nội dung deepfake, dựa trên cơ sở dữ liệu đã được đào tạo (trong đó, nhiều hơn một chút).

Hệ thống yêu cầu độ phân giải hình ảnh 1920×1080 pixel, cũng như yêu cầu zoom ít nhất 2x cho ống kính. Bản thảo lưu ý rằng những độ phân giải như vậy (và thậm chí cao hơn) được hỗ trợ trong Microsoft Teams, Skype, Zoom và Tencent Meeting.

Hầu hết điện thoại thông minh có camera trước và camera tự chụp, và thường chỉ có một trong hai có khả năng zoom yêu cầu bởi SFake; ứng dụng sẽ do đó yêu cầu người giao tiếp sử dụng bất kỳ camera nào trong số hai camera đáp ứng các yêu cầu này.

Mục tiêu ở đây là để có được tỷ lệ đúng khuôn mặt của người dùng vào luồng video mà hệ thống sẽ phân tích. Bản thảo quan sát rằng khoảng cách trung bình mà phụ nữ sử dụng thiết bị di động là 34,7cm và đối với nam giới là 38,2cm (theo báo cáo trong Journal of Optometry), và SFake hoạt động rất tốt ở những khoảng cách này.

Vì ổn định là một vấn đề với video cầm tay và vì hiệu ứng mờ xảy ra từ chuyển động tay là một trở ngại cho hoạt động của SFake, các nhà nghiên cứu đã thử một số phương pháp để bù đắp. Phương pháp thành công nhất trong số này là tính toán điểm trung tâm của các điểm mốc ước tính và sử dụng nó làm ‘neo’ – hiệu quả là một kỹ thuật ổn định thuật toán. Bằng phương pháp này, độ chính xác 92% đã được đạt được.

Dữ liệu và Thử nghiệm

Vì không có tập dữ liệu phù hợp nào tồn tại cho mục đích này, các nhà nghiên cứu đã tạo ra tập dữ liệu của riêng họ:

‘[Chúng tôi] sử dụng 8 thương hiệu điện thoại thông minh khác nhau để ghi lại 15 người tham gia với các giới tính và độ tuổi khác nhau để xây dựng tập dữ liệu của riêng chúng tôi. Chúng tôi đặt điện thoại thông minh trên giá đỡ điện thoại 20 cm cách người tham gia và phóng to gấp đôi, nhằm vào khuôn mặt của người tham gia để bao gồm tất cả các đặc điểm khuôn mặt trong khi rung điện thoại thông minh theo các mẫu khác nhau.

‘Đối với điện thoại có camera trước không thể phóng to, chúng tôi sử dụng camera sau làm thay thế. Chúng tôi ghi lại 150 video dài, mỗi video 20 giây. Theo mặc định, chúng tôi giả định rằng thời gian phát hiện kéo dài 4 giây. Chúng tôi cắt 10 đoạn 4 giây từ một video dài bằng cách ngẫu hóa thời gian bắt đầu. Do đó, chúng tôi có tổng cộng 1500 đoạn thực, mỗi đoạn 4 giây.’

Mặc dù DeepFaceLive (liên kết GitHub) là mục tiêu trung tâm của nghiên cứu, vì nó hiện là hệ thống giả mạo trực tiếp mã nguồn mở được sử dụng rộng rãi nhất, các nhà nghiên cứu đã bao gồm bốn phương pháp khác để đào tạo mô hình phát hiện cơ bản của họ: Hififace; FS-GANV2; RemakerAI; và MobileFaceSwap – phương pháp cuối cùng là một lựa chọn phù hợp, đặc biệt là môi trường mục tiêu.

1500 video giả mạo đã được sử dụng để đào tạo, cùng với số lượng video thực và không thay đổi tương đương.

SFake đã được thử nghiệm với một số phân loại khác nhau, bao gồm SBI; FaceAF; CnnDetect; LRNet; DefakeHop biến thể; và dịch vụ phát hiện deepfake trực tuyến miễn phí Deepaware. Đối với mỗi phương pháp giả mạo deepfake này, 1500 video giả và 1500 video thực đã được đào tạo.

Đối với phân loại thử nghiệm cơ bản, một mạng nơ-ron đơn giản hai lớp với hàm kích hoạt ReLU đã được sử dụng. 1000 video thực và 1000 video giả đã được chọn ngẫu nhiên (mặc dù các video giả chỉ là ví dụ DeepFaceLive).

Diện tích dưới Đường cong Đặc tính Vận hành Người nhận (AUC/AUROC) và Độ chính xác (ACC) đã được sử dụng làm chỉ số.

Để đào tạo và suy luận, một NVIDIA RTX 3060 đã được sử dụng và các thử nghiệm được chạy dưới Ubuntu. Các video thử nghiệm đã được ghi lại bằng Xiaomi Redmi 10x, Xiaomi Redmi K50, OPPO Find x6, Huawei Nova9, Xiaomi 14 Ultra, Honor 20, Google Pixel 6a và Huawei P60.

Để phù hợp với các phương pháp phát hiện hiện có, các thử nghiệm đã được thực hiện trong PyTorch. Kết quả thử nghiệm chính được minh họa trong bảng dưới đây:

Kết quả cho SFake so với các phương pháp cạnh tranh.

Tại đây, các tác giả bình luận:

‘Trong tất cả các trường hợp, độ chính xác phát hiện của SFake vượt quá 95%. Trong số năm thuật toán giả mạo deepfake, ngoại trừ Hififace, SFake hoạt động tốt hơn chống lại các thuật toán giả mạo deepfake khác so với các phương pháp phát hiện khác. Vì phân loại của chúng tôi được đào tạo bằng cách sử dụng hình ảnh giả được tạo bởi DeepFaceLive, nó đạt được tỷ lệ chính xác cao nhất là 98,8% khi phát hiện DeepFaceLive.

‘Khi đối mặt với khuôn mặt giả được tạo bởi RemakerAI, các phương pháp phát hiện khác hoạt động kém. Chúng tôi suy đoán điều này có thể là do việc nén video tự động khi tải xuống từ internet, dẫn đến mất chi tiết hình ảnh và giảm độ chính xác phát hiện. Tuy nhiên, điều này không ảnh hưởng đến việc phát hiện của SFake, đạt được độ chính xác 96,8% khi phát hiện RemakerAI.’

Các tác giả lưu ý thêm rằng SFake là hệ thống hoạt động tốt nhất trong kịch bản có độ phóng to 2x được áp dụng cho ống kính chụp, vì điều này làm tăng chuyển động và là một tình huống đầy thách thức. Thậm chí trong tình huống này, SFake vẫn có thể đạt được độ chính xác nhận dạng 84% và 83%, tương ứng cho các yếu tố phóng to 2,5 và 3.

Kết luận

Một dự án sử dụng điểm yếu của một hệ thống giả mạo trực tiếp chống lại chính nó là một đề xuất mới mẻ trong một năm mà phát hiện deepfake đã bị chi phối bởi các bài báo chỉ khuấy động các phương pháp lâu đời xung quanh phân tích tần số (mà không miễn nhiễm với các đổi mới trong không gian giả mạo deepfake).

Vào cuối năm 2022, một hệ thống khác đã sử dụng biến thể độ sáng màn hình làm móc phát hiện; và trong cùng năm đó, bản demo của tôi về khả năng của DeepFaceLive trong việc xử lý các góc nhìn ngang 90 độ khó khăn đã thu hút một số sự quan tâm của cộng đồng.

DeepFaceLive là mục tiêu chính xác cho một dự án như vậy, vì nó gần như chắc chắn là điểm tập trung của sự quan tâm tội phạm liên quan đến gian lận hội nghị truyền hình.

Tuy nhiên, tôi đã thấy một số bằng chứng giai thoại rằng hệ thống LivePortrait, hiện rất phổ biến trong cộng đồng VFX, xử lý các góc nhìn ngang tốt hơn DeepFaceLive; sẽ rất thú vị nếu nó có thể được bao gồm trong nghiên cứu này.

Được xuất bản lần đầu vào thứ ba, ngày 24 tháng 9 năm 2024