GOTCHA – Hệ Thống CAPTCHA Cho Deepfakes Trực Tiếp

Nghiên cứu mới từ Đại học New York bổ sung thêm vào các dấu hiệu cho thấy chúng ta có thể sớm phải thực hiện một số thử nghiệm tương đương với “kiểm tra say” để xác thực bản thân trước khi bắt đầu một cuộc gọi video nhạy cảm – chẳng hạn như một cuộc họp video liên quan đến công việc hoặc bất kỳ tình huống nào khác có thể thu hút những kẻ lừa đảo sử dụng phần mềm phát trực tiếp deepfake thời gian thực.

Một số thử thách chủ động và thụ động được áp dụng cho các kịch bản cuộc gọi video trong GOTCHA. Người dùng phải tuân thủ và vượt qua các thử thách, trong khi các phương pháp thụ động (chẳng hạn như cố gắng làm quá tải một hệ thống deepfake tiềm năng) được sử dụng mà không có ảnh hưởng đến người tham gia. Nguồn: http://export.arxiv.org/pdf/2210.06186

Hệ thống được đề xuất có tên là GOTCHA – một sự tri ân đến các hệ thống CAPTCHA đã trở thành một chướng ngại vật ngày càng tăng đối với việc duyệt web trong 10-15 năm qua, trong đó các hệ thống tự động yêu cầu người dùng thực hiện các nhiệm vụ mà máy móc không tốt, chẳng hạn như xác định động vật hoặc giải mã văn bản bị méo mó (và, một cách hài hước, những thử thách này thường biến người dùng thành một người ghi chú miễn phí theo phong cách AMT).

Trên thực tế, GOTCHA mở rộng DF-Captcha từ tháng 8 năm 2022 từ Đại học Ben-Gurion, đây là lần đầu tiên đề xuất việc yêu cầu người dùng ở đầu bên kia của cuộc gọi thực hiện một số thử thách về mặt trực quan để chứng minh tính xác thực của họ.

Giấy từ tháng 8 năm 2022 từ Đại học Ben Gurion đầu tiên đề xuất một loạt các thử nghiệm tương tác cho người dùng, bao gồm che giấu khuôn mặt hoặc thậm chí là làm biến dạng da – những nhiệm vụ mà thậm chí các hệ thống deepfake trực tiếp được đào tạo tốt có thể không dự đoán hoặc xử lý một cách thực tế. Nguồn: https://arxiv.org/pdf/2208.08524.pdf

Đáng chú ý, GOTCHA bổ sung các phương pháp “thụ động” vào một “dòng thác” của các thử nghiệm được đề xuất, bao gồm việc siêu áp các yếu tố không thực tế lên khuôn mặt của người dùng và “quá tải” các khung hình đi qua hệ thống nguồn. Tuy nhiên, chỉ có các nhiệm vụ mà người dùng phải phản hồi mới có thể được đánh giá mà không cần sự cho phép đặc biệt để truy cập hệ thống cục bộ của người dùng – điều này, có thể, sẽ đến dưới dạng các mô-đun cục bộ hoặc tiện ích mở rộng cho các hệ thống phổ biến như Skype và Zoom, hoặc thậm chí dưới dạng phần mềm độc quyền chuyên dụng được giao nhiệm vụ loại bỏ những kẻ giả mạo.

Từ giấy, một minh họa về sự tương tác giữa người gọi và hệ thống trong GOTCHA, với các dòng chấm là dòng chảy quyết định.

Các nhà nghiên cứu đã xác thực hệ thống trên một tập dữ liệu mới chứa hơn 2,5 triệu khung hình video từ 47 người tham gia, mỗi người thực hiện 13 thử thách từ GOTCHA. Họ tuyên bố rằng khuôn khổ này gây ra sự giảm “đồng nhất và đo lường được” chất lượng nội dung deepfake cho người dùng giả mạo, làm quá tải hệ thống cục bộ cho đến khi các hiện tượng giả mạo rõ ràng đối với mắt người (mặc dù GOTCHA cũng chứa một số phương pháp phân tích thuật toán tinh vi hơn).

Giấy mới có tiêu đề Gotcha: Một Hệ Thống Trả Lời Thử Thách Cho Phát Hiện Deepfake Thời Gian Thực (tên của hệ thống được viết hoa trong thân nhưng không phải trong tiêu đề của ấn phẩm, mặc dù nó không phải là một từ viết tắt).

Một Loạt Thử Thách

Hầu hết phù hợp với giấy của Đại học Ben Gurion, các thử thách mà người dùng phải đối mặt được chia thành một số loại nhiệm vụ.

Đối với che giấu, người dùng được yêu cầu che giấu khuôn mặt của họ bằng tay hoặc bằng các vật thể khác, hoặc trình bày khuôn mặt của họ ở một góc mà không có khả năng được đào tạo vào một mô hình deepfake (thường là do thiếu dữ liệu đào tạo cho các tư thế “lạ”).

Bên cạnh các hành động mà người dùng có thể thực hiện theo hướng dẫn, GOTCHA có thể siêu áp các cắt khuôn mặt ngẫu nhiên, nhãn dán và bộ lọc thực tế ảo lên dòng video khuôn mặt, để “làm hỏng” dòng khuôn mặt mà một mô hình deepfake cục bộ được đào tạo có thể đang mong đợi, gây ra thất bại.

Tiếp theo, người dùng có thể được yêu cầu tạo ra các biểu cảm khuôn mặt không bình thường mà có thể không có hoặc dưới đại diện trong bất kỳ tập dữ liệu đào tạo nào, gây ra sự giảm chất lượng của đầu ra deepfake (hình ảnh ‘b’, cột thứ hai từ trái, trong minh họa đầu tiên trên).

Trong phần thử nghiệm này, người dùng có thể được yêu cầu đọc văn bản hoặc tham gia vào cuộc trò chuyện được thiết kế để thách thức một hệ thống deepfake cục bộ, có thể không đào tạo đủ phạm vi các âm vị hoặc các loại dữ liệu miệng khác để có thể tái tạo chuyển động môi chính xác dưới sự kiểm tra như vậy.

Cuối cùng (và điều này dường như thách thức tài năng diễn xuất của người tương ứng), trong loại này, người dùng có thể được yêu cầu thực hiện một “biểu cảm vi mô” – một biểu cảm khuôn mặt ngắn và không tự nguyện thể hiện một cảm xúc. Về điều này, giấy nói ‘[nó] thường kéo dài từ 0,5-4,0 giây, và khó giả mạo’.

Mặc dù giấy không mô tả cách trích xuất một biểu cảm vi mô, logic cho thấy cách duy nhất để làm điều đó là tạo ra một cảm xúc phù hợp trong người dùng cuối, có thể bằng cách trình bày một số nội dung gây sốc cho họ như một phần của quy trình thử nghiệm.

Biến Dạng Khuôn Mặt, Ánh Sáng, và Khách Mời Không Mong Đợi

Ngoài ra, theo gợi ý từ giấy tháng 8, công việc mới đề xuất yêu cầu người dùng cuối thực hiện các biến dạng khuôn mặt và thao túng không bình thường, chẳng hạn như ấn ngón tay vào má, tương tác với khuôn mặt và / hoặc tóc, và thực hiện các chuyển động khác mà không có hệ thống deepfake trực tiếp nào có thể xử lý tốt, vì đây là các hành động biên – ngay cả khi chúng có mặt trong tập dữ liệu đào tạo, sự tái tạo của chúng sẽ có khả năng có chất lượng thấp, phù hợp với các dữ liệu “ngoại lệ” khác.

Một nụ cười, nhưng khuôn mặt ‘bi quan’ này không được dịch tốt bởi một hệ thống deepfake cục bộ.

Một thử thách bổ sung nằm ở việc thay đổi điều kiện chiếu sáng mà người dùng cuối đang ở, vì có thể việc đào tạo của một mô hình deepfake đã được tối ưu hóa cho các tình huống chiếu sáng video hội nghị tiêu chuẩn, hoặc thậm chí là điều kiện chiếu sáng chính xác mà cuộc gọi đang diễn ra.

Vì vậy, người dùng có thể được yêu cầu chiếu đèn trên điện thoại di động của họ lên khuôn mặt, hoặc thay đổi ánh sáng theo một cách nào đó (và đáng chú ý là cách tiếp cận này là đề xuất trung tâm của một giấy khác về phát hiện deepfake trực tiếp được xuất bản vào mùa hè này).

Các hệ thống deepfake trực tiếp bị thách thức bởi ánh sáng không mong đợi – và thậm chí bởi nhiều người trong dòng, nơi nó chỉ mong đợi một cá nhân.

Trong trường hợp hệ thống được đề xuất có khả năng can thiệp vào dòng người dùng cục bộ (nơi có nghi ngờ về một người trung gian deepfake), việc thêm các mẫu không mong đợi (xem cột giữa trong hình ảnh trên) có thể làm suy yếu khả năng của thuật toán deepfake trong việc duy trì một mô phỏng.

Ngoài ra, mặc dù không hợp lý khi mong đợi một người tương ứng có thêm người để giúp xác thực họ, hệ thống có thể chen thêm các khuôn mặt bổ sung (hình ảnh bên phải nhất trên) và xem liệu bất kỳ hệ thống deepfake cục bộ nào có mắc lỗi chuyển hướng sự chú ý – hoặc thậm chí cố gắng deepfake tất cả chúng (các hệ thống deepfake tự mã hóa không có khả năng nhận dạng “nhận dạng” có thể giữ sự chú ý tập trung vào một cá nhân trong kịch bản này).

Steganography và Quá Tải

GOTCHA cũng kết hợp một cách tiếp cận được đề xuất đầu tiên bởi UC San Diego vào tháng 4 năm nay, và sử dụng steganography để mã hóa một thông điệp vào dòng video cục bộ của người dùng. Các chương trình deepfake sẽ hoàn toàn phá hủy thông điệp này, dẫn đến thất bại xác thực.

Từ một giấy tháng 4 năm 2022 từ Đại học California San Diego và Đại học Tiểu bang San Diego, một phương pháp xác định danh tính xác thực bằng cách xem liệu một tín hiệu steganographic gửi vào dòng video của người dùng còn nguyên vẹn hay không – nếu không, thì có thể có sự gian dối deepfake. Nguồn: https://arxiv.org/pdf/2204.01960.pdf

Ngoài ra, GOTCHA có khả năng quá tải hệ thống cục bộ (cho phép truy cập và cho phép), bằng cách nhân bản một dòng và trình bày ‘quá mức’ dữ liệu cho bất kỳ hệ thống cục bộ nào, được thiết kế để gây ra sự thất bại trong việc sao chép của một hệ thống deepfake cục bộ.

Hệ thống chứa các thử nghiệm thêm (xem giấy cho chi tiết), bao gồm một thử thách, trong trường hợp của một người tương ứng dựa trên điện thoại thông minh, quay điện thoại của họ ngược lại, điều này sẽ làm biến dạng một hệ thống deepfake cục bộ:

Một lần nữa, loại điều này chỉ có thể hoạt động với một trường hợp sử dụng thuyết phục, nơi người dùng buộc phải cấp quyền truy cập cục bộ vào dòng, và không thể được thực hiện bằng cách đánh giá thụ động video của người dùng, không giống như các thử nghiệm tương tác (chẳng hạn như ấn ngón tay vào khuôn mặt).

Thực Tiễn

Giấy chạm vào mức độ mà các thử nghiệm như vậy có thể làm phiền người dùng cuối hoặc gây ra sự bất tiện cho họ – ví dụ, bằng cách buộc người dùng phải có sẵn một số vật thể có thể cần thiết cho các thử nghiệm.

Nó cũng thừa nhận rằng có thể khó khăn để khiến những người tương ứng mạnh mẽ tuân thủ các quy trình thử nghiệm. Liên quan đến trường hợp của một cuộc gọi video với một CEO, các tác giả tuyên bố:

‘Sự tiện lợi có thể là chìa khóa ở đây, vì vậy các thử thách không chính thức hoặc đùa vui (chẳng hạn như biến dạng khuôn mặt hoặc biểu cảm) có thể không phù hợp. Các thử thách sử dụng các bài viết vật lý bên ngoài có thể không mong muốn. Bối cảnh ở đây được sửa đổi và GOTCHA điều chỉnh bộ thử thách của nó tương ứng.’

Dữ Liệu và Thử Nghiệm

GOTCHA đã được thử nghiệm chống lại bốn chủng của hệ thống deepfake cục bộ, bao gồm hai biến thể của công cụ tạo deepfake autoencoder rất phổ biến DeepFaceLab (‘DFL’, mặc dù, đáng ngạc nhiên, giấy không đề cập đến DeepFaceLive, đã là ‘trực tiếp’ thực hiện của DeepFaceLab kể từ tháng 8 năm 2021, và dường như là nguồn lực ban đầu có khả năng nhất cho một kẻ giả mạo tiềm năng).

Bốn hệ thống là DFL được đào tạo ‘nhẹ’ trên một người không nổi tiếng tham gia thử nghiệm và một người nổi tiếng; DFL được đào tạo đầy đủ, đến 2 triệu + lần lặp hoặc bước, nơi một người có thể mong đợi một mô hình hiệu suất cao hơn; Latent Image Animator (LIA); và Face Swapping Generative Adversarial Network (FSGAN).

Đối với dữ liệu, các nhà nghiên cứu đã thu thập và chỉnh sửa các đoạn video được đề cập, bao gồm 47 người dùng thực hiện 13 thử thách từ GOTCHA, với mỗi người dùng đầu ra khoảng 5-6 phút video 1080p tại 60fps. Các tác giả cũng tuyên bố rằng dữ liệu này sẽ được phát hành công khai.

Phát hiện bất thường có thể được thực hiện bởi một người quan sát hoặc thuật toán. Đối với tùy chọn sau, hệ thống được đào tạo trên 600 khuôn mặt từ tập dữ liệu FaceForensics. Hàm mất mát hồi quy được sử dụng là Learned Perceptual Image Patch Similarity (LPIPS) mạnh mẽ, trong khi entropy nhị phân được sử dụng để đào tạo phân loại器. EigenCam được sử dụng để trực quan hóa trọng số của bộ phát hiện.

Kết quả chính từ các thử nghiệm cho GOTCHA.

Các nhà nghiên cứu đã tìm thấy rằng đối với toàn bộ dòng thác của các thử nghiệm trên bốn hệ thống, số lượng và mức độ nghiêm trọng của các bất thường (tức là các hiện tượng sẽ tiết lộ sự hiện diện của một hệ thống deepfake) thấp nhất được thu được bởi phân phối DFL được đào tạo cao hơn. Phiên bản được đào tạo ít hơn đặc biệt gặp khó khăn trong việc tái tạo các chuyển động môi phức tạp (điều này chỉ chiếm một phần nhỏ của khung hình, nhưng nhận được sự chú ý cao của con người), trong khi FSGAN chiếm vị trí trung gian giữa hai phiên bản DFL, và LIA chứng minh hoàn toàn không đủ cho nhiệm vụ, với các nhà nghiên cứu cho rằng LIA sẽ thất bại trong một triển khai thực tế.

Được xuất bản lần đầu tiên vào ngày 17 tháng 10 năm 2022.