Xác định nguồn dữ liệu Deepfake bằng cách gắn thẻ dựa trên Trí tuệ nhân tạo

Một sự hợp tác giữa các nhà nghiên cứu tại Trung Quốc, Singapore và Mỹ đã tạo ra một hệ thống gắn thẻ khuôn mặt mạnh mẽ đến mức các dấu hiệu nhận dạng không bị phá hủy trong quá trình đào tạo deepfake, mở ra con đường cho các tuyên bố về quyền sở hữu trí tuệ có thể làm giảm khả năng của các hệ thống tạo ảnh tổng hợp để “ẩn danh” dữ liệu nguồn bị thu thập bất hợp pháp.

Hệ thống, được gọi là FakeTagger, sử dụng quá trình mã hóa/giải mã để nhúng thông tin ID không thể nhìn thấy vào hình ảnh ở mức thấp enough để thông tin được tiêm sẽ được giải thích như dữ liệu đặc điểm khuôn mặt thiết yếu, và do đó sẽ được truyền qua tổng hợp các quá trình nguyên vẹn, giống như, ví dụ, dữ liệu mắt hoặc miệng.

Tổng quan về kiến trúc FakeTagger. Dữ liệu nguồn được sử dụng để tạo ra một đặc điểm khuôn mặt ‘thừa’, bỏ qua các yếu tố nền sẽ bị che đi thông qua một quy trình deepfake điển hình. Thông điệp có thể được phục hồi ở đầu ra của quy trình và có thể được xác định thông qua một thuật toán nhận dạng phù hợp. Nguồn: http://xujuefei.com/felix_acmmm21_faketagger.pdf

Nghiên cứu này đến từ Trường Khoa học và Kỹ thuật mạng tại Wuhan, Phòng thí nghiệm An ninh Thông tin và Máy tính đáng tin cậy của Bộ Giáo dục Trung Quốc, Tập đoàn Alibaba tại Mỹ, Đại học Northeastern tại Boston và Đại học Công nghệ Nanyang tại Singapore.

Kết quả thử nghiệm với FakeTagger cho thấy tỷ lệ nhận dạng lại lên đến gần 95% trên bốn loại phương pháp deepfake phổ biến: hoán đổi danh tính (tức là DeepFaceLab, FaceSwap); tái tạo khuôn mặt; chỉnh sửa thuộc tính; và tổng hợp hoàn toàn.

Những hạn chế của việc phát hiện Deepfake

Mặc dù ba năm qua đã mang lại một loạt các phương pháp mới để xác định deepfake, nhưng tất cả các phương pháp này đều tập trung vào những hạn chế có thể khắc phục của các quy trình deepfake, chẳng hạn như ánh mắt trong các mô hình chưa được đào tạo đầy đủ, và thiếu nháy mắt trong các deepfake trước đây với các tập dữ liệu khuôn mặt không đa dạng đủ.

Bài báo mới này lưu ý rằng phương pháp phát hiện hậu kỳ hiệu quả nhất được tạo ra từ cuộc thi phát hiện deepfake gần đây nhất của Facebook (DFDC) chỉ giới hạn ở 70% độ chính xác, về việc phát hiện deepfake trong tự nhiên. Các nhà nghiên cứu cho rằng sự thất bại này là do sự khái quát hóa kém đối với các hệ thống deepfake mới và sáng tạo, và do chất lượng thường bị suy giảm của các bản thay thế deepfake.

Trong trường hợp sau, điều này có thể được gây ra bởi công việc chất lượng thấp của những người tạo deepfake, hoặc các tác phẩm nén khi các video được tải lên các nền tảng chia sẻ nhằm hạn chế chi phí băng thông, và mã hóa lại video ở tốc độ bit thấp hơn nhiều so với các bản gửi.

Ironically, không chỉ sự suy giảm hình ảnh không can thiệp vào tính xác thực của một deepfake, mà nó thậm chí có thể tăng cường ảo giác, vì video deepfake bị hấp thụ vào một ngôn ngữ hình ảnh chung, chất lượng thấp được nhận thức là xác thực.

Gắn thẻ tồn tại như một sự trợ giúp cho việc đảo ngược mô hình

Xác định dữ liệu nguồn từ đầu ra của học máy là một lĩnh vực tương đối mới và đang phát triển, và nó làm cho một kỷ nguyên mới của các vụ kiện về quyền sở hữu trí tuệ có thể xảy ra, vì các quy định về thu thập dữ liệu màn hình hiện tại của chính phủ (được thiết kế để không kìm hãm sự vượt trội về nghiên cứu quốc gia trong bối cảnh một cuộc đua vũ trang AI toàn cầu) sẽ phát triển thành các quy định nghiêm ngặt hơn khi lĩnh vực này trở nên thương mại hóa.

Đảo ngược mô hình liên quan đến việc ánh xạ và xác định dữ liệu nguồn từ đầu ra được tạo ra bởi các hệ thống tổng hợp trong một số lĩnh vực, bao gồm cả Tạo ngôn ngữ tự nhiên (NLG) và tổng hợp hình ảnh. Đảo ngược mô hình đặc biệt hiệu quả trong việc nhận dạng lại khuôn mặt đã bị làm mờ, pixel hóa hoặc đã đi qua quá trình trừu tượng hóa của một Mạng đối抗 hoặc hệ thống biến đổi mã hóa/giải mã như DeepFaceLab.

Thêm gắn thẻ có mục tiêu vào hình ảnh khuôn mặt mới hoặc hiện có là một trợ giúp mới có thể cho các kỹ thuật đảo ngược mô hình, với đánh dấu nước là một lĩnh vực đang xuất hiện.

Gắn thẻ hậu kỳ

FakeTagger được thiết kế như một phương pháp hậu xử lý. Ví dụ, khi một người dùng tải một ảnh lên mạng xã hội (thường liên quan đến một số quy trình tối ưu hóa và hiếm khi là một chuyển giao trực tiếp và không bị thay đổi của hình ảnh gốc), thuật toán sẽ xử lý hình ảnh để áp dụng các đặc điểm không thể xóa được vào khuôn mặt.

Ngược lại, thuật toán có thể được áp dụng trên các bộ sưu tập hình ảnh lịch sử, như đã xảy ra nhiều lần trong hai thập kỷ qua, khi các trang web ảnh cổ phần và thương mại lớn đã tìm kiếm phương pháp để xác định nội dung đã được sử dụng lại mà không có sự cho phép.

FakeTagger tìm cách nhúng các đặc điểm ID có thể phục hồi từ các quy trình deepfake khác nhau.

Phát triển và Kiểm tra

Các nhà nghiên cứu đã kiểm tra FakeTagger chống lại một số ứng dụng phần mềm deepfake trên bốn phương pháp đã đề cập, bao gồm kho lưu trữ được sử dụng rộng rãi nhất, DeepFaceLab; Face2Face của Stanford, có thể chuyển các biểu cảm khuôn mặt giữa các hình ảnh và danh tính; và STGAN, có thể chỉnh sửa các thuộc tính khuôn mặt.

Thử nghiệm được thực hiện với CelebA-HQ, một kho lưu trữ công khai phổ biến chứa 30.000 hình ảnh khuôn mặt của các nhân vật nổi tiếng ở các độ phân giải khác nhau lên đến 1024 x 1024 pixel.

Ban đầu, các nhà nghiên cứu đã kiểm tra các kỹ thuật đánh dấu nước hình ảnh thông thường, để xem liệu các thẻ được áp dụng có tồn tại qua các quá trình đào tạo của các quy trình deepfake hay không, nhưng các phương pháp này đã thất bại trên tất cả bốn phương pháp.

Dữ liệu nhúng của FakeTagger được tiêm vào giai đoạn mã hóa vào hình ảnh khuôn mặt sử dụng một kiến trúc dựa trên Mạng nơ-ron tích chập U-Net cho phân đoạn hình ảnh y sinh, được phát hành vào năm 2015. Sau đó, phần giải mã của khuôn khổ được đào tạo để tìm thông tin nhúng.

Quá trình này đã được thử nghiệm trong một trình mô phỏng GAN tận dụng các ứng dụng/algorithms FOSS đã đề cập, trong một môi trường hộp đen mà không có quyền truy cập riêng biệt hoặc đặc biệt vào các quy trình công việc của mỗi hệ thống. Các tín hiệu ngẫu nhiên được gắn vào các hình ảnh của người nổi tiếng và được ghi lại như dữ liệu liên quan đến mỗi hình ảnh.

Trong một môi trường hộp đen, FakeTagger đã có thể đạt được độ chính xác vượt quá 88,95% trên bốn phương pháp của các ứng dụng. Trong một kịch bản hộp trắng song song, độ chính xác tăng lên gần 100%. Tuy nhiên, vì điều này gợi ý các phiên bản tương lai của phần mềm deepfake sẽ tích hợp FakeTagger trực tiếp, đây là một kịch bản không có khả năng xảy ra trong tương lai gần.

Đếm chi phí

Các nhà nghiên cứu lưu ý rằng kịch bản thách thức nhất cho FakeTagger là tổng hợp hình ảnh hoàn toàn, chẳng hạn như tạo ra trừu tượng dựa trên CLIP, vì dữ liệu đào tạo đầu vào sẽ bị ảnh hưởng bởi mức độ trừu tượng sâu nhất trong trường hợp như vậy. Tuy nhiên, điều này không áp dụng cho các quy trình deepfake đã thống trị các tiêu đề trong vài năm qua, vì chúng phụ thuộc vào việc tái tạo trung thực các đặc điểm khuôn mặt xác định danh tính.

Bài báo cũng lưu ý rằng các kẻ tấn công đối抗 có thể cố gắng thêm các nhiễu loạn, chẳng hạn như tiếng ồn và hạt nhân, để phá vỡ một hệ thống gắn thẻ như vậy, mặc dù điều này có thể có tác dụng có hại đến tính xác thực của đầu ra deepfake.

Hơn nữa, họ lưu ý rằng FakeTagger cần thêm dữ liệu dư thừa vào hình ảnh để đảm bảo sự tồn tại của các thẻ mà nó nhúng, và điều này có thể có một chi phí tính toán đáng kể ở quy mô lớn.

Các tác giả kết luận bằng cách lưu ý rằng FakeTagger có thể có tiềm năng cho việc theo dõi nguồn gốc trong các lĩnh vực khác, chẳng hạn như các cuộc tấn công mưa đối抗 và các loại tấn công dựa trên hình ảnh khác, chẳng hạn như tiếp xúc đối抗, sương mù, mờ, vignetting và làm mờ màu.