Xác định nguồn dữ liệu Deepfake bằng tính năng gắn thẻ dựa trên AI

Sự hợp tác giữa các nhà nghiên cứu ở Trung Quốc, Singapore và Hoa Kỳ đã tạo ra một hệ thống linh hoạt để 'gắn thẻ' cho ảnh khuôn mặt mạnh mẽ đến mức các dấu hiệu nhận dạng không bị phá hủy trong quá trình xử lý. sâu sắc quy trình đào tạo, mở đường cho các khiếu nại IP có thể gây ảnh hưởng đến khả năng của các hệ thống tạo hình ảnh tổng hợp để 'ẩn danh hóa' dữ liệu nguồn được cạo một cách bất hợp pháp.

Hệ thống mang tên Người gắn thẻ giả, sử dụng quy trình mã hóa/giải mã để nhúng thông tin ID không thể nhận dạng bằng mắt thường vào hình ảnh ở mức đủ thấp để thông tin được đưa vào sẽ được hiểu là dữ liệu đặc điểm khuôn mặt cần thiết và do đó được chuyển qua sự trừu tượng xử lý nguyên vẹn, theo cùng một cách, chẳng hạn như dữ liệu về mắt hoặc miệng.

Tổng quan về kiến ​​trúc FakeTagger. Dữ liệu nguồn được sử dụng để tạo đặc điểm khuôn mặt 'dư thừa', bỏ qua các yếu tố nền sẽ bị che khuất thông qua quy trình làm việc sâu điển hình. Thông báo có thể phục hồi ở đầu kia của quy trình và có thể nhận dạng thông qua thuật toán nhận dạng thích hợp. Nguồn: http://xujuefei.com/felix_acmmm21_faketagger.pdf

Nghiên cứu đến từ Trường Khoa học và Kỹ thuật Mạng tại Vũ Hán, Phòng thí nghiệm trọng điểm về An ninh thông tin hàng không vũ trụ và Máy tính đáng tin cậy tại Bộ Giáo dục Trung Quốc, Tập đoàn Alibaba ở Hoa Kỳ, Đại học Đông Bắc ở Boston và Đại học Công nghệ Nanyang ở Singapore.

Kết quả thử nghiệm với FakeTagger cho thấy tỷ lệ nhận dạng lại lên tới gần 95% trên bốn loại phương pháp deepfake phổ biến: hoán đổi danh tính (tức là DeepFaceLab, Hoán đổi khuôn mặt); tái hiện khuôn mặt; chỉnh sửa thuộc tính; và tổng hợp toàn phần.

Những thiếu sót của Phát hiện Deepfake

Mặc dù ba năm qua đã mang lại một cây trồng về các cách tiếp cận mới đối với các phương pháp xác định deepfake, tất cả các cách tiếp cận này đều quan trọng đối với những thiếu sót có thể khắc phục của quy trình công việc deepfake, chẳng hạn như chớp mắt trong các mô hình chưa được đào tạo, và thiếu chớp mắt trong các bản deepfake trước đó với các bộ mặt không đủ đa dạng. Khi các khóa mới được xác định, các kho phần mềm nguồn mở và miễn phí đã loại bỏ chúng, một cách cố ý hoặc là sản phẩm phụ của những cải tiến trong kỹ thuật deepfake.

Bài báo mới nhận thấy rằng phương pháp phát hiện post-facto hiệu quả nhất được tạo ra từ cuộc thi phát hiện deepfake (DFDC) gần đây nhất của Facebook bị giới hạn ở độ chính xác 70%, xét về mặt phát hiện deepfake trong tự nhiên. Các nhà nghiên cứu cho rằng sự thất bại mang tính đại diện này là do khả năng khái quát hóa kém so với những cái mới và sáng tạo GAN và các hệ thống deepfake bộ mã hóa/giải mã cũng như chất lượng thường bị suy giảm của các sản phẩm thay thế deepfake.

Trong trường hợp thứ hai, điều này có thể do công việc của deepfakes có chất lượng thấp hoặc các thành phần nén khi video được tải lên các nền tảng chia sẻ nhằm hạn chế chi phí băng thông và mã hóa lại video ở tốc độ bit thấp hơn nhiều so với các lần gửi . Trớ trêu thay, không chỉ hình ảnh này xuống cấp không can thiệp vào tính xác thực rõ ràng của một video deepfake, nhưng nó thực sự có thể nâng cao ảo giác, vì video deepfake được gộp vào một thành ngữ hình ảnh chất lượng thấp, phổ biến được coi là xác thực.

Gắn thẻ có thể sống sót như một công cụ hỗ trợ để đảo ngược mô hình

Xác định dữ liệu nguồn từ đầu ra của máy học là một lĩnh vực tương đối mới và đang phát triển, đồng thời là một lĩnh vực có thể tạo ra một kỷ nguyên mới cho các vụ kiện tụng dựa trên sở hữu trí tuệ, như các quy định hiện hành của chính phủ. cho phép các quy định về quét màn hình (được thiết kế để không cản trở ưu thế nghiên cứu quốc gia khi đối mặt với 'cuộc chạy đua vũ trang' toàn cầu về AI) phát triển thành luật chặt chẽ hơn khi lĩnh vực này được thương mại hóa.

Đảo ngược mô hình liên quan đến việc lập bản đồ và nhận dạng dữ liệu nguồn từ đầu ra do các hệ thống tổng hợp tạo ra trong một số lĩnh vực, bao gồm Tạo ngôn ngữ tự nhiên (NLG) và tổng hợp hình ảnh. Tính năng đảo ngược mô hình đặc biệt hiệu quả trong việc xác định lại các khuôn mặt bị làm mờ, tạo pixel hoặc các khuôn mặt khác đã thực hiện theo quy trình trừu tượng hóa của Mạng đối thủ sáng tạo hoặc hệ thống chuyển đổi bộ mã hóa/giải mã như DeepFaceLab.

Thêm gắn thẻ được nhắm mục tiêu vào hình ảnh khuôn mặt mới hoặc hiện có là một trợ lý mới tiềm năng cho các kỹ thuật đảo ngược mô hình, với Làm dấu một lĩnh vực mới nổi.

Gắn thẻ sau thực tế

FakeTagger được dự định là một phương pháp xử lý hậu kỳ. Ví dụ: khi người dùng tải ảnh lên mạng xã hội (thường liên quan đến một số loại quy trình tối ưu hóa và hiếm khi chuyển ảnh gốc trực tiếp và không qua chỉnh sửa), thuật toán sẽ xử lý ảnh để áp dụng các đặc điểm được cho là không thể xóa được cho khuôn mặt .

Ngoài ra, thuật toán có thể được áp dụng trên các bộ sưu tập hình ảnh lịch sử, như đã xảy ra một số lần trong hai mươi năm qua, khi các trang web sưu tập hình ảnh thương mại và ảnh cổ phiếu lớn đã tìm kiếm phương pháp để xác định nội dung đã được sử dụng lại mà không được phép.

FakeTagger tìm cách nhúng các đặc điểm ID có thể phục hồi từ các quy trình deepfake khác nhau.

Phát triển và thử nghiệm

Các nhà nghiên cứu đã thử nghiệm FakeTagger với một số ứng dụng phần mềm giả mạo sâu trong bốn phương pháp nói trên, bao gồm kho lưu trữ được sử dụng rộng rãi nhất, DeepFaceLab; của Stanford Face2Face, có thể chuyển nét mặt qua hình ảnh và danh tính; Và STGAN, có thể chỉnh sửa thuộc tính khuôn mặt.

Thử nghiệm đã được thực hiện với CelebA-HQ, một kho lưu trữ công khai phổ biến chứa 30,000 hình ảnh khuôn mặt của những người nổi tiếng ở các độ phân giải khác nhau lên tới 1024 x 1024 pixel.

Để làm cơ sở, các nhà nghiên cứu ban đầu đã thử nghiệm các kỹ thuật đánh dấu hình mờ thông thường để xem liệu các thẻ được áp đặt có tồn tại trong quá trình đào tạo của quy trình làm việc sâu hay không, nhưng các phương pháp này đều thất bại trong cả bốn phương pháp.

Dữ liệu nhúng của FakeTagger đã được đưa vào ở giai đoạn mã hóa vào hình ảnh thiết lập khuôn mặt bằng cách sử dụng kiến ​​trúc dựa trên U-Net mạng chập cho phân đoạn Hình ảnh y sinh, được phát hành vào năm 2015. Sau đó, phần bộ giải mã của khung được đào tạo để tìm thông tin được nhúng.

Quá trình này đã được thử nghiệm trong một trình giả lập GAN tận dụng các ứng dụng/thuật toán FOSS đã nói ở trên, trong một cài đặt hộp đen không có quyền truy cập riêng biệt hoặc đặc biệt vào các luồng công việc của mỗi hệ thống. Các tín hiệu ngẫu nhiên được gắn vào hình ảnh người nổi tiếng và được ghi lại dưới dạng dữ liệu liên quan đến từng hình ảnh.

Trong cài đặt hộp đen, FakeTagger có thể đạt được độ chính xác vượt quá 88.95% so với cách tiếp cận của bốn ứng dụng. Trong kịch bản hộp trắng song song, độ chính xác tăng lên gần 100%. Tuy nhiên, vì điều này gợi ý các lần lặp lại trong tương lai của phần mềm deepfake kết hợp trực tiếp FakeTagger, nên đây là một kịch bản khó xảy ra trong tương lai gần.

Tính chi phí

Các nhà nghiên cứu lưu ý rằng kịch bản thách thức nhất đối với FakeTagger là tổng hợp hình ảnh hoàn chỉnh, chẳng hạn như tạo trừu tượng dựa trên CLIP, vì dữ liệu đào tạo đầu vào phải tuân theo mức độ trừu tượng sâu nhất trong trường hợp như vậy. Tuy nhiên, điều này không áp dụng cho quy trình công việc deepfake đã thống trị các tiêu đề trong vài năm qua, vì những quy trình này phụ thuộc vào việc tái tạo trung thực các đặc điểm khuôn mặt xác định ID.

Bài báo cũng lưu ý rằng những kẻ tấn công đối nghịch có thể cố gắng thêm các nhiễu loạn, chẳng hạn như tiếng ồn nhân tạo và hạt, để phá vỡ hệ thống gắn thẻ như vậy, mặc dù điều này có thể có tác động bất lợi đến tính xác thực của đầu ra deepfake.

Hơn nữa, họ lưu ý rằng FakeTagger cần thêm dữ liệu dư thừa vào hình ảnh để đảm bảo sự tồn tại của các thẻ mà nó nhúng và điều này có thể gây ra chi phí tính toán đáng kể trên quy mô lớn.

Các tác giả kết luận bằng cách lưu ý rằng FakeTagger có thể có khả năng theo dõi xuất xứ trong các miền khác, chẳng hạn như các cuộc tấn công mưa đối thủ và các kiểu tấn công dựa trên hình ảnh khác, chẳng hạn như tiếp xúc với đối thủ, sương mù, blur, họa tiết và đổi màu.