Phương Pháp Dữ Liệu Pháp Y Để Phát Hiện Deepfake Mới

Mặc dù việc tạo deepfake cho các cá nhân tư nhân đã trở thành một vấn đề công cộng ngày càng tăng và đang được cấm ở nhiều khu vực, nhưng việc chứng minh rằng một mô hình do người dùng tạo – chẳng hạn như một mô hình cho phép trả thù – được đào tạo cụ thể trên hình ảnh của một người vẫn còn rất thách thức.

Để đặt vấn đề vào contexto: một yếu tố quan trọng của một cuộc tấn công deepfake là tuyên bố sai rằng một hình ảnh hoặc video mô tả một người cụ thể. Chỉ cần tuyên bố rằng ai đó trong một video là danh tính #A, chứ không phải chỉ là một người giống hệt, là đủ để gây hại, và không cần thiết phải có AI trong kịch bản này.

Tuy nhiên, nếu một kẻ tấn công tạo ra hình ảnh hoặc video AI sử dụng các mô hình được đào tạo trên dữ liệu của người thực, các hệ thống nhận dạng khuôn mặt của mạng xã hội và công cụ tìm kiếm sẽ tự động liên kết nội dung giả mạo với nạn nhân – mà không cần tên trong bài đăng hoặc siêu dữ liệu. Các hình ảnh trực quan được tạo ra bởi AI đảm bảo sự liên kết.

Càng nhiều đặc điểm riêng biệt của một người, điều này trở nên không thể tránh khỏi, cho đến khi nội dung giả mạo xuất hiện trong các kết quả tìm kiếm hình ảnh và cuối cùng đến với nạn nhân.

Mặt Đối Mặt

Phương thức phổ biến nhất để phân phối các mô hình tập trung vào danh tính hiện nay là thông qua Low-Rank Adaptation (LoRA), trong đó người dùng đào tạo một số lượng nhỏ hình ảnh trong vài giờ chống lại trọng số của một mô hình cơ sở lớn hơn nhiều, chẳng hạn như Stable Diffusion (chủ yếu cho hình ảnh tĩnh) hoặc Hunyuan Video cho các deepfake video.

Mục tiêu phổ biến nhất của LoRAs, bao gồm cả loại mới của video-based LoRAs, là các nữ diễn viên nổi tiếng, những người mà danh tiếng của họ khiến họ dễ bị tổn thương bởi loại hình đối xử này với ít chỉ trích công khai hơn so với trường hợp của các nạn nhân ‘không xác định’, do giả định rằng những tác phẩm phái sinh như vậy được bảo vệ bởi ‘sử dụng hợp lý’ (ít nhất là ở Mỹ và châu Âu).

Các nữ diễn viên nổi tiếng chiếm ưu thế trong danh sách LoRA và Dreambooth tại cổng thông tin civit.ai. LoRA phổ biến nhất hiện có hơn 66.000 lượt tải xuống, điều này đáng kể, xét đến việc sử dụng AI này vẫn được coi là một hoạt động ‘ngoại vi’.

Không có diễn đàn công cộng nào cho các nạn nhân không phải là người nổi tiếng của deepfaking, những người chỉ xuất hiện trong truyền thông khi các vụ án truy tố phát sinh, hoặc khi các nạn nhân lên tiếng trong các phương tiện truyền thông phổ biến.

Tuy nhiên, trong cả hai trường hợp, các mô hình được sử dụng để làm giả danh tính đã ‘chưng cất’ dữ liệu đào tạo của chúng vào không gian tiềm ẩn của mô hình đến mức khó xác định được hình ảnh nguồn được sử dụng.

Nếu nó có thể được thực hiện trong một biên độ lỗi chấp nhận được, điều này sẽ cho phép việc truy tố những người chia sẻ LoRAs, vì nó không chỉ chứng minh ý định làm giả một danh tính cụ thể (tức là danh tính của một người ‘không xác định’ cụ thể, ngay cả khi kẻ xấu không đặt tên cho họ trong quá trình bôi nhọ), mà còn khiến người tải lên phải đối mặt với các cáo buộc vi phạm bản quyền, khi áp dụng.

Điều sau sẽ hữu ích trong các khu vực pháp lý mà việc điều chỉnh các công nghệ deepfaking còn thiếu hoặc chậm trễ.

Quá Phơi Nhiễm

Mục tiêu của việc đào tạo một mô hình cơ sở, chẳng hạn như mô hình cơ sở nhiều gigabyte mà người dùng có thể tải xuống từ Hugging Face, là mô hình nên trở nên tổng quát hóa và linh hoạt. Điều này liên quan đến việc đào tạo trên một số lượng hình ảnh đa dạng đủ và với các cài đặt phù hợp, và kết thúc đào tạo trước khi mô hình ‘quá拟’ với dữ liệu.

Một mô hình quá拟 đã xem dữ liệu quá nhiều lần trong quá trình đào tạo mà nó sẽ có xu hướng tạo ra hình ảnh rất giống nhau, do đó lộ nguồn dữ liệu đào tạo.

Danh tính ‘Ann Graham Lotz’ có thể được tái tạo gần như hoàn hảo trong mô hình Stable Diffusion V1.5. Sự tái tạo gần như giống hệt với dữ liệu đào tạo (ở bên trái trong hình ảnh trên). Nguồn: https://arxiv.org/pdf/2301.13188

Tuy nhiên, các mô hình quá拟 thường bị loại bỏ bởi những người tạo ra chúng thay vì được phân phối, vì chúng không phù hợp với mục đích. Do đó, đây là một ‘phát hiện’ pháp y không thể xảy ra. Trong mọi trường hợp, nguyên tắc này áp dụng nhiều hơn cho việc đào tạo mô hình cơ sở tốn kém và có khối lượng lớn, nơi nhiều phiên bản của cùng một hình ảnh có thể làm cho một số hình ảnh đào tạo dễ dàng được gọi (xem hình ảnh và ví dụ trên).

Điều này hơi khác trong trường hợp của các mô hình LoRA và Dreambooth (mặc dù Dreambooth đã không còn phổ biến do kích thước tệp lớn). Tại đây, người dùng chọn một số lượng nhỏ hình ảnh đa dạng của một chủ thể và sử dụng chúng để đào tạo một LoRA.

Ở bên trái, đầu ra từ một Hunyuan Video LoRA. Ở bên phải, dữ liệu làm cho sự giống hệt trở nên có thể (hình ảnh được sử dụng với sự cho phép của người được miêu tả).

Thường thì LoRA sẽ có một từ kích hoạt được đào tạo, chẳng hạn như [tên của người nổi tiếng]. Tuy nhiên, rất thường xuyên, chủ thể được đào tạo cụ thể sẽ xuất hiện trong đầu ra được tạo ngay cả khi không có lời nhắc, vì ngay cả một LoRA cân bằng (tức là không quá拟) cũng có xu hướng bao gồm vật liệu đó trong bất kỳ đầu ra nào.

Sự thiên hướng này, kết hợp với số lượng hình ảnh hạn chế là tối ưu cho một tập dữ liệu LoRA, làm cho mô hình dễ bị phân tích pháp y, như chúng ta sẽ thấy.

Khám Phá Dữ Liệu

Những vấn đề này được giải quyết trong một bài báo mới từ Đan Mạch, cung cấp một phương pháp để xác định hình ảnh nguồn (hoặc nhóm hình ảnh nguồn) trong một cuộc tấn công Membership Inference Attack (MIA) hộp đen. Kỹ thuật này liên quan đến việc sử dụng các mô hình được đào tạo tùy chỉnh được thiết kế để giúp lộ dữ liệu nguồn bằng cách tạo ra các ‘deepfake’ của riêng chúng:

Ví dụ về hình ảnh ‘giả’ được tạo ra bởi phương pháp mới, ở các mức độ hướng dẫn Classifier-Free (CFG) ngày càng tăng, cho đến điểm phá hủy. Nguồn: https://arxiv.org/pdf/2502.11619

Mặc dù bài báo, có tiêu đề Membership Inference Attacks for Face Images Against Fine-Tuned Latent Diffusion Models, là một đóng góp thú vị cho văn học xung quanh chủ đề này, nhưng nó cũng là một bài báo khó hiểu và viết tắt, cần phải giải mã đáng kể. Do đó, chúng ta sẽ đề cập đến ít nhất các nguyên tắc cơ bản đằng sau dự án này và một số kết quả đạt được.

Trong thực tế, nếu ai đó tinh chỉnh một mô hình AI trên khuôn mặt của bạn, phương pháp của các tác giả có thể giúp chứng minh điều đó bằng cách tìm kiếm các dấu hiệu của việc ghi nhớ trong hình ảnh được tạo ra bởi mô hình.

Trong trường hợp đầu tiên, một mô hình AI mục tiêu được tinh chỉnh trên một tập dữ liệu hình ảnh khuôn mặt, làm cho nó có khả năng tái tạo các chi tiết từ những hình ảnh đó trong đầu ra của nó. Sau đó, một chế độ tấn công phân loại được đào tạo bằng cách sử dụng hình ảnh AI được tạo ra từ mô hình mục tiêu làm ví dụ ‘dương tính’ (các thành viên nghi ngờ của tập dữ liệu đào tạo) và các hình ảnh khác từ một tập dữ liệu khác làm ví dụ ‘âm tính’ (không phải thành viên).

Bằng cách học các sự khác biệt tinh tế giữa các nhóm này, mô hình tấn công có thể dự đoán liệu một hình ảnh nhất định có phải là một phần của tập dữ liệu đào tạo ban đầu hay không.

Phương pháp này hiệu quả nhất trong các trường hợp mà mô hình AI đã được tinh chỉnh rộng rãi, nghĩa là mô hình càng được chuyên môn hóa, càng dễ dàng phát hiện nếu các hình ảnh cụ thể đã được sử dụng.

Các tác giả cũng phát hiện ra rằng việc thêm các dấu nước rõ ràng vào hình ảnh đào tạo làm cho việc phát hiện dễ dàng hơn.

Điều ấn tượng là phương pháp này được thử nghiệm trong một môi trường hộp đen, nghĩa là nó hoạt động mà không cần truy cập vào các chi tiết nội bộ của mô hình, chỉ có đầu ra của nó.

Phương pháp đạt được là tính toán mạnh, như các tác giả thừa nhận; tuy nhiên, giá trị của công việc này nằm ở việc chỉ ra hướng cho nghiên cứu thêm và chứng minh rằng dữ liệu có thể được trích xuất thực tế đến một mức độ chấp nhận được; do đó, xét đến tính chất tiên phong của nó, nó không cần phải chạy trên điện thoại thông minh tại giai đoạn này.

Phương Pháp/Dữ Liệu

Một số tập dữ liệu từ Đại học Kỹ thuật Đan Mạch (DTU, cơ sở chủ nhà của ba nhà nghiên cứu) đã được sử dụng trong nghiên cứu, để tinh chỉnh mô hình mục tiêu và để đào tạo và kiểm tra chế độ tấn công.

Các tập dữ liệu được sử dụng là:

DseenDTU Tập dữ liệu hình ảnh cơ sở.

DDTU Hình ảnh được thu thập từ DTU Orbit.

DseenDTU Một phần của DDTU được sử dụng để tinh chỉnh mô hình mục tiêu.

DunseenDTU Một phần của DDTU không được sử dụng để tinh chỉnh bất kỳ mô hình tạo hình ảnh nào và được sử dụng để kiểm tra hoặc đào tạo mô hình tấn công.

wmDseenDTU Một phần của DDTU với dấu nước rõ ràng được sử dụng để tinh chỉnh mô hình mục tiêu.

hwmDseenDTU Một phần của DDTU với dấu nước ẩn được sử dụng để tinh chỉnh mô hình mục tiêu.

DgenDTU Hình ảnh được tạo ra bởi một Mô hình khuếch tán tiềm ẩn (LDM) đã được tinh chỉnh trên tập dữ liệu hình ảnh DseenDTU.

Các tập dữ liệu được sử dụng để tinh chỉnh mô hình mục tiêu bao gồm các cặp hình ảnh-văn bản được chú thích bởi mô hình chú thích BLIP (có thể không phải là trùng hợp một trong những mô hình không kiểm duyệt phổ biến nhất trong cộng đồng AI thông thường).

BLIP được đặt để thêm câu ‘a dtu headshot of a’ vào mỗi mô tả.

Ngoài ra, một số tập dữ liệu từ Đại học Aalborg (AAU) đã được sử dụng trong các thử nghiệm, tất cả đều được lấy từ AU VBN corpus:

DAAU Hình ảnh được thu thập từ AAU vbn.

DseenAAU Một phần của DAAU được sử dụng để tinh chỉnh mô hình mục tiêu.

DunseenAAU Một phần của DAAU không được sử dụng để tinh chỉnh bất kỳ mô hình tạo hình ảnh nào và được sử dụng để kiểm tra hoặc đào tạo mô hình tấn công.

DgenAAU Hình ảnh được tạo ra bởi một LDM được tinh chỉnh trên tập dữ liệu hình ảnh DseenAAU.

Tương tự như các tập dữ liệu trước, cụm từ ‘a aau headshot of a’ được sử dụng. Điều này đảm bảo rằng tất cả các nhãn trong tập dữ liệu DTU đều theo định dạng ‘a dtu headshot of a (…)’, củng cố các đặc điểm cốt lõi của tập dữ liệu trong quá trình tinh chỉnh.

Thử Nghiệm

Một số thí nghiệm đã được thực hiện để đánh giá hiệu suất của các cuộc tấn công suy luận thành viên. Mỗi thử nghiệm nhằm xác định xem có thể thực hiện một cuộc tấn công thành công trong lược đồ được hiển thị dưới đây, nơi mô hình mục tiêu được tinh chỉnh trên một tập dữ liệu hình ảnh được thu thập mà không được ủy quyền.

Lược đồ cho phương pháp.

Với mô hình tinh chỉnh được yêu cầu tạo ra hình ảnh đầu ra, những hình ảnh này sau đó được sử dụng làm ví dụ ‘dương tính’ để đào tạo mô hình tấn công, trong khi các hình ảnh không liên quan khác được bao gồm làm ví dụ ‘âm tính’.

Mô hình tấn công được đào tạo bằng học có giám sát và sau đó được kiểm tra trên các hình ảnh mới để xác định xem chúng có phải là một phần của tập dữ liệu được sử dụng để tinh chỉnh mô hình mục tiêu hay không. Để đánh giá độ chính xác của cuộc tấn công, 15% dữ liệu kiểm tra được đặt sang một bên để xác thực.

Vì mô hình mục tiêu được tinh chỉnh trên một tập dữ liệu đã biết, trạng thái thành viên thực sự của mỗi hình ảnh đã được thiết lập khi tạo dữ liệu đào tạo cho mô hình tấn công. Điều này cho phép đánh giá rõ ràng về hiệu quả của mô hình tấn công trong việc phân biệt giữa các hình ảnh thuộc tập dữ liệu tinh chỉnh và những hình ảnh không thuộc.

Đối với các thử nghiệm này, Stable Diffusion V1.5 đã được sử dụng. Mặc dù mô hình này đã cũ và thường được sử dụng trong nghiên cứu do nhu cầu về tính nhất quán trong thử nghiệm và lượng công việc trước đó sử dụng nó, nhưng đây là một trường hợp sử dụng phù hợp; V1.5 vẫn phổ biến cho việc tạo LoRA trong cộng đồng người dùng Stable Diffusion trong một thời gian dài, bất chấp việc phát hành nhiều phiên bản sau đó, và thậm chí là sự ra đời của Flux – vì mô hình này hoàn toàn không kiểm duyệt.

Mô hình tấn công của các nhà nghiên cứu dựa trên Resnet-18, với trọng số được đào tạo trước của mô hình được giữ lại. Lớp cuối cùng 1000 nơ-ron của ResNet-18 được thay thế bằng một lớp kết nối đầy đủ với hai nơ-ron. Mất mát đào tạo là mất mát entropy chéo, và bộ tối ưu hóa Adam được sử dụng.

Đối với mỗi thử nghiệm, mô hình tấn công được đào tạo năm lần bằng cách sử dụng các hạt giống ngẫu nhiên khác nhau để tính toán khoảng tin cậy 95% cho các chỉ số chính. Phân loại không giám sát với mô hình CLIP được sử dụng làm baseline.

(Lưu ý rằng bảng kết quả chính trong bài báo gốc rất khó hiểu và khó đọc. Vì vậy, tôi đã tái cấu trúc nó dưới đây theo một định dạng dễ đọc hơn. Vui lòng nhấp vào hình ảnh để xem nó ở độ phân giải cao hơn)

Tóm tắt kết quả từ tất cả các thử nghiệm. Nhấp vào hình ảnh để xem độ phân giải cao hơn

Phương pháp tấn công của các nhà nghiên cứu chứng minh hiệu quả nhất khi nhắm vào các mô hình được tinh chỉnh, đặc biệt là những mô hình được đào tạo trên một tập hợp hình ảnh cụ thể, chẳng hạn như khuôn mặt của một cá nhân. Tuy nhiên, trong khi cuộc tấn công có thể xác định xem một tập dữ liệu đã được sử dụng, nó gặp khó khăn trong việc xác định các hình ảnh riêng lẻ trong tập dữ liệu đó.

Trong thực tế, điều sau không nhất thiết phải là một trở ngại để sử dụng một phương pháp như thế này trong lĩnh vực pháp y; trong khi có rất ít giá trị trong việc thiết lập rằng một tập dữ liệu nổi tiếng như ImageNet đã được sử dụng trong một mô hình, một kẻ tấn công vào một cá nhân tư nhân (không phải là người nổi tiếng) sẽ có ít lựa chọn hơn về dữ liệu nguồn và cần phải khai thác triệt để các nhóm dữ liệu có sẵn như album trên mạng xã hội và các bộ sưu tập trực tuyến khác. Những thứ này hiệu quả tạo ra một ‘bản hash’ mà có thể được phát hiện bởi các phương pháp được mô tả.

Bài báo lưu ý rằng một cách khác để cải thiện độ chính xác là sử dụng hình ảnh được tạo ra bởi AI làm ‘không phải thành viên’, thay vì chỉ dựa vào hình ảnh thực. Điều này ngăn chặn các tỷ lệ thành công giả tạo cao có thể đánh lừa kết quả.

Một yếu tố khác ảnh hưởng đáng kể đến việc phát hiện, theo các tác giả, là việc thêm dấu nước. Khi hình ảnh đào tạo chứa dấu nước rõ ràng, cuộc tấn công trở nên rất hiệu quả, trong khi dấu nước ẩn không mang lại lợi thế.

Hình ảnh bên phải nhất cho thấy dấu nước ‘ẩn’ thực sự được sử dụng trong các thử nghiệm.

Cuối cùng, mức độ hướng dẫn trong việc tạo hình ảnh từ văn bản cũng đóng một vai trò, với sự cân bằng lý tưởng được tìm thấy ở mức hướng dẫn khoảng 8. Ngay cả khi không có lời nhắc trực tiếp, một mô hình tinh chỉnh vẫn có xu hướng tạo ra đầu ra giống với dữ liệu đào tạo của nó, củng cố hiệu quả của cuộc tấn công.

Kết Luận

Thật đáng tiếc khi bài báo thú vị này được viết theo cách không thể tiếp cận, vì nó nên là một chủ đề thú vị cho cả những người ủng hộ quyền riêng tư và các nhà nghiên cứu AI không chuyên.

Mặc dù các cuộc tấn công suy luận thành viên có thể trở thành một công cụ pháp y thú vị và hiệu quả, nhưng có lẽ quan trọng hơn là cho sự phát triển của các nguyên tắc rộng lớn hơn, để ngăn chặn nó kết thúc giống như trò ‘đập chuột’ đã xảy ra đối với việc phát hiện deepfake nói chung, khi việc phát hành một mô hình mới hơn làm ảnh hưởng đến việc phát hiện và các hệ thống pháp y tương tự.

Because có một số bằng chứng về một nguyên tắc hướng dẫn cấp cao được làm sạch trong nghiên cứu mới này, chúng ta có thể hy vọng sẽ thấy thêm công việc trong hướng này.

Được xuất bản lần đầu vào thứ Sáu, ngày 21 tháng 2 năm 2025