Những Deepfakes Nhỏ Có Thể Là Mối Đe Dọa Lớn Hơn

Các công cụ AI trò chuyện như ChatGPT và Google Gemini hiện đang được sử dụng để tạo ra các deepfakes không chỉ thay đổi khuôn mặt, mà còn thay đổi các chi tiết nhỏ trong hình ảnh. Bằng cách thay đổi cử chỉ, vật dụng và nền, những chỉnh sửa này đánh lừa cả máy móc và con người, làm tăng nguy cơ nhận diện sai thông tin trực tuyến.

Trong bối cảnh hiện tại, đặc biệt là sau khi ban hành các luật lệ quan trọng như đạo luật TAKE IT DOWN, nhiều người trong chúng ta thường liên kết deepfakes và tổng hợp danh tính AI với các nội dung không phù hợp và thao túng chính trị – nói chung, làm sai lệch sự thật.

Điều này khiến chúng ta quen với việc mong đợi các hình ảnh bị thao túng bởi AI luôn hướng đến các nội dung quan trọng, nơi chất lượng của việc chỉnh sửa và thao túng ngữ cảnh có thể thành công trong việc đạt được một cú đánh tin cậy, ít nhất là trong ngắn hạn.

Trong lịch sử, tuy nhiên, những thay đổi tinh vi hơn đã thường có tác động âm thầm và dai dẳng hơn – chẳng hạn như những thủ thuật nhiếp ảnh tinh vi cho phép Stalin xóa những người đã sa vào sự không ưa thích khỏi hồ sơ ảnh, như được mô tả trong tiểu thuyết Nineteen Eighty-Four của George Orwell, nơi nhân vật Winston Smith dành cả ngày để viết lại lịch sử và tạo ra, hủy bỏ và “chỉnh sửa” ảnh.

Trong ví dụ sau, vấn đề với bức ảnh thứ hai là chúng ta ‘không biết mình không biết’ – rằng cựu trưởng bộ cảnh sát bí mật của Stalin, Nikolai Yezhov, từng chiếm vị trí nơi hiện chỉ có một hàng rào an toàn:

Now you see him, now he’s…vapor. Stalin-era photographic manipulation removes a disgraced party member from history. Source: Public domain, via https://www.rferl.org/a/soviet-airbrushing-the-censors-who-scratched-out-history/29361426.html

Những hiện tượng này, được lặp lại nhiều lần, vẫn tồn tại theo nhiều cách; không chỉ về mặt văn hóa, mà còn trong tầm nhìn máy tính, vốn rút ra các xu hướng từ các chủ đề và mẫu thống trị thống kê trong các tập dữ liệu đào tạo. Để đưa ra một ví dụ, việc điện thoại thông minh đã làm giảm đáng kể rào cản gia nhập và giảm đáng kể chi phí nhiếp ảnh, điều này đã khiến cho biểu tượng của chúng trở nên gắn liền với nhiều khái niệm trừu tượng, ngay cả khi điều này không phù hợp.

Nếu việc tạo deepfake thông thường có thể được coi là một hành động ‘tấn công’, thì những chỉnh sửa tinh vi và dai dẳng trong phương tiện truyền thông âm thanh và hình ảnh giống như ‘tâm lý chiến’. Hơn nữa, khả năng những deepfake này không bị phát hiện làm cho việc xác định chúng trở nên khó khăn thông qua các hệ thống phát hiện deepfake tiên tiến (đang tìm kiếm những thay đổi thô thiển). Cách tiếp cận này giống như nước chảy mòn đá qua thời gian, hơn là một hòn đá ném vào đầu.

MultiFakeVerse

Các nhà nghiên cứu từ Úc đã thực hiện một nỗ lực để giải quyết sự thiếu chú ý đến ‘deepfake tinh vi’ trong tài liệu, bằng cách tạo ra một tập dữ liệu mới đáng kể về các chỉnh sửa hình ảnh tập trung vào người, thay đổi ngữ cảnh, cảm xúc và câu chuyện mà không thay đổi bản sắc cốt lõi của đối tượng:

Sampled from the new collection, real/fake pairs, with some alterations more subtle than others. Note, for instance, the loss of authority for the Asian woman, lower-right, as her doctor’s stethoscope is removed by AI. At the same time, the substitution of the doctor’s pad for the clipboard has no obvious semantic angle. Source: https://huggingface.co/datasets/parulgupta/MultiFakeVerse_preview

Tập dữ liệu này, có tên MultiFakeVerse, bao gồm 845,826 hình ảnh được tạo ra thông qua các mô hình ngôn ngữ tầm nhìn (VLMs), có thể được truy cập trực tuyến và tải xuống, với sự cho phép.

Các tác giả tuyên bố:

‘Cách tiếp cận VLM này cho phép các chỉnh sửa ngữ nghĩa, nhận thức ngữ cảnh như thay đổi hành động, cảnh và tương tác giữa người và vật, thay vì trao đổi danh tính tổng hợp hoặc chỉnh sửa vùng và chỉnh sửa thấp cấp thông thường trong các tập dữ liệu hiện có.’

‘Thử nghiệm của chúng tôi cho thấy rằng các mô hình phát hiện deepfake hiện đại và người quan sát con người gặp khó khăn trong việc phát hiện những chỉnh sửa tinh vi nhưng có ý nghĩa này.’

Các nhà nghiên cứu đã thử nghiệm cả con người và các hệ thống phát hiện deepfake hàng đầu trên tập dữ liệu mới để xem những chỉnh sửa tinh vi này có thể được xác định như thế nào. Người tham gia con người gặp khó khăn, phân loại hình ảnh chính xác là thực hoặc giả chỉ khoảng 62% thời gian, và gặp khó khăn hơn trong việc xác định phần nào của hình ảnh đã bị chỉnh sửa.

Các hệ thống phát hiện deepfake hiện có, được đào tạo chủ yếu trên các tập dữ liệu thay thế khuôn mặt hoặc sơn phủ rõ ràng, hoạt động kém, thường không phát hiện ra việc chỉnh sửa. Ngay cả sau khi tinh chỉnh trên MultiFakeVerse, tỷ lệ phát hiện vẫn thấp, cho thấy các hệ thống hiện tại xử lý kém những chỉnh sửa theo hướng dẫn.

Bản bài báo mới có tiêu đề Multiverse Through Deepfakes: The MultiFakeVerse Dataset of Person-Centric Visual and Conceptual Manipulations, và đến từ năm nhà nghiên cứu trên khắp Đại học Monash tại Melbourne và Đại học Curtin tại Perth. Mã và dữ liệu liên quan đã được phát hành trên GitHub, ngoài việc lưu trữ Hugging Face được đề cập trước đó.

Phương Pháp

Tập dữ liệu MultiFakeVerse được xây dựng từ bốn tập hình ảnh thực tế về người trong các tình huống đa dạng: EMOTIC; PISC, PIPA, và PIC 2.0. Bắt đầu với 86,952 hình ảnh gốc, các nhà nghiên cứu tạo ra 758,041 phiên bản chỉnh sửa.

Các khuôn khổ Gemini-2.0-Flash và ChatGPT-4o được sử dụng để đề xuất sáu chỉnh sửa tối thiểu cho mỗi hình ảnh – các chỉnh sửa được thiết kế để tinh vi thay đổi cách người quan sát nhìn nhận người nổi bật nhất trong hình ảnh.

Các mô hình được hướng dẫn tạo ra các chỉnh sửa sẽ làm cho đối tượng có vẻ ngây thơ, tự hào, hối hận, non nớt, hoặc làm ngơ, hoặc để điều chỉnh một số yếu tố thực tế trong cảnh. Cùng với mỗi chỉnh sửa, các mô hình cũng tạo ra một biểu thức tham chiếu để rõ ràng xác định mục tiêu của việc chỉnh sửa, đảm bảo quá trình chỉnh sửa tiếp theo có thể áp dụng các thay đổi cho người hoặc vật đúng trong mỗi hình ảnh.

Các tác giả làm rõ:

‘Lưu ý rằng biểu thức tham chiếu là một lĩnh vực được khám phá rộng rãi trong cộng đồng, nghĩa là một cụm từ có thể làm rõ mục tiêu trong một hình ảnh, ví dụ, đối với một hình ảnh có hai người đàn ông ngồi trên một bàn, một người đang nói chuyện điện thoại và người kia đang xem tài liệu, một biểu thức tham chiếu phù hợp cho người sau sẽ là người đàn ông bên trái cầm một tờ giấy.’

Khi các chỉnh sửa đã được xác định, việc chỉnh sửa hình ảnh thực tế được thực hiện bằng cách yêu cầu các mô hình tầm nhìn ngôn ngữ áp dụng các thay đổi được chỉ định trong khi giữ nguyên phần còn lại của cảnh. Các nhà nghiên cứu đã thử nghiệm ba hệ thống cho nhiệm vụ này: GPT-Image-1; Gemini-2.0-Flash-Image-Generation; và ICEdit.

Sau khi tạo ra 22.000 hình ảnh mẫu, Gemini-2.0-Flash nổi lên như phương pháp nhất quán nhất, tạo ra các chỉnh sửa hòa quyện tự nhiên vào cảnh mà không giới thiệu các đặc điểm đáng chú ý; ICEdit thường tạo ra các giả mạo rõ ràng hơn, với những khiếm khuyết rõ ràng trong các khu vực chỉnh sửa; và GPT-Image-1 đôi khi ảnh hưởng đến các phần không mong muốn của hình ảnh, một phần do sự tuân thủ các tỷ lệ khung hình cố định.

Phân Tích Hình Ảnh

Mỗi hình ảnh chỉnh sửa được so sánh với hình ảnh gốc để xác định bao nhiêu phần của hình ảnh đã bị thay đổi. Các khác biệt cấp pixel giữa hai phiên bản được tính toán, với các nhiễu ngẫu nhiên nhỏ được lọc ra để tập trung vào các chỉnh sửa có ý nghĩa. Trong một số hình ảnh, chỉ có các khu vực nhỏ bị ảnh hưởng; trong khi ở những hình ảnh khác, lên đến tám mươi phần trăm của cảnh đã được chỉnh sửa.

Để đánh giá mức độ thay đổi ý nghĩa của mỗi hình ảnh sau những chỉnh sửa này, các chú thích được tạo ra cho cả hình ảnh gốc và chỉnh sửa bằng mô hình tầm nhìn ngôn ngữ ShareGPT-4V.

Các chú thích này sau đó được chuyển đổi thành các bản nhúng bằng Long-CLIP, cho phép so sánh mức độ mà nội dung đã phân kỳ giữa các phiên bản. Những thay đổi ngữ nghĩa mạnh nhất được thấy trong các trường hợp mà các vật thể gần hoặc trực tiếp liên quan đến người đã bị chỉnh sửa, vì những thay đổi nhỏ này có thể thay đổi đáng kể cách hình ảnh được giải thích.

Gemini-2.0-Flash sau đó được sử dụng để phân loại loại chỉnh sửa được áp dụng cho mỗi hình ảnh, dựa trên vị trí và cách các chỉnh sửa được thực hiện. Các chỉnh sửa được nhóm vào ba loại: chỉnh sửa cấp người liên quan đến thay đổi biểu cảm khuôn mặt, tư thế, tầm nhìn, trang phục hoặc các tính năng cá nhân khác; chỉnh sửa cấp vật ảnh hưởng đến các vật thể liên quan đến người, chẳng hạn như các vật thể họ đang cầm hoặc tương tác trong tiền cảnh; và chỉnh sửa cấp cảnh liên quan đến các yếu tố nền hoặc các khía cạnh rộng lớn hơn của thiết lập mà không trực tiếp liên quan đến người.

The MultiFakeVerse dataset generation pipeline begins with real images, where vision-language models propose narrative edits targeting people, objects, or scenes. These instructions are then applied by image editing models. The right panel shows the proportion of person-level, object-level, and scene-level manipulations across the dataset. Source: https://arxiv.org/pdf/2506.00868

Vì các hình ảnh cá nhân có thể chứa nhiều loại chỉnh sửa cùng một lúc, sự phân bố của những loại này được ánh xạ trên toàn bộ tập dữ liệu. Khoảng một phần ba các chỉnh sửa nhắm vào chỉ người, khoảng một phần năm ảnh hưởng đến chỉ cảnh, và khoảng một phần sáu bị giới hạn ở các vật thể.

Đánh Giá Tác Động Nhận Thức

Gemini-2.0-Flash được sử dụng để đánh giá cách những chỉnh sửa này có thể thay đổi nhận thức của người xem trên sáu lĩnh vực: cai, danh tính cá nhân, cơ chế quyền lực, câu chuyện cảnh, ý định của việc chỉnh sửa, và lo lắng đạo đức.

Đối với cai, các chỉnh sửa thường được mô tả bằng các thuật ngữ như hạnh phúc, thu hút, hoặc tiếp cận, gợi ý sự thay đổi trong cách chủ thể được khung cảnh cảm xúc. Về mặt câu chuyện, các từ như chuyên nghiệp hoặc khác biệt cho thấy sự thay đổi trong câu chuyện ngụ ý hoặc thiết lập:

Gemini-2.0-Flash was prompted to evaluate how each manipulation affected six aspects of viewer perception. Left: example prompt structure guiding the model’s assessment. Right: word clouds summarizing shifts in emotion, identity, scene narrative, intent, power dynamics, and ethical concerns across the dataset.

Mô tả về sự thay đổi danh tính bao gồm các thuật ngữ như trẻ hơn, ngây thơ, và dễ bị tổn thương, cho thấy cách những thay đổi nhỏ có thể ảnh hưởng đến cách các cá nhân được nhận thức. Ý định đằng sau nhiều chỉnh sửa được dán nhãn là thuyết phục, lừa dối, hoặc thẩm mỹ. Trong khi hầu hết các chỉnh sửa được cho là gây ra những lo ngại đạo đức vừa phải, một số nhỏ được coi là có ý nghĩa đạo đức vừa phải hoặc nghiêm trọng.

Examples from MultiFakeVerse showing how small edits shift viewer perception. Yellow boxes highlight the altered regions, with accompanying analysis of changes in emotion, identity, narrative, and ethical concerns.

Thống Kê

Chất lượng hình ảnh của tập dữ liệu MultiFakeVerse được đánh giá bằng ba thước đo tiêu chuẩn: Tỷ Lệ Tín Hiệu Đối Với Nhiễu (PSNR); Chỉ Số Tương Tự Cấu Trúc (SSIM); và Khoảng Cách Inception Fréchet (FID):

Image quality scores for MultiFakeVerse measured by PSNR, SSIM, and FID.

Điểm SSIM là 0,5774 cho thấy một mức độ tương tự vừa phải, phù hợp với mục tiêu bảo tồn hầu hết hình ảnh trong khi áp dụng các chỉnh sửa được nhắm mục tiêu; điểm FID là 3,30 cho thấy các hình ảnh được tạo ra vẫn giữ chất lượng và đa dạng cao; và giá trị PSNR là 66,30 decibel cho thấy hình ảnh vẫn giữ được độ trung thực hình ảnh tốt sau khi chỉnh sửa.

Nghiên Cứu Người Dùng

Một nghiên cứu người dùng đã được thực hiện để xem người dùng có thể phát hiện những deepfakes tinh vi trong MultiFakeVerse như thế nào. Mười tám người tham gia được hiển thị năm mươi hình ảnh, chia đều giữa hình ảnh thực và hình ảnh chỉnh sửa, bao gồm nhiều loại chỉnh sửa.

Mỗi người được yêu cầu phân loại xem hình ảnh có phải là thực hay giả, và nếu giả, xác định loại chỉnh sửa nào đã được áp dụng.

Tác giả tuyên bố:

‘Phân tích dự đoán của con người về mức độ chỉnh sửa cho hình ảnh giả, giá trị trung bình của giao điểm trên union giữa dự đoán và mức độ chỉnh sửa thực tế được tìm thấy là 24,96%.

‘Điều này cho thấy rằng không dễ dàng cho người quan sát xác định các khu vực chỉnh sửa trong tập dữ liệu của chúng tôi.’

Việc xây dựng tập dữ liệu MultiFakeVerse đòi hỏi phải có các nguồn lực tính toán đáng kể: để tạo ra các hướng dẫn chỉnh sửa, hơn 845.000 cuộc gọi API đã được thực hiện cho các mô hình Gemini và GPT, với các nhiệm vụ này có chi phí khoảng 1000 đô la; việc tạo ra các hình ảnh dựa trên Gemini có chi phí khoảng 2867 đô la; và việc tạo ra hình ảnh bằng GPT-Image-1 có chi phí khoảng 200 đô la. Các hình ảnh ICEdit được tạo ra cục bộ trên một GPU NVIDIA A6000, hoàn thành nhiệm vụ trong khoảng 24 giờ.

Thử Nghiệm

Trước khi thử nghiệm, tập dữ liệu đã được chia thành các tập huấn luyện, xác thực và thử nghiệm bằng cách chọn 70% hình ảnh thực cho huấn luyện; 10% cho xác thực; và 20% cho thử nghiệm. Các hình ảnh chỉnh sửa được tạo ra từ mỗi hình ảnh thực được chỉ định cho cùng một tập.

Further examples of real (left) and altered (right) content from the dataset.

Hiệu suất phát hiện giả mạo được đo bằng độ chính xác cấp hình ảnh (liệu hệ thống có phân loại chính xác toàn bộ hình ảnh là thực hoặc giả) và điểm F1. Đối với việc định vị các khu vực chỉnh sửa, việc đánh giá sử dụng Diện Tích Dưới Đường Cong (AUC), điểm F1 và giao trên union (IoU).

Tập dữ liệu MultiFakeVerse đã được sử dụng để kiểm tra các hệ thống phát hiện deepfake hàng đầu trên toàn bộ tập thử nghiệm, với các khuôn khổ đối thủ là CnnSpot; AntifakePrompt; TruFor; và SIDA dựa trên tầm nhìn ngôn ngữ. Mỗi mô hình được đánh giá đầu tiên ở chế độ không có shot, sử dụng trọng số được đào tạo trước của nó mà không cần điều chỉnh thêm.

Hai mô hình, CnnSpot và SIDA, sau đó được tinh chỉnh trên dữ liệu đào tạo MultiFakeVerse để đánh giá xem việc tinh chỉnh lại có cải thiện hiệu suất hay không.

Deepfake detection results on MultiFakeVerse under zero-shot and fine-tuned conditions. Numbers in parentheses show changes after fine-tuning.

Trong số những kết quả này, các tác giả tuyên bố:

‘[Các] mô hình được đào tạo trên các giả mạo sơn phủ trước đó gặp khó khăn trong việc xác định các giả mạo chỉnh sửa VLM của chúng tôi, đặc biệt, CNNSpot có xu hướng phân loại hầu hết hình ảnh là thực. AntifakePrompt có hiệu suất không có shot tốt nhất với độ chính xác trung bình theo lớp là 66,87% và điểm F1 là 55,55%.

‘Sau khi tinh chỉnh trên tập dữ liệu đào tạo của chúng tôi, chúng tôi quan sát thấy sự cải thiện hiệu suất ở cả CNNSpot và SIDA-13B, với CNNSpot vượt qua SIDA-13B về độ chính xác trung bình theo lớp (1,92%) cũng như điểm F1 (1,97%).’

SIDA-13B đã được đánh giá trên MultiFakeVerse để đo lường mức độ chính xác mà nó có thể xác định các khu vực chỉnh sửa trong mỗi hình ảnh. Mô hình này được thử nghiệm cả ở chế độ không có shot và sau khi tinh chỉnh trên tập dữ liệu.

Trong trạng thái ban đầu, nó đạt được điểm giao trên union là 13,10, điểm F1 là 19,92 và AUC là 14,06, cho thấy hiệu suất định vị yếu.

Sau khi tinh chỉnh, các điểm số được cải thiện lên 24,74 cho IoU, 39,40 cho F1 và 37,53 cho AUC. Tuy nhiên, ngay cả với việc đào tạo thêm, mô hình vẫn gặp khó khăn trong việc tìm ra chính xác nơi các chỉnh sửa đã được thực hiện, làm nổi bật sự khó khăn trong việc phát hiện những thay đổi nhỏ, được nhắm mục tiêu này.

Kết Luận

Nghiên cứu mới này làm lộ ra một điểm mù trong cả nhận thức của con người và máy móc: trong khi nhiều cuộc tranh luận công khai về deepfakes tập trung vào việc trao đổi danh tính, những ‘chỉnh sửa câu chuyện’ im lặng này khó phát hiện hơn và có thể có tác động ăn mòn hơn trong dài hạn.

Khi các hệ thống như ChatGPT và Gemini đóng vai trò chủ động hơn trong việc tạo ra loại nội dung này, và khi chúng ta tự tham gia vào việc thay đổi thực tế của các luồng ảnh của mình, các mô hình phát hiện có thể dựa vào việc phát hiện những thao túng thô thiển có thể cung cấp sự phòng thủ không đầy đủ.

Điều mà MultiFakeVerse chứng minh không phải là việc phát hiện đã thất bại, mà ít nhất một phần của vấn đề có thể đang chuyển sang một hình thức khó khăn hơn, chậm hơn: một nơi mà những lời dối nhỏ về hình ảnh tích tụ không được chú ý.

Được xuất bản lần đầu vào thứ Năm, ngày 5 tháng 6 năm 2025