Tiết lộ các chỉnh sửa nhỏ nhưng quan trọng của AI trong video thực

Vào năm 2019, Chủ tịch Hạ viện Hoa Kỳ Nancy Pelosi đã trở thành mục tiêu của một cuộc tấn công kiểu deepfake khá thấp cấp, khi video thực của bà được chỉnh sửa để làm cho bà看 giống như đang say rượu – một sự kiện không thực tế đã được chia sẻ hàng triệu lần trước khi sự thật về nó được tiết lộ (và, có thể, sau một số tổn hại dai dẳng đến vốn chính trị của bà bởi những người không theo dõi câu chuyện).

Mặc dù sự xuyên tạc này chỉ yêu cầu một số chỉnh sửa âm thanh và hình ảnh đơn giản, chứ không phải là AI, nhưng nó vẫn là một ví dụ quan trọng về cách những thay đổi tinh tế trong âm thanh và hình ảnh thực có thể có tác động tàn phá.

Vào thời điểm đó, lĩnh vực deepfake được thống trị bởi các hệ thống thay thế khuôn mặt dựa trên autoencoder đã ra mắt vào cuối năm 2017, và chưa cải thiện đáng kể về chất lượng kể từ đó. Những hệ thống đầu tiên như vậy sẽ gặp khó khăn trong việc tạo ra những thay đổi nhỏ nhưng quan trọng như vậy, hoặc theo đuổi các hướng nghiên cứu hiện đại như chỉnh sửa biểu cảm:

Khung khổ ‘Neural Emotion Director’ năm 2022 thay đổi tâm trạng của một khuôn mặt nổi tiếng. Nguồn: https://www.youtube.com/watch?v=Li6W8pRDMJQ

Tuy nhiên, mọi thứ đã thay đổi rất nhiều. Ngành công nghiệp điện ảnh và truyền hình đang rất quan tâm đến việc chỉnh sửa hiệu suất thực sau sản xuất bằng cách sử dụng các phương pháp học máy, và sự thúc đẩy của AI trong việc hoàn thiện sau này đã bị chỉ trích gần đây.

Để đáp ứng (hoặc có thể tạo ra) nhu cầu này, lĩnh vực nghiên cứu tổng hợp hình ảnh và video đã đưa ra một loạt các dự án cung cấp ‘chỉnh sửa cục bộ’ của các bản ghi khuôn mặt, thay vì thay thế hoàn toàn: các dự án như vậy bao gồm Diffusion Video Autoencoders; Stitch it in Time; ChatFace; MagicFace; và DISCO, trong số những dự án khác.

Chỉnh sửa biểu cảm với dự án MagicFace tháng 1 năm 2025. Nguồn: https://arxiv.org/pdf/2501.02260

Khuôn mặt mới, nếp nhăn mới

Tuy nhiên, các công nghệ cho phép đã phát triển nhanh hơn nhiều so với các phương pháp phát hiện chúng. gần như tất cả các phương pháp phát hiện deepfake trong tài liệu đều theo đuổi các phương pháp deepfake của ngày hôm qua với các tập dữ liệu của ngày hôm qua. Cho đến tuần này, không có phương pháp nào trong số đó đã giải quyết được tiềm năng ngày càng tăng của các hệ thống AI để tạo ra các thay đổi cục bộ nhỏ và chủ đề trong video.

Bây giờ, một bài báo mới từ Ấn Độ đã giải quyết vấn đề này, với một hệ thống nhằm xác định khuôn mặt đã được chỉnh sửa (thay vì thay thế) thông qua các kỹ thuật dựa trên AI:

Phát hiện các chỉnh sửa cục bộ tinh tế trong Deepfakes: Một video thực được thay đổi để tạo ra các bản giả với các thay đổi tinh tế như lông mày nâng lên, các đặc điểm giới tính được sửa đổi và thay đổi biểu cảm hướng tới sự ghê tởm (minh họa ở đây với một khung hình duy nhất). Nguồn: https://arxiv.org/pdf/2503.22121

Hệ thống của các tác giả nhằm mục đích xác định các deepfake liên quan đến các thao túng khuôn mặt cục bộ tinh tế – một lớp giả mạo bị bỏ qua. Thay vì tập trung vào các sự không nhất quán toàn cầu hoặc không phù hợp danh tính, cách tiếp cận này nhắm vào các thay đổi tinh tế như sự thay đổi biểu cảm nhẹ hoặc các chỉnh sửa nhỏ đối với các đặc điểm khuôn mặt cụ thể.

Phương pháp này sử dụng bộ phân cách Đơn vị Hành động (AUs) trong Hệ thống Mã hóa Hành động Khuôn mặt (FACS), định nghĩa 64 khu vực có thể thay đổi riêng lẻ trong khuôn mặt, tạo thành các biểu cảm.

Một số phần biểu cảm cấu thành 64 trong FACS. Nguồn: https://www.cs.cmu.edu/~face/facs.htm

Các tác giả đã đánh giá cách tiếp cận của họ chống lại một loạt các phương pháp chỉnh sửa gần đây và báo cáo về lợi ích hiệu suất nhất quán, cả với các tập dữ liệu cũ hơn và với các vector tấn công mới hơn:

‘Bằng cách sử dụng các tính năng dựa trên AU để hướng dẫn các biểu diễn video được học thông qua Masked Autoencoders (MAE), phương pháp của chúng tôi có hiệu quả trong việc bắt giữ các thay đổi cục bộ quan trọng để phát hiện các chỉnh sửa khuôn mặt tinh tế.

‘Cách tiếp cận này cho phép chúng tôi xây dựng một biểu diễn ẩn thống nhất mã hóa cả các chỉnh sửa cục bộ và các thay đổi rộng hơn trong các video tập trung vào khuôn mặt, cung cấp một giải pháp toàn diện và có thể thích nghi cho việc phát hiện deepfake.’

Bài báo mới mới có tiêu đề Phát hiện các thao túng Deepfake cục bộ bằng cách sử dụng các biểu diễn video được hướng dẫn bởi Đơn vị Hành động, và đến từ ba tác giả tại Viện Công nghệ Ấn Độ tại Madras.

Phương pháp

Theo cách tiếp cận được thực hiện bởi VideoMAE, phương pháp mới bắt đầu bằng cách áp dụng phát hiện khuôn mặt vào video và lấy mẫu các khung hình cách đều nhau tập trung vào các khuôn mặt được phát hiện. Các khung hình này sau đó được chia thành các phân chia 3D nhỏ (tức là các bản vá được kích hoạt theo thời gian), mỗi bản vá này bắt giữ các chi tiết không gian và thời gian cục bộ.

Sơ đồ cho phương pháp mới. Video đầu vào được xử lý với phát hiện khuôn mặt để trích xuất các khung hình cách đều nhau, tập trung vào khuôn mặt, sau đó được chia thành các bản vá ‘ống’ và truyền qua một bộ mã hóa kết hợp các biểu diễn ẩn được tiền huấn luyện từ hai nhiệm vụ tiền đề. Vector kết quả sau đó được sử dụng bởi một phân loại để xác định xem video có thực sự hay giả.

Mỗi bản vá 3D chứa một cửa sổ cố định các pixel (tức là 16×16) từ một số khung hình liên tiếp (tức là 2). Điều này cho phép mô hình học các chuyển động và thay đổi biểu cảm ngắn hạn – không chỉ là khuôn mặt trông như thế nào, mà còn làm thế nào nó di chuyển.

Các bản vá được nhúng và mã hóa vị trí trước khi được truyền vào một bộ mã hóa được thiết kế để trích xuất các tính năng có thể phân biệt giữa thực và giả.

Các tác giả thừa nhận rằng điều này đặc biệt khó khăn khi đối phó với các thao túng tinh tế, và giải quyết vấn đề này bằng cách xây dựng một bộ mã hóa kết hợp hai loại biểu diễn được học riêng biệt, sử dụng một cơ chế chú ý chéo để kết hợp chúng. Điều này nhằm mục đích tạo ra một không gian tính năng nhạy cảm và có thể tổng quát hóa hơn để phát hiện các chỉnh sửa cục bộ.

Nhiệm vụ tiền đề

Biểu diễn đầu tiên là một bộ mã hóa được huấn luyện với một nhiệm vụ tự động mã hóa có mặt nạ. Với video được chia thành các bản vá 3D (hầu hết trong số đó bị ẩn), bộ mã hóa sau đó học cách tái tạo các phần bị thiếu, buộc nó phải bắt giữ các mẫu không gian và thời gian quan trọng, chẳng hạn như chuyển động khuôn mặt hoặc sự nhất quán theo thời gian.

Huấn luyện nhiệm vụ tiền đề liên quan đến việc che một phần đầu vào video và sử dụng một thiết lập mã hóa-giải mã để tái tạo các khung hình gốc hoặc các bản đồ hành động đơn vị khung hình, tùy thuộc vào nhiệm vụ.

Tuy nhiên, bài báo quan sát rằng điều này alone không cung cấp đủ độ nhạy để phát hiện các chỉnh sửa tinh tế, và các tác giả do đó giới thiệu một bộ mã hóa thứ hai được huấn luyện để phát hiện các đơn vị hành động khuôn mặt (AUs). Đối với nhiệm vụ này, mô hình học cách tái tạo các bản đồ AU dày đặc cho mỗi khung hình, một lần nữa từ các đầu vào bị che một phần. Điều này khuyến khích nó tập trung vào hoạt động cơ cục bộ, nơi nhiều chỉnh sửa deepfake tinh tế xảy ra.

Các ví dụ khác về Đơn vị Hành động Khuôn mặt (FAUs, hoặc AUs). Nguồn: https://www.eiagroup.com/the-facial-action-coding-system/

Khi cả hai bộ mã hóa được tiền huấn luyện, đầu ra của chúng được kết hợp bằng cách chú ý chéo. Thay vì chỉ kết hợp hai tập tính năng, mô hình sử dụng các tính năng dựa trên AU làm truy vấn hướng dẫn sự chú ý trên các tính năng không gian-thời gian được học từ mã hóa tự động có mặt nạ. Về cơ bản, bộ mã hóa hành động đơn vị cho mô hình biết nơi cần chú ý.

Kết quả là một biểu diễn ẩn kết hợp nhằm bắt giữ cả bối cảnh chuyển động rộng và chi tiết biểu cảm cục bộ. Không gian tính năng kết hợp này sau đó được sử dụng cho nhiệm vụ phân loại cuối cùng: dự đoán xem video có thực sự hay bị thao túng.

Dữ liệu và Kiểm tra

Triển khai

Các tác giả đã triển khai hệ thống bằng cách tiền xử lý các video đầu vào bằng khuôn khổ phát hiện khuôn mặt FaceXZoo dựa trên PyTorch, thu được 16 khung hình tập trung vào khuôn mặt từ mỗi đoạn clip. Các nhiệm vụ tiền đề được mô tả ở trên sau đó được huấn luyện trên tập dữ liệu CelebV-HQ, bao gồm 35.000 video khuôn mặt chất lượng cao.

Từ bài báo nguồn, các ví dụ từ tập dữ liệu CelebV-HQ được sử dụng trong dự án mới.

Nửa số ví dụ dữ liệu được che, buộc hệ thống phải học các nguyên tắc chung thay vì quá拟 với dữ liệu nguồn.

Đối với nhiệm vụ tái tạo khung hình có mặt nạ, mô hình được huấn luyện để dự đoán các vùng bị thiếu của các khung hình video bằng cách sử dụng mất mát L1, làm giảm sự khác biệt giữa nội dung gốc và nội dung tái tạo.

Đối với nhiệm vụ thứ hai, mô hình được huấn luyện để tạo ra các bản đồ cho 16 đơn vị hành động khuôn mặt, mỗi đơn vị đại diện cho các chuyển động cơ tinh tế trong các khu vực bao gồm lông mày, mí mắt, mũi và môi, một lần nữa được giám sát bởi mất mát L1.

Sau khi tiền huấn luyện, hai bộ mã hóa được kết hợp và tinh chỉnh cho việc phát hiện deepfake bằng cách sử dụng tập dữ liệu FaceForensics++, chứa cả video thực và bị thao túng.

Tập dữ liệu FaceForensics++ đã là điểm chuẩn trung tâm của việc phát hiện deepfake kể từ năm 2017, mặc dù bây giờ nó đã khá lỗi thời so với các kỹ thuật tổng hợp khuôn mặt mới nhất.

Để giải quyết sự mất cân bằng lớp, các tác giả đã sử dụng Mất mát Focal (một biến thể của mất mát entropy chéo), điều này nhấn mạnh các ví dụ khó hơn trong quá trình huấn luyện.

Tất cả việc huấn luyện được thực hiện trên một GPU RTX 4090 đơn với 24Gb VRAM, với kích thước batch là 8 trong 600 epoch (các lần xem xét lại dữ liệu), sử dụng điểm tiền huấn luyện từ VideoMAE để khởi tạo trọng số cho mỗi nhiệm vụ tiền đề.

Kiểm tra

Các đánh giá định lượng và định tính đã được thực hiện chống lại một loạt các phương pháp phát hiện deepfake: FTCN; RealForensics; Lip Forensics; EfficientNet+ViT; Face X-Ray; Alt-Freezing; CADMM; LAANet; và SBI của BlendFace. Trong tất cả các trường hợp, mã nguồn có sẵn cho các khuôn khổ này.

Các thử nghiệm tập trung vào các deepfake được chỉnh sửa cục bộ, nơi chỉ một phần của đoạn clip nguồn được thay đổi. Các kiến trúc được sử dụng bao gồm Diffusion Video Autoencoders (DVA); Stitch It In Time (STIT); Disentangled Face Editing (DFE); Tokenflow; VideoP2P; Text2Live; và FateZero. Những phương pháp này sử dụng các cách tiếp cận đa dạng (khả năng khuếch tán cho DVA và StyleGAN2 cho STIT và DFE, ví dụ)

Các tác giả tuyên bố:

‘Để đảm bảo phạm vi bao phủ toàn diện của các thao túng khuôn mặt khác nhau, chúng tôi đã kết hợp một loạt các tính năng khuôn mặt và chỉnh sửa thuộc tính. Đối với chỉnh sửa tính năng khuôn mặt, chúng tôi đã thay đổi kích thước mắt, khoảng cách mắt-trán, tỷ lệ mũi, khoảng cách mũi-miệng, tỷ lệ môi và tỷ lệ gò má. Đối với chỉnh sửa thuộc tính khuôn mặt, chúng tôi đã thay đổi các biểu cảm như cười, giận, ghê tởm và buồn.

‘Sự đa dạng này là cần thiết để xác nhận tính vững chắc của mô hình chúng tôi trên một loạt các chỉnh sửa cục bộ. Tổng cộng, chúng tôi đã tạo ra 50 video cho mỗi phương pháp chỉnh sửa được đề cập ở trên và xác nhận sự tổng quát hóa mạnh mẽ của phương pháp chúng tôi để phát hiện deepfake.’

Các tập dữ liệu deepfake cũ hơn cũng được bao gồm trong các vòng, cụ thể là Celeb-DFv2 (CDF2); DeepFake Detection (DFD); DeepFake Detection Challenge (DFDC); và WildDeepfake (DFW).

Các chỉ số đánh giá bao gồm Diện tích dưới đường cong (AUC); Độ chính xác trung bình; và Điểm F1 trung bình.

Từ bài báo: so sánh trên các deepfake cục bộ gần đây cho thấy phương pháp được đề xuất vượt trội so với tất cả các phương pháp khác, với lợi ích 15 đến 20 phần trăm trong cả AUC và độ chính xác trung bình so với phương pháp tốt nhất tiếp theo.

Các tác giả cũng cung cấp một so sánh phát hiện trực quan cho các视图 được chỉnh sửa cục bộ (chỉ được sao chép một phần ở đây do thiếu không gian):

Một video thực được thay đổi bằng cách sử dụng ba thao túng cục bộ khác nhau để tạo ra các bản giả vẫn tương tự như bản gốc. Các khung hình đại diện cùng với điểm số phát hiện giả trung bình cho mỗi phương pháp được hiển thị ở đây. Trong khi các bộ phát hiện hiện có gặp khó khăn với các chỉnh sửa tinh tế này, mô hình được đề xuất nhất quán phân bổ điểm số giả cao, cho thấy sự nhạy cảm cao hơn với các thay đổi cục bộ.

Các nhà nghiên cứu nhận xét:

‘[Các] phương pháp phát hiện SOTA hiện có, [LAANet], [SBI], [AltFreezing] và [CADMM], trải qua sự sụt giảm đáng kể về hiệu suất trên các phương pháp tạo deepfake mới nhất. Các phương pháp SOTA hiện tại cho thấy AUC thấp như 48-71%, chứng tỏ khả năng tổng quát hóa kém đến các deepfake mới nhất.

‘Mặt khác, phương pháp của chúng tôi chứng minh sự tổng quát hóa mạnh mẽ, đạt được AUC trong khoảng từ 87-93%. Xu hướng tương tự cũng đáng chú ý trong trường hợp của độ chính xác trung bình. Như được hiển thị [dưới đây], phương pháp của chúng tôi cũng đạt được hiệu suất cao và cạnh tranh với các mô hình phát hiện deepfake gần đây trên các tập dữ liệu chuẩn, vượt quá 90% AUC và cạnh tranh với các mô hình phát hiện deepfake gần đây.’

Hiệu suất trên các tập dữ liệu deepfake truyền thống cho thấy phương pháp được đề xuất vẫn cạnh tranh với các phương pháp hàng đầu, cho thấy sự tổng quát hóa mạnh mẽ trên nhiều loại thao túng.

Các tác giả quan sát rằng những thử nghiệm cuối cùng này liên quan đến các mô hình có thể được coi là lỗi thời, và được giới thiệu trước năm 2020.

Bằng cách cung cấp một hình ảnh trực quan rộng hơn về hiệu suất của mô hình mới, các tác giả cung cấp một bảng rộng ở cuối, chỉ một phần của nó chúng tôi có không gian để sao chép ở đây:

Trong những ví dụ này, một video thực được thay đổi bằng cách sử dụng ba chỉnh sửa cục bộ để tạo ra các bản giả tương tự như bản gốc. Các điểm số tin cậy trung bình trên các thao túng này cho thấy, theo các tác giả, rằng phương pháp được đề xuất phát hiện các giả mạo một cách đáng tin cậy hơn so với các phương pháp hàng đầu khác. Vui lòng tham khảo trang cuối của tệp PDF nguồn để xem kết quả đầy đủ.

Các tác giả cho rằng phương pháp của họ đạt được điểm số tin cậy trên 90% để phát hiện các chỉnh sửa cục bộ, trong khi các phương pháp phát hiện hiện có vẫn dưới 50% trên cùng nhiệm vụ. Họ giải thích sự chênh lệch này như bằng chứng về cả sự nhạy cảm và tính tổng quát hóa của cách tiếp cận của họ, cũng như là một dấu hiệu của những thách thức mà các kỹ thuật hiện tại phải đối mặt khi xử lý các thao túng khuôn mặt tinh tế như vậy.

Để đánh giá độ tin cậy của mô hình trong các điều kiện thế giới thực, và theo phương pháp được thiết lập bởi CADMM, các tác giả đã kiểm tra hiệu suất của nó trên các video bị thay đổi bởi các biến dạng chung, bao gồm điều chỉnh độ bão hòa và độ tương phản, mờ Gaussian, pixelation và các hiện象 nén khối, cũng như nhiễu thêm.

Kết quả cho thấy độ chính xác phát hiện vẫn ổn định trên các biến dạng này. Sự suy giảm đáng chú ý duy nhất xảy ra khi có nhiễu Gaussian, gây ra sự giảm hiệu suất khiêm tốn. Các thay đổi khác có tác động tối thiểu.

Một minh họa về cách độ chính xác phát hiện thay đổi dưới các biến dạng video khác nhau. Phương pháp mới vẫn vững chắc trong hầu hết các trường hợp, với chỉ một sự suy giảm nhỏ trong AUC. Sự suy giảm đáng kể nhất xảy ra khi nhiễu Gaussian được giới thiệu.

Những phát hiện này, theo các tác giả, cho thấy khả năng phát hiện các chỉnh sửa cục bộ của phương pháp không dễ bị gián đoạn bởi các suy giảm chất lượng video điển hình, hỗ trợ sự vững chắc tiềm năng của nó trong các môi trường thực tế.

Kết luận

Thao túng AI tồn tại trong ý thức công chúng chủ yếu trong khái niệm truyền thống về deepfake, nơi danh tính của một người được áp đặt lên cơ thể của một người khác, người có thể đang thực hiện các hành động trái với nguyên tắc của chủ sở hữu danh tính. Khái niệm này đang dần được cập nhật để công nhận các khả năng tinh vi hơn của các hệ thống video tạo sinh (trong loại deepfake video mới) và khả năng của các mô hình khuếch tán ẩn (LDM) nói chung.

Vì vậy, có lý khi mong đợi rằng loại chỉnh sửa cục bộ mà bài báo mới quan tâm có thể không thu hút sự chú ý của công chúng cho đến khi một sự kiện quan trọng như của Pelosi xảy ra, vì mọi người bị phân tâm khỏi khả năng này bởi các chủ đề dễ thu hút tiêu đề hơn như gian lận deepfake video.

Mặc dù vậy, giống như diễn viên Nic Cage đã thể hiện mối quan ngại nhất quán về khả năng các quá trình hậu sản xuất ‘sửa đổi’ hiệu suất của một diễn viên, chúng ta cũng nên khuyến khích nhận thức cao hơn về loại ‘sửa đổi tinh tế’ video này – không chỉ vì chúng ta天 nhiên rất nhạy cảm với các biến thể nhỏ của biểu cảm khuôn mặt, mà còn vì bối cảnh có thể thay đổi đáng kể tác động của các chuyển động khuôn mặt nhỏ (hãy xem xét tác động phá vỡ của việc nhăn mặt thậm chí tại một đám tang, ví dụ).

Được xuất bản lần đầu vào thứ Tư, ngày 2 tháng 4 năm 2025