Sửa lỗi cuộc gọi video mờ trong thời gian thực chỉ sử dụng CPU

Một phương pháp mới tạo ra mô hình AI của khuôn mặt bạn trong vài giây, để sửa lỗi cuộc gọi video mờ trong thời gian thực — chạy hoàn toàn trên CPU cơ bản của laptop, không cần phần cứng mạnh mẽ, hoặc xử lý đám mây.

Mặc dù người dùng ở các quốc gia có tài nguyên hạn chế bị ảnh hưởng bởi hình ảnh cuộc gọi video chất lượng thấp, nhưng đây cũng là một vấn đề “thế giới thứ nhất” – ví dụ, nếu một trong những người tham gia cuộc gọi đang sử dụng điểm nóng Wi-Fi quá tải, hoặc một số quá trình hoặc người khác trong hộ gia đình đang chiếm băng thông có sẵn; hoặc thậm chí nếu người đó đang truy cập một quốc gia có kết nối kém.

Vì vấn đề này là phổ biến, một số lượng đáng kể sự chú ý đã được dành cho nó trong tài liệu nghiên cứu, với các giải pháp được đề xuất thông qua deblocking, denoising, super-resolution, và các phương pháp khác. Hệ thống VQFR từ năm 2022 phục hồi hình ảnh khuôn mặt bị suy giảm bằng cách thay thế các tính năng hình ảnh chất lượng thấp bằng các biểu diễn chất lượng cao hơn được rút ra từ một cuốn sách mã học; năm 2021, GFP-GAN tận dụng các khuôn mặt ưu tiên sinh để cải thiện hình ảnh LQ; và RTFVE: Cải thiện video khuôn mặt thời gian thực sử dụng hình ảnh tham chiếu chất lượng cao để thực hiện phục hồi khuôn mặt:

Click để phát, nếu cần.Từ dự án cải thiện khuôn mặt RTFVE năm 2025, cải thiện khuôn mặt được tăng tốc bởi GPU. Nguồn

Từ góc độ của người dùng có tài nguyên hạn chế, hầu hết các giải pháp này không khả thi, vì chúng offload công việc cho GPU mà có thể không có sẵn trong thiết lập của người dùng. Tuy nhiên, sử dụng CPU (có khả năng thấp hơn) cho các nhiệm vụ thị giác máy tính thường là một quá trình ngoại tuyến, có nghĩa là một người sẽ cần phải chờ CPU hoàn thành quá trình trước khi đầu ra sẽ có sẵn.

Điều này là không thể chấp nhận được cho kịch bản cuộc gọi video, vốn là một nguồn tài nguyên khổng lồ nhưng cũng thường là một nguồn tài nguyên khan hiếm: bất kỳ hệ thống cải thiện khuôn mặt真正 dân chủ nào cũng cần phải chạy trên CPU với tốc độ tối thiểu 24fps ở độ phân giải hợp lý; và đây là một yêu cầu lớn.

Đối mặt

Kịch bản đòi hỏi này được đáp ứng bởi một đề xuất nghiên cứu mới từ Mỹ, được cho là có khả năng đào tạo một mô hình trong ít hơn 100 giây từ các khung hình thưa thớt của khuôn mặt người xem, với mô hình cuối cùng sau đó chạy như một lớp trung gian giữa người dùng và hội nghị, thông qua các lớp API chính thức trong các ứng dụng hội nghị video như Zoom:

Click để phát, nếu cần.Từ trang dự án FSFVE, các cải thiện mẫu cho các khuôn mặt trong kịch bản webcam, sử dụng mô hình nhẹ (3,5MB) được đào tạo trong ít hơn hai phút. Nguồn

Bản thảo cho biết:

‘Mô hình FSFVE có thể được đào tạo ngay trước khi gọi video hoặc tại bắt đầu cuộc gọi. Chỉ cần một vài hình ảnh chất lượng cao của chủ thể là cần thiết; ví dụ: 5 đến 30 hình ảnh, khiến nó trở thành học tập vài lần. Ngay trước khi gọi hoặc tại bắt đầu cuộc gọi, một vài giây video chất lượng cao của người dùng có thể được thu được; ví dụ: 3 giây, cung cấp 3∗24=72 khung hình, giả sử tốc độ khung hình là 24 khung hình/giây (FPS).

‘Video chất lượng cao này có thể nhanh chóng được mã hóa lại thành video chất lượng thấp dựa trên các thiết lập cho cuộc gọi video, và sau đó với các khung hình chất lượng thấp và cao, mô hình được đào tạo.’

Một tính năng đáng chú ý của hệ thống mới là sự linh hoạt của nó trong việc ai “trả tiền” cho việc xử lý mô hình; nếu người xem không thể cung cấp sức mạnh CPU cho việc đào tạo, điều này có thể được offload cho người tương ứng, bằng cách gửi một số khung hình chất lượng cao, với mô hình được đào tạo “từ xa” cho người dùng có tài nguyên hạn chế.

Thay vào đó, việc đào tạo có thể được offload một cách hệ thống đến một máy chủ để đào tạo. Các tác giả quan sát:

‘Máy chủ có thể được sử dụng cho các trường hợp thiết bị gửi và nhận quá chậm để đào tạo (hoặc thậm chí nếu không, để giảm bớt gánh nặng cho chúng). ‘

‘Trong mọi trường hợp, kích thước của mô hình tương đối nhỏ (khoảng 3,5 MB) cũng như một vài khung hình chất lượng cao, và một khi đào tạo hoàn thành, mô hình có thể chạy trong thời gian thực trên CPU laptop thông thường.’

Trong các thử nghiệm, với các mô hình được đào tạo chống lại các mô hình cơ bản và các công việc trước đó (bao gồm cả RTFVE, là cơ sở của công việc mới), FSFVE liên tục vượt trội so với video nén ban đầu, một ResNet được tối ưu hóa cho CPU và mô hình RTFVE-0 đã sửa đổi, trong khi vẫn chạy trong thời gian thực trên CPU.

Bản thảo mới có tiêu đề FSFVE: Cải thiện video khuôn mặt nén vài lần, và đi kèm với một bản demo và một kho Git.

Phương pháp

FSFVE được đào tạo trên tập dữ liệu mở FaceForensics++*, bao gồm 363 video 1080p của các diễn viên nói, từ đó các tác giả đã trích xuất danh mục nói chống lại tường như gần nhất với phong cách của một cuộc gọi video thông thường:

Click để phát, nếu cần.Ví dụ từ tập dữ liệu FaceForensics++. Nguồn

Phần phụ này bao gồm 27 video, mỗi video khoảng 972 khung hình – hầu hết là các khung hình mặt trước, nhưng cũng có một số khung hình bên.

Để tạo ra các video chất lượng thấp được thiết kế để mô phỏng các vấn đề kết nối cuộc gọi video, các tác giả đã nén tập dữ liệu bằng cách sử dụng các codec video H264 và H265. Các mức nén được đặt thành một CRF trong khoảng từ 36, 40 và 44 (xét rằng 0 là không mất dữ liệu và 51 là cực kỳ bị chặn).

Mỗi khung hình được cắt thành một khu vực 256 × 256 xung quanh khuôn mặt bằng cách sử dụng BlazeFace face detector, sau đó các điểm đánh dấu khuôn mặt được sử dụng để căn chỉnh khuôn mặt bằng cách định vị mắt và áp dụng một biến dạng affine (điều này xoay, thay đổi kích thước và di chuyển khuôn mặt vào một vị trí nhất quán), để mắt vẫn ở mức và ở vị trí tương tự trên tất cả các khung hình.

Điều này được thực hiện với Thư viện nhận dạng khuôn mặt:

Ví dụ về việc trích xuất các đường nét khuôn mặt từ một hình ảnh bằng Thư viện nhận dạng khuôn mặt Python. Nguồn

Vì mô hình được thiết kế để học từ chỉ một vài khung hình từ một cuộc gọi video, các khung hình đào tạo cần phải bắt được càng nhiều sự thay đổi khuôn mặt càng tốt. Do đó, k-means clustering được sử dụng thay vì các phương pháp chọn đơn giản hơn (ví dụ: lấy mẫu ngẫu nhiên hoặc khoảng cách cố định).

Mỗi khung hình được cắt và căn chỉnh được truyền qua mã hóa khuôn mặt RTFVE để tạo ra một biểu diễn số, sau đó k-means clustering nhóm các khung hình tương tự vào 30 cụm. Quá trình nhóm này được lặp lại năm lần để có được nhóm tốt nhất, và khung hình gần nhất với tâm của mỗi cụm được chọn để đào tạo. Quá trình này tạo ra một tập hợp đa dạng gồm 30 hình ảnh cho mỗi video.

Đào tạo và Kiểm tra

Các mô hình được đào tạo trong 100 epoch, điều này khá thấp, xét rằng số lượng hình ảnh tham gia rất nhỏ. Tuy nhiên, như các tác giả quan sát, một mô hình quá拟 thực sự là mong muốn trong kịch bản này, ngay cả khi nó không thể bắt được tất cả các sự kiện có thể xảy ra, chẳng hạn như biểu cảm khuôn mặt không phổ biến, tư thế hoặc che giấu / che khuất các tính năng khuôn mặt. Ưu tiên thay vào đó là sự linh hoạt vừa phải trong tổng quát hóa, và tốc độ đào tạo.

RAdam được sử dụng với tốc độ học 10^-4.

Đối với các thử nghiệm ban đầu, hệ thống được so sánh với video nén ban đầu; một ResNet nhẹ được cấu hình cho suy luận CPU thời gian thực; và RTFVE – hệ thống cải thiện khuôn mặt CPU thời gian thực duy nhất khác được biết đến.

Để đảm bảo một sự so sánh công bằng, RTFVE đã được sửa đổi để loại bỏ sự phụ thuộc vào hình ảnh tham chiếu chất lượng cao trong quá trình suy luận trong khi vẫn giữ tốc độ và số lượng tham số tương tự, tạo ra một biến thể gọi là RTFVE-0. Các mô hình ResNet và RTFVE-0 được đào tạo bằng cách sử dụng hàm mất mát L1. Để đảm bảo một sự so sánh công bằng, tất cả các mô hình sử dụng cùng một bộ tối ưu hóa RAdam và thiết lập đào tạo, với một mô hình riêng biệt được đào tạo từ 30 khung hình, cho mỗi video.

Để tăng tốc đào tạo, một tổn thất tiêu điểm tùy chỉnh trong miền tần số (tập trung vào các chi tiết hình ảnh quan trọng nhất trong quá trình đào tạo) được giới thiệu, để đưa trọng lượng lớn hơn cho các thành phần DCT tần số thấp (thông tin hình ảnh sau khi chuyển đổi thành giá trị tần số), có ảnh hưởng lớn nhất đến chất lượng hình ảnh được nhận thức.

Trọng lượng được rút ra từ ma trận lượng tử độ sáng JPEG, khiến mô hình ưu tiên các cấu trúc hình ảnh quan trọng nhất trong quá trình đào tạo.

Thử nghiệm định lượng

Cả độ chính xác xây dựng kỹ thuật (biến dạng) và chất lượng hình ảnh được nhận thức được đo lường cho các thử nghiệm. Biến dạng được đo bằng Tỷ lệ tín hiệu trên nhiễu đỉnh (PSNR) và Chỉ số tương tự cấu trúc (SSIM); và chất lượng nhận thức bằng Tương tự hình ảnh nhận thức học được (LPIPS):

Hiệu suất của FSFVE so với video nén ban đầu, ResNet được tối ưu hóa cho CPU và RTFVE-0 đã sửa đổi trên video H.264 và H.265 ở ba mức nén, với PSNR và SSIM cao hơn cho thấy chất lượng xây dựng tốt hơn, và LPIPS thấp hơn cho thấy chất lượng nhận thức tốt hơn.

FSFVE liên tục vượt trội so với cả video nén ban đầu và các mô hình cải thiện khuôn mặt dựa trên CPU khác, trên mọi mức nén.

Với video H.264, PSNR tăng 1,11dB, 1,37dB và 1,51dB so với baseline tại các giá trị CRF 36, 40 và 44, với các cải tiến tương ứng trong SSIM và LPIPS thấp hơn ở hai mức nén cao hơn (cho thấy chất lượng hình ảnh được nhận thức tốt hơn).

Các lợi ích tương tự được ghi nhận với H.265, cho thấy rằng phương pháp vẫn hiệu quả trên cả hai codec video chính. Như được hiển thị dưới đây, sự cải thiện trở nên rõ ràng hơn khi nén tăng, cho thấy rằng phương pháp hoạt động đặc biệt tốt trong các điều kiện băng thông thấp mà nó được thiết kế để giải quyết:

PSNR khi tăng bitrate cho video H.264 ban đầu và đầu ra được cải thiện. Khoảng cách mở rộng ở bitrate thấp hơn cho thấy FSFVE mang lại lợi ích chất lượng lớn nhất trong các điều kiện nén, hạn chế băng thông.

ResNet được tối ưu hóa cho CPU và RTFVE-0 chỉ mang lại các cải tiến khiêm tốn so với baseline nén, trong khi FSFVE vượt trội so với cả hai với hơn 1,1dB, trong khi vẫn duy trì hiệu suất thời gian thực ở 30,24 khung hình/giây, mặc dù chỉ chứa khoảng một triệu tham số.

Como được hiển thị dưới đây, hiệu suất cải thiện đều đặn khi có thêm khung hình đào tạo. Ngay cả với chỉ năm hình ảnh đào tạo, FSFVE cải thiện PSNR hơn 0,75dB so với baseline nén, trong khi mười khung hình đào tạo đủ để vượt quá mức cải tiến 1dB – cho thấy rằng phương pháp vẫn hiệu quả với số lượng dữ liệu đào tạo rất hạn chế:

Ảnh hưởng của kích thước tập đào tạo đến PSNR cho các khung hình H.264 không nhìn thấy ở CRF 44. Ngay cả năm hình ảnh đào tạo cũng cải thiện chất lượng so với baseline nén, với hiệu suất tăng đều đặn khi có thêm khung hình.

Thử nghiệm định tính

Trong kết quả dưới đây, cho giai đoạn định tính của thử nghiệm, chúng ta thấy các khung hình video H.264 nén nặng ở CRF 44 với đầu ra FSFVE tương ứng:

So sánh các khung hình video H.264 nén nặng ở CRF 44 với đầu ra FSFVE tương ứng. Các kết quả được cải thiện, theo bản thảo, giảm các artifact nén, phục hồi cấu trúc khuôn mặt và tạo ra làn da mịn, tự nhiên hơn trong khi vẫn giữ nguyên bản sắc và biểu cảm của chủ thể. Vui lòng tham khảo tệp PDF nguồn và video gốc để có các ví dụ tốt hơn.

Các tác giả khẳng định rằng các hình ảnh nén hiển thị các artifact nổi bật xung quanh mắt, mũi và miệng, cùng với làn da có kết cấu không tự nhiên và các biến dạng trong các tính năng khuôn mặt, trong khi các kết quả được cải thiện giảm đáng kể các khiếm khuyết này:

‘Trong ví dụ đầu tiên, mắt không rõ ràng với màu mắt hòa trộn với màu mắt. Có dấu hiệu rõ ràng của aliasing với môi. lông mày thiếu định nghĩa và da trông bị biến dạng. Trong ví dụ thứ hai, da rất có kết cấu với các artifact điểm. ‘

‘Có các artifact chặn dưới miệng làm thay đổi hình dạng cằm. Ngoài ra, còn có các đường thẳng đứng. ‘

‘Mô hình của chúng tôi có thể khắc phục các artifact này, tạo ra một đầu ra trực quan hấp dẫn với làn da rõ ràng hơn và khôi phục một số chi tiết tinh tế đã bị mất trong quá trình nén. ‘

‘Điều quan trọng là, đầu ra được cải thiện vẫn trung thành với bản sắc trong video.’

Kết luận

Dường như những nỗ lực liên tục này trên toàn ngành và học thuật để tăng chất lượng dữ liệu cuộc gọi video tín hiệu thấp cuối cùng sẽ va chạm với những nỗ lực đối lập để xác định footage deepfake trong cuộc gọi video.

Vì, như bản thảo mới lưu ý, các hệ thống trung gian như FSFVE có thể được áp dụng hợp pháp cho các luồng video cuộc gọi thông qua các API chính thức, có thể các nội dung không được xử lý sẽ vẫn có sẵn để sử dụng bởi các biện pháp chống deepfake, khi chúng xuất hiện – và trở nên quan trọng hơn.

* Được đề cập trong bản thảo mới với tên ‘tập dữ liệu DeepFakeDetector’, mặc dù nó không có vẻ được biết đến với tên này, ngay cả trong bản thảo FaceForensics++ mà các tác giả liên kết đến.

Được xuất bản lần đầu vào thứ ba, ngày 14 tháng 7 năm 2026