Correction des appels vidéo flous en temps réel à l’aide uniquement du CPU

Une nouvelle méthode crée un modèle d’intelligence artificielle de votre visage en quelques secondes, pour corriger les appels vidéo flous en temps réel – fonctionnant entièrement sur un ordinateur portable de base, sans nécessiter de matériel puissant, ni de traitement cloud.

Bien que les utilisateurs des pays à ressources limitées soient les plus touchés par les images de vidéo de mauvaise qualité, il s’agit souvent d’un problème de « premier monde » également – par exemple, si l’un des participants à une conversation utilise un point d’accès Wi-Fi surchargé, ou si un autre processus ou personne dans le ménage du participant domine la bande passante disponible ; ou même si cette personne se trouve dans un pays à connectivité faible.

Étant donné que le problème est courant, une certaine attention a été portée à ce sujet dans la littérature de recherche, avec des solutions proposées via le déblocage, le débruitage, la super-résolution et diverses autres méthodes. Le système VQFR de 2022 restaure les images faciales dégradées en remplaçant les caractéristiques d’image de mauvaise qualité par des représentations de meilleure qualité tirées d’un codebook appris ; le GFP-GAN de 2021 utilise des priorités faciales génératives pour améliorer les images de mauvaise qualité ; et RTFVE : Amélioration de la vidéo faciale en temps réel utilise des images de référence de haute qualité pour effectuer la restauration du visage :

Cliquez pour jouer, si nécessaire. À partir du projet d’amélioration de visage RTFVE de 2025, amélioration de la face accélérée par GPU. Source

Du point de vue de l’utilisateur à ressources limitées, la plupart de ces solutions ne sont pas viables, car elles déchargent le travail sur un GPU qui peut ne pas être disponible dans la configuration de cet utilisateur. Cependant, utiliser le CPU (beaucoup moins capable) pour les tâches de vision par ordinateur est normalement un processus hors ligne, ce qui signifie que vous devriez attendre que le CPU termine le traitement avant que la sortie soit disponible.

Ceci est inacceptable pour le scénario de la vidéoconférence, qui est gourmand en ressources mais également, souvent, à ressources limitées : tout système d’amélioration faciale vraiment démocratique devrait fonctionner sur le CPU à un minimum de 24 images par seconde à une résolution raisonnable ; et c’est beaucoup demander.

Faire

Ce scénario exigeant est rencontré par une nouvelle offre de recherche aux États-Unis, qui est capable, selon les auteurs, de former un modèle en moins de 100 secondes à partir de cadres épars du visage de l’utilisateur, avec le modèle final fonctionnant ensuite comme une couche intermédiaire entre l’utilisateur et la conférence, via des couches API officielles dans des applications de vidéoconférence telles que Zoom :

Cliquez pour jouer, si nécessaire. À partir de la page du projet FSFVE, améliorations d’exemples de scénarios de webcam, en utilisant un modèle léger (3,5 Mo) formé en moins de deux minutes. Source

Le document indique :

‘Le modèle FSFVE peut être formé soit juste avant une vidéoconférence, soit au début de l’appel. Seules quelques images de haute qualité du sujet sont nécessaires ; par exemple, 5 à 30 images, ce qui fait un apprentissage à quelques exemples. Juste avant l’appel, ou au début de l’appel, quelques secondes de vidéo de haute qualité de l’utilisateur peuvent être obtenues ; par exemple, 3 secondes, fournissant 3∗24=72 cadres en supposant un taux de cadre de 24 images par seconde (FPS).

‘Cette vidéo de haute qualité peut être rapidement réencodée en vidéo de mauvaise qualité en fonction des paramètres de la vidéoconférence, et ensuite, avec les cadres de haute et de mauvaise qualité, le modèle est formé.’

Une caractéristique notable du nouveau système est sa flexibilité en ce qui concerne qui « paie » pour le traitement du modèle ; si l’utilisateur lui-même ne peut, pour une raison quelconque, fournir la puissance de calcul du CPU pour la formation, cela peut être déchargé sur le correspondant, en envoyant un petit nombre de cadres de haute qualité, avec le modèle ainsi formé « à distance » à l’utilisateur à ressources limitées.

Alternativement, la formation peut être déchargée systématiquement sur un serveur pour la formation. Les auteurs observent :

‘Le serveur peut être utilisé pour les cas où les appareils d’envoi et de réception sont trop lents pour la formation (ou même s’ils ne le sont pas, pour les soulager de la tâche).

‘Dans tous les cas, la taille du modèle est relativement petite (environ 3,5 Mo) ainsi que quelques cadres de haute qualité, et une fois la formation terminée, le modèle peut fonctionner en temps réel sur un ordinateur portable typique.’

Dans les tests, avec des modèles formés par rapport aux références et aux travaux antérieurs (y compris le RTFVE mentionné, qui forme la base du nouveau travail), le FSFVE a constamment surpassé la vidéo compressée non améliorée, un ResNet optimisé pour le CPU en temps réel et le modèle RTFVE-0 modifié, tout en fonctionnant toujours en temps réel sur un CPU.

Le nouvel article est intitulé FSFVE : Amélioration de la vidéo faciale compressée à quelques exemples, et est accompagné d’une démonstration et d’un référentiel GitHub.

Méthode

Le FSFVE a été formé sur l’ensemble de données ouvert FaceForensics++*, qui se compose de 363 vidéos 1080p d’acteurs parlant, à partir desquels les auteurs ont extrait la catégorie parlant contre un mur, comme étant la plus proche du style d’une vidéoconférence typique :

Cliquez pour jouer, si nécessaire. Exemples à partir de l’ensemble de données FaceForensics++. Source

Ce sous-ensemble se compose de 27 vidéos d’environ 972 cadres chacune – principalement des vues frontales, mais, nécessairement, certaines vues latérales également.

Pour générer des vidéos de mauvaise qualité conçues pour simuler des problèmes de connexion de vidéoconférence, les auteurs ont compressé l’ensemble de données à l’aide des codecs vidéo H264 et H265. Les niveaux de compression ont été définis sur une plage CRF allant de 36, 40 et 44 (en considérant que zéro est sans perte et 51 est extrêmement bloqué).

Chaque cadre a été découpé dans une région de 256 × 256 autour du visage à l’aide du détecteur de visage BlazeFace, après quoi les points clés du visage ont été utilisés pour aligner le visage en localisant les yeux et en appliquant une transformation affine (qui fait pivoter, met à l’échelle et déplace le visage dans une position cohérente), de sorte que les yeux restent à niveau et dans une position approximativement identique dans tous les cadres.

Ceci a été réalisé avec la bibliothèque de reconnaissance faciale :

Un exemple d’extraction de linéaments faciaux à partir d’une image avec la bibliothèque de reconnaissance faciale Python. Source

Parce que le modèle est conçu pour apprendre à partir d’un seul cadre de quelques cadres d’une seule vidéoconférence, les cadres de formation nécessaires pour capturer autant de variations faciales que possible. Par conséquent, le regroupement k-means a été utilisé au lieu de méthodes de sélection plus simples (c’est-à-dire échantillonnage aléatoire ou intervalle fixe).

Chaque cadre découpé et aligné a été passé à travers l’encodeur de visage RTFVE mentionné pour générer une représentation numérique, après quoi le regroupement k-means a regroupé des cadres similaires en 30 clusters. Ce processus de regroupement a été répété cinq fois pour obtenir le meilleur regroupement, et le cadre le plus proche du centre de chaque cluster a été sélectionné pour la formation. Ce processus a produit un ensemble diversifié de 30 images pour chaque vidéo.

Formation et tests

Les modèles ont été formés pendant 100 époques, ce qui est plutôt bas, compte tenu du très petit nombre d’images impliquées. Cependant, comme les auteurs l’observent, un modèle surajusté est en fait désirable dans ce scénario, même s’il ne peut pas capturer toutes les éventualités possibles, telles que des expressions faciales inhabituelles, des poses ou la dissimulation/occultation de caractéristiques faciales. Les priorités, au lieu de cela, sont une flexibilité modérée dans la généralisation, et la rapidité de la formation.

Le optimiseur RAdam a été utilisé à un taux d’apprentissage de 10^-4.

Pour les tests initiaux, le système a été comparé à la vidéo compressée originale ; un ResNet léger configuré pour l’inférence CPU en temps réel ; et le RTFVE mentionné – le seul autre système d’amélioration faciale CPU en temps réel connu.

Pour garantir une comparaison équitable, le RTFVE a été modifié pour supprimer sa dépendance à l’égard des images de référence de haute qualité pendant l’inférence tout en préservant une vitesse et un nombre de paramètres similaires, produisant une variante appelée RTFVE-0. Les modèles ResNet et RTFVE-0 ont été formés à l’aide de la fonction de perte L1. Pour garantir une comparaison équitable, tous les modèles ont utilisé le même optimiseur RAdam et les mêmes paramètres de formation, avec une instance de modèle spécifique formée à partir de 30 cadres, pour chaque vidéo.

Pour accélérer la formation, une perte de focalisation personnalisée dans le domaine fréquentiel (mettant l’accent sur les détails d’image les plus visuellement importants pendant la formation) a été introduite, pour donner plus de poids aux composants DCT de basse fréquence (les informations d’image après conversion en valeurs de fréquence), qui ont le plus d’influence sur la qualité d’image perçue.

Le poids a été dérivé de la matrice de quantification de luminance JPEG, ce qui a amené le modèle à donner la priorité aux structures d’image les plus visuellement importantes pendant la formation.

Tests quantitatifs

La précision technique de reconstruction (distorsion) et la qualité visuelle perçue ont été mesurées pour les tests. La distorsion a été mesurée par le rapport signal-bruit de pointe (PSNR) et l’indice de similarité structurelle (SSIM) ; et la qualité perçue par la similarité d’image perçue apprise (LPIPS) :

Performances du FSFVE par rapport à la vidéo compressée originale, un ResNet optimisé pour le CPU et le RTFVE-0 modifié, à travers les vidéos H.264 et H.265 à trois niveaux de compression, avec des PSNR et SSIM plus élevés indiquant une meilleure qualité de reconstruction, et des scores LPIPS plus bas indiquant une meilleure qualité perçue.

Le FSFVE a constamment surpassé à la fois la vidéo compressée originale et les modèles d’amélioration CPU concurrents, à tous les niveaux de compression.

Avec la vidéo H.264, le PSNR a augmenté de 1,11 dB, 1,37 dB et 1,51 dB par rapport à la référence aux valeurs CRF de 36, 40 et 44, avec des améliorations correspondantes du SSIM et des scores LPIPS plus bas aux deux niveaux de compression les plus élevés (indiquant une meilleure qualité d’image perçue).

Des gains similaires ont été enregistrés avec la vidéo H.265, suggérant que l’approche reste efficace sur les deux principaux codecs vidéo. Comme le montre ci-dessous, l’amélioration est devenue plus prononcée à mesure que la compression augmentait, indiquant que la méthode a performé particulièrement bien dans les conditions de faible bande passante pour lesquelles elle a été conçue :

PSNR en fonction du débit binaire pour la vidéo H.264 originale et la sortie améliorée. L’écart croissant à des débits binaires plus faibles montre que le FSFVE offre ses plus grands gains de qualité sous les conditions de compression les plus fortes, à contrainte de bande passante.

Le ResNet optimisé pour le CPU et le RTFVE-0 n’ont fourni que des améliorations modestes par rapport à la référence compressée, tandis que le FSFVE les a dépassés de plus de 1,1 dB, tout en maintenant les performances en temps réel à 30,24 images par seconde, malgré la présence d’environ un million de paramètres.

Comme le montre ci-dessous, les performances ont augmenté régulièrement à mesure que davantage de cadres de formation étaient fournis. Même avec seulement cinq images de formation, le FSFVE a amélioré le PSNR de plus de 0,75 dB par rapport à la référence compressée, tandis que dix cadres de formation ont suffi pour dépasser une amélioration de 1 dB – indiquant que l’approche est restée efficace avec très peu de données de formation :

Effet de la taille de l’ensemble de formation sur le PSNR pour des cadres de vidéo H.264 non vus à CRF 44. Même cinq images de formation ont amélioré la qualité par rapport à la référence compressée, les performances augmentant régulièrement à mesure que davantage de cadres étaient disponibles.

Tests qualitatifs

Dans les résultats ci-dessous, pour la phase qualitative des tests, nous voyons des cadres de vidéo H.264 fortement compressés à CRF 44 avec la sortie FSFVE correspondante :

Comparaison des cadres de vidéo H.264 fortement compressés à CRF 44 avec la sortie FSFVE. Les résultats améliorés, selon l’article, réduisent les artefacts de compression, restaurent la structure faciale et produisent une peau plus lisse et plus naturelle tout en préservant l’identité et l’expression du sujet. Veuillez vous référer au PDF source et aux vidéos originales pour de meilleurs exemples.

Les auteurs maintiennent que les images compressées présentent des artefacts importants autour des yeux, du nez et de la bouche, ainsi qu’une peau texturée de manière non naturelle et des distorsions des caractéristiques faciales, alors que les résultats améliorés réduisent considérablement ces défauts :

‘Dans le premier exemple, les yeux apparaissent flous avec le noir du maquillage à paupières se confondant avec la couleur des yeux. Il y a des signes clairs d’aliasing avec les lèvres. Les sourcils manquent de définition et la peau apparaît déformée. Dans le deuxième exemple, la peau est fortement texturée avec des artefacts de speckle.

‘Il y a des artefacts de blocage sous la bouche qui modifient la forme du menton. Il y a également des lignes verticales.

‘Notre modèle est capable de remédier à ces artefacts en générant une sortie visuellement agréable avec une peau plus claire et en restaurant certains des détails fins qui ont été perdus dans la compression.

‘Importamment, la sortie améliorée reste fidèle à l’identité de la vidéo.’

Conclusion

Il semble inévitable que ces efforts continus à travers l’industrie et l’université pour améliorer la qualité des données de vidéoconférence à faible signal finiront par entrer en conflit avec les efforts opposés pour identifier les vidéos de deepfake dans les appels vidéo.

Étant donné que, comme le note le nouvel article, les systèmes interstitiels tels que le FSFVE peuvent être appliqués de manière légitime aux flux de vidéoconférence via des API officielles, il est possible que le contenu non traité reste disponible pour une utilisation par les mesures anti-deepfake, à mesure qu’elles émergent – et deviennent plus importantes.

* Referred to in the new paper as the ‘DeepFakeDetector’ dataset, though it does not appear to be known by this name, even inside the FaceForensics++ paper that the authors link to in this regard.

Publié pour la première fois mardi 14 juillet 2026