Het oplossen van vage videogesprekken in real-time met alleen een CPU

Een nieuwe methode creëert een AI-model van uw gezicht in seconden, om vage videogesprekken in real-time te verbeteren – zonder de behoefte aan krachtige hardware of cloud-verwerking, en draait volledig op een basis-laptop-CPU.

Hoewel gebruikers in landen met beperkte middelen het meest worden getroffen door lage kwaliteit videogesprekken, is het vaak ook een ‘eerste wereld’ probleem – bijvoorbeeld als een van de deelnemers aan een gesprek een overbelaste Wi-Fi-hotspot gebruikt, of als een ander proces of persoon in het huishouden van de deelnemer de beschikbare bandbreedte domineert; of zelfs als die persoon een land bezoekt met slechte connectiviteit.

Om dit probleem aan te pakken, is een bepaalde hoeveelheid aandacht besteed aan dit onderwerp in de onderzoeksliteratuur, met voorgestelde oplossingen via deblocking, denoising, super-resolutie en verschillende andere methoden. Het VQFR-systeem uit 2022 herstelt verslechterde gezichtsbeelden door lage kwaliteit beeldkenmerken te vervangen door hogere kwaliteit representaties die zijn afgeleid van een geleerd codebook; het GFP-GAN uit 2021 maakt gebruik van generatieve gezichtsprioriteiten om lage kwaliteit beelden te verbeteren; en RTFVE: Realtime Face Video Enhancement gebruikt hoge kwaliteit referentiebeelden om gezichtsrestauratie uit te voeren:

Klik om af te spelen, indien nodig. Uit het RTFVE-gezichtsverbeteringsproject van 2025, GPU-geaccelereerde verbetering van gezichten. Bron

Vanuit het oogpunt van de gebruiker met beperkte middelen, zijn de meeste van deze oplossingen niet haalbaar, omdat ze de verwerking uitbesteden aan een GPU die mogelijk niet beschikbaar is in de setup van de gebruiker. Echter, het gebruik van de (veel minder capabele) CPU voor computer vision taken is normaal gesproken een offline proces, wat betekent dat men moet wachten tot de CPU klaar is met verwerken voordat de output beschikbaar is.

Dit is onaanvaardbaar voor het videogesprekscenario, dat zowel hongerig als arm is aan middelen: elk echt democratisch gezichtsverbeteringssysteem zou moeten draaien op de CPU met een minimum van 24fps bij een redelijke resolutie; en dat is veel gevraagd.

Gezichtsverbetering

Dit veeleisende scenario wordt ingevuld door een nieuwe onderzoeksresultaat uit de VS, dat in staat is, zoals de auteurs claimen, om een model te trainen in minder dan 100 seconden vanuit schaarse frames van het gezicht van de kijker, met het uiteindelijke model dat draait als een tussenlaag tussen de gebruiker en de conferentie, via officiële API-lagen in videogespreksapplicaties zoals Zoom:

Klik om af te spelen, indien nodig. Vanuit de projectpagina voor FSFVE, voorbeelden van verbeteringen in webcam-scenario’s, met een lichtgewicht (3,5 MB) model getraind in minder dan twee minuten. Bron

Het artikel zegt:

‘Het FSFVE-model kan getraind worden, net voordat een videogesprek plaatsvindt, of aan het begin van een gesprek. Alleen een paar hoge kwaliteit beelden van het onderwerp zijn vereist; bijv. 5 tot 30 beelden, waardoor het een kwestie van weinig-shot learning is. Net voordat het gesprek plaatsvindt, of aan het begin van het gesprek, kunnen een paar seconden van hoge kwaliteit video van de gebruiker worden verkregen; bijvoorbeeld 3 seconden, wat 3∗24=72 frames oplevert, onder de aanname van een framefrequentie van 24 frames per seconde (FPS).

‘Deze hoge kwaliteit video kan snel worden omgezet in een lage kwaliteit video op basis van de instellingen voor het videogesprek, en vervolgens, met de lage en hoge kwaliteit frames, kan het model worden getraind.’

Een opvallende functie van het nieuwe systeem is zijn flexibiliteit in verband met wie ‘betaalt’ voor de verwerking van het model; als de kijker zelf om een of andere reden niet de CPU-vermogen kan bieden voor de training, kan dit worden uitbesteed aan de correspondent, door een klein aantal hoge kwaliteit frames te sturen, waarmee het model op afstand wordt getraind voor de gebruiker met beperkte middelen.

Alternatief kan de training systematisch worden uitbesteed aan een server voor training. De auteurs merken op:

‘De server kan worden gebruikt voor gevallen waarin de verzend- en ontvangende apparaten te langzaam zijn voor training (of zelfs als dat niet het geval is, om hen te ontlasten van de taak).

‘In elk geval is de grootte van het model relatief klein (ongeveer 3,5 MB) en zijn een paar hoge kwaliteit frames, en zodra de training is voltooid, kan het model in real-time draaien op een typische laptop-CPU.’

In tests, met modellen getraind tegen baselines en eerdere werken (inclusief het eerder genoemde RTFVE, dat de basis vormt van het nieuwe werk), bleek FSFVE consequent beter te presteren dan de ongeverbeterde gecomprimeerde video, een CPU-geoptimaliseerde ResNet en het gewijzigde RTFVE-0-model, terwijl het nog steeds in real-time draaide op een CPU.

Het nieuwe artikel heeft de titel FSFVE: Few Shot Compressed Face Video Enhancement en komt compleet met een demo en een GitHub-repository.

Methode

FSFVE werd getraind op de open FaceForensics++-dataset*, die bestaat uit 363 1080p-videos van acteurs die praten, waaruit de auteurs de talking against a wall-categorie hebben geëxtraheerd, als zijnde het meest vergelijkbaar met een typisch videogesprek:

Klik om af te spelen, indien nodig. Voorbeelden uit de FaceForensics++-dataset. Bron 

Deze subset bestaat uit 27 videos van ongeveer 972 frames elk – meestal frontale views, maar, noodzakelijkerwijs, ook enkele zijdelingse views.

Om lage kwaliteit videos te genereren die zijn ontworpen om videogespreksverbindingenproblemen te simuleren, hebben de auteurs de dataset gecomprimeerd met de H264- en H265-videocodecs. De compressieniveaus werden ingesteld op een CRF-bereik dat varieert van 36, 40 en 44 (waarbij nul verliesvrij is en 51 extreem blokachtig is).

Elk frame werd ingeklemd tot een 256 × 256-regio rond het gezicht met de BlazeFace-gezichtsdetector, waarna gezichtspunten werden gebruikt om het gezicht uit te lijnen door de ogen te lokaliseren en een affine warp (die het gezicht roteert, schaalt en verplaatst naar een consistente positie) toe te passen, zodat de ogen niveau en ongeveer in dezelfde positie blijven over alle frames.

Dit werd ondernomen met de Face Recognition-bibliotheek:

Een voorbeeld van het extraheren van gezichtslijnen uit een beeld met de Face Recognition Python-bibliotheek. Bron

Omdat het model is ontworpen om te leren van slechts een handvol frames van een enkel videogesprek, moesten de trainingsframes zo veel mogelijk gezichtsvariatie vastleggen. Daarom werd k-means clustering gebruikt in plaats van eenvoudigere selectiemethoden (d.w.z. willekeurige steekproef of vaste intervallen).

Elk ingeklemd en uitgelijnd frame werd doorgegeven aan de eerder genoemde RTFVE-gezichtsencoder om een numerieke representatie te genereren, waarna k-means clustering soortgelijke frames groepeerde in 30 clusters. Deze clusteringproces werd vijf keer herhaald om de beste groepering te verkrijgen, en het frame dichtst bij elk clustercentrum werd geselecteerd voor training. Dit proces produceerde een gevarieerde set van 30 beelden voor elke video.

Training en tests

De modellen werden getraind voor 100 epochs, wat relatief laag is, gezien het zeer kleine aantal beelden dat betrokken is. Echter, zoals de auteurs opmerken, is een overfit model eigenlijk gewenst in dit scenario, zelfs als het niet alle mogelijke eventualiteiten kan vastleggen, zoals ongebruikelijke gezichtsuitdrukkingen, poses of het verhullen/verbergen van gezichtskenmerken. De prioriteiten liggen elders, namelijk in een matige flexibiliteit in generalisatie, en in de snelheid van training.

De RAdam-optimizer werd gebruikt bij een leer tempo van 10^-4.

Voor de initiële tests werd het systeem vergeleken met de oorspronkelijke gecomprimeerde video; een lichtgewicht ResNet geconfigureerd voor real-time CPU-inferentie; en het eerder genoemde RTFVE – het enige andere real-time CPU-gezichtsverbeteringssysteem dat bekend is.

Om een eerlijke vergelijking te garanderen, werd RTFVE gewijzigd om zijn afhankelijkheid van hoge kwaliteit referentiebeelden tijdens inferentie te verwijderen, terwijl een vergelijkbare snelheid en parametercount werd behouden, wat resulteerde in een variant genaamd RTFVE-0. De ResNet- en RTFVE-0-modellen werden getraind met de L1-verliesfunctie. Om een eerlijke vergelijking te garanderen, werden alle modellen getraind met dezelfde RAdam-optimizer en trainingsinstellingen, met een aparte instantie-specifiek model getraind van 30 frames, voor elke video.

Om de training te versnellen, werd een aangepaste frequentie-domein focale verliesfunctie (die meer gewicht geeft aan de meest visueel belangrijke beeld details tijdens training) geïntroduceerd, om meer gewicht te geven aan de laagfrequente DCT-componenten (de beeldinformatie na conversie naar frequentiewaarden), die de grootste invloed hebben op de waargenomen beeldkwaliteit.

De gewichtsverdeling werd afgeleid van de JPEG-luminantie-kwantificatiematrix, waardoor het model prioriteit gaf aan de meest visueel belangrijke beeldstructuren tijdens training.

Kwantitatieve tests

Zowel technische reconstructie-accuraatheid (distorsie) als waargenomen visuele kwaliteit werden gemeten voor de tests. Distorsie werd gemeten door Peak Signal-to-Noise Ratio (PSNR) en Structural Similarity Index (SSIM); en perceptuele kwaliteit door Learned Perceptual Image Patch Similarity (LPIPS):

Prestatie van FSFVE tegenover de oorspronkelijke gecomprimeerde video, een CPU-geoptimaliseerde ResNet en de gewijzigde RTFVE-0 over H.264- en H.265-video bij drie compressieniveaus, met hogere PSNR- en SSIM-waarden die een betere reconstructiekwaliteit aangeven, en lagere LPIPS-waarden die een betere perceptuele kwaliteit aangeven.

FSFVE presteerde consequent beter dan zowel de oorspronkelijke gecomprimeerde video als de concurrerende CPU-gebaseerde verbeteringsmodellen, over alle compressieniveaus.

Met H.264-video steeg de PSNR met 1,11 dB, 1,37 dB en 1,51 dB ten opzichte van de basislijn bij CRF-waarden van 36, 40 en 44, met overeenkomstige verbeteringen in SSIM en lagere LPIPS-scores bij de twee hogere compressieniveaus (wat een betere waargenomen beeldkwaliteit aangeeft).

Soortgelijke verbeteringen werden vastgesteld met H.265, wat suggereert dat de benadering effectief blijft over beide grote videocodecs. Zoals hieronder wordt aangetoond, werd de verbetering meer uitgesproken naarmate de compressie toenam, wat aangeeft dat de methode het beste presteerde onder de laagbandbreedte-omstandigheden waarvoor het was ontworpen:

PSNR bij toenemende bitrate voor de oorspronkelijke H.264-video en de verbeterde uitvoer. De groeiende kloof bij lagere bitrates toont aan dat FSFVE de grootste kwaliteitswinsten levert onder de meest gecomprimeerde, bandbreedte-beperkte omstandigheden.

De CPU-geoptimaliseerde ResNet en RTFVE-0 boden slechts bescheiden verbeteringen ten opzichte van de gecomprimeerde basislijn, terwijl FSFVE beide overtrof met meer dan 1,1 dB, terwijl het nog steeds in real-time presteerde bij 30,24 FPS, ondanks dat het slechts ongeveer een miljoen parameters bevatte.

Zoals hieronder wordt aangetoond, verbeterde de prestatie gestaag naarmate meer trainingsframes beschikbaar kwamen. Zelfs met slechts vijf trainingsbeelden verbeterde FSFVE de PSNR met meer dan 0,75 dB ten opzichte van de gecomprimeerde basislijn, terwijl tien trainingsframes voldoende waren om een verbetering van meer dan 1 dB te behalen – wat aangeeft dat de benadering effectief bleef met zeer beperkte trainingsdata:

Effect van de grootte van de trainingsset op PSNR voor ongezien H.264-videoframes bij CRF 44. Zelfs vijf trainingsbeelden verbeterden de kwaliteit ten opzichte van de gecomprimeerde basislijn, terwijl de prestatie toenam naarmate meer frames beschikbaar kwamen.

Kwalitatieve tests

In de resultaten hieronder, voor de kwalitatieve fase van de tests, zien we zwaar gecomprimeerde H.264-videoframes bij CRF 44 met de overeenkomstige FSFVE-uitvoer:

Vergelijking van zwaar gecomprimeerde H.264-videoframes bij CRF 44 met de overeenkomstige FSFVE-uitvoer. De verbeterde resultaten, zoals het artikel stelt, verminderen compressie-artefacten, herstellen gezichtsstructuur en produceren soepelere, meer natuurlijke huid, terwijl ze de identiteit en expressie van het onderwerp behouden. Raadpleeg het bron-PDF en de oorspronkelijke video’s voor betere voorbeelden.

De auteurs beweren dat de gecomprimeerde beelden prominente artefacten vertonen rond de ogen, neus en mond, evenals onnatuurlijk textuurde huid en vertekeningen in gezichtskenmerken, terwijl de verbeterde resultaten deze defecten aanzienlijk verminderen:

‘In het eerste voorbeeld zijn de ogen onduidelijk, met de zwarte oogmake-up die samensmelt met de oogkleur. Er zijn duidelijke tekenen van aliasing met de lippen. De wenkbrauwen ontbreken aan definitie en de huid lijkt vertekend. In het tweede voorbeeld is de huid sterk textuurde met speckle-artefacten.

‘Er zijn blocking-artefacten onder de mond die de vorm van de kin veranderen. Er verschijnen ook verticale lijnen.

‘Ons model kan deze artefacten verhelpen en genereert een visueel aantrekkelijke uitvoer met heldere huid en herstelt enkele van de fijne details die verloren gingen bij de compressie.

‘Belangrijk is dat de verbeterde uitvoer trouw blijft aan de identiteit in de video.’

Conclusie

Het lijkt onvermijdelijk dat deze voortdurende inspanningen in de industrie en de academische wereld om de kwaliteit van laag-signaal videogespreksgegevens te verbeteren, uiteindelijk in conflict zullen komen met de tegenovergestelde inspanningen om diepe valse beelden in videogesprekken te identificeren.

Omdat, zoals het nieuwe artikel opmerkt, tussenliggende systemen zoals FSFVE legitiem kunnen worden toegepast op videogespreksstreams via officiële API’s, is het mogelijk dat niet-verwerkte inhoud nog steeds beschikbaar zal zijn voor gebruik door anti-diepe valse maatregelen, naarmate deze meer belangrijk worden.

* Verwezen naar in het nieuwe artikel als de ‘DeepFakeDetector’-dataset, hoewel het niet lijkt te zijn bekend onder deze naam, zelfs niet binnen het FaceForensics++-artikel dat de auteurs in dit verband koppelen.

Eerst gepubliceerd op dinsdag 14 juli 2026