Retning af uklare videokald i realtid ved hjælp af kun CPU

En ny metode opretter en AI-model af dit ansigt på få sekunder for at rette uklare videokald i realtid – kørende helt på en grundlæggende laptop-CPU, uden behov for kraftfuld hardware eller cloud-processing.

Selvom brugere i underresourcede lande er mest berørt af lavkvalitets videochat-billeder, er det ofte et ‘førsteverdensproblem’ også – for eksempel, hvis en af deltagerne i en chat bruger en overbelastet Wi-Fi-hotspot, eller en anden proces eller person i deltagerens husstand dominerer den tilgængelige båndbredde; eller selv hvis personen besøger et land med dårlig forbindelse.

Da problemet er almindeligt, er en vis mængde opmærksomhed blevet viet til det i forskningslitteraturen, med foreslåede løsninger tilbudt via deblocking, denoising, super-resolution og andre metoder. VQFR-systemet fra 2022 genskaber degraderede ansigtsbilleder ved at erstatte lavkvalitetsbilledeegenskaber med højere kvalitetsrepræsentationer hentet fra en lært kodebog; 2021’s GFP-GAN udnytter generative ansigtspræferencer til at forbedre LQ-billeder; og RTFVE: Realtime Face Video Enhancement bruger højkvalitetsreferencebilleder til at udføre ansigtsrestaurering:

Klik for at afspille, efter behov. Fra 2025 RTFVE ansigtsforbedringsprojekt, GPU-accelereret forbedring af ansigter. Kilde

Fra synspunktet af den underresourcede bruger er de fleste af disse løsninger ikke viable, da de overfører arbejdet til en GPU, der måske ikke er tilgængelig i brugerens setup. Men brug af (langt mindre kapabel) CPU til computer vision-opgaver er normalt en offline-proces, hvilket betyder, at man skal vente, til CPU’en er færdig med at behandle, før outputtet er tilgængeligt.

Dette er uacceptabelt for videokaltscenariet, som er ressourcekrævende, men ofte også ressourcefattigt: ethvert virkelig demokratiske ansigtsforbedringssystem skal kunne køre på CPU’en i en hastighed på mindst 24 billeder per sekund ved en rimelig opløsning; og det er meget at bede om.

At møde op

Dette krævende scenario mødes af en ny forskningspræsentation fra USA, som påstår, at den kan træne en model på under 100 sekunder fra sparse rammer af brugerens ansigt, med den endelige model, der derefter kan køre som en mellemlag mellem brugeren og konferencen via officielle API-lag i videoconferencing-applikationer som Zoom:

Klik for at afspille, efter behov. Fra projektets side for FSFVE, eksempler på forbedringer af webcam-scenarieansigter, ved hjælp af en letvægtsmodel (3,5 MB) trænet på under to minutter. Kilde

Artiklen siger:

‘FSFVE-modellen kan trænes enten lige før en videokald, eller ved starten af et kald. Kun få højkvalitetsbilleder af subjektet er nødvendige; f.eks. 5 til 30 billeder, hvilket gør det til få-kort læring. Lige før kaldet, eller ved starten af kaldet, kan få sekunder med højkvalitetsvideo af brugeren erhverves; f.eks. 3 sekunder, hvilket giver 3∗24=72 billeder, antagende en billedhastighed på 24 billeder per sekund (FPS).

‘Denne højkvalitetsvideo kan hurtigt omskabes til en lavkvalitetsvideo baseret på indstillingerne for videokaldet, og derefter kan modellen trænes med de lav- og højkvalitetsbilleder.’

En bemærkelsesværdig funktion ved det nye system er dets fleksibilitet i forhold til, hvem der “betaler” for modellens behandling; hvis brugeren selv af en eller anden grund ikke kan levere CPU-kraften til træningen, kan denne overføres til korrespondenten ved at sende et lille antal højkvalitetsbilleder, med modellen således trænet “fjern” til den ressourcefattige bruger.

Alternativt kan træningen overføres systematisk til en server til træning. Forfatterne observerer:

‘Serveren kan bruges til tilfælde, hvor sende- og modtagende enheder er for langsomme til træning (eller selv hvis ikke, for at lette dem for opgaven).

‘I alle tilfælde er modellens størrelse relativt lille (omkring 3,5 MB), som er et lille antal højkvalitetsbilleder, og når træningen er fuldført, kan modellen køre i realtid på en typisk laptop-CPU.’

I tests, med modeller trænet mod baseline og tidligere arbejder (herunder den nævnte RTFVE, som udgør grundlaget for det nye arbejde), overgik FSFVE konsekvent den uforbedrede komprimerede video, en CPU-optimeret ResNet og den modificerede RTFVE-0-model, mens den stadig kørte i realtid på en CPU.

Den nye artikel er titlen FSFVE: Few Shot Compressed Face Video Enhancement, og kommer komplet med en demo og en GitHub-repo.

Metode

FSFVE blev trænet på det åbne FaceForensics++ dataset*, som består af 363 1080p-videoer af skuespillere, der taler, hvorfra forfatterne udtrakte kategorien talking against a wall, som var nærmest i stil med en typisk video-kald:

Klik for at afspille, efter behov. Eksempler fra FaceForensics++ dataset. Kilde 

Dette undermængde kommer til 27 videoer af omkring 972 billeder hver – mest frontale billeder, men nødvendigvis også nogle sidebilleder.

For at generere lavkvalitetsvideoer designet til at simulere video-kaldforbindelsesproblemer, komprimerede forfatterne datasettet ved hjælp af H264 og H265 video-kodeker. Kompressionsniveauerne blev sat til en CRF række, der spænder over 36, 40 og 44 (under betragtning af, at nul er tabfri og 51 er ekstremt blokket).

Hvert billede blev beskåret til en 256 × 256 region omkring ansigtet ved hjælp af BlazeFace ansigtsgenkendelsesalgoritme, efterfulgt af, at ansigtets nøglepunkter blev brugt til at justere ansigtet ved at lokalisere øjnene og anvende en affin omdrejning (som roterer, skalerer og flytter ansigtet til en konsekvent position), så øjnene forbliver på niveau, og i omtrent samme position over alle billeder.

Dette blev udført med Face Recognition-biblioteket:

Et eksempel på at trække ansigtslinjer fra et billede med Face Recognition Python-biblioteket. Kilde

Fordi modellen er designet til at lære fra kun et par billeder fra en enkelt video-kald, var træningsbillederne nødt til at fange så meget ansigtsvariation som muligt. Derfor blev k-means clustering brugt i stedet for enklere udvælgelsesmetoder (f.eks. tilfældig udvælgelse eller faste interval).

Hvert beskåret og justeret billede blev passeret gennem den nævnte RTFVE ansigtscoder for at generere en numerisk repræsentation, efterfulgt af, at k-means clustering grupperede lignende billeder i 30 kluster. Denne klusteringproces blev gentaget fem gange for at opnå den bedste gruppering, og billedet nær hver klassecenter blev valgt til træning. Denne proces resulterede i en divers samling af 30 billeder for hver video.

Træning og tests

Modellerne blev trænet i 100 epoch, hvilket er ret lavt, når man tager den meget lille mængde billeder i betragtning. Men som forfatterne observerer, er en overtrænet model faktisk ønskværdig i dette scenario, selv om den ikke kan fange alle mulige begivenheder, såsom usædvanlige ansigtsudtryk, stillinger eller skjulning/forvanskning af ansigtstræk. Prioriteterne er i stedet moderat fleksibilitet i generalisering og træningshastighed.

RAdam optimizeren blev brugt med en læringsrate på 10^-4.

Til de første tests blev systemet sammenlignet med den originale komprimerede video; en letvægts ResNet konfigureret til realtid CPU-inferens; og den nævnte RTFVE – den eneste anden realtid CPU-ansigtsforbedringsmodel, der er kendt.

For at sikre en fair sammenligning blev RTFVE modificeret til at fjerne sin afhængighed af højkvalitetsreferencebilleder under inferens, mens den beholdt en lignende hastighed og parameterantal, hvilket resulterede i en variant kaldet RTFVE-0. Modellerne ResNet og RTFVE-0 blev trænet ved hjælp af L1 tab-funktionen. For at sikre en fair sammenligning brugte alle modeller samme RAdam-optimizer og træningsindstillinger, med en separat instansspecifik model trænet fra 30 billeder for hver video.

For at accelerere træningen blev en brugerdefineret frekvensdomæne-fokuseret tab-funktion (som giver større vægt til de mest visuelt vigtige billedinformationer under træning) introduceret for at give større vægt til de lavfrekvens-DCT-komponenter (billedinformationen efter konvertering til frekvensværdier), som har den største indvirkning på den opfattede billedkvalitet.

Vægningen blev afledt fra JPEG luminans kvantiseringsmatrix, hvilket fik modellen til at prioritere de mest visuelt vigtige billedstrukturer under træning.

Kvantitative tests

Både teknisk rekonstruktionsnøjagtighed (forvrængning) og opfattet visuel kvalitet blev målt for testene. Forvrængning blev målt ved Peak Signal-to-Noise Ratio (PSNR) og Structural Similarity Index (SSIM); og perceptuel kvalitet ved Learned Perceptual Image Patch Similarity (LPIPS):

FSFVE’s præstation i forhold til den originale komprimerede video, en CPU-optimeret ResNet og den modificerede RTFVE-0 over H.264 og H.265 video på tre kompressionsniveauer, med højere PSNR og SSIM, der indikerer bedre rekonstruktionskvalitet, og lavere LPIPS, der indikerer bedre perceptuel kvalitet.

FSFVE overgik konsekvent både den originale komprimerede video og de konkurrerende CPU-baserede forbedringsmodeller over alle kompressionsniveauer.

Med H.264-video øgede PSNR med 1,11 dB, 1,37 dB og 1,51 dB over baseline ved CRF-værdier på 36, 40 og 44, med tilsvarende forbedringer i SSIM og lavere LPIPS-scores ved de to højere kompressionsindstillinger (hvad der indikerer bedre opfattet billedkvalitet).

Lignende gevinster blev registreret med H.265, hvilket tyder på, at tilgangen forbliver effektiv over begge større video-kodeker. Som vist nedenfor blev forbedringen mere udtalt, da kompressionen øgedes, hvilket indikerer, at metoden fungerer særligt godt under de lavbåndforbindelsesbetingelser, den er designet til at tackle:

PSNR som bitrate øger for den originale H.264-video og den forbedrede output. Det udvidende gab ved lavere bitrates viser, at FSFVE leverer sine største kvalitetsforbedringer under de mest komprimerede, båndbredsgrænsede betingelser.

Den CPU-optimerede ResNet og RTFVE-0 gav kun beskedne forbedringer over den komprimerede baseline, hvorimod FSFVE overgik begge med mere end 1,1 dB, mens den opretholdt realtid på 30,24 billeder per sekund, på trods af at den indeholdt omkring en million parametre.

Som vist nedenfor forbedredes præstationen jævnt, da flere træningsbilleder blev tilføjet. Selv med kun fem træningsbilleder forbedrede FSFVE PSNR med mere end 0,75 dB over den komprimerede baseline, mens ti træningsbilleder var tilstrækkelige til at overgå en 1 dB-forbedring – hvilket indikerer, at tilgangen forblev effektiv med meget begrænset træningsdata:

Effekten af træningssætsstørrelse på PSNR for usete H.264-video-frames ved CRF 44. Selv fem træningsbilleder forbedrede kvaliteten over den komprimerede baseline, med præstationen, der øgedes jævnt, da flere billeder blev tilføjet.

Kvalitative tests

I resultaterne nedenfor ser vi for kvalitative testfase, at vi har tungt komprimerede H.264-video-frames ved CRF 44 med den tilsvarende FSFVE-output:

Sammenligning af tungt komprimerede H.264-video-frames ved CRF 44 med den tilsvarende FSFVE-output. De forbedrede resultater, som artiklen påstår, reducerer kompressionsarter, genskaber ansigtsstruktur og producerer glattere, mere naturlig hud, mens den bevarende subjektets identitet og udtryk. Henvis venligst til kilde-PDF og originale videoer for bedre eksempler.

Forfatterne fastslår, at de komprimerede billeder viser fremtrædende artefakter omkring øjnene, næsen og munden, sammen med unaturligt tekstureret hud og forvrængninger i ansigtstræk, hvorimod de forbedrede resultater væsentligt reducerer disse fejl:

‘I det første eksempel ser øjnene uklare ud, med sorten i øjenmakeup, der blander sig med øjnefarven. Der er tydelige tegn på aliasing med læberne. Øjenbrynene mangler definition, og huden ser forvrænget ud. I det andet eksempel er huden meget tekstureret med prikarter.

‘Der er blokkeringarter under munden, der ændrer formen på hagen. Der er også synlige vertikale linjer.

‘Vores model kan afhjælpe disse artefakter og generere en visuelt tilfredsstillende output med klarere hud og genskab nogle af de fine detaljer, der gik tabt i kompressionen.

‘Vigtigt er, at den forbedrede output forbliver tro mod identiteten i videoen.’

Konklusion

Det synes uundgåeligt, at disse fortsatte bestræbelser på tværs af industri og akademikere for at forbedre kvaliteten af lavsignaal-videokaldsdata til sidst vil kollidere med de modsatte bestræbelser på at identificere deepfake-optagelser i videokald.

Da, som den nye artikel bemærker, mellemstykker som FSFVE kan anvendes legitimt til chat-videostreams via officielle API’er, er det muligt, at ikke-behandlede indhold kan forblive tilgængeligt for brug ved anti-deepfake-målinger, da de opstår – og bliver mere vigtige.

* Referred to in the new paper as the ‘DeepFakeDetector’ dataset, though it does not appear to be known by this name, even inside the FaceForensics++ paper that the authors link to in this regard.

Først udgivet tirsdag, 14. juli 2026