Fikse uskarpe videomøter i sanntid med bare CPU

En ny metode lager en AI-modell av ditt ansikt på få sekunder, for å fikse uskarpe videomøter i sanntid — kjører helt på en vanlig laptop-CPU, uten behov for kraftig maskinvare eller skytjenester.

Brukere i underresursede land er mest berørt av lavkvalitets videomøtebilder, men det er ofte også et ‘førsteverdensproblem’ – for eksempel hvis en av deltakerne i en samtale bruker en overbelastet Wi-Fi- hotspot, eller en annen prosess eller person i deltakerens husholdning dominerer den tilgjengelige båndbredden; eller selv hvis personen besøker et land med dårlig tilkobling.

Siden problemet er vanlig, har en viss mengde oppmerksomhet vært rettet mot det i forskningslitteraturen, med foreslåtte løsninger gjennom deblocking, denoising, super-resolution og andre metoder. VQFR-systemet fra 2022 gjenopprettet degraderte ansiktsbilder ved å erstatte lavkvalitetsbildeegenskaper med høykvalitetsrepresentasjoner hentet fra en lært kodebok; 2021s GFP-GAN utnyttet generative ansiktspreriorer til å forbedre LQ-bilder; og RTFVE: Realtime Face Video Enhancement brukte høykvalitetsreferansebilder til å utføre ansiktsrestaurering:

Trykk på avspillingsknappen hvis nødvendig. Fra 2025 RTFVE-ansiktsforbedringsprosjektet, GPU-akselerert forbedring av ansikter. Kilde

Fra underresursede brukeres synspunkt er de fleste av disse løsningene ikke mulige, siden de laster arbeidet over på en GPU som kanskje ikke er tilgjengelig i brukerens setup. Men å bruke (langt mindre kapabel) CPU for datamaskinseendeoppgaver er vanligvis en offline-prosess, noe som betyr at en må vente til CPU-en er ferdig med prosesseringen før utdataene er tilgjengelige.

Dette er uakseptabelt for videomøtescenariet, som er ressurskrevende, men ofte også ressursfattig: ethvert virkelig demokratisk ansiktsforbedringssystem må kunne kjøre på CPU-en med en minimumshastighet på 24fps ved en rimelig oppløsning; og dette er mye å be om.

Møte ansikt til ansikt

Dette krevende scenariet møtes av en ny forskningsrapport fra USA, som hevder å være i stand til å trene en modell på under 100 sekunder fra sparsomme rammeverk av seerens ansikt, med den endelige modellen som deretter kjører som en midlertidig lag mellom brukeren og konferansen, via offisielle API-lag i videokonferansesystemer som Zoom:

Trykk på avspillingsknappen hvis nødvendig. Fra prosjektets side for FSFVE, eksempler på forbedringer av webcam-scenariobilder, ved hjelp av en lettvektmodell (3,5 MB) trent på under to minutter. Kilde

Rapporten sier:

‘FSFVE-modellen kan trenes enten like før en videomøte eller ved starten av møtet. Bare noen få høykvalitetsbilder av subjektet er nødvendig; f.eks. 5 til 30 bilder, noe som gjør det til få-kort læring. Like før møtet eller ved starten av møtet kan noen sekunder med høykvalitetsvideo av brukeren bli oppnådd; for eksempel 3 sekunder, noe som gir 3∗24=72 rammeverk, antatt en rammehastighet på 24 rammeverk per sekund (FPS).

‘Denne høykvalitetsvideoen kan raskt bli omkodet til en lavkvalitetsvideo basert på innstillingene for videomøtet, og deretter, med lav- og høykvalitetsrammeverk, blir modellen trent.’

En merkelig egenskap ved det nye systemet er dens fleksibilitet i forhold til hvem som “betalte” for modellens prosessering; hvis seeren selv av en eller annen grunn ikke kan tilby CPU-kraften for trening, kan dette lastes over på korrespondenten, ved å sende et lite antall høykvalitetsrammeverk, med modellen deretter trent “fjern” til ressursfattig bruker.

Alternativt kan treningen lastes over systematisk til en server for trening. Forfatterne observerer:

‘Serveren kan brukes for tilfeller hvor sende- og mottakeenhetene er for langsomme for trening (eller selv om de ikke er, for å lettet dem fra oppgaven).

‘I alle tilfeller er modellens størrelse relativt liten (omtrent 3,5 MB), likeså er noen få høykvalitetsrammeverk, og når treningen er fullført, kan modellen kjøre i sanntid på en vanlig laptop-CPU.’

I tester, med modeller trent mot baseline og tidligere arbeid (inkludert den ovennevnte RTFVE, som utgjør grunnlaget for det nye arbeidet), overgikk FSFVE konsekvent den uppgjorte komprimerte videoen, en CPU-optimert ResNet og den modifiserte RTFVE-0-modellen, mens den fortsatt kjørte i sanntid på en CPU.

Den nye rapporten har tittelen FSFVE: Few Shot Compressed Face Video Enhancement, og kommer komplett med en demo og en GitHub-repo.

Metode

FSFVE ble trent på det åpne FaceForensics++-datasettet*, som består av 363 1080p-videoklipp av skuespillere som snakker, fra hvilke forfatterne ekstraherte talking against a wall-kategorien, som var nærmest i stil til et typisk videomøte:

Trykk på avspillingsknappen hvis nødvendig. Eksempler fra FaceForensics++-datasettet. Kilde

Dette underdatasettet kommer til 27 videoer på omtrent 972 rammeverk hver – hovedsakelig frontale visninger, men, nødvendigvis, noen sidevisninger også.

For å generere lavkvalitetsvideoer designet til å simulere videomøteforbindelsesproblemer, komprimerte forfatterne datasettet ved hjelp av H264- og H265-videokodene. Komprimeringsnivåene ble satt til en CRF-rekke som spenner 36, 40 og 44 (med tanke på at null er tapfri og 51 er ekstremt blokkete).

Hver ramme ble beskåret til en 256 × 256-region rundt ansiktet ved hjelp av BlazeFace-ansiktsgjenkjenningen, etterfulgt av at ansiktsgjenkjenning ble brukt til å justere ansiktet ved å lokalisere øynene og anvende en affin warp (som roterer, skalerer og flytter ansiktet til en konsistent posisjon), så øynene forblir på linje, og omtrent i samme posisjon over alle rammeverk.

Dette ble utført med Face Recognition-biblioteket:

Et eksempel på å trekke ut ansiktslinjementer fra et bilde med Face Recognition Python-biblioteket. Kilde

Fordi modellen er designet til å lære fra bare noen få rammeverk fra en enkelt videomøte, måtte treningsrammeverkene fange så mye ansiktsvariasjon som mulig. Derfor ble k-means-clustering brukt i stedet for enklere valgmetoder (dvs. tilfeldig utvalg eller faste intervaller).

Hver beskåret og justert ramme ble sendt gjennom den ovennevnte RTFVE-ansiktsgjenkjenningen for å generere en numerisk representasjon, etterfulgt av at k-means-clustering grupperte like rammeverk i 30 kluster. Denne clusterprosessen ble gjentatt fem ganger for å få den beste grupperingen, og rammeverket nærmest hvert cluster-senter ble valgt for trening. Denne prosessen produserte et mangfoldig sett av 30 bilder for hver video.

Trening og tester

Modellene ble trent i 100 epoker, noe som er ganske lavt, med tanke på det svært lille antallet bilder involvert. Men, som forfatterne observerer, er en overfittet modell faktisk ønsket i dette scenariet, selv om den ikke kan fange alle mulige hendelser, som uvanlige ansiktsuttrykk, posisjoner eller skjuling/forvrengning av ansiktsfunksjoner. Prioritetene er i stedet moderat fleksibilitet i generalisering, og hastighet på trening.

RAdam-optimatoren ble brukt med en læringshastighet på 10^-4.

I de første testene ble systemet sammenlignet med den originale komprimerte videoen; en lettvekt-ResNet konfigurert for sanntids-CPU-inferens; og den ovennevnte RTFVE – det eneste andre sanntids-CPU-ansiktsforbedringssystemet kjent.

For å sikre en rettferdig sammenligning, ble RTFVE modifisert for å fjerne avhengigheten av høykvalitetsreferansebilder under inferens, mens den beholdt en lignende hastighet og parameterantall, og produserte en variant kalt RTFVE-0. ResNet- og RTFVE-0-modellene ble trent ved hjelp av L1-tapfunksjonen. For å sikre en rettferdig sammenligning, brukte alle modellene samme RAdam-optimizer og treningsinnstillinger, med en separat instansspesifikk modell trent fra 30 rammeverk, for hver video.

For å påskynde trening, ble en tilpasset frekvensdomæne-fokal tap (som betoner de mest visuelt viktige bildeegenskapene under trening) introdusert, for å gi større vekt til de lavfrekvente DCT-komponentene (bildeinformasjonen etter konvertering til frekvensverdier), som har den største innvirkningen på oppfattet bildekvalitet.

Vektingen ble avledet fra JPEG-luminans- kvantiseringsmatrisen, noe som gjorde at modellen prioriterte de mest visuelt viktige bildestrukturer under trening.

Kvantitative tester

Både teknisk rekonstruksjonsnøyaktighet (forvrengning) og oppfattet visuell kvalitet ble målt for testene. Forvrengning ble målt med Peak Signal-to-Noise Ratio (PSNR) og Structural Similarity Index (SSIM); og perceptuell kvalitet med Lærte Perceptuelle Bilde Patch Lignende (LPIPS):

Ytelse til FSFVE mot den originale komprimerte videoen, en CPU-optimert ResNet og den modifiserte RTFVE-0 over H.264- og H.265-video på tre komprimeringsnivåer, med høyere PSNR og SSIM som indikerer bedre rekonstruksjonskvalitet, og lavere LPIPS som indikerer bedre perceptuell kvalitet.

FSFVE overgikk konsekvent både den originale komprimerte videoen og de andre CPU-baserte forbedringsmodellene, over alle komprimeringsnivåer.

Med H.264-video økte PSNR med 1,11 dB, 1,37 dB og 1,51 dB over baseline ved CRF-verdier på 36, 40 og 44, med tilsvarende forbedringer i SSIM og lavere LPIPS-poeng ved de to høyere komprimeringsnivåene (som indikerer bedre oppfattet bildekvalitet).

Lignende gevinster ble registrert med H.265, noe som tyder på at tilnærmingen forblir effektiv over begge store videokoder. Som vist nedenfor, ble forbedringen mer uttalt når komprimeringen økte, noe som indikerer at metoden fungerte spesielt godt under de lavbåndsbetingelsene den var designet for:

PSNR når bitrate øker for den originale H.264-videoen og den forbedrede utdata. Gapet som øker ved lavere bitrate viser at FSFVE leverer sine største kvalitetsforbedringer under de mest komprimerte, båndbreddsbegrensede betingelsene.

Den CPU-optimerte ResNet og RTFVE-0 ga bare beskjedne forbedringer over den komprimerte baseline, mens FSFVE overgikk begge med over 1,1 dB, mens den fortsatt kjørte i sanntid på 30,24 FPS, til tross for å inneholde rundt en million parametre.

Som vist nedenfor, forbedret ytelsen seg jevnt når flere treningsrammeverk ble tilgjengelige. Selv med bare fem treningsbilder forbedret FSFVE PSNR med over 0,75 dB over den komprimerte baseline, mens ti treningsbilder var tilstrekkelige til å overstige en 1 dB-forbedring – noe som indikerer at tilnærmingen forble effektiv med svært begrensede treningsdata:

Effekten av treningssettstørrelse på PSNR for usette H.264-videoramme ved CRF 44. Selv fem treningsbilder forbedret kvaliteten over den komprimerte baseline, med ytelse som øker jevnt når flere rammeverk ble tilgjengelige.

Kvalitative tester

I resultater nedenfor, for den kvalitative fasen av testing, ser vi tungt komprimerte H.264-videoramme ved CRF 44 med tilsvarende FSFVE-utdata:

Sammenligning av tungt komprimerte H.264-videoramme ved CRF 44 med tilsvarende FSFVE-utdata. De forbedrede resultater, hevder rapporten, reduserer kompresjonsartefakter, gjenopprett ansiktsstruktur og produserer jevnere, mer naturlig hud samtidig som den beholder subjektets identitet og uttrykk. Vennligst se kilde-PDF og originale videoer for bedre eksempler.

Forfatterne hevder at de komprimerte bildene viser fremtredende artefakter rundt øyne, nese og munn, sammen med unaturlig teksturert hud og forvrengninger i ansiktsfunksjoner, mens de forbedrede resultater vesentlig reduserer disse feilene:

‘I det første eksemplet er øynene uklare med svart øyenskygge som blander seg med øyefargen. Det er tydelige tegn på aliasing med leppene. Øyebrynene mangler definisjon og huden ser forvrengt ut. I det andre eksemplet er huden svært teksturert med prikk-arter.

‘Det er blokk-arter under munnen som endrer formen på haken. Det ser også ut til å være vertikale linjer.

‘Vår modell kan kurere disse artefaktene og produsere et visuelt tiltalende utdata med klarere hud og gjenopprette noen av de fine detaljene som gikk tapt i kompresjonen.

‘Viktigst, det forbedrede utdataet forblir tro mot identiteten i videoen.’

Konklusjon

Det ser ut til å være uunngåelig at disse pågående anstrengelsene over hele industrien og akademia for å forbedre kvaliteten på lavsignaal-videomøtedata til slutt vil kollidere med de motsatte anstrengelsene for å identifisere deepfake-oppptak i videomøter.

Siden, som den nye rapporten påpeker, mellomlagringsystemer som FSFVE kan bli anvendt på chat-videostreamer via offisielle API-er, er det mulig at ikke-prosessert innhold vil forbli tilgjengelig for bruk av anti-deepfake-målinger, som de oppstår – og blir viktigere.

* Henvises til i den nye rapporten som ‘DeepFakeDetector’-datasettet, selv om det ikke ser ut til å være kjent under dette navnet, selv inne i FaceForensics++-rapporten som forfatterne lenker til i denne sammenhengen.

Først publisert tirsdag, 14. juli 2026