Fixa suddiga videomöten i realtid med hjälp av endast CPU

En ny metod skapar en AI-modell av ditt ansikte på några sekunder, för att fixa suddiga videomöten i realtid — som körs helt på en grundläggande laptop-CPU, utan behov av kraftfull hårdvara eller molnprocessering.

Även om användare i underresurserade länder är mest drabbade av lågkvalitativa videokonferensbilder, är det ofta ett “första världens” problem också – till exempel om en av deltagarna i en chatt använder en överbelastad Wi-Fi-hotspot, eller om någon annan process eller person i en deltagares hushåll dominerar den tillgängliga bandbredden; eller till och med om den personen besöker ett land med dålig anslutning.

Eftersom problemet är vanligt, har en viss mängd uppmärksamhet ägnats åt det i forskningslitteraturen, med föreslagna lösningar via deblocking, denoising, super-resolution och olika andra metoder. VQFR-systemet från 2022 återställer försämrade ansiktsbilder genom att ersätta lågkvalitativa bildfunktioner med högkvalitativa representationer från en inlärningskod; 2021 års GFP-GAN använder generativa ansiktsprioriteringar för att förbättra LQ-bilder; och RTFVE: Realtime Face Video Enhancement använder högkvalitativa referensbilder för att utföra ansiktsåterställning:

Klicka för att spela, om nödvändigt. Från 2025 års RTFVE-ansiktsförbättringsprojekt, GPU-accelererad förbättring av ansikten. Källa

Från underresurserade användares synvinkel är de flesta av dessa lösningar inte genomförbara, eftersom de lägger över arbetet på en GPU som kanske inte finns tillgänglig i användarens setup. Men att använda CPU:n för datorseendeuppgifter är vanligtvis en offline-process, vilket innebär att man måste vänta tills CPU:n har slutfört bearbetningen innan utdata är tillgängligt.

Detta är oacceptabelt för videokonferensscenariot, som är resurskrävande men också ofta resursfattigt: ett riktigt demokratiskt ansiktsförbättringssystem måste kunna köras på CPU:n med en hastighet av minst 24fps i en rimlig upplösning; och detta är mycket att begära.

Att möta utmaningen

Denna krävande scenario möts av ett nytt forskningsbidrag från USA, som påstås kunna träna en modell på mindre än 100 sekunder från glesa ramar av tittarens ansikte, med den slutliga modellen som sedan körs som en mellanlagring mellan användaren och konferensen, via officiella API-lager i videokonferensapplikationer som Zoom:

Klicka för att spela, om nödvändigt. Från projektets sida för FSFVE, exempel på förbättringar av webbkamerascenarier, med en lätt (3,5 MB) modell som tränats på mindre än två minuter. Källa

Artikeln säger:

‘FSFVE-modellen kan tränas antingen strax före en videokonferens eller vid början av en konferens. Endast ett fåtal högkvalitativa bilder av ämnet krävs; t.ex. 5 till 30 bilder, vilket gör det till få-kortsinlärning. Strax före konferensen eller vid början av konferensen kan ett fåtal sekunder av högkvalitativ video av användaren erhållas; till exempel 3 sekunder, vilket ger 3∗24=72 ramar, antagande en ramhastighet på 24 ramar per sekund (FPS).

‘Denna högkvalitativa video kan snabbt omkodas till en lågkvalitativ video baserat på inställningarna för videokonferensen, och sedan med de låg- och högkvalitativa ramarna, tränas modellen.’

En av de mest anmärkningsvärda funktionerna i det nya systemet är dess flexibilitet när det gäller vem som “betalat” för modellens bearbetning; om tittaren själv av någon anledning inte kan tillhandahålla CPU-kraften för träningen, kan detta överföras till korrespondenten genom att skicka ett fåtal högkvalitativa ramar, med modellen således tränad “på distans” till den resursfattiga användaren.

Alternativt kan träningen överföras systematiskt till en server för träning. Författarna observerar:

‘Servern kan användas för fall där sänd- och mottagar enheterna är för långsamma för träning (eller även om de inte är det, för att befria dem från uppgiften).

‘I vilket fall som helst är modellens storlek relativt liten (cirka 3,5 MB), liksom ett fåtal högkvalitativa ramar, och när träningen är klar kan modellen köras i realtid på en vanlig laptop-CPU.’

I tester, med modeller tränade mot baslinjer och tidigare arbeten (inklusive den ovannämnda RTFVE, som utgör grunden för det nya arbetet), överträffade FSFVE konsekvent den oförbättrade komprimerade videon, en CPU-optimerad ResNet och den modifierade RTFVE-0-modellen, samtidigt som den fortfarande kördes i realtid på en CPU.

Den nya artikeln heter FSFVE: Few Shot Compressed Face Video Enhancement, och kommer komplett med en demo och en GitHub-repo.

Metod

FSFVE tränades på den öppna FaceForensics++-datamängden*, som består av 363 1080p-videor av skådespelare som pratar, från vilka författarna extraherade talking against a wall-kategorin, som ansågs vara närmast i stil till en typisk videokonferens:

Klicka för att spela, om nödvändigt. Exempel från FaceForensics++-datamängden. Källa

Denna undermängd består av 27 videor om cirka 972 ramar var – mestadels främre vyer, men nödvändigtvis också några sidovytor.

För att generera lågkvalitativa videor som simulerar videokonferensanslutningsproblem, komprimerade författarna datamängden med hjälp av H264- och H265-videokodare. Komprimeringsnivåerna ställdes in på en CRF-område som sträckte sig från 36, 40 och 44 (med tanke på att noll är förlustfritt och 51 är extremt blockigt).

<p.Varje ram klipptes till en 256 × 256-region runt ansiktet med hjälp av BlazeFace-ansiktetsdetektor, varefter ansiktsnyckelpunkter användes för att justera ansiktet genom att lokalisera ögonen och applicera en affin omvandling (som roterar, skalor och flyttar ansiktet till en konsekvent position), så att ögonen förblir jämna och i ungefär samma position över alla ramar.

Detta utfördes med Face Recognition-biblioteket:

Ett exempel på extrahering av ansiktslinjament från en bild med Face Recognition Python-biblioteket. Källa

Eftersom modellen är utformad för att lära sig från endast ett fåtal ramar från en enda videokonferens, behövde träningsramarna fånga så mycket ansiktsvariation som möjligt. Därför användes k-means-klastring istället för enklare urvalsmetoder (t.ex. slumpmässigt urval eller fasta intervall).

Varje beskuren och justerad ram passerades genom den ovannämnda RTFVE-ansiktetskodaren för att generera en numerisk representation, varefter k-means-klastring grupperade liknande ramar i 30 kluster. Denna klastringprocess upprepades fem gånger för att få den bästa grupperingen, och ramen närmast varje klustercentrum valdes för träning. Denna process resulterade i en mångfaldig uppsättning av 30 bilder för varje video.

Träning och tester

Modellerna tränades i 100 epoch, vilket är ganska lågt, med tanke på det mycket små antalet bilder som är inblandade. Men som författarna observerar, är en överanpassad modell faktiskt önskvärd i detta scenario, även om den inte kan fånga alla möjliga händelser, såsom ovanliga ansiktsuttryck, poser eller döljande/utmattning av ansiktsfunktioner. Prioriteterna är istället måttlig flexibilitet i generalisering och snabbhet i träning.

RAdam-optimisatorn användes med en inlärningshastighet på 10^-4.

För initiala tester jämfördes systemet med den ursprungliga komprimerade videon; en lätt ResNet konfigurerad för realtids-CPU-inferens; och den ovannämnda RTFVE – det enda andra realtids-CPU-ansiktsförbättringssystem som är känt.

För att säkerställa en rättvis jämförelse, modifierades RTFVE för att ta bort dess beroende av högkvalitativa referensbilder under inferens, samtidigt som den bevarade en liknande hastighet och parameterantal, vilket resulterade i en variant som kallas RTFVE-0. ResNet- och RTFVE-0-modellerna tränades med L1-förlustfunktionen. För att säkerställa en rättvis jämförelse, använde alla modeller samma RAdam-optimisator och träningsinställningar, med en separat instansspecifik modell som tränades från 30 ramar för varje video.

För att påskynda träningen, infördes en anpassad frekvensdomän-fokal förlust (som betonar de mest visuellt viktiga bildinformationerna under träning) för att ge större vikt åt de lågfrekventa DCT-komponenterna (bildinformationen efter omvandling till frekvensvärden), som har den största inverkan på upplevd bildkvalitet.

Viktningen hämtades från JPEG-luminans-kvantiseringsmatrisen, vilket gjorde att modellen prioriterade de mest visuellt viktiga bildstrukturerna under träning.

Kvantitativa tester

Både teknisk rekonstruktionsnoggrannhet (förlust) och upplevd visuell kvalitet mättes för testerna. Förlust mättes med Peak Signal-to-Noise Ratio (PSNR) och Structural Similarity Index (SSIM); och perceptuell kvalitet med Lärd Perceptuell Bildpatch-Likhet (LPIPS):

Prestanda för FSFVE jämfört med den ursprungliga komprimerade videon, en CPU-optimerad ResNet och den modifierade RTFVE-0 över H.264- och H.265-video vid tre komprimeringsnivåer, med högre PSNR och SSIM som indikerar bättre rekonstruktionskvalitet, och lägre LPIPS som indikerar bättre perceptuell kvalitet.

FSFVE överträffade konsekvent både den ursprungliga komprimerade videon och de andra CPU-baserade förbättringsmodellerna, över alla komprimeringsnivåer.

Med H.264-video ökade PSNR med 1,11 dB, 1,37 dB och 1,51 dB över baslinjen vid CRF-värden på 36, 40 och 44, med motsvarande förbättringar i SSIM och lägre LPIPS-poäng vid de två högre komprimeringsnivåerna (vilket indikerar bättre upplevd bildkvalitet).

Liknande vinster registrerades med H.265, vilket tyder på att tillvägagångssättet förblir effektivt över båda stora videokodare. Som visas nedan, blev förbättringen mer uttalad allteftersom komprimeringen ökade, vilket indikerar att metoden fungerade särskilt bra under de lågbandviddsförhållanden som den var avsedd att hantera:

PSNR som bitrats ökar för den ursprungliga H.264-videon och den förbättrade utmatningen. Det växande gapet vid lägre bitrastor visar att FSFVE levererar sina största kvalitetsvinster under de mest komprimerade, bandbreddsbegränsade förhållandena.

CPU-optimerad ResNet och RTFVE-0 gav endast måttliga förbättringar jämfört med den komprimerade baslinjen, medan FSFVE överträffade båda med mer än 1,1 dB, samtidigt som den upprätthöll realtidsprestanda på 30,24 FPS, trots att den innehöll runt en miljon parametrar.

Som visas nedan, förbättrades prestandan stadigt allteftersom fler träningsramar tillhandahölls. Även med endast fem träningsbilder förbättrade FSFVE PSNR med mer än 0,75 dB jämfört med den komprimerade baslinjen, medan tio träningsramar var tillräckliga för att överträffa en 1 dB-förbättring – vilket indikerar att tillvägagångssättet förblev effektivt med mycket begränsad träningsdata:

Effekten av träningsuppsättningsstorlek på PSNR för osedda H.264-videoramar vid CRF 44. Även fem träningsbilder förbättrade kvaliteten jämfört med den komprimerade baslinjen, med prestandan som ökade stadigt allteftersom fler ramar blev tillgängliga.

Kvalitativa tester

I resultaten nedan, för den kvalitativa fasen av testningen, ser vi kraftigt komprimerade H.264-videoramar vid CRF 44 med motsvarande FSFVE-utmatning:

Jämförelse av kraftigt komprimerade H.264-videoramar vid CRF 44 med motsvarande FSFVE-utmatning. De förbättrade resultaten, hävdar artikeln, minskar kompressionsartefakter, återställer ansiktsstruktur och producerar slätare, mer naturlig hud samtidigt som den bevarar ämnes identitet och uttryck. Se käll-PDF och originalvideor för bättre exempel.

Författarna hävdar att de komprimerade bilderna visar framträdande artefakter runt ögonen, näsan och munnen, tillsammans med onaturligt texturerad hud och förvrängningar i ansiktsfunktioner, medan de förbättrade resultaten avsevärt minskar dessa defekter:

‘I det första exemplet är ögonen otydliga med den svarta ögonmakeupen som blandar sig med ögonfärgen. Det finns tydliga tecken på aliasing med läpparna. Ögonbrynen saknar definition och huden verkar förvrängd. I det andra exemplet är huden starkt texturerad med prickartefakter.

‘Det finns blockartefakter under munnen som förändrar käkens form. Det finns också vertikala linjer.

‘Vår modell kan avhjälpa dessa artefakter och generera en visuellt tilltalande utmatning med renare hud och återställer några av de fina detaljer som gick förlorade i komprimeringen.

‘Viktigt är att den förbättrade utmatningen förblir trogen mot identiteten i videon.’

Slutsats

Det verkar oundvikligt att dessa pågående ansträngningar inom industri och akademi för att förbättra kvaliteten på lågsignalsvideokonferensdata så småningom kommer att krocka med de motsatta ansträngningarna för att identifiera deepfake-film i videokonferenser.

Sedan, som den nya artikeln påpekar, kan mellanliggande system som FSFVE tillämpas på chattydeostreams via officiella API:er, så det är möjligt att icke-bearbetat innehåll kommer att förbli tillgängligt för användning av anti-deepfake-åtgärder, allteftersom de uppstår – och blir viktigare.

* Referred to in the new paper as the ‘DeepFakeDetector’ dataset, though it does not appear to be known by this name, even inside the FaceForensics++ paper that the authors link to in this regard.

Publicerad första gången tisdagen den 14 juli 2026