Risoluzione di videochiamate sfocate in tempo reale utilizzando solo la CPU

Un nuovo metodo crea un modello di intelligenza artificiale del tuo viso in pochi secondi, per risolvere le videochiamate sfocate in tempo reale, eseguendo tutto su una CPU di base di un laptop, senza la necessità di hardware potente o di elaborazione cloud.

Sebbene gli utenti dei paesi con risorse limitate siano i più colpiti da immagini di videochat di bassa qualità, questo è spesso un problema anche nel “primo mondo” – ad esempio, se uno dei partecipanti alla chat utilizza un hotspot Wi-Fi sovraccarico o se un altro processo o persona nella casa del partecipante sta dominando la larghezza di banda disponibile; o anche se quella persona sta visitando un paese con una connessione scarsa.

Dal momento che il problema è comune, una certa attenzione è stata dedicata a esso nella letteratura di ricerca, con soluzioni proposte attraverso deblocking, denoising, super-risoluzione e altri metodi. Il sistema VQFR del 2022 ripristina le immagini del viso degradate sostituendo le caratteristiche dell’immagine di bassa qualità con rappresentazioni di alta qualità tratte da un codice di apprendimento; il GFP-GAN del 2021 sfrutta i priori generativi del viso per migliorare le immagini di bassa qualità; e RTFVE: Realtime Face Video Enhancement utilizza immagini di riferimento di alta qualità per eseguire il ripristino del viso:

Click to play, as necessary. Dal progetto RTFVE di miglioramento del viso del 2025, miglioramento del viso accelerato da GPU. Source

Dal punto di vista dell’utente con risorse limitate, la maggior parte di queste soluzioni non è fattibile, poiché offloada il lavoro su una GPU che potrebbe non essere disponibile nell’impostazione dell’utente. Tuttavia, utilizzare la CPU (molto meno potente) per compiti di visione artificiale è normalmente un processo offline, il che significa che si dovrebbe aspettare che la CPU finisca di elaborare prima che l’output sia disponibile.

Questo è inaccettabile per lo scenario di videochat, che è affamato di risorse ma spesso anche a corto di risorse: qualsiasi sistema di miglioramento del viso veramente democratico dovrebbe funzionare sulla CPU almeno a 24fps a una risoluzione ragionevole; e questo è molto da chiedere.

Facing Up

Questo scenario impegnativo è soddisfatto da una nuova offerta di ricerca degli Stati Uniti, che è in grado, secondo gli autori, di formare un modello in meno di 100 secondi da frame sparsi del viso dell’utente, con il modello finale che funziona come uno strato intermedio tra l’utente e la conferenza, tramite strati API ufficiali in applicazioni di videoconferenza come Zoom:

Click to play as necessary. Dal progetto FSFVE, miglioramenti di campioni di viso in scenario webcam, utilizzando un modello leggero (3,5 MB) addestrato in meno di due minuti. Source

Il documento afferma:

‘Il modello FSFVE può essere addestrato o poco prima di una videochiamata o all’inizio di una chiamata. Sono richieste solo poche immagini di alta qualità del soggetto; ad esempio, 5-30 immagini che rendono questo un apprendimento a pochi esempi. Poco prima della chiamata o all’inizio della chiamata, possono essere ottenuti pochi secondi di video di alta qualità dell’utente; ad esempio, 3 secondi, fornendo 3∗24=72 frame supponendo una frequenza di 24 frame al secondo (FPS).

‘Questo video di alta qualità può essere rapidamente ri-codificato in un video di bassa qualità in base alle impostazioni della videochiamata, e quindi con i frame di bassa e alta qualità, il modello è addestrato.’

Una caratteristica notevole del nuovo sistema è la sua flessibilità riguardo a chi “paga” per l’elaborazione del modello; se l’utente stesso per qualche motivo non può fornire la potenza di CPU per l’addestramento, questo può essere offloadato al corrispondente, inviando un piccolo numero di frame di alta qualità, con il modello così addestrato “remotamente” all’utente a corto di risorse.

Alternativamente, l’addestramento può essere offloadato sistematicamente a un server per l’addestramento. Gli autori osservano:

‘Il server può essere utilizzato per i casi in cui i dispositivi di invio e ricezione sono troppo lenti per l’addestramento (o anche se non lo sono, per alleviarli dal compito). ‘

‘In ogni caso, le dimensioni del modello sono relativamente piccole (circa 3,5 MB) come anche pochi frame di alta qualità, e una volta completato l’addestramento, il modello può funzionare in tempo reale su una CPU di laptop tipica.’

Nei test, con modelli addestrati rispetto ai benchmark e ai lavori precedenti (incluso il sopracitato RTFVE, che costituisce la base del nuovo lavoro), FSFVE ha costantemente superato il video compresso non migliorato, un ResNet ottimizzato per CPU e il modello RTFVE-0 modificato, mentre funzionava ancora in tempo reale su una CPU.

Il nuovo documento è intitolato FSFVE: Few Shot Compressed Face Video Enhancement, e viene fornito con un demo e un repository GitHub.

Method

FSFVE è stato addestrato sul set di dati aperto FaceForensics++*, che consiste di 363 video 1080p di attori che parlano, dai quali gli autori hanno estratto la categoria parlando contro un muro, essendo il più vicino allo stile di una tipica videochiamata:

Click to play, as necessary. Esempi dal set di dati FaceForensics++. Source

Questo subset arriva a 27 video di circa 972 frame ciascuno – principalmente viste frontali, ma necessariamente anche alcune viste laterali.

Per generare video di bassa qualità progettati per simulare problemi di connessione di videochiamata, gli autori hanno compresso il set di dati utilizzando i codec video H264 e H265. I livelli di compressione sono stati impostati su un CRF che copre 36, 40 e 44 (considerando che zero è lossless e 51 è estremamente blocco).

Ogni frame è stato ritagliato a una regione 256 × 256 intorno al viso utilizzando il rilevatore di visi BlazeFace, dopo di che i punti chiave del viso sono stati utilizzati per allineare il viso localizzando gli occhi e applicando una trasformazione affine (che ruota, scala e sposta il viso in una posizione coerente), in modo che gli occhi rimangano livellati e approssimativamente nella stessa posizione in tutti i frame.

Questo è stato intrapreso con la libreria di riconoscimento del viso:

Esempio di estrazione di lineamenti del viso da un’immagine con la libreria di riconoscimento del viso Python. Source

Perché il modello è progettato per apprendere da solo un pugno di frame da una singola videochiamata, i frame di addestramento dovevano catturare la massima variazione del viso possibile. Pertanto, il clustering k-means è stato utilizzato invece di metodi di selezione più semplici (ad esempio, campionamento casuale o intervalli fissi).

Ogni frame ritagliato e allineato è stato passato attraverso il sopracitato encoder del viso RTFVE per generare una rappresentazione numerica, dopo di che il clustering k-means ha raggruppato frame simili in 30 cluster. Il processo di clustering è stato ripetuto cinque volte per ottenere il miglior raggruppamento, e il frame più vicino al centro di ogni cluster è stato selezionato per l’addestramento. Questo processo ha prodotto un set diversificato di 30 immagini per ogni video.

Training and Tests

I modelli sono stati addestrati per 100 epoche, il che è piuttosto basso, considerando il numero molto piccolo di immagini coinvolte. Tuttavia, come osservano gli autori, un modello sovraaddestrato è in realtà desiderabile in questo scenario, anche se non può catturare tutte le eventualità possibili, come espressioni del viso insolite, pose o la nascondenza/occultamento di caratteristiche del viso. Le priorità, invece, sono una flessibilità moderata nella generalizzazione e la velocità di addestramento.

Il RAdam è stato utilizzato come ottimizzatore a un tasso di apprendimento di 10^-4.

Per i test iniziali, il sistema è stato confrontato con il video compresso originale; un ResNet leggero configurato per l’inferenza CPU in tempo reale; e il sopracitato RTFVE – l’unico altro sistema di miglioramento del viso CPU in tempo reale noto.

Per garantire un confronto equo, RTFVE è stato modificato per rimuovere la sua dipendenza dalle immagini di riferimento di alta qualità durante l’inferenza, conservando una velocità e un numero di parametri simili, producendo una variante chiamata RTFVE-0. I modelli ResNet e RTFVE-0 sono stati addestrati utilizzando la funzione di perdita L1. Per garantire un confronto equo, tutti i modelli hanno utilizzato lo stesso ottimizzatore RAdam e le stesse impostazioni di addestramento, con un’istanza del modello addestrata separatamente da 30 frame per ogni video.

Per accelerare l’addestramento, è stato introdotto un loss di focalizzazione personalizzato nel dominio delle frequenze (che enfatizza i dettagli dell’immagine più importanti visualmente durante l’addestramento) per dare maggior peso ai componenti DCT a bassa frequenza (le informazioni dell’immagine dopo la conversione in valori di frequenza), che hanno la maggiore influenza sulla qualità percepita dell’immagine.

Il peso è stato derivato dalla matrice di quantizzazione della luminanza JPEG, facendo in modo che il modello priorizzi le strutture dell’immagine più importanti visualmente durante l’addestramento.

Quantitative Tests

Sia la precisione tecnica di ricostruzione (distorsione) che la qualità visiva percepita sono state misurate per i test. La distorsione è stata misurata dal Rapporto di segnale a rumore di picco (PSNR) e Indice di similarità strutturale (SSIM); e la qualità percepita dalla Similarità delle patch di immagine apprese (LPIPS):

Prestazioni di FSFVE rispetto al video compresso originale, un ResNet ottimizzato per CPU e il modello RTFVE-0 modificato attraverso video H.264 e H.265 a tre livelli di compressione, con PSNR e SSIM più alti che indicano una migliore qualità di ricostruzione e LPIPS più bassi che indicano una migliore qualità percepita.

FSFVE ha costantemente superato sia il video compresso originale che i modelli di miglioramento del viso basati su CPU, in tutti i livelli di compressione.

Con video H.264, il PSNR è aumentato di 1,11 dB, 1,37 dB e 1,51 dB rispetto al valore di base ai valori CRF di 36, 40 e 44, con miglioramenti corrispondenti in SSIM e punteggi LPIPS più bassi alle due impostazioni di compressione più elevate (indicando una migliore qualità dell’immagine percepita).

Miglioramenti simili sono stati registrati con H.265, suggerendo che l’approccio rimane efficace in entrambi i principali codec video. Come mostrato di seguito, il miglioramento è diventato più pronunciato man mano che la compressione aumentava, indicando che il metodo ha funzionato particolarmente bene nelle condizioni a bassa larghezza di banda che era stato progettato per affrontare:

PSNR al aumento del bitrate per il video H.264 originale e l’output migliorato. Il divario in aumento a bitrate più bassi mostra che FSFVE consegna i suoi maggiori guadagni di qualità nelle condizioni più pesantemente compresse e a larghezza di banda limitata.

Il ResNet ottimizzato per CPU e RTFVE-0 hanno fornito solo modesti miglioramenti rispetto al video compresso di base, mentre FSFVE ha superato entrambi di oltre 1,1 dB, mantenendo le prestazioni in tempo reale a 30,24 FPS, nonostante contenga circa un milione di parametri.

Come mostrato di seguito, le prestazioni sono migliorate costantemente man mano che venivano forniti più frame di addestramento. Anche con solo cinque immagini di addestramento, FSFVE ha migliorato il PSNR di oltre 0,75 dB rispetto al video compresso di base, mentre dieci frame di addestramento sono stati sufficienti per superare un miglioramento di 1 dB – indicando che l’approccio è rimasto efficace con dati di addestramento molto limitati:

Effetto delle dimensioni del set di addestramento su PSNR per frame di video H.264 non visti a CRF 44. Anche cinque immagini di addestramento hanno migliorato la qualità rispetto al video compresso di base, con le prestazioni che aumentano costantemente man mano che sono disponibili più frame.

Qualitative Tests

Nei risultati che seguono, per la fase qualitativa dei test, vediamo frame di video H.264 compressi pesantemente a CRF 44 con il corrispondente output FSFVE:

Confronto di frame di video H.264 compressi pesantemente a CRF 44 con il corrispondente output FSFVE. I risultati migliorati, afferma il documento, riducono gli artifact della compressione, ripristinano la struttura del viso e producono una pelle più liscia e naturale, preservando l’identità e l’espressione del soggetto. Si prega di fare riferimento al PDF di origine e ai video originali per migliori esempi.

Gli autori sostengono che le immagini compresse presentano artifact prominenti intorno agli occhi, al naso e alla bocca, insieme a una pelle texture innaturale e distorsioni nelle caratteristiche del viso, mentre i risultati migliorati riducono notevolmente questi difetti:

‘Nel primo esempio, gli occhi appaiono poco chiari con il nero del trucco degli occhi che si confonde con il colore degli occhi. Ci sono segni evidenti di aliasing con le labbra. Le sopracciglia mancano di definizione e la pelle appare distorta. Nel secondo esempio, la pelle è altamente texture con artifact di speckle. ‘

‘Ci sono artifact di blocco sotto la bocca che alterano la forma del mento. Ci appaiono anche linee verticali. ‘

‘Il nostro modello è in grado di rimediare a questi artifact generando un output visivamente piacevole con una pelle più chiara e ripristina alcuni dei dettagli fini che erano stati persi nella compressione. ‘

‘Importante, l’output migliorato rimane fedele all’identità nel video.’

Conclusion

Sembra inevitabile che questi sforzi continui nell’industria e nell’accademia per aumentare la qualità dei dati di videochiamata a basso segnale alla fine si scontreranno con gli sforzi opposti per identificare i filmati deepfake nelle videochiamate.

Dal momento che, come nota il nuovo documento, i sistemi interstiziali come FSFVE possono essere applicati legittimamente a flussi di videochiamata tramite API ufficiali, è possibile che il contenuto non elaborato rimanga disponibile per l’uso da parte di misure anti-deepfake, man mano che emergono – e diventano più importanti.

* Definito nel nuovo documento come il set di dati ‘DeepFakeDetector’, sebbene non sembri essere noto con questo nome, anche all’interno del documento FaceForensics++ al quale gli autori fanno riferimento a questo proposito.

Pubblicato per la prima volta martedì 14 luglio 2026