Behebung von unscharfen Videoanrufen in Echtzeit mit nur CPU

Ein neues Verfahren erstellt ein AI-Modell deines Gesichts in Sekunden, um unscharfe Videoanrufe in Echtzeit zu korrigieren – und läuft vollständig auf einem einfachen Laptop-CPU, ohne die Notwendigkeit leistungsstarker Hardware oder Cloud-Verarbeitung.

Obwohl Benutzer in unterversorgten Ländern am stärksten von schlechter Video-Chat-Bildqualität betroffen sind, ist es häufig auch ein “erstweltliches” Problem – zum Beispiel, wenn ein Teilnehmer in einem Chat einen überlasteten Wi-Fi-Hotspot verwendet oder ein anderer Prozess oder eine andere Person in einem Teilnehmers Haushalt die verfügbare Bandbreite dominiert; oder sogar, wenn diese Person ein Land mit schlechter Konnektivität besucht.

Da das Problem häufig ist, wurde eine bestimmte Menge an Aufmerksamkeit in der Forschungsliteratur darauf gewidmet, mit vorgeschlagenen Lösungen über Deblocking, Denoising, Super-Resolution und verschiedene andere Methoden. Das VQFR-System von 2022 restauriert verschlechterte Gesichtsbilder, indem es niedrige Bildqualitätsmerkmale durch höhere Qualitätsrepräsentationen ersetzt, die aus einem gelernten Codebook stammen; 2021’s GFP-GAN nutzt generative Gesichtsvorpriorisierungen, um LQ-Bilder zu verbessern; und RTFVE: Realtime Face Video Enhancement verwendet hochwertige Referenzbilder, um Gesichtsrestauration durchzuführen:

Click to play, as necessary. From the 2025 RTFVE face enhancement project, GPU-accelerated improvement of faces. Source

Von der Sicht des unterversorgten Benutzers sind die meisten dieser Lösungen nicht umsetzbar, da sie die Arbeit an eine GPU auslagern, die in diesem Benutzersetup möglicherweise nicht verfügbar ist. Die Verwendung der (viel weniger leistungsfähigen) CPU für Computer-Vision-Aufgaben ist normalerweise ein Offline-Prozess, was bedeutet, dass man warten muss, bis die CPU die Verarbeitung abgeschlossen hat, bevor die Ausgabe verfügbar ist.

Dies ist für das Video-Chat-Szenario, das ressourcenintensiv, aber oft auch ressourcenarm ist, inakzeptabel: Jedes wirklich demokratische Gesichtsverbesserungssystem müsste auf der CPU mit einer Mindestgeschwindigkeit von 24 Bildern pro Sekunde bei einer vernünftigen Auflösung laufen; und das ist viel verlangt.

Gesicht zeigen

Dieses anspruchsvolle Szenario wird von einem neuen Forschungsangebot aus den USA erfüllt, das, wie die Autoren behaupten, in der Lage ist, ein Modell in weniger als 100 Sekunden aus spärlichen Frames des Betrachters zu trainieren, wobei das endgültige Modell dann als Zwischenschicht zwischen dem Benutzer und der Konferenz über offizielle API-Schichten in Video-Konferenz-Anwendungen wie Zoom läuft:

Click to play as necessary. From the project page for FSFVE, sample improvements to webcam-scenario faces, using a lightweight (3.5MB) model trained in less than two minutes. Source

Das Papier besagt:

‘Das FSFVE-Modell kann entweder direkt vor einem Videocall oder am Anfang eines Calls trainiert werden. Es werden nur wenige hochwertige Bilder des Subjekts benötigt; z. B. 5 bis 30 Bilder, was ein Few-Shot-Lernen ergibt. Direkt vor dem Call oder am Anfang des Calls können einige Sekunden hochwertiges Video des Benutzers erhalten werden; zum Beispiel 3 Sekunden, was 3∗24=72 Frames bei einer Bildfrequenz von 24 Bildern pro Sekunde (FPS) ergibt.

‘Dieses hochwertige Video kann schnell in ein niedrigwertiges Video umkodiert werden, basierend auf den Einstellungen für den Videocall, und dann mit den niedrigen und hochwertigen Frames kann das Modell trainiert werden.’

Eine bemerkenswerte Funktion des neuen Systems ist seine Flexibilität in Bezug auf die Frage, wer die Verarbeitung des Modells “bezahlt”; wenn der Betrachter selbst aus irgendeinem Grund nicht die CPU-Leistung für das Training bereitstellen kann, kann dies an den Korrespondenten ausgelagert werden, indem einige hochwertige Frames gesendet werden, wobei das Modell dann “remote” zum ressourcenarmen Benutzer trainiert wird.

Alternativ kann das Training systematisch an einen Server für das Training ausgelagert werden. Die Autoren bemerken:

‘Der Server kann für Fälle verwendet werden, in denen die sendenden und empfangenden Geräte zu langsam für das Training sind (oder sogar, wenn sie es nicht sind, um sie von der Aufgabe zu entlasten).

‘In jedem Fall ist die Größe des Modells relativ klein (ca. 3,5 MB), wie auch einige hochwertige Frames, und sobald das Training abgeschlossen ist, kann das Modell in Echtzeit auf einer typischen Laptop-CPU laufen.’

In Tests, mit Modellen, die gegen Baselines und vorherige Arbeiten (einschließlich des oben genannten RTFVE, das die Grundlage der neuen Arbeit bildet) trainiert wurden, übertraf FSFVE konsequent das unveränderte komprimierte Video, ein CPU-optimiertes ResNet und das modifizierte RTFVE-0-Modell, während es immer noch in Echtzeit auf einer CPU lief.

Das neue Papier ist betitelt FSFVE: Few Shot Compressed Face Video Enhancement und kommt mit einer Demo und einem GitHub-Repo komplett.

Methode

FSFVE wurde auf dem offenen FaceForensics++-Dataset* trainiert, das aus 363 1080p-Videos von Schauspielern besteht, die sprechen, aus denen die Autoren die talking against a wall-Kategorie extrahierten, da sie am nächsten an einem typischen Video-Call-Stil liegt:

Click to play, as necessary. Beispiele aus dem FaceForensics++-Dataset. Source 

Diese Teilmenge umfasst 27 Videos mit jeweils etwa 972 Frames – meist Frontalansichten, aber notwendigerweise auch einige Seitenansichten.

Um niedrigwertige Videos zu generieren, die Video-Call-Verbindungsprobleme simulieren sollen, komprimierten die Autoren das Dataset mit den H264- und H265-Video-Codecs. Die Komprimierungsstufen wurden auf einen CRF-Bereich eingestellt, der 36, 40 und 44 umfasst (wobei 0 verlustfrei und 51 sehr blockig ist).

Jeder Frame wurde auf eine 256 × 256-Region um das Gesicht herum mit dem BlazeFace-Gesichtsdetektor beschnitten, wonach Gesichtspunkte verwendet wurden, um das Gesicht durch die Lokalisierung der Augen und die Anwendung einer affinen Transformation (die das Gesicht in eine konsistente Position dreht, skaliert und verschiebt) auszurichten, so dass die Augen gleich bleiben und in etwa der gleichen Position über alle Frames hinweg.

Dies wurde mit der Face-Recognition-Bibliothek durchgeführt:

Ein Beispiel für die Extraktion von Gesichtsmerkmalen aus einem Bild mit der Face-Recognition-Python-Bibliothek. Source

Weil das Modell so konzipiert ist, dass es von nur einer Handvoll Frames aus einem einzelnen Video-Call lernt, mussten die Trainingsframes so viele Gesichtsvariationen wie möglich erfassen. Deshalb wurde k-Means-Clustering anstelle von einfacheren Auswahlmethoden (z. B. Zufallsauswahl oder feste Intervalle) verwendet.

Jeder beschnittene und ausgerichtete Frame wurde durch den oben genannten RTFVE-Gesichtsencoder geleitet, um eine numerische Darstellung zu generieren, wonach k-Means-Clustering ähnliche Frames in 30 Cluster gruppierte. Dieser Clustering-Prozess wurde fünf Mal wiederholt, um die beste Gruppierung zu erhalten, und der Frame in der Nähe jedes Clusterzentrums für das Training ausgewählt. Dieser Prozess produzierte eine vielfältige Menge von 30 Bildern für jedes Video.

Training und Tests

Die Modelle wurden für 100 Epochen trainiert, was ziemlich niedrig ist, wenn man die sehr geringe Anzahl an Bildern berücksichtigt. Allerdings bemerken die Autoren, dass ein übertrainiertes Modell in diesem Szenario tatsächlich erwünscht ist, auch wenn es nicht alle möglichen Eventualitäten erfassen kann, wie ungewöhnliche Gesichtsausdrücke, Posen oder die Verdeckung von Gesichtsmerkmalen. Die Prioritäten liegen stattdessen in einer moderaten Flexibilität in Generalisierung und in der Geschwindigkeit des Trainings.

Der RAdam-Optimizer wurde mit einer Lernrate von 10^-4 verwendet.

Für die anfänglichen Tests wurde das System mit dem ursprünglichen komprimierten Video, einem leichten ResNet und dem oben genannten RTFVE verglichen – dem einzigen anderen Echtzeit-CPU-Gesichtsverbesserungssystem, das bekannt ist.

Um einen fairen Vergleich zu gewährleisten, wurde RTFVE so modifiziert, dass es seine Abhängigkeit von hochwertigen Referenzbildern während der Inferenz entfernte, während es gleichzeitig eine ähnliche Geschwindigkeit und Anzahl an Parametern beibehielt, was zu einer Variante namens RTFVE-0 führte. Die ResNet- und RTFVE-0-Modelle wurden mit der L1-Verlustfunktion trainiert. Um einen fairen Vergleich zu gewährleisten, verwendeten alle Modelle den gleichen RAdam-Optimizer und die gleichen Trainingsparameter, wobei ein separates, instanzspezifisches Modell von 30 Frames für jedes Video trainiert wurde.

Um das Training zu beschleunigen, wurde ein benutzerdefinierter Frequenzbereich-Fokalverlust (der die visuell wichtigsten BildDetails während des Trainings betont) eingeführt, um mehr Gewicht auf die niedrigen Frequenz-DCT-Komponenten (die Bildinformationen nach der Umwandlung in Frequenzwerte) zu legen, die den größten Einfluss auf die wahrgenommene Bildqualität haben.

Die Gewichtung wurde aus der JPEG-Luminanz-Quantifizierungsmatrix abgeleitet, was dazu führte, dass das Modell die visuell wichtigsten Bildstrukturen während des Trainings priorisierte.

Quantitative Tests

Sowohl technische Rekonstruktionsgenauigkeit (Verzerrung) als auch perzipierte visuelle Qualität wurden für die Tests gemessen. Verzerrung wurde durch Peak Signal-to-Noise Ratio (PSNR) und Structural Similarity Index (SSIM) gemessen; und perzipierte Qualität durch Learned Perceptual Image Patch Similarity (LPIPS):

Leistung von FSFVE gegenüber dem ursprünglichen komprimierten Video, einem CPU-optimierten ResNet und dem modifizierten RTFVE-0 über H.264- und H.265-Video bei drei Komprimierungsstufen, wobei höhere PSNR- und SSIM-Werte eine bessere Rekonstruktionsqualität anzeigen und niedrigere LPIPS-Werte eine bessere perzipierte Qualität anzeigen.

FSFVE übertraf konsequent sowohl das ursprüngliche komprimierte Video als auch die konkurrierenden CPU-basierten Verbesserungsmodelle bei jeder Komprimierungsstufe.

Bei H.264-Video stieg der PSNR-Wert um 1,11 dB, 1,37 dB und 1,51 dB gegenüber dem Baseline-Wert bei CRF-Werten von 36, 40 und 44, mit entsprechenden Verbesserungen bei SSIM und niedrigeren LPIPS-Werten bei den beiden höheren Komprimierungsstufen (was eine bessere perzipierte Bildqualität anzeigt).

Ähnliche Gewinne wurden bei H.265 aufgezeichnet, was darauf hindeutet, dass der Ansatz bei beiden großen Video-Codecs wirksam bleibt. Wie unten gezeigt, wurde die Verbesserung deutlicher, als die Komprimierung zunahm, was darauf hindeutet, dass die Methode besonders gut unter den niedrigen Bandbreitenbedingungen funktioniert, für die sie konzipiert wurde:

PSNR bei zunehmender Bitrate für das ursprüngliche H.264-Video und die verbesserte Ausgabe. Die sich verbreiternde Lücke bei niedrigeren Bitraten zeigt, dass FSFVE seine größten Qualitätsverbesserungen unter den am stärksten komprimierten, bandbreitenbegrenzten Bedingungen liefert.

Das CPU-optimierte ResNet und RTFVE-0 lieferten nur moderate Verbesserungen gegenüber dem komprimierten Baseline, während FSFVE beide um mehr als 1,1 dB übertraf, während es immer noch in Echtzeit auf einer CPU mit 30,24 Bildern pro Sekunde lief, trotz nur etwa einer Million Parameter.

Wie unten gezeigt, verbesserte sich die Leistung stetig, wenn mehr Trainingsframes bereitgestellt wurden. Selbst mit nur fünf Trainingsbildern verbesserte FSFVE den PSNR-Wert um mehr als 0,75 dB gegenüber dem komprimierten Baseline, während zehn Trainingsframes ausreichten, um eine Verbesserung von über 1 dB zu erreichen – was darauf hindeutet, dass der Ansatz auch mit sehr begrenzten Trainingsdaten wirksam bleibt:

Einfluss der Trainingsdatenmenge auf den PSNR-Wert für unbekannte H.264-Video-Frames bei CRF 44. Selbst fünf Trainingsbilder verbesserten die Qualität gegenüber dem komprimierten Baseline, während die Leistung stetig zunahm, wenn mehr Frames verfügbar waren.

Qualitative Tests

In den Ergebnissen unten, für die qualitative Phase der Tests, sehen wir stark komprimierte H.264-Video-Frames bei CRF 44 mit der entsprechenden FSFVE-Ausgabe:

Vergleich stark komprimierter H.264-Video-Frames bei CRF 44 mit der entsprechenden FSFVE-Ausgabe. Die verbesserten Ergebnisse, so behauptet das Papier, reduzieren Komprimierungsartefakte, restaurieren Gesichtsstrukturen und erzeugen glattere, natürlichere Haut, während die Identität und der Ausdruck des Subjekts erhalten bleiben. Bitte beachten Sie die Quell-PDF und die Original-Videos für bessere Beispiele.

Die Autoren behaupten, dass die komprimierten Bilder prominente Artefakte um die Augen, die Nase und den Mund herum zeigen, zusammen mit unnatürlich texturierter Haut und Verzerrungen in den Gesichtszügen, während die verbesserten Ergebnisse diese Mängel wesentlich reduzieren:

‘Im ersten Beispiel sind die Augen unscharf, und die schwarze Farbe des Augenmake-ups verschwimmt mit der Augenfarbe. Es gibt deutliche Anzeichen von Aliasing bei den Lippen. Die Augenbrauen fehlen an Definition, und die Haut erscheint verzerrt. Im zweiten Beispiel ist die Haut stark texturiert mit Speckle-Artefakten.

‘Es gibt Blockartefakte unter dem Mund, die die Form des Kinns verändern. Es gibt auch vertikale Linien.

‘Unser Modell kann diese Artefakte beheben und eine visuell ansprechende Ausgabe erzeugen, mit klarerer Haut und restauriert einigen der feinen Details, die durch die Komprimierung verloren gegangen sind.

‘Wichtig ist, dass die verbesserte Ausgabe treu zur Identität im Video bleibt.’

Fazit

Es scheint unvermeidlich, dass diese laufenden Bemühungen in der Industrie und der Wissenschaft, die Qualität von Niedrigsignal-Video-Chat-Daten zu verbessern, schließlich mit den entgegengesetzten Bemühungen kollidieren werden, um Deepfake-Footage in Video-Anrufen zu identifizieren.

Da, wie das neue Papier feststellt, Zwischensysteme wie FSFVE über offizielle APIs auf Chat-Video-Streams angewendet werden können, ist es möglich, dass nicht verarbeitete Inhalte für die Verwendung durch Anti-Deepfake-Maßnahmen verfügbar bleiben, wenn diese entstehen und wichtiger werden.

* Im neuen Papier als ‘DeepFakeDetector’-Dataset bezeichnet, obwohl es nicht unter diesem Namen bekannt zu sein scheint, sogar im FaceForensics++-Papier, auf das die Autoren in diesem Zusammenhang verweisen.

Erstveröffentlichung am Dienstag, den 14. Juli 2026