Der Weg zu besserer AI-basierter Video-Bearbeitung

Der Forschungsbereich der Video-/Bildsynthese gibt regelmäßig Video-Bearbeitungsarchitekturen heraus, und in den letzten neun Monaten sind solche Veröffentlichungen noch häufiger geworden. Allerdings stellen die meisten von ihnen nur inkrementelle Fortschritte auf dem aktuellen Stand der Technik dar, da die Kernherausforderungen erheblich sind.

Ein neues Forschungsprojekt zwischen China und Japan hat jedoch einige Beispiele hervorgebracht, die einer näheren Betrachtung wert sind, auch wenn es sich nicht unbedingt um eine Meilensteinarbeit handelt.

In dem folgenden Video (von der Projektwebsite, die möglicherweise Ihren Browser belasten kann) sehen wir, dass die Deep-Fake-Fähigkeiten des Systems in der aktuellen Konfiguration nicht existieren, aber das System tut eine gute Arbeit bei der plausiblen und erheblichen Änderung der Identität der jungen Frau im Bild, basierend auf einer Video-Maske (unten links):

Klicken Sie, um abzuspielen. Basierend auf der semantischen Segmentierungsmaske, die in der unteren linken Ecke visualisiert wird, wird die ursprüngliche (obere linke) Frau in eine deutlich andere Identität umgewandelt, obwohl dieser Prozess nicht die Identitätsänderung erreicht, die in der Prompt-Anweisung angegeben ist. Quelle: https://yxbian23.github.io/project/video-painter/ (Bitte beachten Sie, dass die Website zum Zeitpunkt des Schreibens dazu neigte, meinen Browser zu crashen). Bitte besuchen Sie die Quellvideos, wenn Sie darauf zugreifen können, für eine bessere Auflösung und Details oder überprüfen Sie die Beispiele im Überblicksvideo auf https://www.youtube.com/watch?v=HYzNfsD3A0s

Maskenbasierte Bearbeitung dieser Art ist in statischen latenten Diffusionsmodellen etabliert, die Tools wie ControlNet verwenden. Allerdings ist die Aufrechterhaltung der Hintergrundkonsistenz in Videos erheblich herausfordernder, selbst wenn maskierte Bereiche dem Modell kreative Flexibilität bieten, wie unten gezeigt:

Klicken Sie, um abzuspielen. Ein Wechsel der Art, mit der neuen VideoPainter-Methode. Bitte besuchen Sie die Quellvideos, wenn Sie darauf zugreifen können, für eine bessere Auflösung und Details oder überprüfen Sie die Beispiele im Überblicksvideo auf https://www.youtube.com/watch?v=HYzNfsD3A0s

Die Autoren der neuen Arbeit betrachten ihre Methode im Hinblick auf Tencents eigene BrushNet-Architektur (die wir im letzten Jahr behandelt haben) und auf ControlNet, die beide eine dual-branch-Architektur behandeln, die in der Lage ist, den Vordergrund und den Hintergrund zu isolieren.

Allerdings stellt die direkte Anwendung dieser Methode auf den von OpenAIs Sora vorgeschlagenen, äußerst produktiven Diffusion-Transformer-Ansatz (DiT) besondere Herausforderungen dar, wie die Autoren feststellen:

‘Die direkte Anwendung der Architektur von BrushNet und ControlNet auf Video-DiTs stellt mehrere Herausforderungen dar: Erstens wäre es angesichts der robusten generativen Grundlage und der großen Modellgröße von Video-DiTs unnötig und rechenintensiv, den vollständigen oder halben Video-DiT-Backbone als Kontext-Encoder zu replizieren.

‘Zweitens enthalten DiT-Tokens in maskierten Bereichen – anders als bei BrushNets rein konvolutionalem Steuerungszweig – aufgrund der globalen Aufmerksamkeit inhärent Hintergrundinformationen, was die Unterscheidung zwischen maskierten und unmaskierten Bereichen in DiT-Backbones erschwert.

‘Schließlich fehlt ControlNet die Feature-Injektion über alle Schichten hinweg, was die dichte Hintergrundkontrolle bei Inpainting-Aufgaben behindert.’

Daher haben die Forscher einen plug-and-play-Ansatz in Form eines dual-branch-Frameworks namens VideoPainter entwickelt.

VideoPainter bietet ein dual-branch-Video-Inpainting-Framework, das vorab trainierte DiTs mit einem leichten Kontext-Encoder erweitert. Dieser Encoder macht nur 6% der Parameter des Backbones aus, was die Autoren als effizienter als herkömmliche Methoden betrachten.

Das Modell schlägt drei Schlüsselinnovationen vor: einen gestreamten zweischichtigen Kontext-Encoder für effiziente Hintergrundführung; ein masken-selektives Feature-Integrationssystem, das maskierte und unmaskierte Token trennt; und eine Inpainting-Region-ID-Resampling-Technik, die die Identitätskonsistenz über lange Video-Sequenzen hinweg aufrechterhält.

Indem VideoPainter sowohl den vorab trainierten DiT als auch den Kontext-Encoder einfriert und einen ID-Adapter einführt, stellt das Framework sicher, dass Inpainting-Region-Tokens aus vorherigen Clips während des Trainings persistieren und während der Inferenz resampelt werden, was Flackern und Inkonsistenzen reduziert.

Das Framework ist auch für plug-and-play-Kompatibilität konzipiert, sodass Benutzer es nahtlos in bestehende Video-Generierungs- und -Bearbeitungs-Workflows integrieren können.

Um die Arbeit zu unterstützen, die CogVideo-5B-I2V als generative Engine verwendet, haben die Autoren die größte Video-Inpainting-Datensammlung bis dato kuratiert. Diese Sammlung, die VPData genannt wird, besteht aus über 390.000 Clips, mit einer Gesamtdauer von über 886 Stunden. Sie haben auch ein damit verbundenes Benchmarking-Framework namens VPBench entwickelt.

Klicken Sie, um abzuspielen. Aus den Beispielen auf der Projektwebsite sehen wir die Segmentierungsfähigkeiten, die durch die VPData-Sammlung und das VPBench-Test-Suite ermöglicht werden. Bitte besuchen Sie die Quellvideos, wenn Sie darauf zugreifen können, für eine bessere Auflösung und Details oder überprüfen Sie die Beispiele im Überblicksvideo auf https://www.youtube.com/watch?v=HYzNfsD3A0s

Die neue Arbeit trägt den Titel VideoPainter: Any-length-Video-Inpainting und -Bearbeitung mit plug-and-play-Kontext-Steuerung und stammt von sieben Autoren aus dem Tencent ARC Lab, der chinesischen Universität von Hongkong, der Universität von Tokio und der Universität von Macau.

Neben der oben genannten Projektwebsite haben die Autoren auch eine zugänglichere YouTube-Übersicht sowie eine Hugging Face-Seite veröffentlicht.

Methode

Die Datensammlungspipeline für VPData besteht aus Sammlung, Annotation, Aufteilung, Auswahl und Beschriftung:

Schema für die Datensammlungspipeline. Quelle: https://arxiv.org/pdf/2503.05639

Die Quellsammlungen, die für diese Kompilation verwendet wurden, kamen von Videvo und Pexels, mit einer anfänglichen Menge von etwa 450.000 Videos.

Mehrere beitragende Bibliotheken und Methoden umfassten die Vorverarbeitungsphase: das Recognize Anything-Framework wurde verwendet, um offene Video-Tagging bereitzustellen, das mit der Identifizierung primärer Objekte betraut war; Grounding Dino wurde für die Erkennung von Begrenzungsboxen um die identifizierten Objekte verwendet; und das Segment Anything Model 2 (SAM 2)-Framework wurde verwendet, um diese groben Auswahlmöglichkeiten in hochwertige Maskensegmentierungen zu verfeinern.

Um Szenenübergänge zu verwalten und Konsistenz in der Video-Inpainting zu gewährleisten, verwendet VideoPainter PySceneDetect, um Clips an natürlichen Breakpoints zu identifizieren und zu segmentieren, wodurch die störenden Verschiebungen vermieden werden, die oft durch das Verfolgen desselben Objekts aus mehreren Perspektiven verursacht werden. Die Clips wurden in 10-Sekunden-Intervalle unterteilt, wobei alles, was kürzer als sechs Sekunden war, verworfen wurde.

Für die Datenauswahl wurden drei Filterkriterien angewendet: ästhetische Qualität, die mit dem Laion-Aesthetic Score Predictor bewertet wurde; Bewegungsstärke, die mit optischer Fluss unter Verwendung von RAFT gemessen wurde; und Inhaltsicherheit, die durch Stable Diffusions Sicherheitsprüfer überprüft wurde.

Eine der größten Einschränkungen in bestehenden Video-Segmentierungsdatensätzen ist der Mangel an detaillierten textuellen Annotationen, die für die Steuerung generativer Modelle von entscheidender Bedeutung sind:

Die Forscher betonen den Mangel an Video-Untertitelung in vergleichbaren Sammlungen.

Daher umfasst der VideoPainter-Datenkuratierungsprozess verschiedene führende Vision-Language-Modelle, einschließlich CogVLM2 und Chat GPT-4o, um Schlüsselbild-Untertitel und detaillierte Beschreibungen maskierter Bereiche zu generieren.

VideoPainter verbessert vorab trainierte DiTs, indem es einen benutzerdefinierten leichten Kontext-Encoder einführt, der die Hintergrundkontextextraktion von der Vordergrundgenerierung trennt, wie oben rechts im folgenden Schema zu sehen ist:

Konzeptuelles Schema für VideoPainter. VideoPainters Kontext-Encoder verarbeitet rauschige Latente, heruntergesamplete Masken und maskierte Video-Latente über VAE, indem nur Hintergrund-Token in den vorab trainierten DiT integriert werden, um Mehrdeutigkeit zu vermeiden. Der ID-Resample-Adapter stellt sicher, dass die Identitätskonsistenz durch Konkatenation maskierter Regionstoken während des Trainings und Resampling aus vorherigen Clips während der Inferenz aufrechterhalten wird.

Statt den Backbone mit redundanten Verarbeitungen zu belasten, arbeitet dieser Encoder mit einer optimierten Eingabe: einer Kombination aus rauschigem Latenten, maskiertem Video-Latenten (extrahiert über einen variationalen Autoencoder oder VAE) und heruntergesampleten Masken.

Das rauschige Latenten liefert Generierungskontext, und das maskierte Video-Latenten stimmt mit der bestehenden DiT-Verteilung überein, um Kompatibilität zu verbessern.

Statt große Teile des Modells zu duplizieren, was in vorherigen Arbeiten vorkam, integriert VideoPainter nur die ersten beiden Schichten des DiT. Diese extrahierten Merkmale werden in einem strukturierten, gruppenweisen Verfahren in den gefrorenen DiT wieder eingeführt – frühe Merkmale informieren die erste Hälfte des Modells, während spätere Merkmale die zweite Hälfte verfeinern.

Zusätzlich stellt ein tokenselektiver Mechanismus sicher, dass nur Hintergrund-relevante Merkmale wieder integriert werden, wodurch Verwirrung zwischen maskierten und unmaskierten Bereichen vermieden wird. Dieser Ansatz, so argumentieren die Autoren, ermöglicht es VideoPainter, eine hohe Treue in der Hintergrundbewahrung aufrechtzuerhalten, während die Vordergrund-Inpainting-Effizienz verbessert wird.

Die Autoren weisen darauf hin, dass die von ihnen vorgeschlagene Methode diverse Stilisierungsmethoden unterstützt, einschließlich der beliebtesten, Low-Rank-Adaptation (LoRA).

Daten und Tests

VideoPainter wurde mit dem CogVideo-5B-I2V-Modell und dessen Text-zu-Video-Äquivalent trainiert. Die kuratierte VPData-Sammlung wurde bei 480x720px und einer Lernrate von 1×10^-5 verwendet.

Der ID-Resample-Adapter wurde für 2.000 Schritte trainiert und der Kontext-Encoder für 80.000 Schritte, beide mit dem AdamW-Optimizer. Die Schulung fand in zwei Stufen mit 64 NVIDIA V100-GPUs (obwohl die Arbeit nicht spezifiziert, ob diese 16 GB oder 32 GB VRAM hatten) statt.

Für die Benchmarking-Tests wurde Davis für zufällige Masken und das VPBench der Autoren für Segmentierungsbasierte Masken verwendet.

Das VPBench-Datenset umfasst Objekte, Tiere, Menschen, Landschaften und diverse Aufgaben und deckt vier Aktionen ab: hinzufügen, entfernen, ändern und tauschen. Die Sammlung umfasst 45 6-Sekunden-Videos und neun Videos mit einer durchschnittlichen Länge von 30 Sekunden.

Acht Metriken wurden für den Prozess verwendet. Für die Erhaltung maskierter Bereiche wurde die Peak-Signal-zu-Rausch-Verhältnis (PSNR); gelernte perzeptuelle Ähnlichkeitsmetriken (LPIPS); strukturellen Ähnlichkeitsindex (SSIM); und mittleren absoluten Fehler (MAE) verwendet.

Für die Text-Alignment wurde die CLIP-Ähnlichkeit verwendet, um den semantischen Abstand zwischen der Clip-Beschriftung und dem tatsächlichen wahrgenommenen Inhalt zu bewerten und um die Genauigkeit maskierter Bereiche zu bewerten.

Um die allgemeine Qualität der Ausgabe-Videos zu bewerten, wurde die Fréchet-Video-Distanz (FVD) verwendet.

Für einen quantitativen Vergleichsrundgang für Video-Inpainting stellten die Autoren ihr System gegen vorherige Ansätze ProPainter, COCOCO und Cog-Inp (CogVideoX). Der Test bestand darin, das erste Frame eines Clips mithilfe von Bild-Inpainting-Modellen zu bearbeiten und dann ein Bild-zu-Video-Backbone (I2V) zu verwenden, um die Ergebnisse in eine latente Mischoperation zu übertragen, gemäß einer Methode, die in einer Arbeit aus dem Jahr 2023 aus Israel vorgeschlagen wurde.

Da die Projektwebsite zum Zeitpunkt des Schreibens nicht voll funktionsfähig war und da das zugehörige YouTube-Video möglicherweise nicht die gesamte Bandbreite der Beispiele enthält, die auf der Projektwebsite enthalten sind, ist es ziemlich schwierig, Video-Beispiele zu finden, die spezifisch für die Ergebnisse in der Arbeit sind. Daher werden wir partielle statische Ergebnisse aus dem Papier zeigen und den Artikel mit einigen zusätzlichen Video-Beispielen schließen, die wir von der Projektwebsite extrahieren konnten.

Quantitativer Vergleich von VideoPainter vs. ProPainter, COCOCO und Cog-Inp auf VPBench (Segmentierungsmasken) und Davis (zufällige Masken). Metriken umfassen die Erhaltung maskierter Bereiche, Text-Alignment und Video-Qualität. Rot = best, Blau = zweitbest.

Zu diesen qualitativen Ergebnissen bemerken die Autoren:

‘Im Segmentierungsbasierten VPBench zeigen ProPainter und COCOCO die schlechteste Leistung bei den meisten Metriken, hauptsächlich aufgrund der Unfähigkeit, vollständig maskierte Objekte zu bearbeiten, und der Schwierigkeit der Ein-Backbone-Architektur, Hintergrundbewahrung und Vordergrundgenerierung auszugleichen.

‘Im zufälligen Masken-Benchmark Davis zeigt ProPainter eine Verbesserung, indem es partielle Hintergrundinformationen nutzt. Allerdings erzielt VideoPainter optimale Leistung bei Segmentierung (Standard und Lang) und zufälligen Masken durch seine dual-branch-Architektur, die Hintergrundbewahrung und Vordergrundgenerierung effektiv entkoppelt.’

Die Autoren präsentieren dann statische Beispiele qualitativer Tests, von denen wir eine Auswahl unten zeigen. In allen Fällen verweisen wir den Leser auf die Projektwebsite und das YouTube-Video für eine bessere Auflösung.

Ein Vergleich mit Inpainting-Methoden in vorherigen Frameworks.

Klicken Sie, um abzuspielen. Beispiele, die von uns aus den ‘Ergebnis’-Videos auf der Projektwebsite zusammengestellt wurden.

Zu diesem qualitativen Rundgang für Video-Inpainting bemerken die Autoren:

‘VideoPainter zeigt konsistent außergewöhnliche Ergebnisse in der Video-Kohärenz, -Qualität und -Alignment mit Text-Beschriftung. Insbesondere zeigt ProPainter, dass es nicht in der Lage ist, vollständig maskierte Objekte zu generieren, da es nur auf Hintergrund-Pixel-Propagierung und nicht auf Generierung angewiesen ist.

‘Während COCOCO grundlegende Funktionalität zeigt, versagt es bei der Aufrechterhaltung konsistenter ID in bearbeiteten Bereichen (inkonsistente Schiffseigenschaften und abrupte Geländeveränderungen) aufgrund seiner Ein-Backbone-Architektur, die Hintergrundbewahrung und Vordergrundgenerierung auszugleichen versucht.

‘Cog-Inp erzielt grundlegende Inpainting-Ergebnisse; jedoch führt die Unfähigkeit seines Mischoperations-Blendings, Maskengrenzen zu erkennen, zu erheblichen Artefakten.

‘Darüber hinaus kann VideoPainter kohärente Videos generieren, die eine Minute überschreiten, während es die ID-Konsistenz durch unser ID-Resampling aufrechterhält.’

Die Forscher testeten auch die Fähigkeit von VideoPainter, Untertitel zu verbessern und durch diese Methode bessere Ergebnisse zu erzielen, indem sie das System gegen UniEdit, DiTCtrl und ReVideo stellten.

Video-Bearbeitungsergebnisse gegen drei vorherige Ansätze.

Die Autoren bemerken:

‘Für sowohl Standard- als auch lange Videos in VPBench erzielt VideoPainter überlegene Leistung, selbst die End-to-End-ReVideo überbietend. Dieser Erfolg kann der dualen Branch-Architektur zugeschrieben werden, die eine hervorragende Hintergrundbewahrung und Vordergrundgenerierung ermöglicht, wodurch in nicht bearbeiteten Bereichen eine hohe Treue aufrechterhalten wird, während bearbeitete Bereiche eng mit den Bearbeitungsanweisungen übereinstimmen, ergänzt durch die Inpainting-Region-ID-Resampling, die die ID-Konsistenz in langen Videos aufrechterhält.’

Obwohl die Arbeit statische qualitative Beispiele für diese Metrik enthält, sind sie nicht sehr aufschlussreich, und wir verweisen den Leser stattdessen auf die verschiedenen Beispiele, die in den verschiedenen Videos veröffentlicht wurden.

Schließlich wurde eine menschliche Studie durchgeführt, bei der 30 Benutzer aufgefordert wurden, 50 zufällig ausgewählte Generationen aus den VPBench- und Bearbeitungs-Untersammlungen zu bewerten. Die Beispiele betonten Hintergrundbewahrung, Anpassung an die Prompt und allgemeine Video-Qualität.

Ergebnisse der Benutzerstudie für VideoPainter.

Die Autoren stellen fest:

‘VideoPainter übertraf die bestehenden Baselines deutlich, mit höheren Präferenzraten bei allen Bewertungskriterien in beiden Aufgaben.’

Sie räumen jedoch ein, dass die Qualität der VideoPainter-Generationen vom Basismodell abhängt, die bei komplexen Bewegungen und Physik Schwierigkeiten haben kann; und sie bemerken, dass es auch bei schlechten Masken oder nicht ausgerichteten Untertiteln schlecht abschneidet.

Zusammenfassung

VideoPainter scheint eine wertvolle Ergänzung der Literatur zu sein. Typisch für aktuelle Lösungen hat es jedoch erhebliche Rechenanforderungen. Viele der Beispiele, die für die Präsentation auf der Projektwebsite ausgewählt wurden, fallen weit unter den besten Beispielen. Es wäre daher interessant, dieses Framework gegen zukünftige Einträge und eine breitere Palette vorheriger Ansätze zu sehen.

* Es ist erwähnenswert, dass ‘Video-Bearbeitung’ in diesem Sinne nicht ‘Zusammenstellung diverser Clips in eine Sequenz’ bedeutet, was die traditionelle Bedeutung dieses Begriffs ist; sondern vielmehr direkte Änderung oder Modifizierung des inneren Inhalts bestehender Video-Clips mithilfe maschineller Lernverfahren

Erstveröffentlicht am Montag, den 10. März 2025. Aktualisiert am Samstag, den 25. Juli 2026, um das Video zu ersetzen.