Die Lücke zwischen den Bildern in generativen Videos überbrücken

Neue Forschungsergebnisse aus China bieten eine verbesserte Methode zur Interpolation der Lücke zwischen zwei zeitlich entfernten Videoframes – eine der größten Herausforderungen im aktuellen Wettlauf um Realismus in generativen AI-Videos sowie für die Videokomprimierung.

Im folgenden Beispielvideo sehen wir in der linken Spalte einen “Start”- (oben links) und “End”-Frame (unten links). Die Aufgabe, die die konkurrierenden Systeme ausführen müssen, besteht darin, zu erraten, wie das Subjekt in den beiden Bildern vom Frame A zum Frame B gelangen würde. In der Animation wird dieser Prozess als Tweening bezeichnet und geht auf die Stummfilmära zurück.

Klicken Sie zum Abspielen. In der ersten, linken Spalte sehen wir den vorgeschlagenen Start- und Endframe. In der mittleren Spalte und am oberen Rand der dritten (rechten) Spalte sehen wir drei vorherige Ansätze für diese Herausforderung. Unten rechts sehen wir, dass die neue Methode ein weit überzeugenderes Ergebnis bei der Bereitstellung der Zwischenframes liefert. Quelle: https://fcvg-inbetween.github.io/

Die neue Methode, die von den chinesischen Forschern vorgeschlagen wird, wird als Frame-wise Conditions-driven Video Generation (FCVG) bezeichnet, und ihre Ergebnisse können im unteren rechten Bereich des obigen Videos gesehen werden, wobei ein glatter und logischer Übergang von einem Stillframe zum nächsten erfolgt.

Im Gegensatz dazu können wir sehen, dass eines der bekanntesten Frameworks für Video-Interpolation, Google’s Frame Interpolation for Large Motion (FILM)-Projekt, mit der Interpretation großer und auffälliger Bewegungen kämpft, wie viele ähnliche Ansätze kämpfen.

Die anderen beiden konkurrierenden Frameworks, die im Video visualisiert werden, Time Reversal Fusion (TRF) und Generative Inbetweening (GI), liefern eine weniger verzerrte Interpretation, haben jedoch frenetische und sogar komische Tanzbewegungen erstellt, die weder die implizite Logik der beiden bereitgestellten Frames respektieren.

Klicken Sie zum Abspielen. Zwei unvollkommene Lösungen für das Tweening-Problem. Links behandelt FILM die beiden Frames als einfache Morph-Ziele. Rechts weiß TRF, dass eine Form des Tanzens eingefügt werden muss, kommt aber mit einer unpraktikablen Lösung, die anatomische Anomalien zeigt.

Oben links können wir uns genauer ansehen, wie FILM dieses Problem angeht. Obwohl FILM dafür entwickelt wurde, große Bewegungen zu bewältigen, im Gegensatz zu früheren Ansätzen, die auf optischer Fluss basieren, fehlt es ihm an einem semantischen Verständnis dessen, was zwischen den beiden bereitgestellten Schlüsselbildern passieren sollte, und führt einfach eine 1980/90er-Jahre-Morph zwischen den Frames durch. FILM hat keine semantische Architektur, wie z. B. ein Latent-Diffusionsmodell wie Stable Diffusion, um bei der Erstellung einer geeigneten Brücke zwischen den Frames zu helfen.

Rechts im Video oben sehen wir TRF’s Bemühungen, bei denen Stable Video Diffusion (SVD) verwendet wird, um intelligenter zu “erraten”, wie eine Tanzbewegung, die den beiden benutzergesteuerten Frames entspricht, aussehen könnte – aber es hat eine kühne und unwahrscheinliche Annäherung gemacht.

FCVG, das unten zu sehen ist, macht einen glaubwürdigeren Job bei der Bewegung und dem Inhalt zwischen den beiden Frames:

Klicken Sie zum Abspielen. FCVG verbessert frühere Ansätze, ist aber weit von perfekt entfernt.

Es gibt noch Artefakte wie unerwünschtes Morphing von Händen und Gesichtsidentität, aber diese Version ist oberflächlich die plausibelste – und jede Verbesserung des aktuellen Standes der Technik muss im Vergleich zu der enormen Schwierigkeit, die die Aufgabe darstellt, und dem großen Hindernis, das die Herausforderung für die Zukunft von AI-generierten Videos darstellt, berücksichtigt werden.

Warum Interpolation wichtig ist

Wie wir bereits erwähnt haben, ist die Fähigkeit, plausibel Videoinhalte zwischen zwei benutzergesteuerten Frames zu füllen, eine der besten Möglichkeiten, um zeitliche Konsistenz in generativen Videos zu gewährleisten, da zwei reale und aufeinanderfolgende Fotos derselben Person natürliche konsistente Elemente wie Kleidung, Haare und Umgebung enthalten.

Wenn nur ein einzelner Startframe verwendet wird, wird der begrenzte Aufmerksamkeitsbereich eines generativen Systems, der oft nur nahegelegene Frames berücksichtigt, dazu neigen, sich allmählich zu “entwickeln” und Aspekte des Subjekts zu verändern, bis (z. B.) ein Mann ein anderer Mann (oder eine Frau) wird oder “morphende” Kleidung hat – unter vielen anderen Ablenkungen, die in Open-Source-T2V-Systemen und in den meisten bezahlten Lösungen wie Kling häufig generiert werden.

Klicken Sie zum Abspielen. Die neue Forschungsarbeit liefert zwei (reale) Quellframes in Kling mit dem Hinweis “Ein Mann tanzt auf einem Dach”, was nicht zu einer idealen Lösung führte. Obwohl Kling 1.6 zum Zeitpunkt der Erstellung verfügbar war, unterstützt V1.5 die benutzergesteuerten Start- und Endframes. Quelle: https://klingai.com/

Ist das Problem bereits gelöst?

Im Gegensatz dazu scheinen einige kommerzielle, geschlossene und proprietäre Systeme besser mit dem Problem umzugehen – insbesondere RunwayML, das sehr plausible Zwischenbilder der beiden Quellframes erstellen konnte:

Klicken Sie zum Abspielen. RunwayMLs Diffusions-basierte Interpolation ist sehr effektiv. Quelle: https://app.runwayml.com/

Die Wiederholung der Übung ergab, dass RunwayML ein zweites, ebenso glaubwürdiges Ergebnis produzierte:

Klicken Sie zum Abspielen. Der zweite Lauf der RunwayML-Sequenz.

Ein Problem hierbei ist, dass wir nichts über die Herausforderungen erfahren, noch den Stand der offenen Forschung vorantreiben können, wenn ein proprietäres System verwendet wird. Wir können nicht wissen, ob diese überlegene Darstellung durch einzigartige architektonische Ansätze, durch Daten (oder Datenkurierungsmethoden wie Filterung und Annotation) oder durch eine Kombination aus diesen und anderen möglichen Forschungsinnovationen erreicht wurde.

Zweitens können kleinere Unternehmen, wie visuelle Effektunternehmen, langfristig nicht von B2B-API-Serviceleistungen abhängig sein, die ihre logistische Planung durch einen einzelnen Preiserhöhungsantrag potenziell untergraben könnten – insbesondere, wenn ein Service den Markt dominiert und daher eher bereit ist, die Preise zu erhöhen.

Wenn die Rechte falsch sind

Viel wichtiger ist, dass ein gut funktionierendes kommerzielles Modell, das auf ungenehmigten Daten trainiert wurde, wie es bei RunwayML der Fall zu sein scheint, jedes Unternehmen, das solche Dienstleistungen nutzt, mit nachgelagerten rechtlichen Risiken konfrontieren könnte.

Da Gesetze (und einige Klagen) länger als Präsidenten sind und da der entscheidende US-Markt zu den streitlustigsten der Welt gehört, scheint die aktuelle Tendenz zu einer stärkeren gesetzlichen Überwachung von AI-Trainingsdaten wahrscheinlich, die “leichte Berührung” von Donald Trumps nächster Präsidentschaftsperiode zu überleben.

Daher muss der Bereich der Computer-Vision-Forschung dieses Problem auf die harte Tour angehen, damit sich die entstehenden Lösungen langfristig durchsetzen können.

FCVG

Die neue Methode aus China wird in einem Paper mit dem Titel Generative Inbetweening durch Frame-weise Bedingungen-gesteuerte Video-Generierung vorgestellt und stammt von fünf Forschern der Harbin Institute of Technology und der Tianjin-Universität.

FCVG löst das Problem der Mehrdeutigkeit bei der Interpolationsaufgabe, indem es frame-weise Bedingungen nutzt, zusammen mit einem Framework, das Ränder in den benutzergesteuerten Start- und Endframes erkennt, was dem Prozess hilft, eine konsistentere Spur der Übergänge zwischen einzelnen Frames zu verfolgen und auch den Gesamteffekt.

Frame-weise Bedingungen beinhalten die Aufteilung der Erstellung von Zwischenframes in Teilprozesse, anstatt versucht zu werden, eine sehr große semantische Lücke zwischen zwei Frames zu füllen (und je länger die angeforderte Video-Ausgabe ist, desto größer ist diese semantische Distanz).

Im folgenden Bild aus dem Paper vergleichen die Autoren die oben genannte Zeitumkehr-Methode (TRF) mit ihrer Methode. TRF erstellt zwei Videogenerierungswege unter Verwendung eines vorgebildeten Bild-zu-Video-Modells (SVD). Einer ist ein “vorwärtsgerichteter” Pfad, der auf dem Startframe bedingt ist, und der andere ein “rückwärtsgerichteter” Pfad, der auf dem Endframe bedingt ist. Beide Pfade beginnen mit dem gleichen Zufallsrauschen. Dies ist links im Bild unten dargestellt:

Vergleich vorheriger Ansätze mit FCVG. Quelle: https://arxiv.org/pdf/2412.11755

Die Autoren behaupten, dass FCVG eine Verbesserung gegenüber Zeitumkehr-Methoden ist, da es die Mehrdeutigkeit bei der Videogenerierung reduziert, indem es jedem Frame eine explizite Bedingung gibt, was zu einem stabilen und konsistenten Ausgang führt.

Zeitumkehr-Methoden wie TRF können, so behauptet das Paper, zu Mehrdeutigkeit führen, da die vorwärts- und rückwärtsgerichteten Generierungswege divergieren und zu Fehlern oder Inkonsistenzen führen können. FCVG behebt dies, indem es frame-weise Bedingungen verwendet, die aus übereinstimmenden Linien zwischen dem Start- und Endframe abgeleitet werden (unten rechts im Bild oben), die den Generierungsprozess leiten.

Klicken Sie zum Abspielen. Ein weiterer Vergleich von der FCVG-Projektseite.

Zeitumkehr ermöglicht die Verwendung vorgebildeter Videogenerierungsmodelle für Inbetweening, hat jedoch einige Nachteile. Die durch I2V-Modelle generierte Bewegung ist vielfältig und nicht stabil. Während dies für reine Bild-zu-Video-Aufgaben (I2V) nützlich ist, führt es zu Mehrdeutigkeit und Inkonsistenzen.

Zeitumkehr erfordert auch mühsames Abstimmen von Hyperparametern, wie z. B. der Bildfrequenz für jedes generierte Video. Darüber hinaus verlangsamen einige der Techniken, die bei der Zeitumkehr verwendet werden, um Mehrdeutigkeit zu reduzieren, die Inferenz erheblich und erhöhen die Verarbeitungszeit.

Methode

Die Autoren stellen fest, dass, wenn eines dieser Probleme (Vielfalt vs. Stabilität) gelöst werden kann, alle anderen nachfolgenden Probleme wahrscheinlich von selbst gelöst werden. Dies wurde in früheren Arbeiten wie der oben genannten GI und auch ViBiDSampler versucht.

Das Paper besagt:

‘Trotzdem gibt es zwischen diesen Wegen erhebliche Stochastik, was die Wirksamkeit dieser Methoden bei der Bewältigung von Szenarien mit großen Bewegungen, wie z. B. schnellen Änderungen der menschlichen Posen, einschränkt. Die Mehrdeutigkeit im Interpolationspfad entsteht hauptsächlich durch unzureichende Bedingungen für Zwischenframes, da zwei Eingabebilder nur Bedingungen für Start- und Endframes liefern.

‘Daher schlagen wir vor, eine explizite Bedingung für jeden Frame bereitzustellen, was die Mehrdeutigkeit des Interpolationspfads erheblich verringert.’

Wir können die Kernkonzepte von FCVG in der folgenden Grafik sehen. FCVG generiert eine Folge von Videoframes, die konsistent mit zwei Eingabeframes starten und enden. Dies stellt sicher, dass die Frames zeitlich stabil sind, indem frame-spezifische Bedingungen für den Videogenerierungsprozess bereitgestellt werden.

Schema für die Inferenz von FCVG.

Bei dieser Neukonzeption des Zeitumkehransatzes kombiniert die Methode Informationen aus beiden Richtungen, indem sie sie zu einem glatten Übergang kombiniert. Durch einen iterativen Prozess verfeinert das Modell allmählich die verrauschten Eingaben, bis die endgültige Menge der Zwischenframes produziert wird.

Der nächste Schritt umfasst die Verwendung des vorgebildeten GlueStick-Modells zur Linienverfolgung, das Übereinstimmungen zwischen den beiden berechneten Start- und Endframes erstellt, wobei optional Skelett-Posen verwendet werden können, um das Modell über das Stable-Video-Diffusionsmodell zu leiten.

GlueStick leitet Linien aus interpretierten Formen ab. Diese Linien liefern Übereinstimmungen zwischen Start- und Endframes in FCVG*.

Die Autoren bemerken:

‘Wir haben empirisch festgestellt, dass lineare Interpolation in den meisten Fällen ausreicht, um zeitliche Stabilität in Zwischenvideos zu gewährleisten, und unsere Methode ermöglicht es den Benutzern, nicht-lineare Interpolationspfade für die Erstellung von gewünschten Videos anzugeben.’

Der Arbeitsablauf für die Festlegung von vorwärts- und rückwärtsgerichteten frame-weise Bedingungen. Wir können die übereinstimmenden Farben sehen, die den Inhalt konsistent halten, während die Animation entwickelt wird.

Um die erhaltenen frame-weise Bedingungen in SVD einzuspeisen, verwendet FCVG die Methode, die für die 2024 ControlNeXt-Initiative entwickelt wurde. Bei diesem Prozess werden die Steuerbedingungen zunächst durch mehrere ResNet-Blöcke kodiert, bevor eine Kreuznormalisierung zwischen den Bedingungs- und SVD-Zweigen des Arbeitsablaufs durchgeführt wird.

Eine kleine Menge an Videos wird für die Feinabstimmung des SVD-Modells verwendet, wobei die meisten Parameter des Modells eingefroren sind.

‘Die [oben genannten Einschränkungen] wurden in FCVG größtenteils behoben: (i) Durch die explizite Angabe der Bedingung für jeden Frame wird die Mehrdeutigkeit zwischen den vorwärts- und rückwärtsgerichteten Wegen erheblich verringert; (ii) Nur ein einstellbarer [Parameter wird eingeführt], während die Hyperparameter in SVD standardmäßig sind, was in den meisten Szenarien gute Ergebnisse liefert; (iii) Eine einfache Mittelwertfusion, ohne Neu-Einspeisung von Rauschen, ist in FCVG ausreichend, und die Inferenzschritte können im Vergleich zu [GI] um 50 % reduziert werden.’

Breites Schema für die Einspeisung von frame-weise Bedingungen in Stable Video Diffusion für FCVG.

Daten und Tests

Um das System zu testen, haben die Forscher eine Datenmenge mit vielfältigen Szenen erstellt, darunter Außenumgebungen, menschliche Posen und Innenräume, einschließlich Bewegungen wie Kamerabewegungen, Tanzaktionen und Gesichtsausdrücken. Die 524 ausgewählten Clips stammen aus den DAVIS– und RealEstate10k-Datenmengen. Diese Sammlung wurde durch hochauflösende Videos von Pexels ergänzt. Die kuratierte Menge wurde im Verhältnis 4:1 zwischen Feinabstimmung und Test aufgeteilt.

Verwendete Metriken waren Learned Perceptual Similarity Metrics (LPIPS); Fréchet-Inception-Distanz (FID); Fréchet-Video-Distanz (FVD); VBench; und Fréchet-Video-Motion-Distanz.

Die Autoren bemerken, dass keine dieser Metriken gut geeignet ist, um zeitliche Stabilität zu schätzen, und verweisen uns auf die Videos auf der FCVG-Projektseite.

Zusätzlich zur Verwendung von GlueStick für die Linienverfolgung wurde DWPose für die Schätzung von menschlichen Posen verwendet.

Die Feinabstimmung fand für 70.000 Iterationen unter dem AdamW-Optimizer auf einem NVIDIA-A800-GPU statt, mit einer Lernrate von 1×10^-6, wobei die Frames auf 512×320-Patches zugeschnitten wurden.

Getestete konkurrierende Frameworks waren FILM, GI, TRF und DynamiCrafter.

Bei der quantitativen Bewertung wurden Frame-Lücken im Bereich von 12 bis 23 bearbeitet.

Quantitative Ergebnisse im Vergleich zu vorherigen Frameworks.

In Bezug auf diese Ergebnisse bemerkt das Paper:

‘Unsere Methode erreicht die beste Leistung unter vier generativen Ansätzen bei allen Metriken. Im Vergleich zu FILM ist unser FCVG bei LPIPS marginal schlechter, zeigt aber eine überlegene Leistung bei anderen Metriken. Angesichts der Abwesenheit von zeitlichen Informationen in LPIPS ist es möglicherweise angemessener, andere Metriken und visuelle Beobachtungen zu priorisieren.

‘Darüber hinaus zeigt sich bei der Vergleichung der Ergebnisse unter verschiedenen Frame-Lücken, dass FILM gut funktioniert, wenn die Lücke klein ist, während generative Methoden für große Lücken besser geeignet sind. Unter diesen generativen Methoden zeigt unser FCVG aufgrund seiner expliziten frame-weise Bedingungen eine signifikante Überlegenheit.’

Bei der qualitativen Bewertung erstellten die Autoren die auf der Projektseite (einige davon sind in diesem Artikel eingebettet) und statische und animierte^† Ergebnisse im PDF-Paper,

Beispielhafte statische Ergebnisse aus dem Paper. Bitte beachten Sie, dass das PDF eine bessere Auflösung bietet und dass das PDF Animationen enthält, die in Anwendungen abgespielt werden können, die diese Funktion unterstützen.

Die Autoren bemerken:

‘Während FILM glatte Interpolationsergebnisse für kleine Bewegungsszenarien produziert, kämpft es mit großen Bewegungen aufgrund der inhärenten Einschränkungen des optischen Flusses, was zu auffälligen Artefakten wie Hintergrund- und Handbewegungen (im ersten Fall) führt.

‘Generative Modelle wie TRF und GI leiden unter Mehrdeutigkeiten in den Fusionspfaden, was zu unstabilem Zwischenbewegungen führt, insbesondere in komplexen Szenen mit menschlicher und Objektbewegung.

‘Im Gegensatz dazu liefert unsere Methode konsistent zufriedenstellende Ergebnisse in verschiedenen Szenarien.’ Selbst wenn erhebliche Okklusion vorhanden ist (im zweiten Fall und im sechsten Fall), kann unsere Methode immer noch vernünftige Bewegungen erfassen. Darüber hinaus zeigt unser Ansatz Robustheit bei komplexen menschlichen Aktionen (im letzten Fall).’

Die Autoren fanden auch heraus, dass FCVG ungewöhnlich gut auf Animations-Videos verallgemeinert:

Klicken Sie zum Abspielen. FCVG produziert sehr überzeugende Ergebnisse für Cartoon-Animationen.

Fazit

FCVG stellt zumindest eine inkrementelle Verbesserung für den aktuellen Stand der Technik bei der Frame-Interpolation in einem nicht-proprietären Kontext dar. Die Autoren haben den Code für die Arbeit auf GitHub verfügbar gemacht, obwohl die zugehörige Datenmenge zum Zeitpunkt des Schreibens noch nicht veröffentlicht wurde.

Wenn proprietäre kommerzielle Lösungen die offenen Bemühungen durch die Verwendung von web-gesammelten, ungenehmigten Daten übertreffen, scheint es, dass es für kommerzielle Zwecke nur begrenzt oder gar keine Zukunft für einen solchen Ansatz gibt; die Risiken sind einfach zu groß.

Daher ist es, auch wenn die offene Szene hinter den beeindruckenden Vorführungen der aktuellen Marktführer zurückbleibt, wahrscheinlich, dass sie am Ende die Oberhand gewinnt.

* Quelle: https://openaccess.thecvf.com/content/ICCV2023/papers/Pautrat_GlueStick_Robust_Image_Matching_by_Sticking_Points_and_Lines_Together_ICCV_2023_paper.pdf

^† Benötigt den Acrobat-Reader, Okular oder einen anderen PDF-Reader, der eingebettete PDF-Animationen wiedergeben kann.

Erstveröffentlicht am Freitag, den 20. Dezember 2024