Erzeugung von besseren AI-Videos aus nur zwei Bildern

Die Video-Frames-Interpolation (VFI) ist ein offenes Problem in der generativen Video-Forschung. Die Herausforderung besteht darin, Zwischenframes zwischen zwei bestehenden Frames in einer Video-Sequenz zu generieren.

Bitte klicken Sie, um abzuspielen. Das FILM-Framework, eine Zusammenarbeit zwischen Google und der University of Washington, schlug eine effektive Frame-Interpolationsmethode vor, die in Hobbyist- und professionellen Kreisen beliebt ist. Auf der linken Seite können wir die beiden separaten und unterschiedlichen Frames überlagert sehen; in der Mitte den “Endframe”; und auf der rechten Seite die endgültige Synthese zwischen den Frames. Quellen: https://film-net.github.io/ und https://arxiv.org/pdf/2202.04901

Im Allgemeinen geht diese Technik auf über ein Jahrhundert zurück und wurde in traditioneller Animation verwendet. In diesem Kontext wurden Master-“Keyframes” von einem Haupt-Animationskünstler erstellt, während die Arbeit der “Tweening”-Zwischenframes von anderen Mitarbeitern durchgeführt wurde, als eine eher untergeordnete Aufgabe.

Vor dem Aufkommen von generativer KI wurde die Frame-Interpolation in Projekten wie Real-Time Intermediate Flow Estimation (RIFE), Depth-Aware Video Frame Interpolation (DAIN) und Google’s Frame Interpolation for Large Motion (FILM – siehe oben) für die Erhöhung der Bildfrequenz eines bestehenden Videos oder die Erstellung von künstlich generierten Zeitlupeneffekten verwendet. Dies wird erreicht, indem die bestehenden Frames eines Clips aufgeteilt und geschätzte Zwischenframes generiert werden.

VFI wird auch bei der Entwicklung besserer Video-Codecs und allgemeiner in optischen Fluss-basierten Systemen (einschließlich generativer Systeme) verwendet, die im Voraus Kenntnisse von kommenden Keyframes nutzen, um den Zwischeninhalt zu optimieren und zu formen, der ihnen vorausgeht.

Endframes in generativen Video-Systemen

Moderne generative Systeme wie Luma und Kling ermöglichen es Benutzern, einen Start- und einen Endframe zu spezifizieren und können diese Aufgabe durch die Analyse von Schlüsselpunkten in den beiden Bildern und die Schätzung einer Traektorie zwischen den beiden Bildern ausführen.

Wie wir in den folgenden Beispielen sehen können, ermöglicht die Bereitstellung eines “schließenden” Keyframes dem generativen Video-System (in diesem Fall Kling) besser, Aspekte wie Identität beizubehalten, auch wenn die Ergebnisse nicht perfekt sind (insbesondere bei großen Bewegungen).

Bitte klicken Sie, um abzuspielen. Kling ist eines von vielen Video-Generatoren, darunter Runway und Luma, die es dem Benutzer ermöglichen, einen Endframe zu spezifizieren. In den meisten Fällen führt minimale Bewegung zu den realistischsten und wenigsten fehlerhaften Ergebnissen. Quelle: https://www.youtube.com/watch?v=8oylqODAaH8

Im obigen Beispiel ist die Identität der Person zwischen den beiden vom Benutzer bereitgestellten Keyframes konsistent, was zu einer relativ konsistenten Video-Generierung führt.

Wenn nur der Startframe bereitgestellt wird, ist das Fenster der Aufmerksamkeit des generativen Systems normalerweise nicht groß genug, um sich an die Person zu “erinnern”, die am Anfang des Videos zu sehen war. Stattdessen ist die Identität wahrscheinlich ein wenig mit jedem Frame zu verschwimmen, bis alle Ähnlichkeit verloren geht. Im folgenden Beispiel wurde ein Startbild hochgeladen und die Bewegung der Person durch einen Text-Prompt gesteuert:

Bitte klicken Sie, um abzuspielen. Ohne Endframe hat Kling nur eine kleine Gruppe von unmittelbar vorherigen Frames, um die Generierung der nächsten Frames zu leiten. In Fällen, in denen eine signifikante Bewegung erforderlich ist, wird diese Atrophie der Identität schwerwiegend.

Wir können sehen, dass die Ähnlichkeit des Schauspielers nicht widerstandsfähig gegenüber den Anweisungen ist, da das generative System nicht weiß, wie er aussehen würde, wenn er lächelte, und er in dem Saatbild (dem einzigen verfügbaren Bezug) nicht lächelt.

Die Mehrheit der viralen generativen Clips ist sorgfältig kuratiert, um diese Mängel herunterzuspielen. Die Fortschritte bei der temporally konsistenten generativen Video-Systeme können jedoch von neuen Entwicklungen im Forschungsbereich in Bezug auf Frame-Interpolation abhängen, da die einzige mögliche Alternative eine Abhängigkeit von traditioneller CGI als “Leit”-Video (und auch in diesem Fall ist die Konsistenz von Textur und Beleuchtung derzeit schwer zu erreichen) ist.

Zusätzlich macht die langsam-iterative Natur der Ableitung eines neuen Frames aus einer kleinen Gruppe von aktuellen Frames es sehr schwierig, große und kühne Bewegungen zu erreichen. Dies liegt daran, dass ein Objekt, das sich schnell über einen Frame bewegt, von einer Seite zur anderen in einem einzigen Frame übergehen kann, im Gegensatz zu den allmählicheren Bewegungen, auf die das System wahrscheinlich trainiert wurde.

Ebenso kann eine signifikante und kühne Änderung der Pose nicht nur zu einer Identitätsverschiebung, sondern auch zu lebhaften Unstimmigkeiten führen:

Bitte klicken Sie, um abzuspielen. In diesem Beispiel von Luma wird die angeforderte Bewegung nicht gut in den Trainingsdaten repräsentiert.

Framer

Dies bringt uns zu einem interessanten aktuellen Paper aus China, das behauptet, einen neuen Stand der Technik in authentisch aussehender Frame-Interpolation erreicht zu haben – und das als erstes seiner Art eine drag-basierte Benutzeroberfläche bietet.

Framer ermöglicht es dem Benutzer, die Bewegung mithilfe einer intuitiven drag-basierten Oberfläche zu steuern, obwohl es auch einen “automatischen” Modus gibt. Quelle: https://www.youtube.com/watch?v=4MPGKgn7jRc

Drag-zentrierte Anwendungen sind häufig in der Literatur in letzter Zeit, da der Forschungsbereich versucht, Instrumentalitäten für generative Systeme bereitzustellen, die nicht auf den ziemlich groben Ergebnissen basieren, die durch Text-Prompts erhalten werden.

Das neue System, das Framer genannt wird, kann nicht nur dem benutzergeführten Drag folgen, sondern verfügt auch über einen konventionelleren “Autopilot”-Modus. Neben konventionellem Tweening ist das System in der Lage, Time-Lapse-Simulationen, Morphing und neue Ansichten des Eingabebildes zu produzieren.

Zwischenframes, die für eine Time-Lapse-Simulation in Framer generiert wurden. Quelle: https://arxiv.org/pdf/2410.18978

In Bezug auf die Erzeugung neuer Ansichten überschneidet sich Framer ein wenig mit dem Gebiet der Neuralen Radiance-Felder (NeRF) – obwohl nur zwei Bilder erforderlich sind, während NeRF normalerweise sechs oder mehr Bildansichten erfordert.

Bei Tests konnte Framer, das auf Stability.ai’s Stable Video Diffusion latenten Diffusions-generativen Video-Modell basiert, die approximierten Rivalen-Ansätze überbieten, in einer Benutzerstudie.

Zum Zeitpunkt des Schreibens ist der Code zum Release auf GitHub geplant. Video-Beispiele (von denen die oben genannten Bilder abgeleitet sind) sind auf der Projekt-Website verfügbar, und die Forscher haben auch ein YouTube-Video veröffentlicht.

Das neue Paper trägt den Titel Framer: Interaktive Frame-Interpolation und stammt von neun Forschern aus der Zhejiang-Universität und der Alibaba-Gruppe.

Methode

Framer verwendet keypoint-basierte Interpolation in beiden Modi, wobei das Eingabebild auf seine grundlegende Topologie ausgewertet wird und “bewegliche” Punkte zugewiesen werden, wo notwendig. Im Effekt sind diese Punkte äquivalent zu Gesichtsmerkmalen in ID-basierten Systemen, aber verallgemeinern sich auf jede Oberfläche.

Die Forscher feinjustierten Stable Video Diffusion (SVD) auf dem OpenVid-1M-Dataset, fügten eine zusätzliche letzte Frame-Synthese-Fähigkeit hinzu. Dies ermöglicht einen Traektorie-Steuerungsmechanismus (oben rechts im Schema-Bild unten), der eine Traektorie zum Endframe (oder von ihm) auswerten kann.

Schema für Framer.

In Bezug auf die Hinzufügung der letzten Frame-Bedingung erklären die Autoren:

‘Um den visuellen Vorrang des vorgefertigten SVD so weit wie möglich zu bewahren, folgen wir dem Conditioning-Paradigma von SVD und injizieren Endframe-Bedingungen im latenten Raum und semantischen Raum.

‘Insbesondere verbinden wir das VAE-codierte latente Merkmal des ersten Frames [Frame] mit dem verrauschten latenten des ersten Frames, wie es in SVD der Fall ist. Zusätzlich verbinden wir das latente Merkmal des letzten Frames, zn, mit dem verrauschten latenten des Endframes, unter der Annahme, dass die Bedingungen und die entsprechenden verrauschten Latente räumlich ausgerichtet sind.

‘Darüber hinaus extrahieren wir die CLIP-Bild-Einbettung des ersten und letzten Frames getrennt und verbinden sie für die Kreuz-Aufmerksamkeits-Feature-Injektion.’

Für die drag-basierte Funktionalität nutzt der Traektorie-Modul das Meta-AI-geführte CoTracker-Framework, das eine Vielzahl von möglichen Pfaden auswertet. Diese werden auf 1-10 mögliche Traektorien reduziert.

Die erhaltenen Punktkoordinaten werden dann durch eine Methode transformiert, die von der DragNUWA– und DragAnything-Architektur inspiriert ist. Dies ergibt eine Gauß-Heatmap, die die Zielbereiche für die Bewegung individuiert.

Die Daten werden dann an die Conditioning-Mechanismen von ControlNet gefüttert, einem Neben-Übereinstimmungssystem, das ursprünglich für Stable Diffusion konzipiert und seitdem an andere Architekturen angepasst wurde.

Für den Autopilot-Modus wird die Feature-Übereinstimmung zunächst durch SIFT durchgeführt, das eine Traektorie interpretiert, die dann an ein auto-aktualisierendes Mechanismus inspiriert von DragGAN und DragDiffusion weitergeleitet werden kann.

Schema für die Punkt-Traektorie-Schätzung in Framer.

Daten und Tests

Für die Feinjustierung von Framer wurden die räumliche Aufmerksamkeit und die Restblöcke eingefroren, und nur die temporalen Aufmerksamkeitsschichten und Restblöcke wurden beeinflusst.

Das Modell wurde für 10.000 Iterationen unter AdamW mit einer Lernrate von 1e-4 und einer Batch-Größe von 16 trainiert. Das Training fand auf 16 NVIDIA A100-GPUs statt.

Da vorherige Ansätze für das Problem keine drag-basierte Bearbeitung anbieten, entschieden sich die Forscher, den Autopilot-Modus von Framer mit der Standardfunktionalität älterer Ansätze zu vergleichen.

Die Frameworks, die für die Kategorie der aktuellen diffusionsbasierten Video-Generierungssysteme getestet wurden, waren LDMVFI; Dynamic Crafter; und SVDKFI. Für “traditionelle” Video-Systeme waren die rivalisierenden Frameworks AMT; RIFE; FLAVR; und das bereits erwähnte FILM.

Zusätzlich zur Benutzerstudie wurden Tests auf den DAVIS– und UCF101-Datensätzen durchgeführt.

Qualitative Tests können nur durch die objektiven Fähigkeiten des Forschungsteams und durch Benutzerstudien bewertet werden. Die Studie bemerkt jedoch, dass traditionelle quantitative Metriken größtenteils ungeeignet für die vorliegende Aufgabe sind:

‘[Rekonstruktions-]Metriken wie PSNR, SSIM und LPIPS erfassen die Qualität der interpolierten Frames nicht genau, da sie andere plausible Interpolations-Ergebnisse, die nicht pixelgenau mit dem Original-Video übereinstimmen, bestrafen.

‘Während Generierungs-Metriken wie FID einige Verbesserungen bieten, sind sie immer noch unzureichend, da sie nicht die zeitliche Konsistenz berücksichtigen und Frames isoliert auswerten.’

Trotzdem führten die Forscher qualitative Tests mit mehreren populären Metriken durch:

Quantitative Ergebnisse für Framer im Vergleich zu rivalisierenden Systemen.

Die Autoren bemerken, dass Framer trotz der ungünstigen Umstände den besten FVD-Score unter den getesteten Methoden erreicht.

Unten finden Sie die Beispielergebnisse der Studie für einen qualitativen Vergleich:

Qualitativer Vergleich mit früheren Ansätzen. Bitte beachten Sie, dass die bessere Auflösung und die Video-Ergebnisse auf https://www.youtube.com/watch?v=4MPGKgn7jRc zu finden sind.

Die Autoren kommentieren:

‘[Unsere] Methode produziert wesentlich klarere Texturen und natürlichere Bewegungen im Vergleich zu bestehenden Interpolations-Techniken. Sie funktioniert besonders gut in Szenarien mit erheblichen Unterschieden zwischen den Eingabe-Frames, in denen traditionelle Methoden oft Schwierigkeiten haben, den Inhalt genau zu interpolieren.

‘Im Vergleich zu anderen diffusionsbasierten Methoden wie LDMVFI und SVDKFI zeigt Framer eine überlegene Anpassungsfähigkeit an schwierige Fälle und bietet bessere Kontrolle.’

Für die Benutzerstudie sammelten die Forscher 20 Teilnehmer, die 100 zufällig geordnete Video-Ergebnisse von den verschiedenen Methoden bewerteten. So wurden 1000 Bewertungen erhalten, die die “realistischsten” Angebote bewerteten:

Ergebnisse der Benutzerstudie.

Wie aus dem obigen Diagramm hervorgeht, bevorzugen die Benutzer eindeutig die Ergebnisse von Framer.

Das begleitende YouTube-Video des Projekts zeigt einige der potenziellen anderen Anwendungen von Framer, einschließlich Morphing und Cartoon-Zwischenbildern – wo das gesamte Konzept begann.

Schlussfolgerung

Es ist schwierig, die Bedeutung dieser Herausforderung für die Aufgabe der AI-basierten Video-Generierung zu überschätzen. Bisher wurden ältere Lösungen wie FILM und die nicht-AI-basierte EbSynth von beiden Amateur- und professionellen Gemeinschaften für das Tweening zwischen Frames verwendet; aber diese Lösungen haben erhebliche Einschränkungen.

Da die offiziellen Beispiel-Videos für neue T2V-Frameworks sorgfältig kuratiert sind, um diese Mängel herunterzuspielen, gibt es eine weite öffentliche Fehlwahrnehmung, dass maschinelle Lernsysteme die Geometrie in Bewegung genau ableiten können, ohne auf Steuermechanismen wie 3D-Morphable-Modelle (3DMMs) oder andere Nebenansätze wie LoRAs zurückgreifen zu müssen.

Um ehrlich zu sein, ist das Tweening selbst, auch wenn es perfekt ausgeführt werden könnte, nur ein “Hack” oder ein Trick bei diesem Problem. Dennoch ist es oft einfacher, zwei gut ausgerichtete Frame-Bilder zu produzieren, als eine Steuerung über Text-Prompts oder die aktuelle Reihe von Alternativen zu erreichen, also ist es gut zu sehen, dass es iterative Fortschritte bei einer AI-basierten Version dieser älteren Methode gibt.

Erstveröffentlicht am Dienstag, den 29. Oktober 2024