Im Laufe der letzten Jahre haben Diffusionsmodelle enorme Erfolge und Anerkennung für Bild- und Videogenerierungsaufgaben erzielt. Videodiffusionsmodelle insbesondere haben aufgrund ihrer Fähigkeit, Videos mit hoher Kohärenz und Treue zu erzeugen, erhebliche Aufmerksamkeit erhalten. Diese Modelle erzeugen hochwertige Videos, indem sie einen iterativen Denoising-Prozess in ihrer Architektur verwenden, der allmählich hochdimensionales Gauß-Rauschen in reale Daten umwandelt.

Stable Diffusion ist eines der repräsentativsten Modelle für Bildgenerierungsaufgaben und basiert auf einem Variational AutoEncoder (VAE), um zwischen dem realen Bild und den heruntergesampleten latenten Merkmalen zu kartieren. Dies ermöglicht es dem Modell, die generativen Kosten zu reduzieren, während der Cross-Attention-Mechanismus in seiner Architektur textkonditionierte Bildgenerierung erleichtert. In jüngster Zeit hat das Stable-Diffusion-Framework die Grundlage für mehrere Plug-and-Play-Adapter gebildet, um innovativere und effektivere Bild- oder Videogenerierung zu ermöglichen. Allerdings macht der iterative Generierungsprozess, der von den meisten Videodiffusionsmodellen verwendet wird, den Bildgenerierungsprozess zeitaufwändig und vergleichsweise teuer, was seine Anwendungen einschränkt.

In diesem Artikel werden wir über AnimateLCM sprechen, ein personalisiertes Diffusionsmodell mit Adaptern, das darauf abzielt, hochwertige Videos mit minimalen Schritten und Rechenkosten zu erzeugen. Das AnimateLCM-Framework ist vom Konsistenzmodell inspiriert, das die Abtastung mit minimalen Schritten durch Destillation vorgebildeter Bild-Diffusionsmodelle beschleunigt. Darüber hinaus ermöglicht die erfolgreiche Erweiterung des Konsistenzmodells, das Latent-Konsistenzmodell (LCM), konditionale Bildgenerierung. Anstatt Konsistenzlernen direkt auf dem rohen Videodatensatz durchzuführen, schlägt das AnimateLCM-Framework vor, eine dekoppelte Konsistenzlernstrategie zu verwenden. Diese Strategie dekoppelt die Destillation von Bewegungsgenerierungsprioritäten und Bildgenerierungsprioritäten, wodurch das Modell die visuelle Qualität des generierten Inhalts verbessern und die TrainingsEffizienz gleichzeitig steigern kann. Darüber hinaus schlägt das AnimateLCM-Modell vor, Adapter von Grund auf zu trainieren oder bestehende Adapter an sein destilliertes Video-Konsistenzmodell anzupassen. Dies ermöglicht die Kombination von Plug-and-Play-Adaptern in der Familie der stabilen Diffusionsmodelle, um verschiedene Funktionen ohne Beeinträchtigung der Stichprobenrate zu erreichen.

Dieser Artikel zielt darauf ab, das AnimateLCM-Framework in die Tiefe zu beleuchten. Wir erforschen den Mechanismus, die Methodik und die Architektur des Frameworks, zusammen mit seinem Vergleich mit state-of-the-art-Bild- und Videogenerierungsframeworks. Also, fangen wir an.

AnimateLCM: Animation von personalisierten Diffusionsmodellen

Diffusionsmodelle sind aufgrund ihrer Effizienz und Fähigkeiten bei generativen Aufgaben das Framework der Wahl für Bild- und Videogenerierungsaufgaben. Die meisten Diffusionsmodelle basieren auf einem iterativen Denoising-Prozess für Bildgenerierung, der ein hochdimensionales Gauß-Rauschen allmählich in reale Daten umwandelt. Obwohl diese Methode zufriedenstellende Ergebnisse liefert, verlangsamt der iterative Prozess und die Anzahl der iterierenden Stichproben den Generierungsprozess und erhöht auch die Rechenanforderungen von Diffusionsmodellen, die viel langsamer sind als andere generative Frameworks wie GAN oder Generative Adversarial Networks. In den letzten Jahren wurden Konsistenzmodelle oder CMs als Alternative zu iterativen Diffusionsmodellen vorgeschlagen, um den Generierungsprozess zu beschleunigen, während die Rechenanforderungen konstant bleiben.

Das Highlight von Konsistenzmodellen ist, dass sie Konsistenzabbildungen lernen, die die Selbstkonsistenz von Trajektoren aufrechterhalten, die von den vorgebildeten Diffusionsmodellen eingeführt werden. Der Lernprozess von Konsistenzmodellen ermöglicht es, hochwertige Bilder mit minimalen Schritten zu erzeugen und eliminiert auch die Notwendigkeit von rechenintensiven Iterationen. Darüber hinaus kann das Latent-Konsistenzmodell oder LCM, das auf dem stabilen Diffusionsframework aufbaut, in die Web-Benutzeroberfläche mit den bestehenden Adaptern integriert werden, um eine Vielzahl von zusätzlichen Funktionen wie Echtzeit-Bild-zu-Bild-Übersetzung zu erreichen. Im Vergleich dazu liefern die bestehenden Videodiffusionsmodelle akzeptable Ergebnisse, aber Fortschritte müssen noch in dem Bereich der Videostichprobenbeschleunigung erzielt werden, was aufgrund der hohen Videogenerierungsrechenkosten von großer Bedeutung ist.

Das führt uns zu AnimateLCM, einem hochwertigen Videogenerierungsframework, das nur eine minimale Anzahl von Schritten für die Videogenerierungsaufgaben benötigt. Dem Latent-Konsistenzmodell folgend, behandelt das AnimateLCM-Framework den umgekehrten Diffusionsprozess als Lösung einer Classifier-Free-Guidance-augmentierten Wahrscheinlichkeitsfluss, und trainiert das Modell, die Lösung solcher Wahrscheinlichkeitsflüsse direkt im latenten Raum vorherzusagen. Allerdings, anstatt Konsistenzlernen direkt auf dem rohen Videodatensatz durchzuführen, das hohe Trainings- und Rechenressourcen erfordert und oft zu schlechter Qualität führt, schlägt das AnimateLCM-Framework eine dekoppelte Konsistenzlernstrategie vor. Diese Strategie dekoppelt die Destillation von Bewegungsgenerierungsprioritäten und Bildgenerierungsprioritäten.

Das AnimateLCM-Framework führt zunächst die Konsistenzdestillation durch, um das Bild-basierte Diffusionsmodell in ein Bildkonsistenzmodell umzuwandeln, und führt dann eine 3D-Inflation auf das Bildkonsistenzmodell und das Bild-Diffusionsmodell durch, um 3D-Merkmale zu berücksichtigen. Schließlich erhält das AnimateLCM-Framework das Videokonsistenzmodell durch Konsistenzdestillation auf Videodaten. Darüber hinaus, um potenzielle Merkmalskorruption aufgrund des Diffusionsprozesses zu vermeiden, schlägt das AnimateLCM-Framework vor, eine Initialisierungsstrategie zu verwenden. Da das AnimateLCM-Framework auf dem stabilen Diffusionsframework aufbaut, kann es die räumlichen Gewichte seines trainierten Videokonsistenzmodells durch öffentlich verfügbare personalisierte Bild-Diffusionsgewichte ersetzen, um innovative Generierungsergebnisse zu erzielen.

Darüber hinaus, um spezifische Adapter von Grund auf zu trainieren oder öffentlich verfügbare Adapter besser anzupassen, schlägt das AnimateLCM-Framework eine effektive Beschleunigungsstrategie für die Adapter vor, die nicht das Training spezifischer Lehrermodelle erfordern.

Die Beiträge des AnimateLCM-Frameworks können wie folgt zusammengefasst werden: Das vorgeschlagene AnimateLCM-Framework zielt darauf ab, hochwertige, schnelle und hochwertige Videogenerierung zu erreichen, und schlägt zu diesem Zweck eine dekoppelte Destillationsstrategie vor, die die Bewegungs- und Bildgenerierungsprioritäten dekoppelt, was zu besserer Generierungsqualität und verbesserter TrainingsEffizienz führt.

InstantID: Methodik und Architektur

Im Kern zieht das InstantID-Framework stark von Diffusionsmodellen und Stichprobenbeschleunigungsstrategien. Diffusionsmodelle, auch bekannt als score-basierte generative Modelle, haben bemerkenswerte Bildgenerierungsfähigkeiten demonstriert. Unter der Anleitung der Score-Richtung denoisiert die iterative Stichprobenstrategie, die von Diffusionsmodellen implementiert wird, die rauschbehafteten Daten allmählich. Die Effizienz von Diffusionsmodellen ist einer der Hauptgründe, warum sie von den meisten Videodiffusionsmodellen verwendet werden, indem sie auf zusätzlichen temporalen Schichten trainiert werden. Andererseits helfen Stichprobenbeschleunigungsstrategien, die langsamen Generierungszeiten in Diffusionsmodellen zu bekämpfen. Die Destillationsbasierte Beschleunigungsmethode justiert die ursprünglichen Diffusionsgewichte mit einer verfeinerten Architektur oder einem Zeitplan, um die Generierungsrate zu erhöhen.

Weiter, das InstantID-Framework basiert auf dem stabilen Diffusionsmodell, das es dem InstantID ermöglicht, relevante Konzepte anzuwenden. Das Modell behandelt den diskreten Vorwärtsdiffusionsprozess als kontinuierliche Zeit-Varianz-SDE. Darüber hinaus ist das stabile Diffusionsmodell eine Erweiterung des DDPM oder Denoising-Diffusion-Probabilistic-Modells, bei dem der Trainingsdatenpunkt allmählich durch eine diskrete Markov-Kette mit einem Perturbationskern gestört wird, der es ermöglicht, die Verteilung der rauschbehafteten Daten bei verschiedenen Zeitschritten zu folgen.

Um hochwertige Videogenerierung mit minimalen Schritten zu erreichen, bändigt das AnimateLCM-Framework die stabilen Diffusionsmodelle, um die Selbstkonsistenz-Eigenschaft zu befolgen. Die Gesamttrainingsstruktur des AnimateLCM-Frameworks besteht aus einer dekoppelten Konsistenzlernstrategie für Lehrer-freie Anpassung und effektive Konsistenzlernen.

Übergang von Diffusionsmodellen zu Konsistenzmodellen

Das AnimateLCM-Framework führt seine eigene Anpassung des stabilen Diffusionsmodells oder DM an das Konsistenzmodell oder CM ein, folgend der Konstruktion des Latent-Konsistenzmodells oder LCM. Es ist wichtig zu beachten, dass, obwohl die stabilen Diffusionsmodelle typischerweise das Rauschen vorhersagen, das zu den Stichproben hinzugefügt wird, sie wesentliche Sigma-Diffusionsmodelle sind. Dies steht im Gegensatz zu Konsistenzmodellen, die darauf abzielen, die Lösung der PF-ODE-Trajektorie direkt vorherzusagen. Darüber hinaus ist es in stabilen Diffusionsmodellen mit bestimmten Parametern notwendig, dass das Modell eine Classifier-Free-Guidance-Strategie verwendet, um hochwertige Bilder zu erzeugen. Das AnimateLCM-Framework verwendet jedoch einen Classifier-Free-Guidance-augmentierten ODE-Löser, um die benachbarten Paare in den gleichen Trajektoren zu stichproben, was zu besserer Effizienz und verbesserter Qualität führt. Darüber hinaus haben bestehende Modelle gezeigt, dass die Generierungsqualität und TrainingsEffizienz stark von der Anzahl der diskreten Punkte in der Trajektorenbahn beeinflusst wird. Eine geringere Anzahl von diskreten Punkten beschleunigt den Trainingsprozess, während eine höhere Anzahl von diskreten Punkten zu weniger Verzerrung während des Trainings führt.

Decoupled Konsistenzlernen

Für den Prozess der Konsistenzdestillation haben Entwickler beobachtet, dass die für das Training verwendeten Daten die Qualität der endgültigen Generierung der Konsistenzmodelle stark beeinflussen. Allerdings ist das Hauptproblem mit öffentlich verfügbaren Datensätzen derzeit, dass sie oft Wasserzeichen-Daten enthalten oder von schlechter Qualität sind und möglicherweise zu kurze oder mehrdeutige Beschriftungen haben. Darüber hinaus ist das Training des Modells direkt auf großen Videodatensätzen rechenintensiv und zeitaufwändig, was es für die meisten Forscher zu einer nicht durchführbaren Option macht.

Angesichts der Verfügbarkeit von gefilterten, hochwertigen Datensätzen, schlägt das AnimateLCM-Framework vor, die Destillation von Bewegungsgenerierungsprioritäten und Bildgenerierungsprioritäten zu dekoppeln. Um spezifischer zu sein, destilliert das AnimateLCM-Framework zunächst die stabilen Diffusionsmodelle in Bildkonsistenzmodelle mit gefilterten, hochwertigen Bild-Text-Datensätzen mit besserer Auflösung. Das Framework trainiert dann die leichten LoRA-Gewichte auf den Schichten des stabilen Diffusionsmodells, indem es die Gewichte des stabilen Diffusionsmodells einfriert. Sobald das Modell die LoRA-Gewichte justiert, fungiert es als vielseitiges Beschleunigungsmodul und hat seine Kompatibilität mit anderen personalisierten Modellen in der stabilen Diffusionsgemeinschaft demonstriert. Für die Inferenz kombiniert das AnimateLCM-Framework die Gewichte der LoRA mit den ursprünglichen Gewichten, ohne die Inferenzgeschwindigkeit zu beeinträchtigen. Nachdem das AnimateLCM-Framework das Konsistenzmodell auf der Ebene der Bildgenerierung erhalten hat, friert es die Gewichte des stabilen Diffusionsmodells und der LoRA auf ihm ein. Darüber hinaus inflatiert das AnimateLCM-Framework die 2D-Konvolutionskerne zu pseudo-3D-Kernen, um die Konsistenzmodelle für Videogenerierung zu trainieren. Das Modell fügt auch temporale Schichten mit Nullinitialisierung und einer blockweisen Residualverbindung hinzu. Die Gesamtanordnung hilft dabei, sicherzustellen, dass die Ausgabe des Modells nicht beeinflusst wird, wenn es zum ersten Mal trainiert wird. Das AnimateLCM-Framework trainiert unter der Anleitung von Open-Source-Video-Diffusionsmodellen die temporalen Schichten, die von den stabilen Diffusionsmodellen erweitert werden.

Es ist wichtig zu erkennen, dass, während räumliche LoRA-Gewichte entwickelt wurden, um den Stichprobenprozess ohne Berücksichtigung der temporalen Modellierung zu beschleunigen, und temporale Module durch Standard-Diffusionstechniken entwickelt werden, ihre direkte Integration tendenziell die Repräsentation am Anfang des Trainings korrupt. Dies stellt erhebliche Herausforderungen bei der effektiven und effizienten Kombination mit minimalen Konflikten dar. Durch empirische Forschung hat das AnimateLCM-Framework einen erfolgreichen Initialisierungsansatz identifiziert, der nicht nur die Konsistenzpriors von den räumlichen LoRA-Gewichten nutzt, sondern auch die nachteiligen Auswirkungen ihrer direkten Kombination mildert.

Am Anfang des Konsistenztrainings werden vorgebildete räumliche LoRA-Gewichte ausschließlich in das Online-Konsistenzmodell integriert, wodurch das Ziel-Konsistenzmodell von der Einfügung verschont bleibt. Diese Strategie stellt sicher, dass das Zielmodell, das als Lehrermodell für das Online-Modell dient, keine fehlerhaften Vorhersagen erzeugt, die den Lernprozess des Online-Modells negativ beeinflussen könnten. Während des Trainingsprozesses werden die LoRA-Gewichte schrittweise in das Ziel-Konsistenzmodell durch einen exponentiellen Gleitmittelprozess (EMA) integriert, wodurch nach mehreren Iterationen das optimale Gewichtsgleichgewicht erreicht wird.

Lehrer-freie Anpassung

Stabile Diffusionsmodelle und Plug-and-Play-Adapter gehen oft Hand in Hand. Allerdings wurde beobachtet, dass, obwohl die Plug-and-Play-Adapter zu einem gewissen Grad funktionieren, sie die Kontrolle über Details verlieren, selbst wenn die meisten dieser Adapter mit Bild-Diffusionsmodellen trainiert werden. Um dieses Problem zu bekämpfen, wählt das AnimateLCM-Framework die lehrer-freie Anpassung, eine einfache, aber effektive Strategie, die entweder die bestehenden Adapter für bessere Kompatibilität anpasst oder die Adapter von Grund auf trainiert. Der Ansatz ermöglicht es dem AnimateLCM-Framework, kontrollierbare Videogenerierung und Bild-zu-Video-Generierung mit minimalen Schritten ohne die Notwendigkeit von Lehrermodellen zu erreichen.

AnimateLCM: Experimente und Ergebnisse

Das AnimateLCM-Framework verwendet ein Stable-Diffusion-v1-5-Modell als Basismodell und implementiert den DDIM-ODE-Löser für Trainingszwecke. Das Framework verwendet auch das Stable-Diffusion-v1-5-Modell mit Open-Source-Bewegungsgewichten als Lehrer-Video-Diffusionsmodell, wobei die Experimente auf dem WebVid2M-Datensatz ohne zusätzliche oder augmentierte Daten durchgeführt werden. Darüber hinaus verwendet das Framework das TikTok-Datensatz mit BLIP-Beschriftungen für kontrollierbare Videogenerierung.

Qualitative Ergebnisse

Die folgende Abbildung zeigt die Ergebnisse der vierstufigen Generierungsmethode, die vom AnimateLCM-Framework in der Text-zu-Video-Generierung, Bild-zu-Video-Generierung und kontrollierbaren Videogenerierung implementiert wird.

Wie zu sehen ist, sind die Ergebnisse, die von jedem von ihnen geliefert werden, zufriedenstellend, und die generierten Ergebnisse demonstrieren die Fähigkeit des AnimateLCM-Frameworks, die Konsistenz-Eigenschaft auch bei variierenden Inferenzschritten beizubehalten, wobei ähnliche Bewegung und Stil aufrechterhalten werden.

Quantitative Ergebnisse

Die folgende Abbildung zeigt die quantitativen Ergebnisse und den Vergleich des AnimateLCM-Frameworks mit den State-of-the-Art-DDIM- und DPM++-Methoden.

Wie zu sehen ist, übertrifft das AnimateLCM-Framework die bestehenden Methoden um einen erheblichen Betrag, insbesondere im Bereich der niedrigen Schritte, der von 1 bis 4 Schritten reicht. Darüber hinaus werden die AnimateLCM-Metriken in diesem Vergleich ohne die Verwendung von CFG oder Classifier-Free-Guidance ausgewertet, was es dem Framework ermöglicht, fast 50% der Inferenzzeit und des Inferenz-Speichers zu sparen. Darüber hinaus, um seine Leistung weiter zu validieren, werden die räumlichen Gewichte innerhalb des AnimateLCM-Frameworks durch ein öffentlich verfügbares personalisiertes realistisches Modell ersetzt, das eine gute Balance zwischen Treue und Vielfalt aufrechterhält, was die Leistung weiter steigert.

Final Thoughts

In diesem Artikel haben wir über AnimateLCM gesprochen, ein personalisiertes Diffusionsmodell mit Adaptern, das darauf abzielt, hochwertige Videos mit minimalen Schritten und Rechenkosten zu erzeugen. Das AnimateLCM-Framework ist vom Konsistenzmodell inspiriert, das die Abtastung mit minimalen Schritten durch Destillation vorgebildeter Bild-Diffusionsmodelle beschleunigt, und der erfolgreichen Erweiterung des Konsistenzmodells, dem Latent-Konsistenzmodell oder LCM, das konditionale Bildgenerierung ermöglicht. Anstatt Konsistenzlernen direkt auf dem rohen Videodatensatz durchzuführen, schlägt das AnimateLCM-Framework vor, eine dekoppelte Konsistenzlernstrategie zu verwenden, die die Destillation von Bewegungsgenerierungsprioritäten und Bildgenerierungsprioritäten dekoppelt, wodurch das Modell die visuelle Qualität des generierten Inhalts verbessern und die TrainingsEffizienz gleichzeitig steigern kann.