Das Computer-Vision-Feld ist eines der am häufigsten diskutierten Bereiche in der KI-Industrie, dank seiner potenziellen Anwendungen in einer breiten Palette von Echtzeit-Aufgaben. In den letzten Jahren haben Computer-Vision-Frameworks rasch Fortschritte gemacht, und moderne Modelle sind nun in der Lage, Gesichtszüge, Objekte und vieles mehr in Echtzeit-Szenarien zu analysieren. Trotz dieser Fähigkeiten bleibt die menschliche Bewegungsübertragung eine herausfordernde Aufgabe für Computer-Vision-Modelle. Diese Aufgabe beinhaltet die Retargeting von Gesichts- und Körperbewegungen von einem Quellbild oder -video auf ein Zielbild oder -video. Die menschliche Bewegungsübertragung wird in Computer-Vision-Modellen häufig für die Stilisierung von Bildern oder Videos, die Bearbeitung von Multimedia-Inhalten, die digitale menschliche Synthese und sogar die Generierung von Daten für wahrnehmungsbezogene Frameworks verwendet.

In diesem Artikel konzentrieren wir uns auf MagicDance, ein diffusionbasiertes Modell, das darauf abzielt, die menschliche Bewegungsübertragung zu revolutionieren. Das MagicDance-Framework zielt insbesondere darauf ab, 2D-menschliche Gesichtsausdrücke und Bewegungen auf herausfordernde menschliche Tanzvideos zu übertragen. Sein Ziel ist es, neue Posensequenz-getriebene Tanzvideos für bestimmte Zielidentitäten zu generieren, während die ursprüngliche Identität beibehalten wird. Das MagicDance-Framework verwendet eine zweistufige Trainingsstrategie, die sich auf die menschliche Bewegungsdisentanglement und Erscheinungsfaktoren wie Hautton, Gesichtsausdrücke und Kleidung konzentriert. Wir werden das MagicDance-Framework untersuchen, seine Architektur, Funktionalität und Leistung im Vergleich zu anderen State-of-the-Art-menschlichen Bewegungsübertragungsframeworks erforschen. Lassen Sie uns beginnen.

MagicDance: Realistische menschliche Bewegungsübertragung

Wie bereits erwähnt, ist die menschliche Bewegungsübertragung eine der komplexesten Computer-Vision-Aufgaben aufgrund der enormen Komplexität, die bei der Übertragung von menschlichen Bewegungen und Ausdrücken von einem Quellbild oder -video auf ein Zielbild oder -video beteiligt ist. Traditionell haben Computer-Vision-Frameworks die menschliche Bewegungsübertragung durch das Training eines aufgabenbezogenen generativen Modells, einschließlich GAN oder Generative Adversarial Networks, auf Ziel-Datensätze für Gesichtsausdrücke und Körperhaltungen erreicht. Obwohl das Training und die Verwendung von generativen Modellen in einigen Fällen zufriedenstellende Ergebnisse liefern, leiden sie häufig unter zwei großen Einschränkungen.

1. Sie verlassen sich stark auf eine Bildverzerrungskomponente, was dazu führt, dass sie oft Schwierigkeiten haben, Körperteile zu interpolieren, die im Quellbild unsichtbar sind, entweder aufgrund einer Perspektivenänderung oder Selbstokklusion.
2. Sie können nicht verallgemeinern auf andere Bilder, die extern zugeführt werden, was ihre Anwendungen insbesondere in Echtzeit-Szenarien im Freien einschränkt.

Moderne Diffusionsmodelle haben außergewöhnliche Bildgenerierungskapazitäten unter verschiedenen Bedingungen demonstriert, und Diffusionsmodelle sind nun in der Lage, leistungsstarke Visualisierungen auf einer Reihe von Downstream-Aufgaben wie Video-Generierung und Bildinpainting durch das Lernen von Web-Skala-Bild-Datensätzen zu präsentieren. Aufgrund ihrer Fähigkeiten könnten Diffusionsmodelle eine ideale Wahl für menschliche Bewegungsübertragungsaufgaben sein. Obwohl Diffusionsmodelle für menschliche Bewegungsübertragung implementiert werden können, haben sie einige Einschränkungen, entweder in Bezug auf die Qualität des generierten Inhalts oder in Bezug auf Identitätserhaltung oder leiden unter zeitlichen Inkonsistenzen aufgrund von Modell-Design- und Trainingsstrategie-Einschränkungen. Darüber hinaus demonstrieren diffusionbasierte Modelle keinen signifikanten Vorteil gegenüber GAN-Frameworks in Bezug auf Verallgemeinerbarkeit.

Um die Hürden zu überwinden, die von Diffusions- und GAN-basierten Frameworks bei menschlichen Bewegungsübertragungsaufgaben auferlegt werden, haben Entwickler MagicDance vorgestellt, ein neuartiges Framework, das darauf abzielt, das Potenzial von Diffusionsframeworks für menschliche Bewegungsübertragung auszunutzen, und einen beispiellosen Grad an Identitätserhaltung, überlegene visuelle Qualität und Domänen-Verallgemeinerbarkeit demonstriert. Im Kern basiert das grundlegende Konzept des MagicDance-Frameworks darauf, das Problem in zwei Stufen zu unterteilen: Erscheinungskontrolle und Bewegungskontrolle, zwei Fähigkeiten, die von Bild-Diffusionsframeworks erforderlich sind, um genaue Bewegungsübertragungsausgaben zu liefern.

Die obige Abbildung gibt einen kurzen Überblick über das MagicDance-Framework, und wie es zu sehen ist, verwendet das Framework das Stable-Diffusion-Modell und setzt auch zwei zusätzliche Komponenten ein: Erscheinungskontrollmodell und Pose-ControlNet, wobei das erste Erscheinungsleitfaden für das SD-Modell von einem Referenzbild über Aufmerksamkeit bereitstellt, während das zweite Ausdrucks-/Pose-Leitfaden für das Diffusionsmodell von einem bedingten Bild oder Video bereitstellt. Das Framework verwendet auch eine mehrstufige Trainingsstrategie, um diese Submodule effektiv zu lernen, um Pose-Kontrolle und Erscheinung zu entflechten.

Zusammenfassend ist das MagicDance-Framework ein

1. Neuartiges und effektives Framework, das aus Erscheinungsentflechtung, Pose-Kontrolle und Erscheinungskontroll-Prätraining besteht.
2. Das MagicDance-Framework ist in der Lage, realistische menschliche Gesichtsausdrücke und menschliche Bewegungen unter der Kontrolle von Pose-Bedingungen und Referenzbildern oder -videos zu generieren.
3. Das MagicDance-Framework zielt darauf ab, erscheinungskonsistenten menschlichen Inhalt zu generieren, indem es ein Multi-Source-Aufmerksamkeitsmodul einführt, das genaue Leitfäden für das Stable-Diffusion-UNet-Framework bietet.
4. Das MagicDance-Framework kann auch als praktische Erweiterung oder Plug-in für das Stable-Diffusion-Framework verwendet werden und stellt die Kompatibilität mit bestehenden Modellgewichten sicher, da es keine zusätzliche Feinabstimmung der Parameter erfordert.

Darüber hinaus zeigt das MagicDance-Framework außergewöhnliche Verallgemeinerungsfähigkeiten für sowohl Erscheinung als auch Bewegung.

1. Erscheinungsverallgemeinerung: Das MagicDance-Framework demonstriert überlegene Fähigkeiten bei der Generierung vielfältiger Erscheinungen.
2. Bewegungsverallgemeinerung: Das MagicDance-Framework verfügt auch über die Fähigkeit, eine breite Palette von Bewegungen zu generieren.

MagicDance: Ziele und Architektur

Für ein gegebenes Referenzbild, entweder von einem echten Menschen oder einem stilisierten Bild, besteht das primäre Ziel des MagicDance-Frameworks darin, ein Ausgabebild oder ein Ausgabevideo zu generieren, das auf den Eingaben und den Pose-Eingaben {P, F} konditioniert ist, wobei P die menschliche Pose-Skelett und F die Gesichtsmerkmale darstellt. Das generierte Ausgabebild oder -video sollte in der Lage sein, die Erscheinung und Identität der beteiligten Menschen sowie die Hintergrundinhalte im Referenzbild zu erhalten, während die Pose und Ausdrücke durch die Pose-Eingaben definiert werden.

Architektur

Während des Trainings wird das MagicDance-Framework als Frame-Rekonstruktionsaufgabe trainiert, um die Ground-Truth mit dem Referenzbild und der Pose-Eingabe aus demselben Referenzvideo zu rekonstruieren. Während des Testens zur Erreichung der Bewegungsübertragung werden die Pose-Eingabe und das Referenzbild aus verschiedenen Quellen bezogen.

Die Gesamtarchitektur des MagicDance-Frameworks kann in vier Kategorien unterteilt werden: Vorläufige Phase, Erscheinungskontroll-Prätraining, Erscheinungsentflechtung und Bewegungsmodul.

Vorläufige Phase

Latente Diffusionsmodelle oder LDM stellen einzigartig konzipierte Diffusionsmodelle dar, die im latenten Raum durch die Verwendung eines Autoencoders arbeiten, und das Stable-Diffusion-Framework ist ein bemerkenswertes Beispiel für LDMs, das einen Vektor-Quantifizierungs-Variational-Autoencoder und eine temporale U-Net-Architektur verwendet. Das Stable-Diffusion-Modell verwendet einen CLIP-basierten Transformer als Text-Encoder, um Text-Eingaben zu verarbeiten, indem es Text-Eingaben in Embeddings umwandelt. Die Trainingsphase des Stable-Diffusion-Frameworks setzt das Modell einer Text-Kondition und einem Eingabebild aus, wobei der Prozess die Kodierung des Bildes in eine latente Repräsentation beinhaltet und es einer vordefinierten Sequenz von Diffusions-Schritten unterzieht, die von einer Gauß-Methode geleitet werden. Die resultierende Sequenz ergibt eine verrauschte latente Repräsentation, die eine Standard-Normalverteilung liefert, wobei das primäre Lernziel des Stable-Diffusion-Frameworks darin besteht, die verrauschten latenten Repräsentationen iterativ in latente Repräsentationen zu entrauschen.

Erscheinungskontroll-Prätraining

Ein großes Problem mit dem ursprünglichen ControlNet-Framework ist seine Unfähigkeit, die Erscheinung unter räumlich variierenden Bewegungen konsistent zu kontrollieren, obwohl es Bilder mit Posen generiert, die denen im Eingabebild ähneln, wobei die Gesamterscheinung hauptsächlich von textuellen Eingaben beeinflusst wird. Obwohl diese Methode funktioniert, eignet sie sich nicht für Bewegungsübertragungsaufgaben, bei denen es nicht die textuellen Eingaben, sondern das Referenzbild ist, das die primäre Quelle für Erscheinungsinformationen darstellt.

Das Erscheinungskontroll-Prätrainingsmodul im MagicDance-Framework ist als Hilfszweig konzipiert, um Leitfäden für die Erscheinungskontrolle in einem schichtweise Ansatz bereitzustellen. Anstatt auf textuelle Eingaben zu verlassen, konzentriert sich das gesamte Modul darauf, die Erscheinungsattribute aus dem Referenzbild zu nutzen, um die Fähigkeit des Frameworks zu verbessern, die Erscheinungsmerkmale genau zu generieren, insbesondere in Szenarien mit komplexen Bewegungsdynamiken. Darüber hinaus ist nur das Erscheinungskontrollmodell während des Erscheinungskontroll-Prätrainings trainierbar.

Erscheinungsentflechtung

Eine naive Lösung, um die Pose im Ausgabebild zu kontrollieren, besteht darin, das vorgebildete ControlNet-Modell direkt mit dem vorgebildeten Erscheinungskontrollmodell zu integrieren, ohne es feinzujustieren. Allerdings kann die Integration dazu führen, dass das Framework Schwierigkeiten hat, eine erscheinungsunabhängige Pose-Kontrolle zu erreichen, was zu einer Diskrepanz zwischen den Eingabe-Posen und den generierten Posen führen kann. Um diese Diskrepanz zu überwinden, feinjustiert das MagicDance-Framework das Pose-ControlNet-Modell gemeinsam mit dem vorgebildeten Erscheinungskontrollmodell.

Bewegungsmodul

Wenn sie zusammenarbeiten, können die Erscheinungsentflechtung und das Erscheinungskontrollmodell eine genaue und effektive Bild-zu-Bewegungs-Übertragung erreichen, obwohl dies zu zeitlichen Inkonsistenzen führen kann. Um zeitliche Konsistenz zu gewährleisten, integriert das Framework ein zusätzliches Bewegungsmodul in die primäre Stable-Diffusion-UNet-Architektur.

MagicDance: Prätraining und Datensätze

Für das Prätraining verwendet das MagicDance-Framework einen TikTok-Datensatz, der über 350 Tanzvideos mit verschiedenen Längen zwischen 10 und 15 Sekunden enthält, die eine einzelne Person beim Tanzen zeigen, wobei die meisten dieser Videos das Gesicht und den Oberkörper der Person enthalten. Das MagicDance-Framework extrahiert jedes einzelne Video mit 30 FPS und führt OpenPose auf jedem Frame aus, um die Pose-Skelett, Hand-Posen und Gesichtsmerkmale abzuleiten.

Für das Prätraining wird das Erscheinungskontrollmodell mit einer Batch-Größe von 64 auf 8 NVIDIA-A100-GPUs für 10.000 Schritte mit einer Bildgröße von 512 x 512 vorab trainiert, gefolgt von einer gemeinsamen Feinjustierung der Pose-Kontrolle und Erscheinungskontrolle mit einer Batch-Größe von 16 für 20.000 Schritte. Während des Trainings sampelt das MagicDance-Framework zwei Frames zufällig als Ziel und Referenz, wobei die Bilder an der gleichen Position und Höhe beschnitten werden. Während der Auswertung beschränkt das Modell das Bild auf die Mitte, anstatt es zufällig zu beschränken.

MagicDance: Ergebnisse

Die experimentellen Ergebnisse, die auf dem MagicDance-Framework durchgeführt wurden, werden in der folgenden Abbildung demonstriert, und wie es zu sehen ist, übertrifft das MagicDance-Framework bestehende Frameworks wie Disco und DreamPose bei der menschlichen Bewegungsübertragung in allen Metriken. Frameworks mit einem “*” vor ihrem Namen verwenden das Zielbild direkt als Eingabe und enthalten mehr Informationen als die anderen Frameworks.

Es ist interessant zu beachten, dass das MagicDance-Framework einen Face-Cos-Score von 0,426 erreicht, was einer Verbesserung von 156,62 % gegenüber dem Disco-Framework und einer fast 400-prozentigen Steigerung im Vergleich zum DreamPose-Framework entspricht. Die Ergebnisse zeigen die robuste Fähigkeit des MagicDance-Frameworks, Identitätsinformationen zu erhalten, und der sichtbare Leistungsanstieg zeigt die Überlegenheit des MagicDance-Frameworks gegenüber bestehenden State-of-the-Art-Methoden.

Die folgenden Abbildungen vergleichen die Qualität der menschlichen Video-Generierung zwischen MagicDance, Disco und TPS. Wie zu sehen ist, leiden die Ergebnisse, die von den GT-, Disco- und TPS-Frameworks generiert werden, unter inkonsistenten menschlichen Pose-Identitäten und Gesichtsausdrücken.

Darüber hinaus zeigt die folgende Abbildung die Visualisierung von Gesichtsausdruck und menschlicher Pose-Übertragung auf dem TikTok-Datensatz, wobei das MagicDance-Framework in der Lage ist, realistische und lebendige Ausdrücke und Bewegungen unter verschiedenen Gesichtsmerkmalen und Pose-Skelett-Eingaben zu generieren, während es Identitätsinformationen aus dem Referenz-Eingabebild genau erhält.

Es ist erwähnenswert, dass das MagicDance-Framework außergewöhnliche Verallgemeinerungsfähigkeiten für außerhalb der Domäne liegende Referenzbilder mit ungewöhnlichen Posen und Stilen aufweist, mit beeindruckender Erscheinungskontrollierbarkeit, sogar ohne zusätzliche Feinjustierung auf dem Ziel-Domäne, wie in der folgenden Abbildung demonstriert.

Die folgenden Abbildungen zeigen die Visualisierungsfähigkeiten des MagicDance-Frameworks in Bezug auf Gesichtsausdruck-Übertragung und Null-Shot-menschliche Bewegung. Wie zu sehen ist, verallgemeinert das MagicDance-Framework perfekt auf menschliche Bewegungen im Freien.

MagicDance: Einschränkungen

OpenPose ist eine wesentliche Komponente des MagicDance-Frameworks, da es eine entscheidende Rolle bei der Pose-Kontrolle spielt und die Qualität und zeitliche Konsistenz der generierten Bilder erheblich beeinflusst. Allerdings hat das MagicDance-Framework noch Schwierigkeiten, Gesichtsmerkmale und Pose-Skelette genau zu erkennen, insbesondere wenn die Objekte in den Bildern teilweise sichtbar sind oder sich schnell bewegen. Diese Probleme können zu Artefakten in den generierten Bildern führen.

Schlussfolgerung

In diesem Artikel haben wir über MagicDance gesprochen, ein diffusionbasiertes Modell, das darauf abzielt, die menschliche Bewegungsübertragung zu revolutionieren. Das MagicDance-Framework versucht, 2D-menschliche Gesichtsausdrücke und Bewegungen auf herausfordernde menschliche Tanzvideos zu übertragen, mit dem spezifischen Ziel, neue Posensequenz-getriebene Tanzvideos für bestimmte Zielidentitäten zu generieren, während die Identität konstant bleibt. Das MagicDance-Framework ist eine zweistufige Trainingsstrategie für menschliche Bewegungsdisentanglement und Erscheinung wie Hautton, Gesichtsausdrücke und Kleidung.

MagicDance ist ein neuer Ansatz, um realistische menschliche Video-Generierung zu ermöglichen, indem es Gesichts- und Bewegungsausdruck-Übertragung integriert und konsistente Animation im Freien ermöglicht, ohne dass weitere Feinjustierung erforderlich ist, was einen signifikanten Fortschritt gegenüber bestehenden Methoden darstellt. Darüber hinaus zeigt das MagicDance-Framework außergewöhnliche Verallgemeinerungsfähigkeiten über komplexe Bewegungssequenzen und diverse menschliche Identitäten, wodurch das MagicDance-Framework zum führenden Framework im Bereich der KI-gestützten Bewegungsübertragung und Video-Generierung wird.