Intel’s Masked Humanoid Controller: Ein neuer Ansatz für physikalisch realistische und steuerbare menschliche Bewegungsgenerierung

Forscher von Intel Labs (INTC ), in Zusammenarbeit mit akademischen und industriellen Experten, haben eine bahnbrechende Technik für die Generierung realistischer und steuerbarer menschlicher Bewegungen aus spärlichen, multi-modalen Eingaben vorgestellt. Ihre Arbeit, die auf der European Conference on Computer Vision (ECCV 2024) hervorgehoben wurde, konzentriert sich auf die Überwindung der Herausforderungen bei der Generierung natürlicher, physikalisch basierter menschlicher Verhaltensweisen in hochdimensionalen humanoiden Charakteren. Diese Forschung ist Teil von Intel Labs’ umfassender Initiative, Computer Vision und Machine Learning voranzutreiben.

Intel Labs und seine Partner haben kürzlich sechs bahnbrechende Arbeiten auf der ECCV 2024 vorgestellt, einer führenden Konferenz, die von der European Computer Vision Association (ECVA) organisiert wird.

Die Arbeit Generierung physikalisch realistischer und steuerbarer menschlicher Bewegungen aus multi-modalen Eingaben zeigt Innovationen wie eine neue Verteidigungsstrategie für die Sicherung von Text-zu-Bild-Modellen gegen promptbasierte Red-Teaming-Angriffe und die Entwicklung eines großen Datensatzes, der darauf abzielt, die räumliche Konsistenz in diesen Modellen zu verbessern. Unter diesen Beiträgen hebt die Arbeit Intels Engagement für die Weiterentwicklung generativer Modelle unter Berücksichtigung verantwortungsvoller KI-Praktiken hervor.

Generierung realistischer menschlicher Bewegungen mit multi-modalen Eingaben

Intels Masked Humanoid Controller (MHC) ist ein bahnbrechendes System, das darauf ausgelegt ist, menschliche Bewegungen in simulierten physikalischen Umgebungen zu generieren. Im Gegensatz zu herkömmlichen Methoden, die stark auf vollständige Bewegungserfassungsdaten angewiesen sind, ist der MHC darauf ausgelegt, spärliche, unvollständige oder partielle Eingabedaten aus verschiedenen Quellen zu verarbeiten. Diese Quellen können VR-Controller umfassen, die möglicherweise nur Hand- oder Kopfbewegungen verfolgen; Joystick-Eingaben, die nur hochrangige Navigationsbefehle liefern; Video-Verfolgung, bei der bestimmte Körperteile verdeckt sein können; oder sogar abstrakte Anweisungen, die aus Textprompts abgeleitet werden.

Die Innovation dieser Technologie liegt in ihrer Fähigkeit, Lücken in den Daten zu interpretieren und zu füllen, wo diese fehlen oder unvollständig sind. Dies wird durch die sogenannten Catch-up, Combine und Complete (CCC)-Fähigkeiten erreicht:

• Catch-up: Diese Funktion ermöglicht es dem MHC, seine Bewegung zu erneuern und zu resynchronisieren, wenn Störungen auftreten, wie z.B., wenn das System in einem fehlerhaften Zustand startet, wie ein humanoider Charakter, der gefallen ist. Das System kann schnell seine Bewegungen korrigieren und natürliche Bewegungen ohne erneutes Training oder manuelle Anpassungen wieder aufnehmen.
• Combine: Der MHC kann verschiedene Bewegungssequenzen miteinander verbinden, wie z.B. die Kombination von Oberkörperbewegungen aus einer Aktion (z.B. Winken) mit Unterkörperbewegungen aus einer anderen (z.B. Gehen). Diese Flexibilität ermöglicht die Generierung völlig neuer Verhaltensweisen aus bestehenden Bewegungsdaten.
• Complete: Wenn nur spärliche Eingaben wie partielle Körperbewegungsdaten oder vage hochrangige Direktiven vorliegen, kann der MHC intelligent die fehlenden Teile der Bewegung ableiten und generieren. Zum Beispiel kann der MHC, wenn nur Arm-bewegungen spezifiziert sind, automatisch entsprechende Beinbewegungen generieren, um physikalische Balance und Realismus aufrechtzuerhalten.

Das Ergebnis ist ein hoch adaptives Bewegungsgenerierungssystem, das glatte, realistische und physikalisch genaue Bewegungen erzeugen kann, sogar bei unvollständigen oder unterbestimmten Direktiven. Dies macht den MHC ideal für Anwendungen in Spielen, Robotik, virtueller Realität und jeder Situation, in der hochwertige menschliche Bewegungen erforderlich sind, aber Eingabedaten begrenzt sind.

Auswirkungen des MHC auf generative Bewegungsmodelle

Der Masked Humanoid Controller (MHC) ist Teil einer umfassenderen Bemühung von Intel Labs und seinen Partnern, verantwortungsvoll generative Modelle zu entwickeln, einschließlich solcher, die Text-zu-Bild- und 3D-Generierung Aufgaben antreiben. Wie auf der ECCV 2024 diskutiert, hat dieser Ansatz erhebliche Auswirkungen auf Branchen wie Robotik, virtuelle Realität, Spiele und Simulation, in denen die Generierung realistischer menschlicher Bewegungen von entscheidender Bedeutung ist. Durch die Integration multi-modaler Eingaben und die Fähigkeit des Controllers, nahtlos zwischen Bewegungen zu wechseln, kann der MHC realen Bedingungen gerecht werden, in denen Sensordaten möglicherweise verrauscht oder unvollständig sind.

Diese Arbeit von Intel Labs steht neben anderen fortschrittlichen Forschungen, die auf der ECCV 2024 präsentiert wurden, wie z.B. einer neuen Verteidigung für Text-zu-Bild-Modelle und der Entwicklung von Techniken zur Verbesserung der räumlichen Konsistenz in der Bildgenerierung. Zusammen zeigen diese Fortschritte Intels Führungsrolle im Bereich Computer Vision, mit dem Fokus auf die Entwicklung sicherer, skalierbarer und verantwortungsvoller KI-Technologien.

Schlussfolgerung

Der Masked Humanoid Controller (MHC), entwickelt von Intel Labs und akademischen Partnern, stellt einen wichtigen Schritt in der Forschung zur Generierung menschlicher Bewegungen dar. Durch die Lösung des komplexen Steuerungsproblems der Generierung realistischer Bewegungen aus multi-modalen Eingaben ebnet der MHC den Weg für neue Anwendungen in VR, Spielen, Robotik und Simulation. Diese Forschung, die auf der ECCV 2024 vorgestellt wurde, unterstreicht Intels Engagement für die Weiterentwicklung verantwortungsvoller KI und generativer Modelle, was zu sichereren und anpassungsfähigeren Technologien in verschiedenen Bereichen beiträgt.