Intel’s Masked Humanoid Controller: Ein neuer Ansatz für physikalisch realistische und steuerbare menschliche Bewegungsgenerierung

Forscher von Intel Labs, in Zusammenarbeit mit akademischen und industriellen Experten, haben eine bahnbrechende Technik für die Generierung realistischer und steuerbarer menschlicher Bewegungen aus spärlichen, multimodalen Eingaben vorgestellt. Ihre Arbeit, die auf der European Conference on Computer Vision (ECCV 2024) hervorgehoben wurde, konzentriert sich auf die Überwindung der Herausforderungen bei der Generierung natürlicher, physikalisch basierter menschlicher Verhaltensweisen in hochdimensionalen humanoiden Charakteren. Diese Forschung ist Teil von Intel Labs’ umfassender Initiative, die ComputerVision und maschinelles Lernen voranzutreiben.

Intel Labs und seine Partner haben kürzlich sechs bahnbrechende Arbeiten auf der ECCV 2024 vorgestellt, einer führenden Konferenz, die von der European Computer Vision Association (ECVA) organisiert wird.

Der Artikel Generierung physikalisch realistischer und steuerbarer menschlicher Bewegungen aus multimodalen Eingaben zeigt Innovationen wie eine neue Verteidigungsstrategie für den Schutz von Text-Bild-Modellen vor promptbasierten Red-Teaming-Angriffen und die Entwicklung eines großen Datensatzes, der darauf abzielt, die räumliche Konsistenz in diesen Modellen zu verbessern. Unter diesen Beiträgen hebt der Artikel Intel’s Engagement für die Weiterentwicklung der generativen Modellierung hervor, während gleichzeitig verantwortungsvolle KI-Praktiken priorisiert werden.

Generierung realistischer menschlicher Bewegungen mit multimodalen Eingaben

Intel’s Masked Humanoid Controller (MHC) ist ein bahnbrechendes System, das darauf ausgelegt ist, menschliche Bewegungen in simulierten physikalischen Umgebungen zu generieren. Im Gegensatz zu herkömmlichen Methoden, die stark auf vollständige Motion-Capture-Daten angewiesen sind, ist der MHC darauf ausgelegt, spärliche, unvollständige oder partielle Eingabedaten aus verschiedenen Quellen zu verarbeiten. Diese Quellen können VR-Controller umfassen, die möglicherweise nur Hand- oder Kopfbewegungen verfolgen; Joystick-Eingaben, die nur hochrangige Navigationsbefehle liefern; Video-Tracking, bei dem bestimmte Körperteile verdeckt sein können; oder sogar abstrakte Anweisungen, die aus Textprompts abgeleitet werden.

Die Innovation dieser Technologie liegt in ihrer Fähigkeit, Lücken zu interpretieren und zu füllen, wo Daten fehlen oder unvollständig sind. Dies wird durch das erreicht, was Intel als Catch-up, Combine und Complete (CCC)-Fähigkeiten bezeichnet:

• Catch-up: Diese Funktion ermöglicht es dem MHC, seine Bewegung zu erholen und zu resynchronisieren, wenn Störungen auftreten, wie z.B., wenn das System in einem fehlerhaften Zustand startet, wie ein humanoider Charakter, der gefallen ist. Das System kann seine Bewegungen schnell korrigieren und die natürliche Bewegung ohne erneutes Training oder manuelle Anpassungen wieder aufnehmen.
• Combine: Der MHC kann verschiedene Bewegungssequenzen miteinander verbinden, wie z.B. die Kombination von Oberkörperbewegungen aus einer Aktion (z.B. Winken) mit Unterkörperbewegungen aus einer anderen (z.B. Gehen). Diese Flexibilität ermöglicht die Generierung völlig neuer Verhaltensweisen aus bestehenden Bewegungsdaten.
• Complete: Wenn nur spärliche Eingaben wie partielle Körperbewegungsdaten oder vage hochrangige Direktiven vorliegen, kann der MHC intelligenterweise die fehlenden Teile der Bewegung ableiten und generieren. Zum Beispiel kann der MHC, wenn nur Arm Bewegungen angegeben sind, autonom entsprechende Beinbewegungen generieren, um die physikalische Balance und Realistik zu erhalten.

Das Ergebnis ist ein hoch adaptives Bewegungsgenerierungssystem, das glatte, realistische und physikalisch genaue Bewegungen erzeugen kann, sogar mit unvollständigen oder unterbestimmten Direktiven. Dies macht den MHC ideal für Anwendungen in Spielen, Robotik, virtueller Realität und in jedem Szenario, in dem hochwertige menschliche Bewegungen erforderlich sind, aber Eingabedaten begrenzt sind.

Auswirkungen des MHC auf generative Bewegungsmodelle

Der Masked Humanoid Controller (MHC) ist Teil eines umfassenderen Engagements von Intel Labs und seinen Partnern, verantwortungsvolle generative Modelle zu entwickeln, einschließlich derjenigen, die Text-Bild- und 3D-Generierung Aufgaben antreiben. Wie auf der ECCV 2024 diskutiert, hat dieser Ansatz erhebliche Auswirkungen auf Branchen wie Robotik, virtuelle Realität, Spiele und Simulation, in denen die Generierung realistischer menschlicher Bewegungen von entscheidender Bedeutung ist. Durch die Integration multimodaler Eingaben und die Fähigkeit des Controllers, nahtlos zwischen Bewegungen zu wechseln, kann der MHC reale Bedingungen bewältigen, in denen Sensordaten möglicherweise verrauscht oder unvollständig sind.

Diese Arbeit von Intel Labs steht neben anderen fortschrittlichen Forschungen, die auf der ECCV 2024 präsentiert wurden, wie z.B. ihrer neuen Verteidigung für Text-Bild-Modelle und der Entwicklung von Techniken zur Verbesserung der räumlichen Konsistenz in der Bildgenerierung. Zusammen zeigen diese Fortschritte Intel’s Führungsrolle im Bereich der ComputerVision, mit einem Fokus auf die Entwicklung sicherer, skalierbarer und verantwortungsvoller KI-Technologien.

Schlussfolgerung

Der Masked Humanoid Controller (MHC), entwickelt von Intel Labs und akademischen Partnern, stellt einen entscheidenden Schritt vorwärts im Bereich der menschlichen Bewegungsgenerierung dar. Durch die Bewältigung des komplexen Kontrollproblems der Generierung realistischer Bewegungen aus multimodalen Eingaben ebnet der MHC den Weg für neue Anwendungen in VR, Spielen, Robotik und Simulation. Diese Forschung, die auf der ECCV 2024 vorgestellt wurde, zeigt Intel’s Engagement für die Weiterentwicklung verantwortungsvoller KI und generativer Modellierung, was zu sichereren und anpassungsfähigeren Technologien in verschiedenen Bereichen beiträgt.