Intels maskierter Humanoid-Controller: Ein neuartiger Ansatz zur physikalisch realistischen und lenkbaren Erzeugung menschlicher Bewegungen

Forscher aus Intel Labshaben in Zusammenarbeit mit Experten aus Wissenschaft und Industrie eine bahnbrechende Technik zur Erzeugung realistischer und lenkbarer menschlicher Bewegungen aus spärlichen, multimodalen Eingaben entwickelt. Ihre Arbeit, die auf der Europäische Konferenz für Computer Vision (ECCV 2024) befasst sich mit der Bewältigung der Herausforderungen bei der Generierung natürlicher, physikalisch basierter menschlicher Verhaltensweisen in hochdimensionalen humanoiden Charakteren. Diese Forschung ist Teil der umfassenderen Initiative von Intel Labs zur Förderung von Computer Vision und maschinellem Lernen.

Intel Labs und seine Partner präsentierten kürzlich sechs topaktuelle Vorträge auf der ECCV 2024, eine hochkarätige Konferenz, organisiert von der Europäische Vereinigung für Computer Vision (ECVA).

Das Papier Generieren physikalisch realistischer und lenkbarer menschlicher Bewegungen aus multimodalen Eingaben präsentierte Innovationen, darunter eine neuartige Verteidigungsstrategie zum Schutz von Text-zu-Bild-Modellen vor promptbasierten Red-Teaming-Angriffen und die Entwicklung eines groß angelegten Datensatzes zur Verbesserung der räumlichen Konsistenz dieser Modelle. Unter diesen Beiträgen hebt das Papier Intels Engagement für die Weiterentwicklung der generativen Modellierung hervor und priorisiert dabei verantwortliche KI Praktiken.

Generieren realistischer menschlicher Bewegungen mithilfe multimodaler Eingaben

Intels Masked Humanoid Controller (MHC) ist ein bahnbrechendes System, das menschenähnliche Bewegungen in simulierten physikalischen Umgebungen erzeugen soll. Im Gegensatz zu herkömmlichen Methoden, die stark auf vollständig detaillierte Bewegungserfassungsdaten angewiesen sind, ist der MHC darauf ausgelegt, spärliche, unvollständige oder teilweise Eingabedaten aus einer Vielzahl von Quellen zu verarbeiten. Zu diesen Quellen können VR-Controller gehören, die möglicherweise nur Hand- oder Kopfbewegungen verfolgen; Joystick-Eingaben, die nur Navigationsbefehle auf hoher Ebene geben; Video-Tracking, bei dem bestimmte Körperteile verdeckt sein können; oder sogar abstrakte Anweisungen, die aus Textaufforderungen abgeleitet werden.

Die Innovation dieser Technologie liegt in ihrer Fähigkeit, Daten zu interpretieren und Lücken zu füllen, wenn sie fehlen oder unvollständig sind. Dies wird durch das erreicht, was Intel als Aufholen, Kombinieren und Abschließen (CCC) Fähigkeiten:

• Aufholen: Mit dieser Funktion kann der MHC seine Bewegung wiederherstellen und neu synchronisieren, wenn Störungen auftreten, z. B. wenn das System in einem fehlerhaften Zustand startet, wie z. B. eine humanoide Figur, die gestürzt ist. Das System kann seine Bewegungen schnell korrigieren und die natürliche Bewegung ohne erneutes Training oder manuelle Anpassungen wieder aufnehmen.
• Kombinieren: MHC kann verschiedene Bewegungsabläufe miteinander vermischen, wie z. B. Oberkörperbewegungen einer Aktion (z. B. Winken) mit Unterkörperbewegungen einer anderen Aktion (z. B. Gehen). Diese Flexibilität ermöglicht die Generierung völlig neuer Verhaltensweisen aus vorhandenen Bewegungsdaten.
• Komplett: Bei spärlichen Eingaben, wie z. B. Daten zu Teilbewegungen des Körpers oder vagen Anweisungen auf hoher Ebene, kann das MHC die fehlenden Teile der Bewegung intelligent ableiten und generieren. Wenn beispielsweise nur Armbewegungen angegeben sind, kann das MHC autonom entsprechende Beinbewegungen generieren, um das körperliche Gleichgewicht und den Realismus aufrechtzuerhalten.

Das Ergebnis ist ein hochgradig anpassbares Bewegungsgenerierungssystem, das selbst bei unvollständigen oder unzureichend spezifizierten Anweisungen fließende, realistische und physikalisch genaue Bewegungen erzeugen kann. Dies macht MHC ideal für Anwendungen in den Bereichen Gaming, Robotik, virtuelle Realität und alle Szenarien, in denen hochwertige, menschenähnliche Bewegungen erforderlich sind, die Eingabedaten jedoch begrenzt sind.

Der Einfluss von MHC auf generative Bewegungsmodelle

Der Masked Humanoid Controller (MHC) ist Teil einer umfassenderen Anstrengung von Intel Labs und seinen Partnern, verantwortungsvoll generative Modelle zu entwickeln, darunter solche für die Text-to-Image- und 3D-Generierung Aufgaben. Wie auf der ECCV 2024 diskutiert, hat dieser Ansatz erhebliche Auswirkungen auf Branchen wie Robotik, virtuelle Realität, Gaming und Simulation, in denen die Erzeugung realistischer menschlicher Bewegungen von entscheidender Bedeutung ist. Durch die Einbeziehung multimodaler Eingaben und die Möglichkeit des nahtlosen Übergangs zwischen Bewegungen durch den Controller kann der MHC mit realen Bedingungen umgehen, in denen Sensordaten möglicherweise verrauscht oder unvollständig sind.

Diese Arbeit von Intel Labs steht neben anderen fortschrittlichen Forschungsarbeiten, die auf der ECCV 2024 vorgestellt wurden, wie etwa ihrer neuartigen Verteidigung für Text-zu-Bild-Modelle und der Entwicklung von Techniken zur Verbesserung der räumlichen Konsistenz bei der Bildgenerierung. Zusammen zeigen diese Fortschritte Intels Führungsrolle auf dem Gebiet der Computervision, wobei der Schwerpunkt auf der Entwicklung sicherer, skalierbarer und verantwortungsvoller KI-Technologien liegt.

Fazit

Der von Intel Labs und akademischen Partnern entwickelte Masked Humanoid Controller (MHC) stellt einen entscheidenden Fortschritt auf dem Gebiet der Generierung menschlicher Bewegungen dar. Indem der MHC das komplexe Steuerungsproblem der Generierung realistischer Bewegungen aus multimodalen Eingaben angeht, ebnet er den Weg für neue Anwendungen in den Bereichen VR, Gaming, Robotik und Simulation. Diese auf der ECCV 2024 vorgestellte Forschung zeigt Intels Engagement für die Weiterentwicklung verantwortungsvoller KI und generativer Modellierung und trägt zu sichereren und anpassungsfähigeren Technologien in verschiedenen Bereichen bei.