Intel's gemaskeerde humanoïde controller: een nieuwe benadering van fysiek realistische en richtbare menselijke bewegingsgeneratie

Onderzoekers van Intel Labs, in samenwerking met academische en industriële experts, een baanbrekende techniek geïntroduceerd voor het genereren van realistische en richtbare menselijke beweging uit spaarzame, multimodale input. Hun werk, uitgelicht op de Europese conferentie over computervisie (ECCV 2024) richt zich op het overwinnen van de uitdagingen bij het genereren van natuurlijk, fysiek gebaseerd menselijk gedrag in hoogdimensionale humanoïde personages. Dit onderzoek maakt deel uit van het bredere initiatief van Intel Labs om computer vision en machine learning te bevorderen.

Intel Labs en haar partners hebben onlangs gepresenteerd zes baanbrekende papers op ECCV 2024, een vooraanstaande conferentie georganiseerd door de Europese Computer Vision Vereniging (ECVA).

Het papier Het genereren van fysiek realistische en richtbare menselijke bewegingen uit multimodale input toonde innovaties, waaronder een nieuwe verdedigingsstrategie voor het beschermen van tekst-naar-afbeeldingsmodellen tegen prompt-gebaseerde red teaming-aanvallen en de ontwikkeling van een grootschalige dataset die is ontworpen om de ruimtelijke consistentie in deze modellen te verbeteren. Onder deze bijdragen benadrukt het artikel Intel's toewijding aan het bevorderen van generatieve modellering, terwijl prioriteit wordt gegeven aan verantwoordelijke AI praktijken.

Realistische menselijke bewegingen genereren met behulp van multimodale invoer

Intel's Masked Humanoid Controller (MHC) is een baanbrekend systeem dat is ontworpen om mensachtige bewegingen te genereren in gesimuleerde fysica-omgevingen. In tegenstelling tot traditionele methoden die sterk afhankelijk zijn van volledig gedetailleerde bewegingsregistratiegegevens, is de MHC gebouwd om spaarzame, onvolledige of gedeeltelijke invoergegevens van verschillende bronnen te verwerken. Deze bronnen kunnen VR-controllers omvatten, die mogelijk alleen hand- of hoofdbewegingen volgen; joystick-inputs die alleen navigatiecommando's op hoog niveau geven; videotracking, waarbij bepaalde lichaamsdelen mogelijk worden afgedekt; of zelfs abstracte instructies afgeleid van tekstprompts.

De innovatie van de technologie ligt in het vermogen om de gaten te interpreteren en op te vullen waar gegevens ontbreken of onvolledig zijn. Dit wordt bereikt door wat Intel de Inhalen, combineren en voltooien (CCC) mogelijkheden:

• Inhalen: Deze functie stelt de MHC in staat om zijn beweging te herstellen en opnieuw te synchroniseren wanneer er verstoringen optreden, zoals wanneer het systeem start in een mislukte staat, zoals een humanoïde personage dat is gevallen. Het systeem kan zijn bewegingen snel corrigeren en de natuurlijke beweging hervatten zonder hertraining of handmatige aanpassingen.
• Combineren:MHC kan verschillende bewegingssequenties samenvoegen, zoals het samenvoegen van bovenlichaamsbewegingen van de ene actie (bijv. zwaaien) met onderlichaamsbewegingen van een andere actie (bijv. lopen). Deze flexibiliteit maakt het mogelijk om geheel nieuwe gedragingen te genereren uit bestaande bewegingsgegevens.
• Volledige: Wanneer er spaarzame invoer wordt gegeven, zoals gegevens over gedeeltelijke lichaamsbewegingen of vage richtlijnen op hoog niveau, kan de MHC op intelligente wijze de ontbrekende delen van de beweging afleiden en genereren. Als er bijvoorbeeld alleen armbewegingen worden gespecificeerd, kan de MHC autonoom overeenkomstige beenbewegingen genereren om het fysieke evenwicht en realisme te behouden.

Het resultaat is een zeer aanpasbaar bewegingsgeneratiesysteem dat vloeiende, realistische en fysiek nauwkeurige bewegingen kan creëren, zelfs met onvolledige of onvoldoende gespecificeerde richtlijnen. Dit maakt MHC ideaal voor toepassingen in gaming, robotica, virtual reality en elk scenario waarbij hoogwaardige mensachtige bewegingen nodig zijn, maar invoergegevens beperkt zijn.

De impact van MHC op generatieve bewegingsmodellen

De Masked Humanoid Controller (MHC) is onderdeel van een bredere inspanning van Intel Labs en zijn medewerkers om op verantwoorde wijze generatieve modellen te bouwen, waaronder modellen die tekst-naar-afbeelding omzetten en 3D-generatie taken. Zoals besproken op ECCV 2024, heeft deze aanpak belangrijke implicaties voor sectoren zoals robotica, virtual reality, gaming en simulatie, waar het genereren van realistische menselijke bewegingen cruciaal is. Door multimodale inputs te integreren en de controller in staat te stellen naadloos tussen bewegingen te schakelen, kan de MHC omgaan met omstandigheden in de echte wereld waarin sensorgegevens mogelijk ruis bevatten of onvolledig zijn.

Dit werk van Intel Labs staat naast ander geavanceerd onderzoek dat op ECCV 2024 is gepresenteerd, zoals hun nieuwe verdediging voor tekst-naar-afbeeldingsmodellen en de ontwikkeling van technieken voor het verbeteren van ruimtelijke consistentie bij het genereren van afbeeldingen. Samen laten deze ontwikkelingen Intels leiderschap op het gebied van computer vision zien, met een focus op het ontwikkelen van veilige, schaalbare en verantwoorde AI-technologieën.

Conclusie

De Masked Humanoid Controller (MHC), ontwikkeld door Intel Labs en academische medewerkers, vertegenwoordigt een cruciale stap voorwaarts op het gebied van menselijke bewegingsgeneratie. Door het complexe besturingsprobleem van het genereren van realistische bewegingen uit multimodale inputs aan te pakken, baant de MHC de weg voor nieuwe toepassingen in VR, gaming, robotica en simulatie. Dit onderzoek, gepresenteerd op ECCV 2024, toont Intels toewijding aan het bevorderen van verantwoorde AI en generatieve modellering, wat bijdraagt ​​aan veiligere en adaptievere technologieën in verschillende domeinen.