Intel’s Masked Humanoid Controller: Een Nieuwe Benadering voor Fysiek Realistische en Stuurbaar Menselijke Bewegingsgeneratie

Onderzoekers van Intel Labs (INTC ), in samenwerking met academische en industriële experts, hebben een baanbrekende techniek geïntroduceerd voor het genereren van realistische en stuurbaar menselijke bewegingen vanuit schaarse, multi-modale invoer. Hun werk, dat werd gepresenteerd op de European Conference on Computer Vision (ECCV 2024), richt zich op het overwinnen van de uitdagingen van het genereren van natuurlijke, fysiek gebaseerde menselijke gedragingen in hoogdimensionale humanoïde personages. Dit onderzoek maakt deel uit van Intel Labs’ bredere initiatief om computer vision en machine learning te bevorderen.

Intel Labs en haar partners hebben onlangs zes baanbrekende papers gepresenteerd op ECCV 2024, een topconferentie georganiseerd door de European Computer Vision Association (ECVA).

Het paper Generating Physically Realistic and Directable Human Motions from Multi-Modal Inputs toonde innovaties, waaronder een nieuwe verdedigingsstrategie voor het beschermen van tekst-naar-afbeelding-modellen tegen prompt-gebaseerde rode teamaanvallen en de ontwikkeling van een grote dataset om de ruimtelijke consistentie in deze modellen te verbeteren. Onder deze bijdragen benadrukt het paper Intel’s toewijding aan het bevorderen van generatieve modellering en het prioriteren van verantwoordelijke AI-praktijken.

Realistische Menselijke Bewegingen Genereren met Multi-Modale Invoer

Intel’s Masked Humanoid Controller (MHC) is een doorbraak systeem ontworpen om menselijke bewegingen te genereren in gesimuleerde fysieke omgevingen. In tegenstelling tot traditionele methoden die zwaar leunen op volledig gedetailleerde bewegingsgegevens, is de MHC gebouwd om schaarse, onvolledige of gedeeltelijke invoergegevens van verschillende bronnen te verwerken. Deze bronnen kunnen onder andere VR-controllers omvatten, die mogelijk alleen hand- of hoofdbewegingen volgen; joystick-invoer die alleen hoog niveau navigatie-opdrachten geeft; videotracking, waarbij bepaalde lichaamsdelen mogelijk worden geblokkeerd; of zelfs abstracte instructies afgeleid van tekstprompts.

De innovatie van deze technologie ligt in haar vermogen om de lacunes te interpreteren en aan te vullen waar gegevens ontbreken of onvolledig zijn. Dit wordt bereikt door wat Intel de Catch-up, Combine, and Complete (CCC)-mogelijkheden noemt:

• Catch-up: Deze functie stelt de MHC in staat om haar beweging te herstellen en te resynchroniseren wanneer storingen optreden, zoals wanneer het systeem in een mislukte staat start, zoals een humanoïde personage dat is gevallen. Het systeem kan snel haar bewegingen corrigeren en natuurlijke beweging hervatten zonder opnieuw te trainen of handmatige aanpassingen te doen.
• Combine: MHC kan verschillende bewegingssequenties combineren, zoals het mengen van bovenlichaamsbewegingen van één actie (bijv. zwaaien) met onderlichaamsacties van een andere (bijv. lopen). Deze flexibiliteit stelt het systeem in staat om geheel nieuwe gedragingen te genereren van bestaande bewegingsgegevens.
• Complete: Wanneer alleen schaarse invoer wordt gegeven, zoals gedeeltelijke lichaamsbewegingsgegevens of vage hoog niveau richtlijnen, kan de MHC intelligent de ontbrekende delen van de beweging afleiden en genereren. Bijvoorbeeld, als alleen arm bewegingen worden gespecificeerd, kan de MHC autonomously corresponderende beenbewegingen genereren om fysieke balans en realisme te behouden.

Het resultaat is een zeer aanpasbaar bewegingsgeneratiesysteem dat soepele, realistische en fysiek nauwkeurige bewegingen kan creëren, zelfs met onvolledige of onduidelijke richtlijnen. Dit maakt MHC ideaal voor toepassingen in gaming, robotica, virtuele realiteit en elke situatie waarin hoge kwaliteit menselijke beweging nodig is, maar invoergegevens beperkt zijn.

De Impact van MHC op Generatieve Bewegingsmodellen

De Masked Humanoid Controller (MHC) is onderdeel van een bredere inspanning van Intel Labs en haar samenwerkingspartners om verantwoordelijk generatieve modellen te bouwen, waaronder die welke tekst-naar-afbeelding en 3D-generatie-taken aandrijven. Zoals besproken op ECCV 2024, heeft deze benadering significante implicaties voor industrieën zoals robotica, virtuele realiteit, gaming en simulatie, waar de generatie van realistische menselijke beweging cruciaal is. Door multi-modale invoer te integreren en het mogelijk te maken voor de controller om naadloos tussen bewegingen over te schakelen, kan de MHC reële wereld situaties aan waar sensorgegevens mogelijk lawaaierig of onvolledig zijn.

Dit onderzoek van Intel Labs staat naast andere geavanceerde onderzoeken die werden gepresenteerd op ECCV 2024, zoals hun novum verdediging voor tekst-naar-afbeelding-modellen en de ontwikkeling van technieken om ruimtelijke consistentie in beeldgeneratie te verbeteren. Samen laten deze vooruitgangen Intel’s leiderschap zien in het veld van computer vision, met een focus op het ontwikkelen van veilige, schaalbare en verantwoordelijke AI-technologieën.

Conclusie

De Masked Humanoid Controller (MHC), ontwikkeld door Intel Labs en academische samenwerkingspartners, vertegenwoordigt een cruciale stap voorwaarts in het veld van menselijke bewegingsgeneratie. Door het complexe controleprobleem van realistische bewegingen te genereren vanuit multi-modale invoer aan te pakken, baant de MHC de weg voor nieuwe toepassingen in VR, gaming, robotica en simulatie. Dit onderzoek, dat werd gepresenteerd op ECCV 2024, toont Intel’s toewijding aan het bevorderen van verantwoordelijke AI en generatieve modellering, waardoor veiligere en meer adaptieve technologieën worden ontwikkeld over verschillende domeinen.