Intel’s Gemaskerde Humanoid Controller: Een Nieuwe Aanpak voor Fysiek Realistische en Stuurbaar Menselijke Bewegingsgeneratie

Onderzoekers van Intel Labs, in samenwerking met academische en industrie-experts, hebben een baanbrekende techniek geïntroduceerd voor het genereren van realistische en stuurbaar menselijke beweging vanuit schaarse, multimodale invoer. Hun werk, dat werd gehighlight op de European Conference on Computer Vision (ECCV 2024), richt zich op het overwinnen van de uitdagingen van het genereren van natuurlijke, fysiek gebaseerde menselijke gedragingen in hoogdimensionale humanoid karakters. Dit onderzoek maakt deel uit van Intel Labs’ bredere initiatief om computer visie en machine learning te bevorderen.

Intel Labs en haar partners hebben onlangs zes baanbrekende papers gepresenteerd op ECCV 2024, een topconferentie georganiseerd door de European Computer Vision Association (ECVA).

Het paper Generating Physically Realistic and Directable Human Motions from Multi-Modal Inputs toonde innovaties, waaronder een nieuwe verdedigingsstrategie voor het beschermen van text-to-image modellen tegen prompt-gebaseerde rode team aanvallen en de ontwikkeling van een grote dataset ontworpen om ruimtelijke consistentie in deze modellen te verbeteren. Onder deze bijdragen benadrukt het paper Intel’s toewijding aan het bevorderen van generatieve modellering, met prioriteit voor verantwoordelijke AI praktijken.

Realistische Menselijke Bewegingen Genereren met Multimodale Invoer

Intel’s Gemaskerde Humanoid Controller (MHC) is een doorbraak systeem ontworpen om menselijke beweging te genereren in gesimuleerde fysieke omgevingen. In tegenstelling tot traditionele methoden die zwaar leunen op volledig gedetailleerde motion capture gegevens, is de MHC gebouwd om schaarse, onvolledige of gedeeltelijke invoer gegevens vanuit verschillende bronnen te verwerken. Deze bronnen kunnen onder andere VR-controllers omvatten, die mogelijk alleen hand- of hoofdbewegingen volgen; joystick invoer die alleen hoog niveau navigatieopdrachten geeft; video tracking, waarbij bepaalde lichaamsdelen mogelijk worden afgedekt; of zelfs abstracte instructies afgeleid van tekst prompts.

De innovatie van deze technologie ligt in haar vermogen om de lacunes te interpreteren en aan te vullen waar gegevens ontbreken of onvolledig zijn. Dit wordt bereikt door wat Intel de Catch-up, Combine en Complete (CCC) mogelijkheden noemt:

• Catch-up: Deze functie stelt de MHC in staat om de beweging te herstellen en te resynchroniseren wanneer storingen optreden, zoals wanneer het systeem in een mislukte staat start, zoals een humanoid karakter dat is gevallen. Het systeem kan snel de bewegingen corrigeren en de natuurlijke beweging hervatten zonder opnieuw te trainen of handmatige aanpassingen te doen.
• Combine: MHC kan verschillende bewegingssequenties combineren, zoals het combineren van bovenlichaamsbewegingen van één actie (bijv. zwaaien) met onderlichaamsacties van een andere (bijv. lopen). Deze flexibiliteit stelt het systeem in staat om geheel nieuwe gedragingen te genereren vanuit bestaande bewegingsgegevens.
• Complete: Wanneer slechts schaarse invoer wordt gegeven, zoals gedeeltelijke lichaamsbewegingsgegevens of vage hoog niveau richtlijnen, kan de MHC intelligent de ontbrekende delen van de beweging afleiden en genereren. Bijvoorbeeld, als alleen arm bewegingen worden gespecificeerd, kan de MHC autonoom corresponderende beenbewegingen genereren om fysieke balans en realisme te behouden.

Het resultaat is een zeer aanpasbaar bewegingsgeneratie systeem dat soepele, realistische en fysiek nauwkeurige bewegingen kan creëren, zelfs met onvolledige of onduidelijke richtlijnen. Dit maakt MHC ideaal voor toepassingen in gaming, robotica, virtuele realiteit en elke situatie waarin hoge kwaliteit menselijke beweging nodig is, maar invoer gegevens beperkt zijn.

De Impact van MHC op Generatieve Bewegingsmodellen

De Gemaskerde Humanoid Controller (MHC) is onderdeel van een bredere inspanning van Intel Labs en haar samenwerkingspartners om verantwoordelijk generatieve modellen te bouwen, waaronder die welke text-to-image en 3D generatie taken aandrijven. Zoals besproken op ECCV 2024, heeft deze aanpak significante implicaties voor industrieën zoals robotica, virtuele realiteit, gaming en simulatie, waar de generatie van realistische menselijke beweging cruciaal is. Door multimodale invoer te integreren en het systeem in staat te stellen naadloos tussen bewegingen te schakelen, kan de MHC reële omstandigheden aan waar sensor gegevens mogelijk lawaaierig of onvolledig zijn.

Dit werk van Intel Labs staat naast andere geavanceerde onderzoeken die werden gepresenteerd op ECCV 2024, zoals hun novelle verdediging voor text-to-image modellen en de ontwikkeling van technieken voor het verbeteren van ruimtelijke consistentie in beeldgeneratie. Samen laten deze vooruitgangen Intel’s leiderschap zien in het veld van computer visie, met een focus op het ontwikkelen van veilige, schaalbare en verantwoordelijke AI technologieën.

Conclusie

De Gemaskerde Humanoid Controller (MHC), ontwikkeld door Intel Labs en academische samenwerkingspartners, vertegenwoordigt een cruciale stap voorwaarts in het veld van menselijke bewegingsgeneratie. Door het complexe controleprobleem van het genereren van realistische bewegingen vanuit multimodale invoer aan te pakken, baant de MHC de weg voor nieuwe toepassingen in VR, gaming, robotica en simulatie. Dit onderzoek, dat werd gepresenteerd op ECCV 2024, toont Intel’s toewijding aan het bevorderen van verantwoordelijke AI en generatieve modellering, waardoor veiligere en adaptievere technologieën ontstaan in verschillende domeinen.