Intels Masked Humanoid Controller: A Novel Approach to Physically Realistic and Directable Human Motion Generation

Forskare från Intel Labs, i samarbete med akademiska experter och branschexperter, har introducerat en banbrytande teknik för att generera realistiska och styrbara mänskliga rörelser från sparsamma, multimodala ingångar. Deras arbete, belyst på Europeiska konferensen om datorsyn (ECCV 2024), fokuserar på att övervinna utmaningarna med att generera naturliga, fysiskt baserade mänskliga beteenden i högdimensionella humanoida karaktärer. Denna forskning är en del av Intel Labs bredare initiativ för att främja datorseende och maskininlärning.

Intel Labs och dess partners presenterade nyligen sex banbrytande tidningar vid ECCV 2024, en förstklassig konferens som anordnas av European Computer Vision Association (ECVA).

Pappret Generera fysiskt realistiska och styrbara mänskliga rörelser från multimodala ingångar visade upp innovationer inklusive en ny försvarsstrategi för att skydda text-till-bild-modeller från promptbaserade röda teamattacker och utvecklingen av en storskalig datauppsättning utformad för att förbättra rumslig konsekvens i dessa modeller. Bland dessa bidrag belyser tidningen Intels engagemang för att främja generativ modellering samtidigt som de prioriterar ansvarig AI praxis.

Generera realistiska mänskliga rörelser med hjälp av multimodala ingångar

Intels Masked Humanoid Controller (MHC) är ett banbrytande system designat för att generera mänskliga rörelser i simulerade fysikmiljöer. Till skillnad från traditionella metoder som i hög grad förlitar sig på fullständigt detaljerad motion capture-data, är MHC byggd för att hantera glesa, ofullständiga eller partiella indata från en mängd olika källor. Dessa källor kan inkludera VR-kontroller, som kanske bara spårar hand- eller huvudrörelser; joystick-ingångar som endast ger navigeringskommandon på hög nivå; videospårning, där vissa kroppsdelar kan vara tilltäppta; eller till och med abstrakta instruktioner härledda från textuppmaningar.

Teknikens innovation ligger i dess förmåga att tolka och fylla i de luckor där data saknas eller är ofullständig. Den uppnår detta genom vad Intel benämner Hämta, kombinera och komplettera (CCC) Förmågor:

• Komma ikapp: Den här funktionen gör att MHC kan återhämta sig och synkronisera sin rörelse när störningar inträffar, till exempel när systemet startar i ett misslyckat tillstånd, som en humanoid karaktär som har fallit. Systemet kan snabbt korrigera sina rörelser och återuppta naturlig rörelse utan omträning eller manuella justeringar.
• Kombinera: MHC kan blanda olika rörelsesekvenser tillsammans, som att slå samman överkroppsrörelser från en handling (t.ex. vinka) med underkroppsrörelser från en annan (t.ex. promenad). Denna flexibilitet möjliggör generering av helt nya beteenden från befintliga rörelsedata.
• Komplett: När MHC ges glesa indata, såsom partiella kroppsrörelsedata eller vaga högnivådirektiv, kan MHC på ett intelligent sätt sluta sig till och generera de saknade delarna av rörelsen. Till exempel, om endast armrörelser specificeras, kan MHC autonomt generera motsvarande benrörelser för att bibehålla fysisk balans och realism.

Resultatet är ett mycket anpassningsbart rörelsegenereringssystem som kan skapa jämna, realistiska och fysiskt exakta rörelser, även med ofullständiga eller underspecificerade direktiv. Detta gör MHC idealisk för applikationer inom spel, robotteknik, virtuell verklighet och alla scenarier där högkvalitativa mänskliga rörelser behövs men indata är begränsade.

Effekten av MHC på generativa rörelsemodeller

The Masked Humanoid Controller (MHC) är en del av en bredare ansträngning av Intel Labs och dess samarbetspartners för att ansvarsfullt bygga generativa modeller, inklusive de som driver text-till-bild och 3D generation uppgifter. Som diskuterades vid ECCV 2024 har detta tillvägagångssätt betydande konsekvenser för industrier som robotik, virtuell verklighet, spel och simulering, där genereringen av realistiska mänskliga rörelser är avgörande. Genom att integrera multimodala ingångar och göra det möjligt för styrenheten att sömlöst växla mellan rörelser, kan MHC hantera verkliga förhållanden där sensordata kan vara störande eller ofullständig.

Detta arbete av Intel Labs står vid sidan av annan avancerad forskning som presenterades vid ECCV 2024, såsom deras nya försvar för text-till-bild-modeller och utvecklingen av tekniker för att förbättra rumslig konsekvens i bildgenerering. Tillsammans visar dessa framsteg upp Intels ledarskap inom datorseende, med fokus på att utveckla säker, skalbar och ansvarsfull AI-teknik.

Slutsats

Masked Humanoid Controller (MHC), utvecklad av Intel Labs och akademiska samarbetspartners, representerar ett avgörande steg framåt inom området för mänsklig rörelsegenerering. Genom att ta itu med det komplexa kontrollproblemet att generera realistiska rörelser från multimodala ingångar banar MHC vägen för nya applikationer inom VR, spel, robotik och simulering. Denna forskning, som presenterades på ECCV 2024, visar Intels engagemang för att främja ansvarsfull AI och generativ modellering, vilket bidrar till säkrare och mer adaptiva teknologier inom olika domäner.