Intels Masked Humanoid Controller: En banbrytande metod för generering av realistiska och styrbara mänskliga rörelser

Forskare från Intel Labs (INTC ), i samarbete med akademiska och industriella experter, har introducerat en banbrytande teknik för generering av realistiska och styrbara mänskliga rörelser från glesa, multimodala indata. Deras arbete, som presenterades på European Conference on Computer Vision (ECCV 2024), fokuserar på att övervinna utmaningarna med att generera naturliga, fysiskt baserade mänskliga beteenden i högdimensionella humanoida karaktärer. Denna forskning är en del av Intel Labs bredare initiativ för att främja datorseende och maskinlärning.

Intel Labs och dess partners presenterade nyligen sex banbrytande artiklar på ECCV 2024, en ledande konferens organiserad av European Computer Vision Association (ECVA).

Artikeln Generering av fysiskt realistiska och styrbara mänskliga rörelser från multimodala indata visade innovativa lösningar, inklusive en ny försvarsstrategi för att skydda text-till-bild-modeller från promptbaserade red team-attacker och utvecklingen av en stor skala-dataset för att förbättra spatial konsistens i dessa modeller. Bland dessa bidrag betonar artikeln Intels engagemang för att främja generativ modellering samtidigt som man prioriterar ansvarsfull AI-praxis.

Generering av realistiska mänskliga rörelser med hjälp av multimodala indata

Intels Masked Humanoid Controller (MHC) är ett banbrytande system som är utformat för att generera mänskliga rörelser i simulerade fysiska miljöer. Till skillnad från traditionella metoder som förlitar sig tungt på fullständiga rörelseinspelningsdata, är MHC utvecklat för att hantera glesa, ofullständiga eller partiella indata från en mängd olika källor. Dessa källor kan inkludera VR-kontroller som kanske bara spårar hand- eller huvudrörelser, joystick-inmatningar som ger högnivå-navigeringskommandon, videospårning där vissa kroppsdelar kan vara dolda, eller till och med abstrakta instruktioner som härrör från textprompt.

Teknikens innovation ligger i dess förmåga att tolka och fylla i luckor där data saknas eller är ofullständig. Det uppnår detta genom vad Intel kallar Catch-up, Combine, and Complete (CCC)-funktionerna:

• Catch-up: Denna funktion tillåter MHC att återhämta sig och återställa sin rörelse när störningar uppstår, till exempel när systemet startar i ett felaktigt tillstånd, som en humanoid karaktär som har fallit. Systemet kan snabbt korrigera sina rörelser och återuppta naturlig rörelse utan omträning eller manuella justeringar.
• Combine: MHC kan kombinera olika rörelsekvenser, till exempel att kombinera överkropps-rörelser från en åtgärd (t.ex. vinka) med underkropps-rörelser från en annan (t.ex. gå). Denna flexibilitet möjliggör generering av helt nya beteenden från befintliga rörelsedata.
• Complete: När MHC får glesa indata, såsom partiell kroppsrörelsedata eller vaga högnivå-direktiv, kan det intelligent gissa och generera de saknade delarna av rörelsen. Till exempel, om endast armrörelser specificeras, kan MHC autonomt generera motsvarande benrörelser för att upprätthålla fysisk balans och realism.

Resultatet är ett högt anpassningsbart rörelsegenereringssystem som kan skapa smidiga, realistiska och fysiskt korrekta rörelser, även med ofullständiga eller underbestämda direktiv. Detta gör MHC idealiskt för tillämpningar inom spel, robotik, virtuell verklighet och alla scenarier där högkvalitativa mänskliga rörelser behövs men indata är begränsad.

Effekten av MHC på generativa rörelsemodeller

Masked Humanoid Controller (MHC) är en del av en bredare ansträngning av Intel Labs och dess samarbetspartner för att bygga generativa modeller på ett ansvarsfullt sätt, inklusive de som driver text-till-bild och 3D-generering-uppgifter. Som diskuterades på ECCV 2024, har denna ansats betydande konsekvenser för branscher som robotik, virtuell verklighet, spel och simulering, där generering av realistiska mänskliga rörelser är avgörande. Genom att integrera multimodala indata och möjliggöra för kontrollen att smidigt gå över från en rörelse till en annan, kan MHC hantera realistiska förhållanden där sensordata kan vara bullrig eller ofullständig.

Detta arbete av Intel Labs står bredvid annan avancerad forskning som presenterades på ECCV 2024, såsom deras nya försvar för text-till-bild-modeller och utvecklingen av tekniker för att förbättra spatial konsistens i bildgenerering. Tillsammans visar dessa framsteg Intels ledarskap inom området datorseende, med fokus på att utveckla säkra, skalbara och ansvarsfulla AI-teknologier.

Slutsats

Intels Masked Humanoid Controller (MHC), utvecklad av Intel Labs och akademiska samarbetspartner, representerar ett kritiskt steg framåt inom området mänsklig rörelsegenerering. Genom att tackla det komplexa kontrollproblemet med att generera realistiska rörelser från multimodala indata, banar MHC väg för nya tillämpningar inom VR, spel, robotik och simulering. Denna forskning, som presenterades på ECCV 2024, visar Intels engagemang för att främja ansvarsfull AI och generativ modellering, bidragande till säkrare och mer anpassningsbara teknologier inom olika områden.