Intel’s Masked Humanoid Controller: En ny tilnærming til fysisk realistisk og direktiverbar menneskelig bevegelsesgenerering

Forskere fra Intel Labs, i samarbeid med akademiske og industrielle eksperter, har introdusert en banebrytende teknikk for å generere realistisk og direktiverbar menneskelig bevegelse fra sparse, multimodale innputter. Deres arbeid, som ble presentert på European Conference on Computer Vision (ECCV 2024), fokuserer på å overvinne utfordringene med å generere naturlige, fysisk-baserte menneskelige atferd i høydimensjonale humanoid-karakterer. Dette forskningsarbeidet er en del av Intel Labs’ bredere initiativ for å fremme datavisjon og maskinlæring.

Intel Labs og deres partnere presenterte nylig seks banebrytende artikler på ECCV 2024, en premierkonferanse organisert av European Computer Vision Association (ECVA).

Artikkelen Generating Physically Realistic and Directable Human Motions from Multi-Modal Inputs viste innovasjoner inkludert en ny forsvarstrategi for å beskytte tekst-til-bilde-modeller mot prompt-baserte red team-angrep og utviklingen av en stor skala-datasett designet for å forbedre romlig konsistens i disse modellene. Blant disse bidragene, fremhever artikkelen Intel’s dedikasjon til å fremme generativ modellering samtidig som de prioriterer ansvarlig AI-praksis.

Generering av realistiske menneskelige bevegelser ved hjelp av multimodale innputter

Intel’s Masked Humanoid Controller (MHC) er et gjennombruddssystem designet for å generere menneskelignende bevegelse i simuleringsfysiske miljøer. I motsetning til tradisjonelle metoder som avhenger sterkt av fullstendig detaljert bevegelsesregistreringsdata, er MHC bygget for å håndtere sparse, ufullstendige eller delvis innputtdata fra en rekke kilder. Disse kildene kan inkludere VR-kontrollere som bare kan spore hånd- eller hodebevegelser; joystick-innputt som bare gir høynivå-navigeringskommandoer; video-sporing, hvor visse kroppsdeler kan være skjult; eller selv abstrakte instruksjoner avledet fra tekstpromter.

Teknologiens innovasjon ligger i dens evne til å tolke og fylle hullene der data er mangelfull eller ufullstendig. Dette oppnås gjennom det Intel betegner som Catch-up, Combine, and Complete (CCC)-funksjoner:

• Catch-up: Denne funksjonen tillater MHC å gjenopprette og resynkronisere sin bevegelse når forstyrrelser oppstår, som når systemet starter i en feiltilstand, som en humanoid-karakter som har falt. Systemet kan raskt korrigere sine bevegelser og gjenopprette naturlig bevegelse uten om-trening eller manuelle justeringer.
• Combine: MHC kan blande ulike bevegelsessekvenser sammen, som å kombinere øvre kroppbevegelser fra en handling (f.eks. vinkende) med nedre kroppbevegelser fra en annen (f.eks. gående). Denne fleksibiliteten tillater generering av helt nye atferd fra eksisterende bevegelsesdata.
• Complete: Når gitt sparse innputt, som delvis kroppbevegelsesdata eller vage høynivå-direktiver, kan MHC intelligent gjette og generere manglende deler av bevegelsen. For eksempel, hvis bare armbevegelser er spesifisert, kan MHC selvstendig generere tilsvarende benbevegelser for å opprettholde fysisk balanse og realisme.

Resultatet er et høyt tilpassbart bevegelsesgenereringssystem som kan skape glatte, realistiske og fysisk nøyaktige bevegelser, selv med ufullstendige eller under-spesifiserte direktiver. Dette gjør MHC ideelt for anvendelser i spill, robotikk, virtuell virkelighet og enhver scenario hvor høykvalitets menneskelignende bevegelse er nødvendig, men innputtdata er begrenset.

MHCs innvirkning på generative bevegelsesmodeller

Masked Humanoid Controller (MHC) er en del av en bredere innsats fra Intel Labs og deres samarbeidspartnere for å bygge ansvarlige generative modeller, inkludert de som driver tekst-til-bilde og 3D-generering-oppgaver. Som diskutert på ECCV 2024, har denne tilnærmingen betydelige implikasjoner for industrier som robotikk, virtuell virkelighet, spill og simulering, hvor generering av realistisk menneskelig bevegelse er avgjørende. Ved å inkorporere multimodale innputt og aktivere kontrolleren til å glide mellom bevegelser, kan MHC håndtere virkelige forhold hvor sensordata kan være støyende eller ufullstendig.

Dette arbeidet av Intel Labs står sammen med andre avanserte forskningsarbeid presentert på ECCV 2024, som deres nye forsvar for tekst-til-bilde-modeller og utviklingen av teknikker for å forbedre romlig konsistens i bildegenerering. Disse fremstegene viser Intel’s lederskap i feltet datavisjon, med fokus på å utvikle sikre, skalerbare og ansvarlige AI-teknologier.

Konklusjon

Masked Humanoid Controller (MHC), utviklet av Intel Labs og akademiske samarbeidspartnere, representerer et kritisk skritt fremover i feltet menneskelig bevegelsesgenerering. Ved å takle det komplekse kontrollproblemet med å generere realistiske bevegelser fra multimodale innputter, åpner MHC vei for nye anvendelser i VR, spill, robotikk og simulering. Dette forskningsarbeidet, presentert på ECCV 2024, demonstrerer Intel’s dedikasjon til å fremme ansvarlig AI og generativ modellering, og bidrar til sikrere og mer tilpassbare teknologier over ulike domener.