Intels Masked Humanoid Controller: En ny tilnærming til fysisk realistisk og regisserbar menneskelig bevegelsesgenerering

Forskere fra Intel Labs, i samarbeid med akademiske og bransjeeksperter, har introdusert en banebrytende teknikk for å generere realistisk og rettet menneskelig bevegelse fra sparsomme, multimodale input. Deres arbeid, fremhevet på Europeisk konferanse om datasyn (ECCV 2024), fokuserer på å overvinne utfordringene med å generere naturlig, fysisk basert menneskelig atferd i høydimensjonale humanoide karakterer. Denne forskningen er en del av Intel Labs' bredere initiativ for å fremme datasyn og maskinlæring.

Intel Labs og dets partnere presenterte nylig seks banebrytende papirer på ECCV 2024, en fremste konferanse organisert av European Computer Vision Association (ECVA).

Avisen Generer fysisk realistiske og dirigerbare menneskelige bevegelser fra multi-modale innganger viste frem innovasjoner, inkludert en ny forsvarsstrategi for å beskytte tekst-til-bilde-modeller fra promptbaserte røde team-angrep og utviklingen av et storskala datasett designet for å forbedre romlig konsistens i disse modellene. Blant disse bidragene fremhever papiret Intels dedikasjon til å fremme generativ modellering samtidig som de prioriterer ansvarlig AI praksis.

Generer realistiske menneskelige bevegelser ved hjelp av multimodale innganger

Intels Masked Humanoid Controller (MHC) er et banebrytende system designet for å generere menneskelignende bevegelser i simulerte fysikkmiljøer. I motsetning til tradisjonelle metoder som er avhengige av fullstendig detaljerte bevegelsesfangstdata, er MHC bygget for å håndtere sparsomme, ufullstendige eller delvise inndata fra en rekke kilder. Disse kildene kan inkludere VR-kontrollere, som kanskje bare sporer hånd- eller hodebevegelser; styrespakinnganger som kun gir navigasjonskommandoer på høyt nivå; videosporing, der visse kroppsdeler kan være tilstoppet; eller til og med abstrakte instruksjoner hentet fra tekstmeldinger.

Teknologiens innovasjon ligger i dens evne til å tolke og fylle ut hullene der data mangler eller er ufullstendige. Den oppnår dette gjennom det Intel betegner som Catch-up, Combine og Complete (CCC) evner:

• Ta igjen: Denne funksjonen lar MHC-en gjenopprette og resynkronisere bevegelsen når det oppstår forstyrrelser, for eksempel når systemet starter i en mislykket tilstand, som en menneskelig karakter som har falt. Systemet kan raskt korrigere bevegelsene og gjenoppta naturlig bevegelse uten omtrening eller manuelle justeringer.
• Kombiner: MHC kan blande forskjellige bevegelsessekvenser sammen, for eksempel å slå sammen overkroppsbevegelser fra én handling (f.eks. vinke) med underkroppshandlinger fra en annen (f.eks. gåing). Denne fleksibiliteten tillater generering av helt ny atferd fra eksisterende bevegelsesdata.
• Komplett: Når det gis sparsomme input, for eksempel data om delvis kroppsbevegelse eller vage direktiver på høyt nivå, kan MHC intelligent utlede og generere de manglende delene av bevegelsen. For eksempel, hvis bare armbevegelser er spesifisert, kan MHC autonomt generere tilsvarende benbevegelser for å opprettholde fysisk balanse og realisme.

Resultatet er et svært tilpasningsdyktig bevegelsesgenereringssystem som kan skape jevne, realistiske og fysisk nøyaktige bevegelser, selv med ufullstendige eller underspesifiserte direktiver. Dette gjør MHC ideell for applikasjoner innen spill, robotikk, virtuell virkelighet og ethvert scenario der høykvalitets menneskelignende bevegelse er nødvendig, men inngangsdata er begrenset.

Virkningen av MHC på generative bevegelsesmodeller

The Masked Humanoid Controller (MHC) er en del av en bredere innsats fra Intel Labs og dets samarbeidspartnere for å ansvarlig bygge generative modeller, inkludert de som driver tekst-til-bilde og 3D generasjon oppgaver. Som diskutert på ECCV 2024, har denne tilnærmingen betydelige implikasjoner for bransjer som robotikk, virtuell virkelighet, spill og simulering, hvor generering av realistisk menneskelig bevegelse er avgjørende. Ved å inkludere multimodale innganger og gjøre det mulig for kontrolleren å sømløs overgang mellom bevegelser, kan MHC håndtere virkelige forhold der sensordata kan være støyende eller ufullstendige.

Dette arbeidet av Intel Labs står sammen med annen avansert forskning presentert på ECCV 2024, som deres nye forsvar for tekst-til-bilde-modeller og utvikling av teknikker for å forbedre romlig konsistens i bildegenerering. Sammen viser disse fremskrittene Intels lederskap innen datasyn, med fokus på å utvikle sikre, skalerbare og ansvarlige AI-teknologier.

Konklusjon

Masked Humanoid Controller (MHC), utviklet av Intel Labs og akademiske samarbeidspartnere, representerer et kritisk skritt fremover innen menneskelig bevegelsesgenerering. Ved å takle det komplekse kontrollproblemet med å generere realistiske bevegelser fra multimodale innganger, baner MHC vei for nye applikasjoner innen VR, spill, robotikk og simulering. Denne forskningen, omtalt på ECCV 2024, viser Intels forpliktelse til å fremme ansvarlig AI og generativ modellering, og bidrar til sikrere og mer adaptive teknologier på tvers av ulike domener.