Intels Masked Humanoid Controller: En ny tilnærming til fysisk realistisk og direktiverbar menneskelig bevegelsegenerering

Forskere fra Intel Labs (INTC ), i samarbeid med akademiske og industrielle eksperter, har introdusert en banebrytende teknikk for å generere realistiske og direktiverbare menneskelige bevegelser fra sparse, multi-modale inndata. Deres arbeid, som er presentert på Den europeiske konferansen om datavisjon (ECCV 2024), fokuserer på å overvinne utfordringene med å generere naturlige, fysisk-baserte menneskelige atferd i høydimensjonale humanoidfigurer. Dette forskningsarbeidet er en del av Intel Labs’ bredere initiativ for å fremme datavisjon og maskinlæring.

Intel Labs og deres samarbeidspartnere presenterte nylig seks banebrytende artikler på ECCV 2024, en ledende konferanse organisert av Den europeiske datavisjonsforeningen (ECVA).

Artikkelen Generering av fysisk realistiske og direktiverbare menneskelige bevegelser fra multi-modale inndata viste innovasjoner som en ny forsvarstrategi for å beskytte tekst-til-bilde-modeller mot prompt-basert red teaming-angrep og utviklingen av en stor skala-datasett designet for å forbedre romlig konsistens i disse modellene. Blant disse bidragene, fremhever artikkelen Intels engasjement for å fremme generativ modellering samtidig som de prioriterer ansvarlig AI-praksis.

Generering av realistiske menneskelige bevegelser ved hjelp av multi-modale inndata

Intels Masked Humanoid Controller (MHC) er et gjennombruddssystem designet for å generere menneskelignende bevegelser i simuleringsfysiske miljøer. I motsetning til tradisjonelle metoder som er avhengige av fullstendig detaljerte bevegelsesdata, er MHC bygget for å håndtere sparse, ufullstendige eller delvis inndata fra en rekke kilder. Disse kildene kan inkludere VR-kontrollere, som bare kan spore hånd- eller hodebevegelser; joystick-inndata som bare gir høy-nivå navigeringskommandoer; video-sporing, hvor visse kroppsdeler kan være skjult; eller selv abstrakte instruksjoner avledet fra tekst-prompter.

Teknologiens innovasjon ligger i dens evne til å tolke og fylle hullene der data er mangelfull eller ufullstendig. Dette oppnås gjennom det som Intel betegner som Catch-up, Combine, and Complete (CCC)-funksjoner:

• Catch-up: Denne funksjonen tillater MHC å gjenopprette og resynkronisere bevegelsen når forstyrrelser oppstår, som når systemet starter i en feiltilstand, som en humanoid figur som har falt. Systemet kan raskt korrigere bevegelsene og gjenopprette naturlig bevegelse uten om-trening eller manuelle justeringer.
• Combine: MHC kan blande sammen forskjellige bevegelsessekvenser, som å kombinere overkroppsbevegelser fra en handling (f.eks. vinking) med underkroppsbevegelser fra en annen handling (f.eks. gåing). Denne fleksibiliteten tillater generering av helt nye atferd fra eksisterende bevegelsesdata.
• Complete: Når gitt sparse inndata, som delvis kroppbevegelsesdata eller vagt høy-nivå direktiver, kan MHC intelligent gjetting og generere mangelfulle deler av bevegelsen. For eksempel, hvis bare armbevegelser er spesifisert, kan MHC selvstendig generere tilsvarende beinbevegelser for å opprettholde fysisk balanse og realisme.

Resultatet er et høyt tilpassbart bevegelsesgenereringssystem som kan skape glatte, realistiske og fysisk nøyaktige bevegelser, selv med ufullstendige eller under-spesifiserte direktiver. Dette gjør MHC ideelt for anvendelser i spill, robotikk, virtuell virkelighet og enhver scenario hvor høykvalitets menneskelignende bevegelse er nødvendig, men inndata er begrenset.

Impakt av MHC på generative bevegelsesmodeller

Masked Humanoid Controller (MHC) er en del av en bredere innsats av Intel Labs og deres samarbeidspartnere for å bygge ansvarlige generative modeller, inkludert de som driver tekst-til-bilde og 3D-generering-oppgaver. Som diskutert på ECCV 2024, har denne tilnærmingen betydelige implikasjoner for industrier som robotikk, virtuell virkelighet, spill og simulering, hvor generering av realistiske menneskelige bevegelser er avgjørende. Ved å inkorporere multi-modale inndata og å enable kontrolleren til å glide uhindret mellom bevegelser, kan MHC håndtere virkelige forhold hvor sensor-data kan være støyende eller ufullstendig.

Dette arbeidet av Intel Labs står sammen med andre avanserte forskningsarbeider presentert på ECCV 2024, som deres nye forsvar for tekst-til-bilde-modeller og utviklingen av teknikker for å forbedre romlig konsistens i bilde-generering. Sammen viser disse fremsteg Intels lederskap i feltet datavisjon, med fokus på å utvikle sikre, skalerbare og ansvarlige AI-teknologier.

Konklusjon

Intels Masked Humanoid Controller (MHC), utviklet av Intel Labs og akademiske samarbeidspartnere, representerer et kritisk skritt fremover i feltet menneskelig bevegelsesgenerering. Ved å takle det komplekse kontrollproblemet med å generere realistiske bevegelser fra multi-modale inndata, åpner MHC vei for nye anvendelser i VR, spill, robotikk og simulering. Dette forskningsarbeidet, presentert på ECCV 2024, demonstrerer Intels engasjement for å fremme ansvarlig AI og generativ modellering, og bidrar til sikrere og mer adaptive teknologier over ulike domener.