Intels Maskerede Humanoid Kontroller: En Nye Tilgang til Fysisk Realistisk og Retningsgivende Menneskelig Bevægelsesgenerering

Forskere fra Intel Labs (INTC ), i samarbejde med akademiske og industrielle eksperter, har introduceret en banebrydende teknik til generering af realistisk og retningsgivende menneskelig bevægelse fra sparse, multi-modale indgange. Deres arbejde, fremhævet på Den Europæiske Konference om Computer Vision (ECCV 2024), fokuserer på at overvinde udfordringerne ved at generere naturlige, fysisk-baserede menneskelige adfærd i højdimensionelle humanoid-karakterer. Dette forskning er en del af Intel Labs’ bredere initiativ til at fremme computer vision og maskinlæring.

Intel Labs og dets partnere præsenterede nylig seks fremragende artikler på ECCV 2024, en premierkonference arrangeret af Den Europæiske Computer Vision Association (ECVA).

Artiklen Generering af Fysisk Realistisk og Retningsgivende Menneskelig Bevægelse fra Multi-Modale Indgange viste innovationer, herunder en ny forsvarsstrategi til beskyttelse af tekst-til-billede-modeller fra prompt-baserede red team-angreb og udviklingen af en stor skala-datasæt designet til at forbedre rumlig konsistens i disse modeller. Blandt disse bidrag fremhæver artiklen Intels engagement i at fremme generativ modellering, samtidig med at prioritere ansvarlig AI-praksis.

Generering af Realistisk Menneskelig Bevægelse ved Hjælp af Multi-Modale Indgange

Intels Maskerede Humanoid Kontroller (MHC) er et gennembrudssystem designet til at generere menneskelignende bevægelse i simulerede fysik-miljøer. I modsætning til traditionelle metoder, der afhænger stærkt af fuldt detaljerede bevægelsesdata, er MHC bygget til at håndtere sparse, ufuldstændige eller delvise indgangedata fra en række kilder. Disse kilder kan omfatte VR-kontrollere, der kun sporer hånd- eller hovedbevægelser; joystick-indgange, der kun giver højniveaudirektiver; video-tracking, hvor visse kropsdele kan være skjulte; eller abstrakte instruktioner, der er afledt fra tekstprompts.

Teknologiens innovation ligger i dens evne til at fortolke og udfylde hullerne, hvor data mangler eller er ufuldstændig. Dette opnås gennem, hvad Intel kalder Catch-up, Combine, and Complete (CCC)-funktionerne:

• Catch-up: Denne funktion tillader MHC at genskabe og gensynkronisere sin bevægelse, når forstyrrelser opstår, såsom når systemet starter i en fejltilstand, som en humanoid-karakter, der er faldet. Systemet kan hurtigt korrigere sine bevægelser og genoptage naturlig bevægelse uden genetræning eller manuelle justeringer.
• Combine: MHC kan blande forskellige bevægelsessekvenser sammen, såsom at kombinere overkroppsbevægelser fra en handling (f.eks. vinkende) med underkroppsbevægelser fra en anden (f.eks. gående). Denne fleksibilitet tillader generering af helt nye adfærdsmønstre fra eksisterende bevægelsesdata.
• Complete: Når der gives sparse indgange, såsom delvise kropsbevægelsesdata eller vagt højniveaudirektiver, kan MHC intelligent gætte og generere de manglende dele af bevægelsen. For eksempel, hvis kun armbevægelser er specificeret, kan MHC selvstændigt generere tilsvarende benbevægelser for at opretholde fysisk balance og realisme.

Resultatet er et højtilpasset bevægelsesgenereringssystem, der kan skabe glatte, realistiske og fysisk nøjagtige bevægelser, selv med ufuldstændige eller under-specificerede direktiver. Dette gør MHC ideelt for anvendelser i spil, robotteknologi, virtuel virkelighed og enhver situation, hvor højkvalitets menneskelignende bevægelse er nødvendig, men indgangedata er begrænsede.

Impakten af MHC på Generative Bevægelsesmodeller

Den Maskerede Humanoid Kontroller (MHC) er en del af en bredere indsats fra Intel Labs og dets samarbejdspartnere til at bygge ansvarlige generative modeller, herunder dem, der driver tekst-til-billede- og 3D-generering-opgaver. Som diskuteret på ECCV 2024, har denne tilgang betydelige implikationer for brancher som robotteknologi, virtuel virkelighed, spil og simulation, hvor generering af realistisk menneskelig bevægelse er afgørende. Ved at inkorporere multi-modale indgange og aktivere kontrollen til at glide ubemærket mellem bevægelser, kan MHC håndtere virkelige forhold, hvor sensordata kan være støjende eller ufuldstændig.

Dette arbejde fra Intel Labs står sammen med anden avanceret forskning præsenteret på ECCV 2024, såsom deres ny forsvar for tekst-til-billede-modeller og udviklingen af teknikker til at forbedre rumlig konsistens i billedgenerering. Sammen viser disse fremskridt Intels lederskab på computer vision-området, med fokus på udvikling af sikre, skalerbare og ansvarlige AI-teknologier.

Konklusion

Den Maskerede Humanoid Kontroller (MHC), udviklet af Intel Labs og akademiske samarbejdspartnere, repræsenterer et kritisk skridt fremad i feltet for menneskelig bevægelsesgenerering. Ved at tackle det komplekse kontrolproblem med at generere realistiske bevægelser fra multi-modale indgange, baner MHC vejen for nye anvendelser i VR, spil, robotteknologi og simulation. Dette forskning, fremhævet på ECCV 2024, demonstrerer Intels engagement i at fremme ansvarlig AI og generativ modellering, bidragende til sikrere og mere tilpasningsdygtige teknologier på tværs af forskellige domæner. c-bevægelser fra multi-modale indgange, baner MHC vejen for nye anvendelser i VR, spil, robotteknologi og simulation. Dette forskning, fremhævet på ECCV 2024, demonstrerer Intels engagement i at fremme ansvarlig AI og generativ modellering, bidragende til sikrere og mere tilpasningsdygtige teknologier på tværs af forskellige domæner.