Intelov maskirani humanoidni kontroler: novi pristup fizički realističnom i usmjerljivom stvaranju ljudskih pokreta

Istraživači iz Intel Labs, u suradnji s akademskim i industrijskim stručnjacima, predstavili su revolucionarnu tehniku ​​za generiranje realističnog i usmjerljivog ljudskog kretanja iz rijetkih, višemodalnih inputa. Njihov rad, istaknut na Europska konferencija o računalnom vidu (ECCV 2024.) fokusira se na prevladavanje izazova generiranja prirodnog, fizički utemeljenog ljudskog ponašanja u visokodimenzionalnim humanoidnim likovima. Ovo istraživanje dio je šire inicijative Intel Labsa za unapređenje računalnog vida i strojnog učenja.

Intel Labs i njegovi partneri nedavno su predstavili šest vrhunskih radova na ECCV 2024, premijerna konferencija u organizaciji European Computer Vision Association (ECVA).

Papir Generiranje fizički realističnih i usmjerljivih ljudskih pokreta iz višemodalnih unosa predstavili su inovacije uključujući novu obrambenu strategiju za zaštitu modela tekst-u-sliku od prompt-based red teaming napada i razvoj velikog skupa podataka osmišljenog za poboljšanje prostorne dosljednosti u tim modelima. Među tim doprinosima, dokument ističe Intelovu predanost unapređenju generativnog modeliranja uz određivanje prioriteta odgovorna AI prakse.

Generiranje realističnih ljudskih pokreta korištenjem višemodalnih unosa

Intelov maskirani humanoidni kontroler (MHC) revolucionarni je sustav dizajniran za generiranje ljudskog kretanja u simuliranim fizičkim okruženjima. Za razliku od tradicionalnih metoda koje se uvelike oslanjaju na potpuno detaljne podatke o snimanju pokreta, MHC je izgrađen za rukovanje oskudnim, nepotpunim ili djelomičnim ulaznim podacima iz raznih izvora. Ti izvori mogu uključivati ​​VR kontrolere koji mogu pratiti samo pokrete ruku ili glave; joystick ulazi koji daju samo navigacijske naredbe visoke razine; video praćenje, gdje određeni dijelovi tijela mogu biti začepljeni; ili čak apstraktne upute izvedene iz tekstualnih upita.

Inovacija tehnologije leži u njezinoj sposobnosti tumačenja i popunjavanja praznina u kojima podaci nedostaju ili su nepotpuni. To postiže kroz ono što Intel naziva Nadoknaditi, kombinirati i dovršiti (CCC) mogućnosti:

• Kečap: Ova značajka omogućuje MHC-u da se oporavi i ponovno sinkronizira svoje kretanje kada dođe do poremećaja, kao što je kada se sustav pokrene u neispravnom stanju, poput humanoidnog lika koji je pao. Sustav može brzo ispraviti svoje pokrete i nastaviti prirodno kretanje bez ponovne obuke ili ručnih podešavanja.
• Kombinirati: MHC može spojiti različite sekvence pokreta, kao što je spajanje pokreta gornjeg dijela tijela iz jedne radnje (npr. mahanje) s radnjama donjeg dijela tijela iz druge (npr. hodanje). Ova fleksibilnost omogućuje generiranje potpuno novih ponašanja iz postojećih podataka o kretanju.
• potpun: Kada se dobiju oskudni inputi, kao što su djelomični podaci o kretanju tijela ili nejasne direktive visoke razine, MHC može inteligentno zaključiti i generirati dijelove gibanja koji nedostaju. Na primjer, ako su specificirani samo pokreti ruku, MHC može autonomno generirati odgovarajuće pokrete nogu radi održavanja fizičke ravnoteže i realizma.

Rezultat je vrlo prilagodljiv sustav generiranja pokreta koji može stvoriti glatke, realistične i fizički točne pokrete, čak i s nepotpunim ili nedovoljno specificiranim direktivama. To čini MHC idealnim za aplikacije u igrama, robotici, virtualnoj stvarnosti i bilo kojem scenariju gdje je potrebno visokokvalitetno kretanje poput ljudskog, ali su ulazni podaci ograničeni.

Utjecaj MHC-a na modele generativnog gibanja

Maskirani humanoidni kontroler (MHC) dio je šireg napora Intel Labsa i njegovih suradnika za odgovornu izgradnju generativnih modela, uključujući one koji pokreću pretvaranje teksta u sliku i 3D generacija zadaci. Kao što je objašnjeno na ECCV 2024., ovaj pristup ima značajne implikacije za industrije poput robotike, virtualne stvarnosti, igara i simulacija, gdje je stvaranje realnog ljudskog kretanja ključno. Uključivanjem višemodalnih ulaza i omogućavanjem kontroleru da neprimjetno prelazi između pokreta, MHC može podnijeti uvjete u stvarnom svijetu u kojima podaci senzora mogu biti šumoviti ili nepotpuni.

Ovaj rad Intel Labsa stoji uz druga napredna istraživanja predstavljena na ECCV 2024, kao što je njihova nova obrana za modele pretvaranja teksta u sliku i razvoj tehnika za poboljšanje prostorne konzistentnosti u generiranju slika. Zajedno, ova poboljšanja pokazuju Intelovo vodstvo u području računalnog vida, s fokusom na razvoj sigurnih, skalabilnih i odgovornih AI tehnologija.

Zaključak

Maskirani humanoidni kontroler (MHC), koji su razvili Intel Labs i akademski suradnici, predstavlja kritičan korak naprijed u polju generiranja ljudskog pokreta. Baveći se složenim problemom kontrole generiranja realističnih pokreta iz višemodalnih ulaza, MHC utire put novim aplikacijama u VR, igranju, robotici i simulaciji. Ovo istraživanje, predstavljeno na ECCV 2024., pokazuje Intelovu predanost unaprjeđenju odgovorne umjetne inteligencije i generativnog modeliranja, doprinoseći sigurnijim i prilagodljivijim tehnologijama u raznim domenama.