Intelův Masked Humanoid Controller: Nový přístup k fyzicky realistické a řiditelné generaci lidského pohybu

Výzkumníci z Intel Labs (INTC ), ve spolupráci s akademickými a průmyslovými odborníky, představili průlomovou techniku pro generování realistického a řiditelného lidského pohybu ze sparse, multi-modálních vstupů. Jejich práce, která byla představena na Evropské konferenci o počítačovém vidění (ECCV 2024), se zaměřuje na překonání výzev spojených s generováním přirozených, fyzicky založených lidských chování v high-dimenzionálních humanoidních postavách. Tento výzkum je součástí širší iniciativy Intel Labs pro rozvoj počítačového vidění a strojového učení.

Intel Labs a jeho partneři nedávno představili šest průlomových článků na ECCV 2024, premiérové konferenci pořádané Evropskou asociací pro počítačové vidění (ECVA).

Článek Generování fyzicky realistických a řiditelných lidských pohybů z multi-modálních vstupů představil inovace, včetně nové obranné strategie pro ochranu text-to-image modelů před útoky založenými na promptech a vývoj velké datové sady navržené pro zlepšení prostorové konzistence v těchto modelech. Mezi tyto příspěvky článek zdůrazňuje Intelovu dedikaci k rozvoji generativního modelování s prioritou odpovědného AI.

Generování realistických lidských pohybů pomocí multi-modálních vstupů

Intelův Masked Humanoid Controller (MHC) je průlomový systém navržený pro generování lidských pohybů v simulovaných fyzických prostředích. Na rozdíl od tradičních metod, které se spoléhají na kompletní motion capture data, MHC je navržen pro zpracování sparse, neúplných nebo částečných vstupních dat z různých zdrojů. Tyto zdroje mohou zahrnovat VR ovladače, které mohou sledovat pouze pohyby rukou nebo hlavy; joystickové vstupy, které poskytují pouze high-level navigační příkazy; video sledování, kde mohou být některé části těla zakryty; nebo dokonce abstraktní instrukce odvozené z textových promptů.

Inovace této technologie spočívá v její schopnosti interpretovat a vyplnit mezery, kde jsou data chybějící nebo neúplná. Toho je dosaženo prostřednictvím funkcí, které Intel označuje jako Catch-up, Combine, and Complete (CCC):

• Catch-up: Tato funkce umožňuje MHC obnovit a resynchronizovat jeho pohyb, když dojde k přerušení, jako je například když systém začíná ve stavu selhání, jako humanoidní postava, která spadla. Systém může rychle opravit své pohyby a obnovit přirozený pohyb bez opětovného tréninku nebo manuálních úprav.
• Combine: MHC může kombinovat různé pohybové sekvence, jako je například slučování pohybů horní části těla z jedné akce (například mávání) s pohyby dolní části těla z jiné akce (například chůze). Tato flexibilita umožňuje generovat zcela nové chování z existujících pohybových dat.
• Complete: Když jsou zadány sparse vstupy, jako je například částečné pohyby těla nebo vágní high-level direktivy, MHC může inteligentně odhadnout a vygenerovat chybějící části pohybu. Například, pokud jsou specifikovány pouze pohyby rukou, MHC může autonomně vygenerovat odpovídající pohyby nohou, aby udržoval fyzickou rovnováhu a realističnost.

Výsledkem je vysoce adaptabilní systém generování pohybu, který může vytvářet plynulé, realistické a fyzicky přesné pohyby, i s neúplnými nebo neurčitými direktivami. To činí MHC ideálním pro aplikace v herním průmyslu, robotice, virtuální realitě a jakýchkoli scénářích, kde je vyžadován vysoký kvalitní lidský pohyb, ale vstupní data jsou omezená.

Dopad MHC na generativní modely pohybu

Masked Humanoid Controller (MHC) je součástí širšího úsilí Intel Labs a jeho spolupracovníků o odpovědné budování generativních modelů, včetně těch, které pohánějí text-to-image a 3D generaci úkoly. Jak bylo diskutováno na ECCV 2024, tento přístup má významné důsledky pro průmysly, jako je robotika, virtuální realita, herní průmysl a simulace, kde je generování realistického lidského pohybu zásadní. Integrací multi-modálních vstupů a umožněním kontroléru plynulého přechodu mezi pohyby může MHC zvládnout reálné podmínky, kde mohou být senzorová data šumová nebo neúplná.

Tato práce Intel Labs stojí vedle dalších pokročilých výzkumů prezentovaných na ECCV 2024, jako je jejich novela obrany pro text-to-image modely a vývoj technik pro zlepšení prostorové konzistence v generaci obrazů. Společně tyto pokroky demonstrují Intelovu vedoucí pozici v oblasti počítačového vidění, se zaměřením na vývoj bezpečných, škálovatelných a odpovědných AI technologií.

Závěr

Masked Humanoid Controller (MHC), vyvinutý Intel Labs a akademickými spolupracovníky, představuje kritický krok vpřed v oblasti generování lidského pohybu. Tím, že řeší složitý kontrolní problém generování realistických pohybů z multi-modálních vstupů, MHC otevírá cestu pro nové aplikace ve virtuální realitě, herním průmyslu, robotice a simulaci. Tento výzkum, představený na ECCV 2024, demonstruje Intelovu dedikaci k rozvoji odpovědného AI a generativního modelování, přispívající k bezpečnějším a adaptivnějším technologiím napříč různými doménami.