Maskovaný humanoidní ovladač Intel: Nový přístup k fyzicky realistické a řiditelné generaci lidského pohybu

Výzkumníci z Laboratoře Intel, ve spolupráci s akademickými a průmyslovými experty představili převratnou techniku ​​pro generování realistického a směrovatelného lidského pohybu z řídkých, multimodálních vstupů. Jejich práce, zvýrazněná na Evropská konference o počítačovém vidění (ECCV 2024) se zaměřuje na překonávání problémů spojených s generováním přirozeného, ​​fyzicky podmíněného lidského chování u humanoidních postav s vysokou dimenzí. Tento výzkum je součástí širší iniciativy společnosti Intel Labs na rozvoj počítačového vidění a strojového učení.

Intel Labs a její partneři nedávno představili šest špičkových dokumentů na ECCV 2024, první konference pořádaná společností European Computer Vision Association (ECVA).

Papír Generování fyzicky realistických a směrovatelných lidských pohybů z multimodálních vstupů představila inovace včetně nové obranné strategie pro ochranu modelů text-to-image před rychlými útoky červených týmů a vývoj rozsáhlé datové sady navržené pro zlepšení prostorové konzistence v těchto modelech. Mezi těmito příspěvky dokument vyzdvihuje odhodlání společnosti Intel prosazovat generativní modelování a zároveň upřednostňovat zodpovědná AI postupy.

Generování realistických lidských pohybů pomocí multimodálních vstupů

Intel Masked Humanoid Controller (MHC) je průlomový systém navržený tak, aby generoval lidský pohyb v simulovaných fyzikálních prostředích. Na rozdíl od tradičních metod, které se do značné míry spoléhají na plně podrobná data zachycení pohybu, je MHC navržen tak, aby zpracovával řídká, neúplná nebo částečná vstupní data z různých zdrojů. Tyto zdroje mohou zahrnovat ovladače VR, které mohou sledovat pouze pohyby rukou nebo hlavy; vstupy joysticku, které poskytují pouze navigační příkazy na vysoké úrovni; sledování videa, kde mohou být určité části těla zablokované; nebo dokonce abstraktní pokyny odvozené z textových výzev.

Inovace této technologie spočívá v její schopnosti interpretovat a vyplnit mezery, kde data chybí nebo jsou neúplná. Dosahuje toho prostřednictvím toho, co Intel nazývá Dohánění, kombinování a dokončení (CCC) schopnosti:

• Dohonění: Tato funkce umožňuje MHC obnovit a znovu synchronizovat svůj pohyb, když dojde k poruchám, jako když se systém spustí v neúspěšném stavu, jako když humanoidní postava spadla. Systém může rychle korigovat své pohyby a obnovit přirozený pohyb bez přeškolování nebo ručního nastavování.
• Kombinovat: MHC může kombinovat různé pohybové sekvence, jako je sloučení pohybů horní části těla z jedné činnosti (např. mávání) s činností dolní části těla z jiné (např. chůze). Tato flexibilita umožňuje generování zcela nového chování z existujících pohybových dat.
• Kompletní: Když zadáte řídké vstupy, jako jsou údaje o částečném pohybu těla nebo vágní příkazy na vysoké úrovni, MHC může inteligentně odvodit a generovat chybějící části pohybu. Pokud jsou například specifikovány pouze pohyby paží, MHC může autonomně generovat odpovídající pohyby nohou pro udržení fyzické rovnováhy a realismu.

Výsledkem je vysoce adaptabilní systém generování pohybu, který dokáže vytvářet plynulé, realistické a fyzicky přesné pohyby i s neúplnými nebo nedostatečně specifikovanými pokyny. Díky tomu je MHC ideální pro aplikace ve hrách, robotice, virtuální realitě a v jakémkoli scénáři, kde je potřeba vysoce kvalitní lidský pohyb, ale vstupní data jsou omezená.

Vliv MHC na generativní pohybové modely

Maskovaný humanoidní ovladač (MHC) je součástí širšího úsilí laboratoří Intel a jejich spolupracovníků odpovědně vytvářet generativní modely, včetně těch, které umožňují převod textu na obrázek a 3D generace úkoly. Jak bylo diskutováno na ECCV 2024, tento přístup má významné důsledky pro průmyslová odvětví, jako je robotika, virtuální realita, hraní her a simulace, kde je generování realistického lidského pohybu zásadní. Začleněním multimodálních vstupů a umožněním plynulého přechodu ovladače mezi pohyby může MHC zvládat skutečné podmínky, kdy mohou být data snímačů zašuměná nebo neúplná.

Tato práce laboratoří Intel stojí vedle dalšího pokročilého výzkumu prezentovaného na ECCV 2024, jako je jejich nová obrana pro modely text-to-image a vývoj technik pro zlepšení prostorové konzistence při generování obrázků. Tato vylepšení společně ukazují vedoucí postavení společnosti Intel v oblasti počítačového vidění se zaměřením na vývoj bezpečných, škálovatelných a odpovědných technologií umělé inteligence.

Proč investovat do čističky vzduchu?

Maskovaný humanoidní ovladač (MHC), vyvinutý laboratoří Intel Labs a akademickými spolupracovníky, představuje zásadní krok vpřed v oblasti generování lidského pohybu. Řešením složitého problému ovládání generování realistických pohybů z multimodálních vstupů dláždí MHC cestu pro nové aplikace ve VR, hraní her, robotice a simulaci. Tento výzkum, představený na ECCV 2024, demonstruje odhodlání Intelu vylepšovat odpovědnou umělou inteligenci a generativní modelování, což přispívá k bezpečnějším a adaptivnějším technologiím v různých doménách.