Kontroler Masked Humanoid Intel: Nowatorskie Rozwiązanie do Generowania Ruchu Człowieka w Sposób Realistyczny i Bezpośrednio Sterowalny

Badacze z Intel Labs (INTC ), we współpracy z ekspertami z branży i środowiska akademickiego, wprowadzili przełomową technikę generowania realistycznego i bezpośrednio sterowalnego ruchu człowieka z wykorzystaniem danych wejściowych wielomodalnych. Ich praca, przedstawiona na Europejskiej Konferencji Komputerowego Widzenia (ECCV 2024), koncentruje się na pokonaniu wyzwań generowania naturalnych, opartych na fizyce zachowań ludzkich w wysokowymiarowych postaciach humanoidowych. Ta praca jest częścią szerszego programu Intel Labs, którego celem jest rozwój komputerowego widzenia i uczenia maszynowego.

Intel Labs i jego partnerzy przedstawili niedawno sześć przełomowych prac na ECCV 2024, czołowej konferencji organizowanej przez Europejskie Stowarzyszenie Komputerowego Widzenia (ECVA).

Artykuł Generowanie Realistycznych i Bezpośrednio Sterowalnych Ruchów Człowieka z Wykorzystaniem Wielomodalnych Danej Wejściowej przedstawia innowacje, w tym nową strategię obrony dla modeli tekst-do-obrazu przed atakami red teamingu opartymi na prompcie oraz rozwój dużej skali zestawu danych zaprojektowanego w celu poprawy spójności przestrzennej w tych modelach. Wśród tych wkładów artykuł podkreśla zaangażowanie Intel w rozwój modeli generatywnych, przy jednoczesnym priorytetowym traktowaniu odpowiedzialnych praktyk AI.

Generowanie Realistycznych Ruchów Człowieka z Wykorzystaniem Wielomodalnych Danej Wejściowej

Kontroler Masked Humanoid (MHC) Intel to przełomowy system zaprojektowany do generowania ruchu ludzkiego w symulowanych środowiskach fizycznych. W przeciwieństwie do tradycyjnych metod, które opierają się głównie na danych pełnego przechwycenia ruchu, MHC jest zaprojektowany do obsługi rzadkich, niepełnych lub częściowych danych wejściowych z różnych źródeł. Źródłami tymi mogą być kontrolery VR, które mogą śledzić tylko ruchy rąk lub głowy; dane wejściowe z joysticka, które dostarczają tylko ogólne polecenia nawigacyjne; śledzenie wideo, gdzie niektóre części ciała mogą być zakryte; lub nawet abstrakcyjne instrukcje pochodzące z podpowiedzi tekstowych.

Innowacja tej technologii leży w jej zdolności do interpretacji i uzupełniania luk w danych, gdzie dane są niepełne lub niedostępne. Osiąga to poprzez tzw. funkcje Catch-up, Combine, and Complete (CCC):

• Catch-up: Ta funkcja pozwala MHC na odzyskanie i resynchronizację ruchu, gdy występują przerwy, takie jak gdy system rozpoczyna się w stanie awaryjnym, jak postać humanoidowa, która upadła. System może szybko skorygować swoje ruchy i wznowić naturalny ruch bez potrzeby ponownego trenowania lub ręcznych dostosowań.
• Combine: MHC może łączyć różne sekwencje ruchowe, takie jak łączenie ruchów górnej części ciała z jednej akcji (np. machanie) z ruchami dolnej części ciała z innej akcji (np. chodzenie). Ta elastyczność pozwala na generowanie całkowicie nowych zachowań z istniejących danych ruchowych.
• Complete: Gdy dostarczane są rzadkie dane wejściowe, takie jak częściowe dane ruchu ciała lub niejasne polecenia ogólne, MHC może inteligentnie wnioskować i generować brakujące części ruchu. Na przykład, jeśli określone są tylko ruchy ramion, MHC może samodzielnie generować odpowiednie ruchy nóg w celu utrzymania równowagi fizycznej i realizmu.

Wynikiem jest wysoko adaptacyjny system generowania ruchu, który może tworzyć gładkie, realistyczne i fizycznie dokładne ruchy, nawet z niepełnymi lub niedookreślonymi dyrektywami. To sprawia, że MHC jest idealny do zastosowań w grach, robotyce, rzeczywistości wirtualnej i każdej sytuacji, w której wymagany jest wysokiej jakości, ludzki ruch, ale dane wejściowe są ograniczone.

Wpływ MHC na Modele Ruchu Generatywnego

Kontroler Masked Humanoid (MHC) jest częścią szerszych wysiłków Intel Labs i jego współpracowników, aby odpowiedzialnie budować modele generatywne, w tym te, które napędzają generację tekst-do-obrazu i 3D. Jak omówiono na ECCV 2024, ten podejście ma znaczące implikacje dla branż takich jak robotyka, rzeczywistość wirtualna, gry i symulacja, gdzie generowanie realistycznego ruchu ludzkiego jest kluczowe. Poprzez integrację danych wejściowych wielomodalnych i umożliwienie kontrolerowi płynnego przejścia między ruchami, MHC może radzić sobie z warunkami rzeczywistymi, w których dane sensoryczne mogą być szumione lub niepełne.

Ta praca przez Intel Labs stoi obok innych zaawansowanych badań przedstawionych na ECCV 2024, takich jak ich nowa obrona dla modeli tekst-do-obrazu i rozwój technik poprawy spójności przestrzennej w generacji obrazu. Wszystkie te postępy pokazują przywództwo Intel w dziedzinie komputerowego widzenia, z naciskiem na rozwój bezpiecznych, skalowalnych i odpowiedzialnych technologii AI.

Podsumowanie

Kontroler Masked Humanoid (MHC), opracowany przez Intel Labs i współpracowników z środowiska akademickiego, reprezentuje krytyczny krok naprzód w dziedzinie generowania ruchu ludzkiego. Poprzez rozwiązanie złożonego problemu sterowania generowaniem realistycznych ruchów z danych wejściowych wielomodalnych, MHC otwiera drogę do nowych zastosowań w VR, grach, robotyce i symulacji. Ta praca, przedstawiona na ECCV 2024, demonstruje zaangażowanie Intel w rozwój odpowiedzialnych modeli generatywnych i AI, przyczyniając się do bezpieczniejszych i bardziej adaptacyjnych technologii w różnych dziedzinach.