Zamaskowany humanoidalny kontroler firmy Intel: nowatorskie podejście do generowania fizycznie realistycznego i sterowalnego ruchu człowieka

Naukowcy z Laboratoria Intelwe współpracy z ekspertami akademickimi i branżowymi wprowadzili przełomową technikę generowania realistycznego i sterowalnego ruchu człowieka z rzadkich, multimodalnych danych wejściowych. Ich praca, wyróżniona na Europejska Konferencja Wizji Komputerowej (ECCV 2024) koncentruje się na pokonywaniu wyzwań związanych z generowaniem naturalnych, opartych na fizyce zachowań ludzkich w wielowymiarowych postaciach humanoidalnych. Badania te są częścią szerszej inicjatywy Intel Labs, mającej na celu rozwój wizji komputerowej i uczenia maszynowego.

Intel Labs i jego partnerzy niedawno zaprezentowali sześć nowatorskich artykułów na konferencji ECCV 2024, wiodąca konferencja zorganizowana przez Europejskie Stowarzyszenie Wizji Komputerowej (ECVA).

Papier Generowanie fizycznie realistycznych i sterowalnych ruchów człowieka na podstawie danych wejściowych multimodalnych zaprezentowano innowacje, w tym nową strategię obronną chroniącą modele text-to-image przed atakami red teaming opartymi na monitach oraz opracowanie wielkoskalowego zestawu danych zaprojektowanego w celu poprawy spójności przestrzennej w tych modelach. Wśród tych wkładów artykuł podkreśla zaangażowanie firmy Intel w rozwój modelowania generatywnego przy jednoczesnym priorytetowym traktowaniu odpowiedzialna sztuczna inteligencja praktyki.

Generowanie realistycznych ruchów człowieka przy użyciu danych wejściowych multimodalnych

Masked Humanoid Controller (MHC) firmy Intel to przełomowy system zaprojektowany do generowania ruchu przypominającego ruch człowieka w symulowanych środowiskach fizycznych. W przeciwieństwie do tradycyjnych metod, które w dużym stopniu opierają się na w pełni szczegółowych danych przechwytywania ruchu, MHC jest zbudowany tak, aby obsługiwać rozproszone, niekompletne lub częściowe dane wejściowe z różnych źródeł. Źródła te mogą obejmować kontrolery VR, które mogą śledzić tylko ruchy dłoni lub głowy; wejścia joysticka, które dają tylko polecenia nawigacyjne wysokiego poziomu; śledzenie wideo, w którym pewne części ciała mogą być przesłonięte; lub nawet abstrakcyjne instrukcje pochodzące z monitów tekstowych.

Innowacyjność tej technologii polega na jej zdolności do interpretowania i wypełniania luk, w których brakuje danych lub są one niekompletne. Osiąga to poprzez to, co Intel nazywa Nadrabianie zaległości, łączenie i uzupełnianie (CCC) możliwości:

• Dogonić: Ta funkcja umożliwia MHC odzyskanie i resynchronizację ruchu w przypadku wystąpienia zakłóceń, na przykład gdy system uruchamia się w stanie awarii, jak postać humanoidalna, która upadła. System może szybko skorygować swoje ruchy i wznowić naturalny ruch bez ponownego szkolenia lub ręcznych regulacji.
• Połączyć: MHC może łączyć różne sekwencje ruchu, takie jak łączenie ruchów górnej części ciała z jednej czynności (np. machanie) z ruchami dolnej części ciała z innej (np. chodzenie). Ta elastyczność pozwala na generowanie zupełnie nowych zachowań z istniejących danych o ruchu.
• Absolutna: Gdy podane są rzadkie dane wejściowe, takie jak częściowe dane ruchu ciała lub niejasne dyrektywy wysokiego poziomu, MHC może inteligentnie wnioskować i generować brakujące części ruchu. Na przykład, jeśli określone są tylko ruchy ramion, MHC może autonomicznie generować odpowiadające im ruchy nóg, aby utrzymać równowagę fizyczną i realizm.

Rezultatem jest wysoce adaptacyjny system generowania ruchu, który może tworzyć płynne, realistyczne i fizycznie dokładne ruchy, nawet przy niekompletnych lub niedookreślonych dyrektywach. Dzięki temu MHC idealnie nadaje się do zastosowań w grach, robotyce, rzeczywistości wirtualnej i w każdym scenariuszu, w którym wymagany jest wysokiej jakości ruch przypominający ruch człowieka, ale dane wejściowe są ograniczone.

Wpływ MHC na modele ruchu generatywnego

Kontroler Masked Humanoid Controller (MHC) jest częścią szerszego przedsięwzięcia Intel Labs i jego współpracowników, mającego na celu odpowiedzialne budowanie modeli generatywnych, w tym modeli umożliwiających przetwarzanie tekstu na obrazy i Generacja 3D zadania. Jak omówiono na ECCV 2024, podejście to ma znaczące implikacje dla branż takich jak robotyka, rzeczywistość wirtualna, gry i symulacja, w których generowanie realistycznego ruchu człowieka ma kluczowe znaczenie. Dzięki włączeniu multimodalnych danych wejściowych i umożliwieniu kontrolerowi płynnego przechodzenia między ruchami, MHC może obsługiwać rzeczywiste warunki, w których dane czujników mogą być zakłócone lub niekompletne.

Ta praca Intel Labs jest równoległa z innymi zaawansowanymi badaniami przedstawionymi na ECCV 2024, takimi jak ich nowatorska obrona modeli text-to-image i rozwój technik poprawy spójności przestrzennej w generowaniu obrazu. Razem te postępy pokazują przywództwo Intel w dziedzinie widzenia komputerowego, ze szczególnym uwzględnieniem opracowywania bezpiecznych, skalowalnych i odpowiedzialnych technologii AI.

Podsumowanie

Masked Humanoid Controller (MHC), opracowany przez Intel Labs i współpracowników akademickich, stanowi kluczowy krok naprzód w dziedzinie generowania ruchu człowieka. Rozwiązując złożony problem sterowania generowaniem realistycznych ruchów z multimodalnych danych wejściowych, MHC otwiera drogę nowym zastosowaniom w VR, grach, robotyce i symulacji. Badania te, zaprezentowane na ECCV 2024, pokazują zaangażowanie firmy Intel w rozwój odpowiedzialnej sztucznej inteligencji i modelowania generatywnego, przyczyniając się do bezpieczniejszych i bardziej adaptacyjnych technologii w różnych domenach.