Controlorul Umanoid Maskat al Intel: O Abordare Inovatoare pentru Generarea Mișcării Umane Fizic Realiste și Dirijate

Cercetătorii de la Intel Labs, în colaborare cu experți academici și din industrie, au introdus o tehnică revoluționară pentru generarea mișcării umane realiste și dirijate din intrări multi-modale rare. Lucrarea lor, prezentată la Conferința Europeană de Viziune Computațională (ECCV 2024), se concentrează pe depășirea provocărilor generării comportamentelor umane naturale, bazate fizic, în caractere umanoide de înaltă dimensiune. Această cercetare face parte din inițiativa mai largă a Intel Labs de a avansa viziunea computațională și învățarea automată.

Intel Labs și partenerii săi au prezentat recent șase articole de ultimă generație la ECCV 2024, o conferință de top organizată de Asociația Europeană de Viziune Computațională (ECVA).

Articolul Generarea Mișcării Umane Fizic Realiste și Dirijate din Intrări Multi-Modale a prezentat inovații, inclusiv o strategie de apărare inovatoare pentru protejarea modelelor text-imagini de atacuri de red teaming bazate pe prompt și dezvoltarea unui set de date de mare scară proiectat pentru a îmbunătăți consistența spațială în aceste modele. Printre aceste contribuții, articolul subliniază angajamentul Intel de a avansa modelarea generativă, prioritar practicile de inteligență artificială responsabilă.

Generarea Mișcării Umane Realiste Utilizând Intrări Multi-Modale

Controlorul Umanoid Maskat al Intel (MHC) este un sistem inovator proiectat pentru a genera mișcări umane în medii de fizică simulate. În contrast cu metodele tradiționale care se bazează puternic pe date de capturare a mișcării detaliate, MHC este conceput pentru a gestiona date de intrare rare, incomplete sau parțiale din diverse surse. Aceste surse pot include controlere VR, care pot urmări doar mișcările mâinilor sau capului; intrări de joystick care oferă doar comenzi de navigare de nivel înalt; urmărirea video, unde anumite părți ale corpului pot fi ocluzionate; sau chiar instrucțiuni abstracte derivate din prompturi de text.

Inovația tehnologiei constă în capacitatea sa de a interpreta și de a completa lacunele în care datele lipsesc sau sunt incomplete. Acest lucru se realizează prin ceea ce Intel numește Capacitățile de Prindere, Combinație și Completare (CCC):

• Prindere: Această funcție permite MHC să recupereze și să resincronizeze mișcarea sa atunci când apar întreruperi, cum ar fi atunci când sistemul pornește într-o stare eșuată, precum un personaj umanoid care a căzut. Sistemul poate corecta rapid mișcările sale și relua mișcarea naturală fără reantrenare sau ajustări manuale.
• Combinație: MHC poate combina diferite secvențe de mișcare, cum ar fi combinarea mișcărilor corpului superior dintr-o acțiune (de exemplu, fluturarea) cu mișcările corpului inferior dintr-o altă acțiune (de exemplu, mersul). Această flexibilitate permite generarea de comportamente complet noi din datele de mișcare existente.
• Completare: Atunci când se primesc intrări rare, cum ar fi date parțiale de mișcare a corpului sau directive vagi de nivel înalt, MHC poate infera și genera inteligent părțile lipsă ale mișcării. De exemplu, dacă se specifică doar mișcările brațelor, MHC poate genera autonom mișcări ale picioarelor pentru a menține echilibrul fizic și realismul.

Rezultatul este un sistem de generare a mișcării foarte adaptabil care poate crea mișcări netede, realiste și fizic precise, chiar și cu directive incomplete sau sub-specificate. Acest lucru face MHC ideal pentru aplicații în jocuri, robotică, realitate virtuală și orice scenariu în care se necesită mișcări umane de înaltă calitate, dar datele de intrare sunt limitate.

Impactul MHC asupra Modelelor Generative de Mișcare

Controlorul Umanoid Maskat (MHC) face parte dintr-un efort mai larg al Intel Labs și al colaboratorilor săi de a construi modele generative responsabile, inclusiv cele care alimentează sarcinile de generare text-imagini și generare 3D. Așa cum s-a discutat la ECCV 2024, această abordare are implicații semnificative pentru industrii precum robotică, realitate virtuală, jocuri și simulare, unde generarea mișcării umane realiste este crucială. Prin integrarea intrărilor multi-modale și permiterea controlorului să treacă fără efort între mișcări, MHC poate gestiona condiții din lumea reală în care datele senzorilor pot fi zgomotoase sau incomplete.

Această lucrare a Intel Labs stă alături de alte cercetări avansate prezentate la ECCV 2024, cum ar fi noua apărare pentru modelele text-imagini și dezvoltarea de tehnici pentru îmbunătățirea consistenței spațiale în generarea de imagini. Împreună, aceste progrese demonstrează leadershipul Intel în domeniul viziunii computaționale, cu accent pe dezvoltarea de tehnologii de inteligență artificială sigure, scalabile și responsabile.

Concluzie

Controlorul Umanoid Maskat (MHC), dezvoltat de Intel Labs și colaboratorii academici, reprezintă un pas important înainte în domeniul generării mișcării umane. Prin abordarea complexă a problemei de control a generării mișcărilor realiste din intrări multi-modale, MHC deschide calea pentru noi aplicații în VR, jocuri, robotică și simulare. Această cercetare, prezentată la ECCV 2024, demonstrează angajamentul Intel de a avansa inteligența artificială responsabilă și modelarea generativă, contribuind la tehnologii mai sigure și mai adaptabile în diverse domenii.