Controlerul umanoid mascat de la Intel: O abordare nouă a generației de mișcare umană realistă fizic și direcționabilă

Cercetatorii de la Intel Labs, în colaborare cu experți academicieni și din industrie, au introdus o tehnică revoluționară pentru generarea de mișcări umane realiste și direcționabile din intrări rare, multimodale. Munca lor, evidențiată la Conferința europeană privind viziunea computerizată (ECCV 2024), se concentrează pe depășirea provocărilor generării de comportamente umane naturale, bazate pe fizic, în personaje umanoide de înaltă dimensiune. Această cercetare face parte din inițiativa mai amplă a Intel Labs de a promova viziunea computerizată și învățarea automată.

Intel Labs și partenerii săi au prezentat recent șase lucrări de ultimă oră la ECCV 2024, o conferință premieră organizată de Asociația Europeană de Viziune pe Computer (ECVA).

Hârtia Generarea de mișcări umane realiste fizic și direcționabile din intrări multimodale a prezentat inovații, inclusiv o nouă strategie de apărare pentru protejarea modelelor text-to-image de atacurile de echipă roșie bazate pe prompt și dezvoltarea unui set de date la scară largă conceput pentru a îmbunătăți consistența spațială a acestor modele. Printre aceste contribuții, lucrarea evidențiază devotamentul Intel pentru promovarea modelării generative în timp ce prioritizează AI responsabil practici.

Generarea de mișcări umane realiste folosind intrări multimodale

Masked Humanoid Controller (MHC) de la Intel este un sistem inovator conceput pentru a genera mișcare asemănătoare omului în medii fizice simulate. Spre deosebire de metodele tradiționale care se bazează în mare măsură pe date de captare a mișcării complet detaliate, MHC este construit pentru a gestiona date de intrare rare, incomplete sau parțiale dintr-o varietate de surse. Aceste surse pot include controlere VR, care ar putea urmări doar mișcările mâinii sau ale capului; intrări joystick care oferă doar comenzi de navigare de nivel înalt; urmărire video, unde anumite părți ale corpului ar putea fi obturate; sau chiar instrucțiuni abstracte derivate din solicitări text.

Inovația tehnologiei constă în capacitatea sa de a interpreta și de a completa golurile în care datele lipsesc sau sunt incomplete. Acesta realizează acest lucru prin ceea ce Intel numește Recuperare, combinare și completare (CCC) capacități:

• Ajunge din urmă: Această caracteristică permite MHC să-și recupereze și să resincronizeze mișcarea atunci când apar întreruperi, cum ar fi atunci când sistemul pornește într-o stare eșuată, ca un personaj umanoid care a căzut. Sistemul își poate corecta rapid mișcările și poate relua mișcarea naturală fără reantrenare sau ajustări manuale.
• Combina: MHC poate combina diferite secvențe de mișcare, cum ar fi îmbinarea mișcărilor superioare a corpului dintr-o acțiune (de exemplu, fluturare) cu acțiunile inferioare ale corpului de la alta (de exemplu, mersul pe jos). Această flexibilitate permite generarea de comportamente complet noi din datele de mișcare existente.
• Completa: Când i se oferă intrări rare, cum ar fi date de mișcare parțială a corpului sau directive vagi la nivel înalt, MHC poate deduce și genera în mod inteligent părțile lipsă ale mișcării. De exemplu, dacă sunt specificate doar mișcările brațelor, MHC poate genera în mod autonom mișcările corespunzătoare ale picioarelor pentru a menține echilibrul fizic și realismul.

Rezultatul este un sistem de generare a mișcării foarte adaptabil, care poate crea mișcări fluide, realiste și precise din punct de vedere fizic, chiar și cu directive incomplete sau subspecificate. Acest lucru face ca MHC să fie ideal pentru aplicații în jocuri, robotică, realitate virtuală și orice scenariu în care este necesară mișcarea umană de înaltă calitate, dar datele de intrare sunt limitate.

Impactul MHC asupra modelelor de mișcare generativă

Masked Humanoid Controller (MHC) face parte dintr-un efort mai amplu al Intel Labs și al colaboratorilor săi de a construi în mod responsabil modele generative, inclusiv cele care alimentează text-to-image și Generație 3D sarcini. După cum s-a discutat la ECCV 2024, această abordare are implicații semnificative pentru industrii precum robotica, realitatea virtuală, jocurile și simularea, unde generarea de mișcare umană realistă este crucială. Prin încorporarea intrărilor multimodale și permițând controlerului să facă o tranziție perfectă între mișcări, MHC poate gestiona condițiile din lumea reală în care datele senzorului pot fi zgomotoase sau incomplete.

Această lucrare a Intel Labs este alături de alte cercetări avansate prezentate la ECCV 2024, cum ar fi noua lor apărare pentru modelele text-to-image și dezvoltarea tehnicilor de îmbunătățire a consistenței spațiale în generarea de imagini. Împreună, aceste progrese arată liderul Intel în domeniul viziunii computerizate, cu accent pe dezvoltarea tehnologiilor AI sigure, scalabile și responsabile.

Concluzie

Masked Humanoid Controller (MHC), dezvoltat de Intel Labs și colaboratori academicieni, reprezintă un pas esențial înainte în domeniul generării mișcării umane. Abordând problema complexă de control a generării de mișcări realiste din intrări multimodale, MHC deschide calea pentru noi aplicații în VR, jocuri, robotică și simulare. Această cercetare, prezentată la ECCV 2024, demonstrează angajamentul Intel de a promova AI responsabilă și modelarea generativă, contribuind la tehnologii mai sigure și mai adaptabile în diferite domenii.