Il Controller Masked Humanoid di Intel: un approccio innovativo per la generazione di movimenti umani realistici e direzionabili

I ricercatori di Intel Labs (INTC ), in collaborazione con esperti accademici e industriali, hanno introdotto una tecnica rivoluzionaria per generare movimenti umani realistici e direzionabili da input multi-modalità sparsi. Il loro lavoro, evidenziato alla Conferenza europea sulla visione computazionale (ECCV 2024), si concentra sul superare le sfide della generazione di comportamenti umani naturali e fisicamente basati in caratteri umanoidi ad alta dimensionalità. Questa ricerca fa parte dell’iniziativa più ampia di Intel Labs per avanzare la visione computazionale e l’apprendimento automatico.

Intel Labs e i suoi partner hanno recentemente presentato sei articoli all’avanguardia alla ECCV 2024, una conferenza di primo piano organizzata dall’Associazione europea di visione computazionale (ECVA).

L’articolo Generazione di movimenti umani realistici e direzionabili da input multi-modalità ha presentato innovazioni tra cui una strategia di difesa novella per proteggere i modelli di testo-immagine da attacchi di red teaming basati su prompt e lo sviluppo di un set di dati su larga scala progettato per migliorare la coerenza spaziale in questi modelli. Tra questi contributi, l’articolo evidenzia l’impegno di Intel nell’avanzare la modellazione generativa, priorizzando le pratiche di intelligenza artificiale responsabile.

Generazione di movimenti umani realistici utilizzando input multi-modalità

Il Controller Masked Humanoid (MHC) di Intel è un sistema innovativo progettato per generare movimenti umani simili in ambienti di fisica simulata. A differenza dei metodi tradizionali che si basano pesantemente su dati di cattura del movimento dettagliati, il MHC è progettato per gestire dati di input sparsi, incompleti o parziali da una varietà di fonti. Queste fonti possono includere controller VR, che potrebbero tracciare solo movimenti della mano o della testa; input del joystick che forniscono solo comandi di navigazione ad alto livello; tracciamento video, dove alcune parti del corpo potrebbero essere oscurate; o anche istruzioni astratte derivate da prompt di testo.

L’innovazione della tecnologia risiede nella sua capacità di interpretare e colmare le lacune dove i dati sono mancanti o incompleti. Ciò avviene attraverso le funzionalità che Intel definisce Catch-up, Combine e Complete (CCC):

• Catch-up: questa funzionalità consente al MHC di recuperare e risincronizzare il suo movimento quando si verificano interruzioni, come quando il sistema inizia in uno stato di errore, ad esempio un personaggio umanoide che è caduto. Il sistema può rapidamente correggere i suoi movimenti e riprendere il movimento naturale senza riaddestramento o regolazioni manuali.
• Combine: il MHC può combinare diverse sequenze di movimento, come fondere movimenti del corpo superiore da un’azione (ad esempio, un saluto) con movimenti del corpo inferiore da un’altra azione (ad esempio, camminare). Questa flessibilità consente la generazione di comportamenti completamente nuovi da dati di movimento esistenti.
• Complete: quando vengono forniti input sparsi, come dati di movimento parziali del corpo o direttive ad alto livello vaghe, il MHC può intelligentemente dedurre e generare le parti mancanti del movimento. Ad esempio, se vengono specificati solo movimenti delle braccia, il MHC può autonomamente generare movimenti delle gambe corrispondenti per mantenere l’equilibrio fisico e la realismo.

Il risultato è un sistema di generazione di movimento altamente adattabile che può creare movimenti lisci, realistici e fisicamente precisi, anche con direttive incomplete o non specificate. Ciò rende il MHC ideale per applicazioni in ambito di giochi, robotica, realtà virtuale e qualsiasi scenario in cui sia necessario un movimento umano di alta qualità, ma i dati di input siano limitati.

L’impatto del MHC sui modelli di movimento generativi

Il Controller Masked Humanoid (MHC) fa parte di uno sforzo più ampio da parte di Intel Labs e dei suoi collaboratori per costruire modelli generativi in modo responsabile, compresi quelli che alimentano le funzionalità di generazione di testo-immagine e generazione 3D. Come discusso alla ECCV 2024, questo approccio ha implicazioni significative per settori come la robotica, la realtà virtuale, i giochi e la simulazione, dove la generazione di movimento umano realistico è cruciale. Incorporando input multi-modalità e abilitando il controller a transizioni senza soluzione di continuità tra movimenti, il MHC può gestire condizioni del mondo reale in cui i dati dei sensori potrebbero essere rumorosi o incompleti.

Questo lavoro di Intel Labs si affianca ad altre ricerche avanzate presentate alla ECCV 2024, come la loro difesa novella per i modelli di testo-immagine e lo sviluppo di tecniche per migliorare la coerenza spaziale nella generazione di immagini. Insieme, questi progressi dimostrano il leadership di Intel nel campo della visione computazionale, con un focus sullo sviluppo di tecnologie AI sicure, scalabili e responsabili.

Conclusione

Il Controller Masked Humanoid (MHC), sviluppato da Intel Labs e collaboratori accademici, rappresenta un passo fondamentale in avanti nel campo della generazione di movimento umano. Affrontando il complesso problema di controllo della generazione di movimenti realistici da input multi-modalità, il MHC apre la strada a nuove applicazioni in VR, giochi, robotica e simulazione. Questa ricerca, presentata alla ECCV 2024, dimostra l’impegno di Intel nell’avanzare l’intelligenza artificiale responsabile e la modellazione generativa, contribuendo a tecnologie più sicure e adattive in vari domini.