I ricercatori sviluppano il modello di computer JL2P per tradurre le sceneggiature dei film in animazioni

I ricercatori della Carnegie Mellon University hanno sviluppato un modello di computer in grado di tradurre il testo che descrive i movimenti fisici in semplici animazioni generate dal computer. Questi nuovi sviluppi potrebbero rendere possibile la creazione di film e altre animazioni direttamente da un modello di computer che legge le sceneggiature.

Gli scienziati stanno facendo progressi nel far comprendere ai computer sia il linguaggio naturale che la generazione di pose fisiche dalle sceneggiature. Questo nuovo modello di computer potrebbe essere il collegamento tra di essi.

Louis-Philippe Morency, professore associato presso l’Language Technologies Institute (LTI), e Chaitanya Ahuja, studente di dottorato presso l’LTI, stanno utilizzando un’architettura neurale chiamata Joint Language-to-Pose (JL2P). Il modello JL2P è in grado di incorporare congiuntamente le frasi e i movimenti fisici. Ciò gli consente di apprendere come il linguaggio è collegato all’azione, ai gesti e ai movimenti.

“Credo che siamo in una fase iniziale di questa ricerca, ma dal punto di vista della modellazione, dell’intelligenza artificiale e della teoria, è un momento molto emozionante”, ha detto Morency. “Al momento, stiamo parlando di animare personaggi virtuali. Alla fine, questo collegamento tra linguaggio e gesti potrebbe essere applicato ai robot; potremmo semplicemente dire a un robot personale cosa vogliamo che faccia.

“Potremmo anche andare nella direzione opposta – utilizzando questo collegamento tra linguaggio e animazione in modo che un computer possa descrivere cosa sta succedendo in un video”, ha aggiunto.

Il modello Joint Language-to-Pose sarà presentato da Ahuja il 19 settembre alla Conferenza internazionale sulla visione 3D. La conferenza si terrà a Quebec City, in Canada.

Il modello JL2P è stato creato utilizzando un approccio di apprendimento basato su un curriculum. Il primo passo importante è stato far sì che il modello apprendesse sequenze brevi e facili. Ciò sarebbe qualcosa come “Una persona cammina in avanti”. Quindi è passato a sequenze più lunghe e più difficili, come “Una persona fa un passo in avanti, poi si gira e fa un altro passo in avanti”, o “Una persona salta sopra un ostacolo mentre corre”.

Quando il modello utilizza le sequenze, esamina i verbi e gli avverbi. Questi descrivono l’azione e la velocità/accelerazione dell’azione. Quindi, esamina i nomi e gli aggettivi che descrivono le posizioni e le direzioni. Secondo Ahuja, l’obiettivo finale del modello è animare sequenze complesse con più azioni che si verificano contemporaneamente o in sequenza.

Al momento, le animazioni sono limitate a figure umane stilizzate, ma gli scienziati continueranno a sviluppare il modello. Una delle complicazioni che sorgono è che, secondo Morency, molte cose stanno accadendo contemporaneamente. Alcune di esse stanno addirittura accadendo in sequenze semplici.

“La sincronia tra le parti del corpo è molto importante”, ha detto Morency. “Ogni volta che muovi le gambe, muovi anche le braccia, il torso e possibilmente la testa. Le animazioni del corpo devono coordinare questi diversi componenti, mentre allo stesso tempo raggiungono azioni complesse. Introdurre la narrazione linguistica all’interno di questo ambiente di animazione complesso è sia una sfida che un’opportunità emozionante. Questo è un percorso verso una migliore comprensione del linguaggio e dei gesti.”

Se il modello Joint Language-to-Pose sarà in grado di svilupparsi al punto in cui potrà creare animazioni e azioni complesse basate sul linguaggio, le possibilità sono enormi. Non solo potrà essere utilizzato in aree come il cinema e l’animazione, ma aiuterà anche a condurre a sviluppi nella comprensione del linguaggio e dei gesti.

Volgendo l’attenzione all’intelligenza artificiale, il modello JL2P potrebbe essere utilizzato sui robot. Ad esempio, i robot potrebbero essere controllati e istruiti su cosa fare, e sarebbero in grado di comprendere il linguaggio e rispondere di conseguenza.

Questi nuovi sviluppi avranno un impatto su molti campi diversi, e il modello continuerà a migliorare la sua capacità di comprendere il linguaggio complesso.