Forskere udvikler JL2P-computermodelet til at oversætte filmmanuskripter til animationer

Forskere ved Carnegie Mellon University har udviklet en computermodelet, der kan oversætte tekst, der beskriver fysisk bevægelse, til simple computer-genererede animationer. Disse nye udviklinger kan gøre det muligt at lave film og andre animationer direkte fra et computermodel, der læser manuskripterne.

Videnskabsmænd har gjort fremskridt i at få computere til at forstå både naturligt sprog og generere fysisk posering fra manuskript. Dette nye computermodelet kan være linket mellem dem.

Louis-Philippe Morency, en associeret professor ved Language Technologies Institute (LTI), og Chaitanya Ahuja, en LTI-ph.d.-studerende, har brugt en neural arkitektur, der kaldes Joint Language-to-Pose (JL2P). JL2P-modellen kan sammenkoble sætninger og fysisk bevægelse. Dette giver det mulighed for at lære, hvordan sprog er forbundet med handling, gestus og bevægelse.

“Jeg tror, vi er i en tidlig fase af denne forskning, men fra et modellering-, kunstig intelligens- og teoretisk perspektiv er det en meget spændende tid,” sagde Morency. “Lige nu taler vi om at animere virtuelle karakterer. Til sidst kan denne forbindelse mellem sprog og gestus også anvendes på robotter; vi kan måske blot sige til en personlig assistent-robot, hvad vi vil have den til at gøre.

“Vi kan også til sidst gå den modsatte vej – bruge denne forbindelse mellem sprog og animation, så en computer kan beskrive, hvad der sker i en video,” tilføjede han.

Joint Language-to-Pose-modellen vil blive præsenteret af Ahuja den 19. september på International Conference on 3D Vision. Denne konference finder sted i Quebec City, Canada.

JL2P-modellen blev skabt ved hjælp af en læreplan-tilgang. Det første vigtige skridt var for modellen at lære korte, lette sekvenser. Det ville være noget i retning af “En person går fremad.” Derefter gik den videre til længere og sværere sekvenser, såsom “En person går fremad, drejer om og går fremad igen” eller “En person hopper over et hinder, mens den løber.”

Når modellen bruger sekvenserne, ser den på verber og adverbier. Disse beskriver handlingen og hastigheden/accelerationen af handlingen. Derefter ser den på substantiver og adjektiver, der beskriver lokaliteter og retninger. Ifølge Ahuja er det endelige mål for modellen at animere komplekse sekvenser med multiple handlinger, der sker samtidig eller i sekvens.

For øjeblikket er animationerne begrænset til stregfigurer, men videnskabsmændene vil fortsætte med at udvikle modellen. En af de kompliceringer, der opstår, er, ifølge Morency, at mange ting sker på samme tid. Nogle af dem sker endda i simple sekvenser.

“Sammenhæng mellem kropsdele er meget vigtig,” sagde Morency. “Hver gang du flytter dine ben, flytter du også dine arme, din torso og muligvis dit hoved. Kropsanimationerne skal koordinere disse forskellige komponenter, samtidig med at de opnår komplekse handlinger. At bringe sprogfortælling inden for denne komplekse animationsmiljø er både udfordrende og spændende. Dette er en vej mod bedre forståelse af tale og gestus.”

Hvis Joint Language-to-Pose-modellen kan udvikles til at kunne skabe komplekse animationer og handlinger baseret på sprog, er mulighederne enorme. Den kan ikke kun anvendes i områder som film og animation, men vil også bidrage til udviklingen af forståelse af tale og gestus.

Vendt til kunstig intelligens kan JL2P-modellen anvendes på robotter. For eksempel kan robotter måske kontrolleres og fortælles, hvad de skal gøre, og de vil være i stand til at forstå sproget og reagere derefter.

Disse nye udviklinger vil have indvirkning på mange forskellige felter, og modellen vil fortsætte med at blive mere kapabel til at forstå kompleks sprog.