Tutkijat kehittävät JL2P-tietokonemallin kääntääkseen elokuvakäsikirjoituksia animaatioiksi

Tutkijat Carnegie Mellon University ovat kehittäneet tietokonemallin, joka pystyy kääntämään fyysisiä liikkeitä kuvaavaa tekstiä yksinkertaisiksi tietokoneella luoduiksi animaatioiksi. Tämä uusi kehitys voisi mahdollistaa elokuvien ja muiden animaatioiden luomisen suoraan käsikirjoituksia lukevasta tietokonemallista. 

Tiedemiehet ovat edistyneet saadakseen tietokoneet ymmärtämään sekä luonnollista kieltä että luomaan fyysisiä asentoja käsikirjoituksesta. Tämä uusi tietokonemalli voi olla linkki niiden välillä. 

Louis-Philippe Morency, apulaisprofessori Language Technologies Institute (LTI) ja Chaitanya Ahuja, LTI:n tohtori. opiskelija, ovat käyttäneet hermoarkkitehtuuria, jota kutsutaan ns Yhteinen kieli-asettelu (JL2P). JL2P-malli pystyy upottamaan yhdessä lauseita ja fyysisiä liikkeitä. Näin se oppii kuinka kieli liittyy toimintaan, eleisiin ja liikkeisiin. 

"Luulen, että olemme tämän tutkimuksen alkuvaiheessa, mutta mallinnuksen, tekoälyn ja teorian näkökulmasta tämä on erittäin jännittävä hetki", Morency sanoi. ”Tällä hetkellä puhumme virtuaalisten hahmojen animoinnista. Lopulta tätä kielen ja eleiden välistä yhteyttä voitaisiin soveltaa robotteihin; Voimme ehkä yksinkertaisesti kertoa henkilökohtaiselle avustajarobotille, mitä haluamme sen tekevän.

"Voimme myös lopulta mennä toiseen suuntaan - käyttämällä tätä kielen ja animaation välistä yhteyttä, jotta tietokone voisi kuvata, mitä videossa tapahtuu", hän lisäsi.

Joint Language-to-Pose -mallia esittelee Ahuja 19. syyskuuta klo Kansainvälinen 3D-näön konferenssi. Konferenssi pidetään Quebec Cityssä, Kanadassa. 

JL2P-malli luotiin opetussuunnitelma-oppimisen lähestymistavan avulla. Ensimmäinen tärkeä askel oli, että malli oppi lyhyitä, helppoja sekvenssejä. Se olisi jotain sellaista kuin "Ihminen kävelee eteenpäin". Sen jälkeen siirryttiin pidempiin ja kovempiin sarjoihin, kuten "Ihminen astuu eteenpäin, sitten kääntyy ympäri ja astuu jälleen eteenpäin" tai "Ihminen hyppää esteen yli juosten". 

Kun malli käyttää sekvenssejä, se tarkastelee verbejä ja adverbejä. Nämä kuvaavat toimintaa ja toiminnan nopeutta/kiihtyvyyttä. Sitten se tarkastelee substantiivit ja adjektiivit, jotka kuvaavat paikkoja ja ohjeita. Ahujan mukaan mallin päätavoitteena on animoida monimutkaisia ​​sarjoja, joissa on useita samanaikaisesti tai peräkkäin tapahtuvia toimintoja. 

Toistaiseksi animaatiot rajoittuvat tikkuhahmoihin, mutta tutkijat jatkavat mallin kehittämistä. Yksi ilmaantuvista komplikaatioista on se, että Morencyn mukaan paljon asioita tapahtuu samaan aikaan. Jotkut niistä tapahtuvat jopa yksinkertaisissa sarjoissa. 

"Synkronointi kehon osien välillä on erittäin tärkeää", Morency sanoi. ”Joka kerta kun liikutat jalkojasi, liikutat myös käsiäsi, vartaloasi ja mahdollisesti päätäsi. Kehon animaatioiden on koordinoitava näitä eri komponentteja ja samalla saavutettava monimutkaisia ​​toimintoja. Kielellisen kerronnan tuominen tähän monimutkaiseen animaatioympäristöön on sekä haastavaa että jännittävää. Tämä on polku puheen ja eleiden parempaan ymmärtämiseen."

Jos Joint Language-to-Pose -malli pystyy kehittymään siihen pisteeseen, että se pystyy luomaan monimutkaisia ​​animaatioita ja toimintoja kieleen perustuen, mahdollisuudet ovat valtavat. Sitä voidaan käyttää elokuvien ja animaation kaltaisilla aloilla, mutta se auttaa myös kehittämään puheen ja eleiden ymmärtämistä. 

Kääntyen tekoälyyn, tätä JL2P-mallia voitaisiin käyttää roboteissa. Esimerkiksi robotteja voidaan ohjata ja kertoa, mitä heidän tulee tehdä, ja he voivat ymmärtää kieltä ja reagoida sen mukaisesti. 

Nämä uudet kehityssuunnat vaikuttavat monille eri aloille, ja malli tulee jatkuvasti paremmin ymmärtämään monimutkaista kieltä.