Puheen ja elekielen yhdistäminen

Kun palasin Britanniaan Etelä-Italiasta, minun kesti jonkin aikaa lopettaa elektäminen puhuessani. Britanniassa puhetta tukeva elekieli tekee sinusta yli-kaFFEININ; Italiassa, jossa opiskelin kieltä, se auttoi minua ymmärrettäväksi. Edelleen, harvoissa tilanteissa, joissa puhun italiaksi, “villit kädet” tulevat jälleen käyttöön. On lähes mahdotonta puhua italiaksi ilman liikkeiden tekemistä.

Viime vuosina elekielen tukema viestintä italialaisessa ja juutalaisessa kulttuurissa on tullut julkisuuteen enemmän kuin vain Martin Scorsesen ja varhaisen Woody Allenin elokuvien kliseenä. Vuonna 2013 New York Times kokosi lyhyen videohistorian italialaisista kädestä; akatemia on alkanut tutkia rotuisia taipumuksia käden liikkeisiin, eikä enää hylkää aiheita stereotyyppinä; ja uudet Unicode-konsortion emoticonit pätevät elekielen puutetta, joka liittyy puhtaasti digitaaliseen, tekstipohjaiseen viestintään.

Puheen ja elekielen yhdistäminen

Nyt uusi tutkimus Ruotsin KTH Royal Institute of Technologyn puheen, musiikin ja kuulon osastolta pyrkii yhdistämään puheen ja elekielen tunnistamisen yhdenmukaiseksi, monitieteiseksi järjestelmäksi, joka voisi potentiaalisesti lisätä ymmärrystämme puheperusteisesta viestinnästä käyttämällä kehon kieltä integroiduksi apuna puheen sijaan erillisenä tutkimuskohteena.

Kuvat ruotsalaisen puhe/eleprojektin testisivulta. Lähde: https://swatsw.github.io/isg_icmi21/

Tutkimus esittää uuden mallin, jota kutsutaan integroiduksi puheen ja elekielen synteesiksi (ISG), ja yhdistää useita viimeisimmän puheen ja elekielen tutkimuksen huippututkimuksia.

Uusi lähestymistapa hylkää lineaarisen putkiprojektimallin (jossa eleetiedot johdetaan peräkkäin puheesta toissijaisena prosessointivaiheena) ja korvaa sen enemmän integroidulla lähestymistavalla, joka on yhtä hyvä kuin olemassa olevat järjestelmät loppukäyttäjien mukaan, ja joka saavuttaa nopeamman synteesiajan ja vähentää parametrilaskentaa.

Lineaarinen vs. integroitu lähestymistapa. Lähde: https://arxiv.org/pdf/2108.11436.pdf

Uusi monimodaalinen järjestelmä sisältää spontaanin teksti-puhe-synteesin ja ääni-puhe-ohjatun eleen generoijan, jotka molemmat on koulutettu olemassa olevalla Trinity Speech Gesture -aineistolla. Aineistossa on 244 minuuttia ääni- ja kehon kaappausta, jossa mies puhuu eri aiheista ja elektää vapaasti.

Työ on uudenlainen ja poikkitieteellinen vastine DurIAN -projektille, joka luo kasvojen ilmeitä ja puhetta, eikä elekieltä ja puhetta, ja joka kuuluu enemmän ilmeiden tunnistamisen ja synteesin alueelle.

Arkkitehtuuri

Puheen ja visuaalisen (eleen) osat projektissa ovat epätasapainossa tietojen suhteen; teksti on niukkaa ja eleet ovat runsaita ja tietointensiviä – haaste tavoitteiden ja mittareiden määrittelyssä. Siksi tutkijat arvioivat järjestelmää pääasiassa ihmisten vastauksella tuloksiin, eikä mekanistisilla lähestymistavoilla, kuten keskimääräinen neliövirhe (MSE).

Kaksi pääasiallista ISG-mallia kehitettiin Googleen vuoden 2017 Tacotron -puheensynteesiprojektin toisen iteroinnin ympärille, ja Etelä-Korean Glow-TTS -aloitteen, joka julkaistiin vuonna 2020. Tacotron käyttää autoregressiivista LSTM-arkkitehtuuria, kun taas Glow-TTS toimii rinnakkain konvoluutio-operaattoreiden kautta, jolla on nopeampi GPU-suorituskyky ja ilman autoregressiivisten mallien aiheuttamia vakausongelmia.

Tutkijat testasivat kolmea tehokasta puhe/elejärjestelmää projektin aikana: muokatun version monimodaalisesta puheen ja eleen generoimisesta, joka julkaistiin vuonna 2021 usealla tutkijalla, jotka osallistuivat uuteen projektiin; omistetun ja muokatun ISG-version avoimesta Tacotron 2:sta; ja erittäin muokatun ISG-version Glow-TTS:stä.

Järjestelmien arvioimiseksi tutkijat loivat web-pohjaisen palauteympäristön, jossa on artisanoidut 3D-hahmot, jotka puhuvat ja liikkuvat ennalta määritettyihin tekstikohtiin (ympäristön yleisnäkymä on nähtävissä julkisella projekti sivulla).

Testiympäristö.

Koehenkilöitä pyydettiin arvioimaan järjestelmän suorituskykyä puheen ja eleen, puheen vain, ja eleen vain perusteella. Tulokset osoittivat lievää parannusta uudessa ISG-versiossa vanhaan putkiversioon nähden, vaikka uudempi järjestelmä toimii nopeammin ja vähemmän resursseilla.

Kun kysyttiin, ‘kuinka inhimillinen on ele?’, täysin integroitu ISG-malli sijoittui hieman edellä hitaampaa putkiversiota, ja Tacotron- ja Glow-pohjaiset mallit olivat vielä taemmalla.

Upotettu olkakäsittely

Tacotron2-ISG-malli, joka on menestyksekkäin lähestymistapa, osoittaa tietyn tason “alitajuisen” oppimista joillekin yleisimmistä lauseista aineistossa, kuten “en tiedä” – vaikka ei ole eksplisiittistä tietoa, joka aiheuttaisi sen, että se generoi olkakäden liikkeen tämän lauseen kanssa, tutkijat havaitsivat, että generoija tekee todella olkakäden liikkeen.

Tutkijat toteavat, että tämän uuden projektin erittäin spesifinen luonne tarkoittaa, että yleisiä resursseja, kuten omistettuja aineistoja, joissa on puheen ja eleen tietoja tavalla, joka soveltuu tällaisen järjestelmän kouluttamiseen, on niukasti. Kuitenkin, ja tutkimuksen edelläkävijäluonteesta huolimatta, he pitävät sitä lupaavana ja vähän tutkituna alueena puheessa, kielitieteessä ja elekielen tunnistamisessa.