Sammenslåing av tale og gester-syntese

Når jeg kom tilbake til Storbritannia fra noen år i Sør-Italia, tok det en stund å slutte å gestikulere mens jeg snakket. I Storbritannia gjør det at du støtter din tale med brede håndbevegelser deg bare se over-kafeinert ut; i Italia, som noen som lærer språket, hjalp det faktisk meg å bli forstått. Selv nå, på de mer sjeldne anledningene jeg snakker italiensk, kommer de “ville hendene” tilbake i tjeneste. Det er nesten umulig å snakke italiensk uten å bevege seg.

I de senere år har gest-støttet kommunikasjon i italiensk og jødisk kultur kommet til offentlig oppmerksomhet som mer enn bare et trope fra arbeidet til Martin Scorsese og tidlige Woody Allen-filmer. I 2013 samlet New York Times en kort videohistorie over italienske håndbevegelser; akademikere begynner å studere rasepregede tendenser til håndbevegelser, snarere enn å avvise emnet som et stereotype; og nye emojis fra Unicode Consortium er i ferd med å lukke gestmangelen som kommer med ren digital, tekstbasert kommunikasjon.

En samlet tilnærming til tale og gester

Nå, ny forskning fra avdelingen for tale, musikk og hørsel ved KTH Royal Institute of Technology i Sverige søker å kombinere tale- og gest-gjenkjenning i et samlet, multimodalt system som potensielt kan øke vår forståelse av talebasert kommunikasjon ved å bruke kroppsspråk som en integrert hjelpemiddel til tale, snarere enn et parallelt studiefelt.

Visuelle fra test siden av det svenske tale/gest-prosjektet. Kilde: https://swatsw.github.io/isg_icmi21/

Forskningen foreslår en ny modell kalt Integrert tale og gest (ISG) syntese, og bringer sammen en rekke state-of-the-art neurale modeller fra tale- og gest-forskning.

Den nye tilnærmingen forlater den lineære pipeline-modellen (hvor gest-informasjon er avledet sekvensielt fra tale som en sekundær prosessering fase) for en mer integrert tilnærming, som rangerer like med eksisterende systemer etter slutbrukere, og som oppnår raskere syntese tid og redusert parameter teller.

Lineær vs. integrert tilnærming. Kilde: https://arxiv.org/pdf/2108.11436.pdf

Det nye multimodale systemet inkorporerer en spontan tekst-til-tale-syntetisator og en audio-tale-drevet gest-generator, begge trent på den eksisterende Trinity tale-gest dataset. Datasettet inneholder 244 minutter med audio og kroppskapning av en mann som snakker om forskjellige emner og gesterer fritt.

Arbeidet er en ny og tangensial ekvivalent til DurIAN-prosjektet, som genererer ansiktsuttrykk og tale, snarere enn gest og tale, og som faller mer inn i området for uttrykksgjenkjenning og syntese.

Arkitekturer

Tale- og visuelle (gest) komponentene av prosjektet er ubalansert i forhold til data; tekst er sparsom og gesterering er rik og data-intensiv – en utfordring i forhold til å definere mål og metrikker. Derfor evaluerte forskerne systemet primært ved menneskelig respons til utgangen, snarere enn mer åpenbare mekaniske tilnærming som middel feil (MSE).

De to hoved ISG-modellene ble utviklet rundt den andre iterasjonen av Googles 2017 Tacotron slutt-til-slutt tale-syntese prosjekt, og den sørkoreanske Glow-TTS initiativet publisert i 2020. Tacotron bruker en autoregressiv LSTM-arkitektur, mens Glow-TTS handler parallelt via konvolusjonsoperatører, med raskere GPU-ytelse og uten stabilitetsproblemer som kan oppstå i autoregressive modeller.

Forskerne testet tre effektive tale/gest-systemer under prosjektet: en modifisert versjon av en multimodal tale- og gest-generering publisert i 2021 av en rekke av de samme forskerne på det nye prosjektet; en dedikert og modifisert ISG-versjon av den åpne kildekode Tacotron 2; og en høyt endret ISG-versjon av Glow-TTS.

For å evaluere systemene, skapte forskerne en web-basert tilbakemeldingsmiljø med artikulerte 3D-personer som snakker og beveger seg til forhåndsdefinerte tekstsegmenter (det generelle utseendet til miljøet kan ses på den offentlige prosjektsiden).

Testmiljøet.

Testpersoner ble bedt om å evaluere systemets ytelse basert på tale og gest, tale alene, og gest alene. Resultatene viste en liten forbedring i den nye ISG-versjonen over den eldre pipeline-versjonen, selv om det nyere systemet opererer raskere og med reduserte ressurser.

Spurt ‘Hvor menneskelig er gesten?’, fullfører den fullt integrerte ISG-modellen litt foran den sakte pipeline-modellen, med Tacotron- og Glow-baserte modeller lenger bak.

Innbettet skulder

Tacotron2-ISG-modellen, den mest suksessfulle av de tre tilnærmingene, demonstrerer et nivå av ‘subliminal’ læring relatert til noen av de mest vanlige frasene i datasettet, som ‘Jeg vet ikke’ – til tross for mangelen på eksplisitt data som ville føre til at den genererer en skulderbevegelse som ledsager denne frasen, fant forskerne ut at generatoren faktisk skulderbeveger.

Forskerne bemerker at den svært spesifikke naturen til dette nye prosjektet uunngåelig betyr en mangel på generelle ressurser, som dedikerte datasett som inkorporerer tale- og gest-data på en måte som er egnet for å trene et slikt system. Likevel, og til tross for den banebrytende naturen av forskningen, betrakter de det som en løftende og lite utforsket vei i tale, lingvistikk og gest-gjenkjenning.