Förenande tal- och gestsyntes

När jag kom tillbaka till Storbritannien från några år i södra Italien tog det ganska lång tid att sluta gestikulera medan jag pratade. I Storbritannien, att stödja ditt tal med djärva handrörelser får dig bara att se överkoffeinrik ut; i Italien, som någon som lärde mig språket, hjälpte det mig faktiskt att bli förståddÄven nu, vid de mer sällsynta tillfällen jag talar italienska, kommer de "vilda händerna" tillbaka till tjänst. Det är nästan omöjligt att tala italienska utan att röra på sig.

De senaste åren har geststödd kommunikation i italiensk och judisk kultur har kommit till allmänhetens uppmärksamhet som mer än bara en trope från arbetet med Martin Scorsese och tidiga Woody Allen-filmer. 2013 sammanställde New York Times en kort videohistorik av italienska handgester; akademin börjar studera rasbenägenhet för handgester, snarare än att avfärda ämnet som en stereotyp; och nya emojis från Unicode Consortium är stänger gestbristen som kommer med rent digital, textbaserad kommunikation.

En enhetlig strategi för tal och gestikulation

Nu, ny forskning från institutionen för tal, musik och hörsel vid Kungliga Tekniska Högskolan i Sverige (KTH) strävar efter att kombinera tal- och gestigenkänning till ett enhetligt, multimodalt system som potentiellt skulle kunna öka vår förståelse av talbaserad kommunikation genom att använda kroppsspråk som ett integrerat komplement till tal, snarare än ett parallellt studieområde.

Bildmaterial från testsidan för det svenska tal/gestprojektet. Källa: https://swatsw.github.io/isg_icmi21/

Forskningen föreslår en ny modell kallad Integrated Speech and Gesture (ISG) syntes, och sammanför ett antal toppmoderna neurala modeller från tal- och gestforskning.

Det nya tillvägagångssättet överger det linjära rörledningsmodell (där gestinformation härleds sekventiellt från tal som ett sekundärt bearbetningssteg) för ett mer integrerat tillvägagångssätt, som värderar lika mycket med befintliga system enligt slutanvändare, och som uppnår snabbare syntestid och minskat parameterantal.

Linjära kontra integrerade tillvägagångssätt. Källa: https://arxiv.org/pdf/2108.11436.pdf

Det nya multimodala systemet innehåller en spontan text-till-tal-syntes och en ljud-tal-driven gestgenerator, båda tränade på den befintliga Trinity Speech Gesture dataset. Datauppsättningen innehåller 244 minuters ljud- och kroppsfångst av en man som pratar om olika ämnen och gestikulerar fritt.

Verket är en ny och tangentiell motsvarighet till DurIAN projekt, som genererar ansiktsuttryck och tal, snarare än gester och tal, och som faller mer in i sfären av uttrycksigenkänning och syntes.

Arkitekturer

Tal och visuella (gester) komponenterna i projektet är dåligt balanserade när det gäller data; texten är sparsam och gestikulationen är rik och dataintensiv – en utmaning när det gäller att definiera mål och mått. Därför utvärderade forskarna systemet främst genom mänskligt svar på resultatet, snarare än mer uppenbara mekanistiska tillvägagångssätt som medelkvadratfel (MSE).

De två huvudsakliga ISG-modellerna utvecklades kring andra iteration av Googles 2017 Tacotron end-to-end talsyntesprojekt, och den sydkoreanska Glow-TTS initiativ publicerat 2020. Tacotron använder en autoregressiv LSTM-arkitektur, medan Glow-TTS agerar parallellt via faltningsoperatorer, med snabbare GPU-prestanda och utan de stabilitetsproblem som kan uppleva autoregressiva modeller.

Forskarna testade tre effektiva tal/gestersystem under projektet: en modifierad version av en multimodal tal- och gestgenerering publicerade 2021 av ett antal av samma forskare om det nya projektet; en dedikerad och modifierad ISG-version av Tacotron 2 med öppen källkod; och en mycket förändrad ISG-version av Glow-TTS.

För att utvärdera systemen skapade forskarna en webbaserad feedbackmiljö med artikulerade 3D-personer som talar och flyttar till fördefinierade textsegment (miljöns allmänna utseende kan ses på offentlig projektsida).

Testmiljön.

Testpersonerna ombads att utvärdera systemets prestanda baserat på tal och gester, endast tal och endast gester. Resultaten visade en liten förbättring i den nya ISG-versionen jämfört med den äldre pipelineversionen, även om det nyare systemet fungerar snabbare och med minskade resurser.

På frågan "Hur mänsklig är gesten?" slutar den helt integrerade ISG-modellen något före den långsammare pipeline-modellen, medan Tacotron- och Glow-baserade modellerna ligger längre efter.

Inbäddad axelryckning

Tacotron2-ISG-modellen, den mest framgångsrika av de tre metoderna, visar en nivå av "subliminalt" lärande relaterat till några av de vanligaste fraserna i datamängden, såsom "Jag vet inte" – trots bristen på explicita data som skulle få den att generera en axelryckning som åtföljer denna fras, fann forskarna att generatorn faktiskt rycker på axlarna.

Forskarna noterar att den mycket specifika karaktären hos detta nya projekt oundvikligen innebär en brist på generella resurser, såsom dedikerade datamängder som införlivar tal- och gestdata på ett sätt som är lämpligt för att träna ett sådant system. Trots forskningens framstående karaktär anser de att den är en lovande och lite utforskad väg inom tal, lingvistik och gestigenkänning.