Enhetlig tillvägagångssätt för tal och gester

När jag kom tillbaka till Storbritannien från några år i södra Italien, tog det ganska lång tid att sluta gestikulera medan jag talade. I Storbritannien gör det att man ser överkaffenerad ut om man använder händerna för att förstärka talet; i Italien, som någon som lärde sig språket, hjälpte det faktiskt till att förstås. Även nu, på de mer sällsynta tillfällen då jag talar italienska, kommer “vilda händer” tillbaka i bruk. Det är nästan omöjligt att tala italienska utan att röra sig.

På senare tid har geststödd kommunikation i italiensk och judisk kultur kommit till allmänhetens uppmärksamhet som mer än bara en kliché från Martin Scorseses och Woody Allens tidiga filmer. 2013 sammanställde New York Times en kort videohistoria om italienska handgestiker; akademin börjar studera rasrelaterade benägenheter för handgestikulerande, snarare än att avfärda ämnet som en stereotyp; och nya emojis från Unicode-konsortiet är på väg att täppa till gestbristen som följer med renodlad, textbaserad kommunikation.

Enhetlig tillvägagångssätt för tal och gester

Nu, ny forskning från institutionen för tal, musik och hörsel vid Kungliga Tekniska högskolan i Sverige syftar till att kombinera tal- och gestigenkänning i ett enhetligt, multimodalt system som potentiellt kan öka vår förståelse av talbaserad kommunikation genom att använda kroppsspråk som en integrerad del av talet, snarare än ett parallellt studieområde.

Visuella effekter från testsidan för det svenska tal/gest-projektet. Källa: https://swatsw.github.io/isg_icmi21/

Forskningen föreslår en ny modell som kallas Integrerad tal- och gestsynthese (ISG), och samlar ett antal state-of-the-art neuronnät från tal- och gestforskning.

Den nya tillvägagångssättet överger den linjära pipelinemodellen (där gestinformation hämtas sekventiellt från tal som en sekundär bearbetningsfas) för en mer integrerad tillvägagångssätt, som bedöms lika med befintliga system enligt slutanvändare, och som uppnår snabbare syntestid och minskad parameterantal.

Linjär vs. integrerad tillvägagångssätt. Källa: https://arxiv.org/pdf/2108.11436.pdf

Det nya multimodala systemet omfattar en spontan text-till-tal-syntetisator och en ljud-tal-styrd gestgenerator, båda tränade på den befintliga Trinity Speech Gesture dataseten. Dataseten innehåller 244 minuter av ljud och kroppskapning av en man som talar om olika ämnen och gesticulerar fritt.

Arbetet är en ny och tangentiell motsvarighet till DurIAN-projektet, som genererar ansiktsuttryck och tal, snarare än gester och tal, och som faller mer inom ramen för uttrycksigenkänning och syntes.

Arkitekturer

Tal- och visuella (gest) komponenterna i projektet är obalanserade i termer av data; texten är sparsam och gesticuleringen är rik och dataintensiv – en utmaning i termer av att definiera mål och mått. Därför utvärderade forskarna systemet primärt genom mänsklig respons på utmatningen, snarare än mer uppenbara mekanistiska tillvägagångssätt som medelkvadratfel (MSE).

De två huvudsakliga ISG-modellerna utvecklades runt den andra iterationen av Googles 2017 Tacotron slut-till-slut-tal-syntesprojekt, och den sydkoreanska Glow-TTS-initiativet publicerat 2020. Tacotron använder en autoregressiv LSTM-arkitektur, medan Glow-TTS fungerar parallellt via convolutionoperatorer, med snabbare GPU-prestanda och utan de stabilitetsproblem som kan förekomma i autoregressiva modeller.

Forskarna testade tre effektiva tal/gest-system under projektet: en modifierad version av en multimodal tal- och gestgenererings publicerad 2021 av ett antal av samma forskare i det nya projektet; en dedikerad och modifierad ISG-version av den öppna källkoden Tacotron 2; och en starkt modifierad ISG-version av Glow-TTS.

För att utvärdera systemen skapade forskarna en webbaserad återkopplingsmiljö med artikulerade 3D-personer som talar och rör sig till fördefinierade textsegment (det allmänna utseendet på miljön kan ses på projektets offentliga sida).

Testmiljön.

Testdeltagarna ombads att utvärdera systemets prestanda baserat på tal och gester, tal endast, och gester endast. Resultaten visade en liten förbättring i den nya ISG-versionen jämfört med den äldre pipeline-versionen, även om det nya systemet fungerar snabbare och med reducerade resurser.

Frågade ‘Hur mänsklig är gesten?’, slutar den fullt integrerade ISG-modellen strax före den långsammare pipeline-modellen, med Tacotron- och Glow-baserade modeller längre bak.

Ingjuten axelryckning

Tacotron2-ISG-modellen, den mest framgångsrika av de tre tillvägagångssätten, visar en nivå av ‘undermedveten’ inlärning relaterad till några av de vanligaste fraserna i dataseten, som ‘Jag vet inte’ – trots brist på explicit data som skulle orsaka att den genererar en axelryckning för att åtfölja denna fras, fann forskarna att generatoren faktiskt rycker på axlarna.

Forskarna noterar att den mycket specifika naturen av detta nya projekt innebär en brist på allmänna resurser, såsom dedikerade dataset som omfattar tal- och gestdata på ett sätt som är lämpligt för utbildning av ett sådant system. Trots det, och trots den banbrytande karaktären av forskningen, anser de att det är en lovande och outforskad väg inom tal, lingvistik och gestigenkänning.