Het verenigen van spraak en gebaren synthese

Toen ik terugkeerde naar Groot-Brittannië na een aantal jaren in Zuid-Italië, duurde het even voordat ik stopte met gebaren tijdens het praten. In het VK maakt het gebruik van gebaren tijdens het praten je alleen maar over-gecaffeïneerd; in Italië, als iemand die de taal aan het leren was, hielp het me eigenlijk om begrepen te worden. Zelfs nu, op de zeldzamere gelegenheden dat ik Italiaans spreek, komen de ‘wilde handen’ weer in actie. Het is bijna onmogelijk om Italiaans te spreken zonder te bewegen.

In recente jaren is de aandacht voor gebaarondersteunde communicatie in de Italiaanse en Joodse cultuur gegroeid tot meer dan alleen een cliché uit de films van Martin Scorsese en vroege Woody Allen-films. In 2013 compileerde The New York Times een korte video-geschiedenis van Italiaanse handgebaren; academici beginnen het onderwerp te bestuderen als een raciale neiging tot handgebaren, in plaats van het af te doen als een stereotype; en nieuwe emojis van het Unicode Consortium zijn het gebaartekort aan het opheffen dat komt met puur digitale, tekstgebaseerde communicatie.

Een geïntegreerde aanpak voor spraak en gebaren

Nu zoekt nieuw onderzoek van de afdeling Spraak, Muziek en Gehoor van de KTH Koninklijke Technische Hogeschool in Zweden naar een manier om spraak- en gebaarherkenning te combineren in een geïntegreerd, multimodaal systeem dat onze kennis van spraakgebaseerde communicatie kan vergroten door lichaamstaal te gebruiken als een geïntegreerd onderdeel van spraak, in plaats van een parallelle studieveld.

Beelden van de testpagina van het Zweedse spraak/gebaarproject. Bron: https://swatsw.github.io/isg_icmi21/

Het onderzoek stelt een nieuw model voor dat Integrated Speech and Gesture (ISG) synthese heet, en combineert een aantal state-of-the-art neurale modellen uit spraak- en gebaaronderzoek.

De nieuwe aanpak verlaat het lineaire pijplijnmodel (waar gebaarinformation wordt afgeleid van spraak als een secundaire verwerking) voor een meer geïntegreerde aanpak, die evenwaardig is aan bestaande systemen volgens eindgebruikers, en die een snellere synthese-tijd en een verlaagd parameteraantal bereikt.

Lineaire vs. geïntegreerde benaderingen. Bron: https://arxiv.org/pdf/2108.11436.pdf

Het nieuwe multimodale systeem omvat een spontane tekst-naar-spraak-synthesizer en een audio-spraak-gestuurde gebaargenerator, beide getraind op de bestaande Trinity Speech Gesture dataset. De dataset bevat 244 minuten audio en lichaamsopname van een man die over verschillende onderwerpen praat en vrij gebaart.

Het werk is een novum en een equivalent van het DurIAN-project, dat gezichtsuitdrukkingen en spraak genereert, in plaats van gebaren en spraak, en dat meer valt onder het domein van expressieherkenning en -synthese.

Architecturen

De spraak- en visuele (gebaar) componenten van het project zijn onbalans in termen van data; tekst is schaars en gebaren zijn rijk en data-intensief – een uitdaging in termen van het definiëren van doelen en metrics. Daarom hebben de onderzoekers het systeem voornamelijk beoordeeld op basis van de menselijke reactie op de output, in plaats van meer voor de hand liggende mechanistische benaderingen zoals het kwadratische foutgemiddelde (MSE).

De twee belangrijkste ISG-modellen werden ontwikkeld rond de tweede iteratie van Google’s 2017 Tacotron-eind-tot-eind-spraak-syntheseproject, en het Zuid-Koreaanse Glow-TTS-initiatief dat in 2020 werd gepubliceerd. Tacotron gebruikt een autoregressief LSTM-architectuur, terwijl Glow-TTS parallel werkt via convolution-operatoren, met snellere GPU-prestaties en zonder de stabiliteitsproblemen die autoregressieve modellen kunnen hebben.

De onderzoekers testten drie effectieve spraak/gebaarsystemen tijdens het project: een gemodificeerde versie van een multimodaal spraak- en gebaargeneratie gepubliceerd in 2021 door een aantal van dezelfde onderzoekers op het nieuwe project; een gewijzigde en gemodificeerde ISG-versie van de open source Tacotron 2; en een sterk gewijzigde ISG-versie van Glow-TTS.

Om de systemen te evalueren, creëerden de onderzoekers een webgebaseerde feedbackomgeving met gearticuleerde 3D-personen die spreken en bewegen naar vooraf gedefinieerde tekstsegmenten (het algemene uiterlijk van de omgeving kan worden gezien op de openbare projectpagina).

De testomgeving.

Testpersonen werden gevraagd om de systeemprestaties te beoordelen op basis van spraak en gebaren, spraak alleen, en gebaren alleen. De resultaten toonden een lichte verbetering in de nieuwe ISG-versie ten opzichte van de oude pijplijnversie, hoewel het nieuwe systeem sneller werkt en met minder resources.

Gevraagd ‘Hoe menselijk is het gebaar?’, eindigt het volledig geïntegreerde ISG-model iets voorop de langzamere pijplijnmodel, met de Tacotron- en Glow-gebaseerde modellen verder achter.

Embedded Shrug

Het Tacotron2-ISG-model, de meest succesvolle van de drie benaderingen, toont een niveau van ‘subliminaal’ leren dat gerelateerd is aan een aantal van de meest voorkomende zinnen in de dataset, zoals ‘Ik weet het niet’ – ondanks een gebrek aan expliciete data die het zou doen genereren om een schouderophalen te laten zien dat bij deze zin hoort, vonden de onderzoekers dat de generator inderdaad schouderophalen toont.

De onderzoekers merken op dat de zeer specifieke aard van dit novumproject onvermijdelijk een schaarste aan algemene bronnen betekent, zoals toegewijde datasets die spraak- en gebaardata op een manier combineren die geschikt is voor het trainen van een dergelijk systeem. Niettemin, en ondanks de voorhoede-aard van het onderzoek, beschouwen ze het als een veelbelovende en weinig onderzochte richting in spraak, linguïstiek en gebaarherkenning.