Einheitlicher Ansatz für Sprache und Gestiksynthese

Als ich nach einigen Jahren in Süditalien nach Großbritannien zurückkehrte, dauerte es eine Weile, bis ich aufhörte, während des Sprechens zu gestikulieren. In Großbritannien wirkt es, wenn man seine Worte mit kräftigen Handbewegungen unterstreicht, überkoffeinisiert; in Italien half es mir als Sprachlerner tatsächlich, verstanden zu werden. Selbst jetzt, wenn ich seltener Italienisch spreche, kommen die “wilden Hände” wieder zum Einsatz. Es ist fast unmöglich, Italienisch zu sprechen, ohne sich zu bewegen.

In den letzten Jahren ist die gestützte Kommunikation in italienischer und jüdischer Kultur in das Blickfeld der Öffentlichkeit gerückt, mehr als nur ein Klischee aus den Werken von Martin Scorsese und den frühen Filmen von Woody Allen. 2013 erstellte die New York Times eine kurze Video-Geschichte über italienische Handgesten; die Wissenschaft beginnt, rassische Neigungen zum Handgestikulieren zu untersuchen, anstatt das Thema als Stereotyp abzutun; und neue Emojis des Unicode-Konsortiums sind die Gestenlücke zu schließen, die mit rein digitaler, textbasierter Kommunikation einhergeht.

Ein einheitlicher Ansatz für Sprache und Gestik

Jetzt ist eine neue Forschung aus der Abteilung für Sprache, Musik und Hören am KTH Royal Institute of Technology in Schweden im Gange, um Sprache und Gestenerkennung in ein einheitliches, multimodales System zu integrieren, das unser Verständnis von sprachbasierter Kommunikation durch die Verwendung von Körpersprache als integrierten Bestandteil der Sprache und nicht als separates Forschungsgebiet erweitern könnte.

Visualisierungen von der Testseite des schwedischen Sprache/Gesten-Projekts. Quelle: https://swatsw.github.io/isg_icmi21/

Die Forschung schlägt ein neues Modell vor, das als integrierte Sprache und Gestensynthese (ISG) bezeichnet wird, und bringt eine Reihe von State-of-the-Art-Neural-Modellen aus der Sprach- und Gestenforschung zusammen.

Der neue Ansatz verlässt das lineare Pipeline-Modell (bei dem Gesteninformationen sequentiell aus der Sprache als sekundäre Verarbeitungsstufe abgeleitet werden) und bevorzugt einen integrierteren Ansatz, der mit bestehenden Systemen gleichwertig ist und von Endbenutzern bewertet wird und der eine schnellere Synthesezeit und eine geringere Anzahl von Parametern aufweist.

Lineare vs. integrierte Ansätze. Quelle: https://arxiv.org/pdf/2108.11436.pdf

Das neue multimodale System umfasst einen spontanen Text-zu-Sprache-Synthesizer und einen audio-sprachgesteuerten Gestengenerator, die beide auf dem bestehenden Trinity-Sprache-Gesten-Datensatz trainiert wurden. Der Datensatz enthält 244 Minuten Audio und Körperaufnahmen eines Mannes, der über verschiedene Themen spricht und frei gestikuliert.

Die Arbeit ist eine neuartige und tangentielle Äquivalent zum DurIAN-Projekt, das Gesichtsausdrücke und Sprache erzeugt, anstatt Gesten und Sprache, und das mehr in den Bereich der Ausdrucks- und Syntheserekennung fällt.

Architekturen

Die sprachlichen und visuellen (Gesten-)Komponenten des Projekts sind unbalanciert in Bezug auf Daten; Text ist spärlich und Gestikulation ist reich und datenintensiv – eine Herausforderung bei der Definition von Zielen und Metriken. Daher bewerteten die Forscher das System hauptsächlich durch die menschliche Reaktion auf die Ausgabe, anstatt mechanistischer Ansätze wie dem mittleren quadratischen Fehler (MSE).

Die beiden Haupt-ISG-Modelle wurden um die zweite Iteration von Googles 2017 Tacotron-Ende-zu-Ende-Sprachsynthese-Projekt und das südkoreanische Glow-TTS-Initiative von 2020 entwickelt. Tacotron nutzt eine autoregressive LSTM-Architektur, während Glow-TTS parallel über Konvolutionsoperatoren arbeitet, mit schnellerer GPU-Leistung und ohne die Stabilitätsprobleme, die autoregressive Modelle aufweisen können.

Die Forscher testeten drei effektive Sprache/Gesten-Systeme während des Projekts: eine modifizierte Version eines multimodalen Sprache- und Gestengenerators, der veröffentlicht wurde; eine speziell angepasste ISG-Version von Tacotron 2; und eine stark veränderte ISG-Version von Glow-TTS.

Um die Systeme zu bewerten, erstellten die Forscher eine webbasierte Feedback-Umgebung mit artikulierten 3D-Personen, die sprechen und sich zu vordefinierten Textsegmenten bewegen (das allgemeine Aussehen der Umgebung kann auf der öffentlichen Projektseite gesehen werden).

Die Testumgebung.

Testpersonen wurden gebeten, die Systemleistung auf der Grundlage von Sprache und Gesten, nur Sprache und nur Gesten zu bewerten. Die Ergebnisse zeigten eine leichte Verbesserung der neuen ISG-Version gegenüber der älteren Pipeline-Version, obwohl das neue System schneller und mit reduzierten Ressourcen arbeitet.

Wenn gefragt wird, ‘Wie menschlich ist die Geste?’, beendet das vollständig integrierte ISG-Modell leicht vor dem langsameren Pipeline-Modell, während die Tacotron- und Glow-basierten Modelle weiter zurückliegen.

Integrierte Schulterzucken

Das Tacotron2-ISG-Modell, der erfolgreichste der drei Ansätze, zeigt ein gewisses Maß an “subliminalem” Lernen in Bezug auf einige der häufigsten Phrasen im Datensatz, wie “Ich weiß nicht” – obwohl es keine expliziten Daten gibt, die es dazu veranlassen würden, ein Schulterzucken zu erzeugen, um diese Phrase zu begleiten, stellten die Forscher fest, dass der Generator tatsächlich zuckt.

Die Forscher bemerken, dass die sehr spezifische Natur dieses neuen Projekts unweigerlich zu einer Knappheit an allgemeinen Ressourcen führt, wie z.B. speziellen Datensätzen, die Sprache und Gesten auf eine Weise integrieren, die für die Ausbildung eines solchen Systems geeignet ist. Trotzdem und trotz der Vorreiterrolle der Forschung betrachten sie es als vielversprechenden und wenig erforschten Ansatz in der Sprach-, Linguistik- und Gestenerkennung.