Mengintegrasikan Ucapan dan Gerakan

Ketika saya kembali ke Inggris dari beberapa tahun di Italia Selatan, butuh beberapa waktu untuk berhenti menggestikulasi saat berbicara. Di Inggris, mendukung ucapan dengan gerakan tangan yang berani hanya membuat Anda terlihat seperti orang yang terlalu banyak minum kopi; di Italia, sebagai orang yang belajar bahasa, itu sebenarnya membantu saya untuk dipahami. Bahkan sekarang, pada kesempatan yang lebih jarang saya berbicara bahasa Italia, ‘tangan liar’ itu kembali berfungsi. Hampir mustahil untuk berbicara bahasa Italia tanpa bergerak.

Dalam beberapa tahun terakhir, komunikasi yang didukung gerakan dalam budaya Italia dan Yahudi telah mendapat perhatian publik sebagai lebih dari sekadar trope dari karya Martin Scorsese dan film Woody Allen awal. Pada 2013, New York Times membuat sejarah singkat video tentang gerakan tangan Italia; akademisi mulai mempelajari kecenderungan rasial untuk bergerak dengan tangan, bukan hanya menganggap subjek sebagai stereotip; dan emoji baru dari Unicode Consortium menutup kekurangan gerakan yang datang dengan komunikasi digital, berbasis teks murni.

Pendekatan Terpadu untuk Ucapan dan Gerakan

Sekarang, penelitian baru dari Departemen Ucapan, Musik, dan Pendengaran di KTH Royal Institute of Technology Swedia berusaha untuk menggabungkan pengenalan ucapan dan gerakan menjadi sistem multi-modal terpadu yang dapat meningkatkan pemahaman kita tentang komunikasi berbasis ucapan dengan menggunakan bahasa tubuh sebagai pelengkap ucapan, bukan sebagai bidang studi paralel.

Visual dari halaman tes proyek ucapan/gerakan Swedia. Sumber: https://swatsw.github.io/isg_icmi21/

Penelitian ini mengusulkan model baru yang disebut Sintesis Ucapan dan Gerakan Terpadu (ISG), dan menggabungkan beberapa model neural terbaru dari penelitian ucapan dan gerakan.

Pendekatan baru ini meninggalkan model pipa linier (di mana informasi gerakan dihasilkan secara berurutan dari ucapan sebagai tahap pemrosesan sekunder) untuk pendekatan yang lebih terintegrasi, yang dinilai sama dengan sistem yang ada menurut pengguna akhir, dan yang mencapai waktu sintesis yang lebih cepat dan mengurangi jumlah parameter.

Pendekatan linier vs. terintegrasi. Sumber: https://arxiv.org/pdf/2108.11436.pdf

Sistem multi-modal baru ini mencakup sintesis teks-ke-ucapan spontan dan generator gerakan yang digerakkan oleh ucapan audio, keduanya dilatih pada dataset Trinity Speech Gesture yang ada. Dataset ini berisi 244 menit audio dan capture tubuh dari seorang pria yang berbicara tentang topik yang berbeda dan menggestikulasi secara bebas.

Pekerjaan ini adalah setara dengan proyek DurIAN, yang menghasilkan ekspresi wajah dan ucapan, bukan gerakan dan ucapan, dan yang lebih masuk dalam ranah pengenalan dan sintesis ekspresi.

Arsitektur

Komponen ucapan dan visual (gerakan) dari proyek ini tidak seimbang dalam hal data; teks yang langka dan gerakan yang kaya dan intensif data – sebuah tantangan dalam menentukan tujuan dan metrik. Oleh karena itu, peneliti mengevaluasi sistem ini terutama dengan respons manusia terhadap output, bukan dengan pendekatan mekanis yang lebih jelas seperti mean square error (MSE).

Dua model ISG utama dikembangkan di sekitar iterasi kedua dari proyek sintesis ucapan akhir-ke-akhir Google 2017 Tacotron, dan inisiatif Glow-TTS asal Korea Selatan yang diterbitkan pada 2020. Tacotron menggunakan arsitektur LSTM autoregresif, sedangkan Glow-TTS bekerja secara paralel melalui operator konvolusi, dengan kinerja GPU yang lebih cepat dan tanpa masalah stabilitas yang dapat terjadi pada model autoregresif.

Peneliti menguji tiga sistem ucapan/gerakan yang efektif selama proyek: versi modifikasi dari generasi ucapan dan gerakan multi-modal yang diterbitkan pada 2021 oleh beberapa peneliti yang sama dalam proyek baru; versi Tacotron 2 yang dimodifikasi khusus untuk ISG; dan versi ISG yang sangat dimodifikasi dari Glow-TTS.

Untuk mengevaluasi sistem, peneliti membuat lingkungan umpan balik berbasis web yang menampilkan orang 3D yang berbicara dan bergerak sesuai dengan segmen teks yang telah ditentukan (tampilan umum lingkungan dapat dilihat di halaman proyek publik).

Lingkungan pengujian.

Subjek uji diminta untuk mengevaluasi kinerja sistem berdasarkan ucapan dan gerakan, ucapan saja, dan gerakan saja. Hasilnya menunjukkan sedikit perbaikan pada versi ISG baru dibandingkan dengan versi pipeline yang lebih lama, meskipun sistem yang lebih baru beroperasi lebih cepat dan dengan sumber daya yang lebih sedikit.

Ketika ditanya ‘Seberapa manusiawi gerakan itu?’, model ISG terintegrasi penuh sedikit unggul dari model pipeline yang lebih lambat, dengan model Tacotron dan Glow-TTS lebih jauh di belakang.

Gerakan Bahu yang Tersemat

Model Tacotron2-ISG, yang paling sukses dari tiga pendekatan, menunjukkan tingkat ‘subliminal’ pembelajaran yang terkait dengan beberapa frasa paling umum dalam dataset, seperti ‘Saya tidak tahu’ – meskipun tidak ada data eksplisit yang menyebabkannya menghasilkan gerakan bahu untuk menyertainya, peneliti menemukan bahwa generator tersebut memang menghasilkan gerakan bahu.

Peneliti mencatat bahwa sifat proyek ini yang sangat spesifik ini pasti berarti kelangkaan sumber daya umum, seperti dataset khusus yang menggabungkan data ucapan dan gerakan dengan cara yang sesuai untuk melatih sistem seperti itu. Meskipun demikian, dan meskipun sifat penelitian yang sangat baru, mereka menganggapnya sebagai jalur yang menjanjikan dan belum banyak dieksplorasi dalam ucapan, linguistik, dan pengenalan gerakan.