Membaca Bibir dengan Viseme dan Pembelajaran Mesin

Penelitian baru dari Sekolah Teknik Komputer di Tehran menawarkan pendekatan yang ditingkatkan untuk tantangan menciptakan sistem pembelajaran mesin yang dapat membaca bibir.

Makalah ini, berjudul Membaca Bibir Menggunakan Dekoding Viseme, melaporkan bahwa sistem baru ini mencapai peningkatan 4% dalam tingkat kesalahan kata dibandingkan dengan model sebelumnya yang serupa. Sistem ini menangani kekurangan data pelatihan yang berguna di sektor ini dengan memetakan viseme ke konten teks yang diperoleh dari enam juta sampel dalam dataset OpenSubtitles.

Viseme adalah ekivalen visual dari fonem, efektif sebuah pemetaan audio>gambar yang dapat merupakan ‘fitur’ dalam model pembelajaran mesin.

Viseme dalam aksi. Sumber: https://developer.oculus.com/documentation/unity/audio-ovrlipsync-viseme-reference/

Peneliti memulai dengan menetapkan tingkat kesalahan terendah pada dataset yang tersedia, dan mengembangkan urutan viseme dari prosedur pemetaan yang mapan. Secara bertahap, proses ini mengembangkan leksikon visual kata – meskipun perlu untuk mendefinisikan probabilitas akurasi untuk kata-kata yang berbeda yang berbagi viseme (seperti ‘hati’ dan ‘seni’).

Viseme yang diekstrak dari teks. Sumber: https://arxiv.org/pdf/2104.04784.pdf

Di mana dua kata yang sama menghasilkan viseme yang sama, kata yang paling sering muncul dipilih.

Model ini membangun pada pembelajaran berurutan tradisional dengan menambahkan tahap sub-pengolahan di mana viseme diprediksi dari teks dan dimodelkan dalam pipa yang didedikasikan:

Di atas, metode berurutan tradisional dalam model karakter; di bawah, penambahan pemodelan viseme karakter dalam model penelitian Tehran. Sumber: https://arxiv.org/pdf/2104.04784.pdf

Model ini diterapkan tanpa konteks visual terhadap dataset LRS3-TED, yang dirilis dari Universitas Oxford pada 2018, dengan tingkat kesalahan kata terburuk (WER) yang diperoleh sebesar 24,29%.

Penelitian Tehran juga mencakup penggunaan konverter grafem-ke-fonem.

Dalam tes terhadap penelitian Oxford 2017 Membaca Kalimat Bibir di Alam Liar (lihat di bawah), metode Video-ke-Viseme mencapai tingkat kesalahan kata sebesar 62,3%, dibandingkan dengan 69,5% untuk metode Oxford.

Peneliti menyimpulkan bahwa penggunaan volume teks yang lebih tinggi, dikombinasikan dengan pemetaan viseme dan grafem-ke-fonem, menjanjikan perbaikan atas keadaan seni dalam sistem pembacaan bibir otomatis, sambil mengakui bahwa metode yang digunakan mungkin menghasilkan hasil yang lebih baik ketika diintegrasikan ke dalam kerangka kerja yang lebih canggih.

Pembacaan bibir yang digerakkan mesin telah menjadi area penelitian yang aktif dan berkelanjutan dalam penglihatan komputer dan NLP selama dua dekade terakhir. Di antara banyak contoh dan proyek lainnya, pada 2006, penggunaan perangkat lunak pembacaan bibir otomatis menarik perhatian ketika digunakan untuk menafsirkan apa yang dikatakan Adolf Hitler dalam beberapa film bisu yang terkenal di retret Bavaria-nya, meskipun aplikasi ini tampaknya telah menghilang ke dalam ketidakjelasan sejak (dua belas tahun kemudian, Sir Peter Jackson menggunakan pembaca bibir manusia untuk memulihkan percakapan dalam proyek restorasi They Shall Not Grow Old).

Pada 2017, Membaca Kalimat Bibir di Alam Liar, sebuah kolaborasi antara Universitas Oxford dan divisi penelitian AI Google, menghasilkan pembacaan bibir AI yang dapat menginferensi dengan benar 48% dari ucapan dalam video tanpa suara, di mana seorang pembaca bibir manusia hanya dapat mencapai akurasi 12,4% dari materi yang sama. Model ini dilatih pada ribuan jam footage TV BBC.

Penelitian ini mengikuti inisiatif terpisah Oxford/Google dari tahun sebelumnya, yang berjudul LipNet, sebuah arsitektur jaringan neural yang memetakan urutan video dengan panjang variabel ke urutan teks menggunakan Jaringan Berulang yang Terkunci (GRN), yang menambahkan fungsionalitas ke arsitektur dasar Jaringan Neural Berulang (RNN). Model ini mencapai kinerja 4,1 kali lebih baik daripada pembaca bibir manusia.

Di samping masalah menghasilkan transkrip yang akurat dalam waktu nyata, tantangan menafsirkan ucapan dari video semakin dalam ketika Anda menghilangkan konteks yang berguna, seperti audio, ‘footage yang diambil dari depan’ yang terang, dan bahasa/budaya di mana fonem/viseme relatif berbeda.

Meskipun tidak ada pemahaman empiris tentang bahasa mana yang paling sulit untuk dibaca bibir dalam ketiadaan audio, Jepang adalah kandidat utama. Cara yang berbeda-beda yang digunakan oleh penduduk asli Jepang (serta beberapa penduduk asli Asia Barat dan Timur lainnya) untuk mengungkapkan ekspresi wajah terhadap isi ucapan mereka sudah membuat mereka menjadi tantangan yang lebih besar bagi sistem analisis sentimen.

Namun, perlu diingat bahwa sebagian besar literatur ilmiah tentang topik ini umumnya bersifat hati-hati, tidak hanya karena penelitian objektif yang baik di bidang ini berisiko melintasi profil rasial dan penyebaran stereotip yang ada.

Bahasa dengan proporsi komponen guttural yang tinggi, seperti Chechen dan Belanda, sangat bermasalah untuk teknik ekstraksi ucapan otomatis, sementara budaya di mana pembicara mungkin mengekspresikan emosi atau penghormatan dengan memandang menjauh (lagi, umumnya dalam budaya Asia) menambahkan dimensi lain di mana peneliti pembacaan bibir AI perlu mengembangkan metode tambahan untuk ‘mengisi’ dari petunjuk kontekstual lain.