Peneliti Mengembangkan Model Pengenalan Ucapan Manusia Dengan Jaringan Saraf Dalam

Sebuah kelompok peneliti dari Jerman sedang menjelajahi model pengenalan ucapan manusia baru berbasis pembelajaran mesin dan jaringan saraf dalam. Model baru ini dapat membantu meningkatkan pengenalan ucapan manusia secara signifikan.

Algoritma bantu dengar biasanya digunakan untuk meningkatkan pengenalan ucapan manusia, dan mereka dievaluasi melalui berbagai eksperimen yang menentukan rasio sinyal-ke-bisingan di mana sejumlah kata dikenali. Namun, eksperimen-eksperimen ini sering kali memakan waktu dan mahal.

Model baru ini dijelaskan dalam penelitian yang diterbitkan di The Journal of the Acoustical Society of America.

Prediksi untuk Pendengar yang Mengalami Gangguan Pendengaran

Jana Roßbach adalah salah satu penulis dari Universitas Carl Von Ossietzky.

“Kebaruan model kami adalah bahwa itu memberikan prediksi yang baik untuk pendengar yang mengalami gangguan pendengaran untuk jenis bising dengan kompleksitas yang sangat berbeda dan menunjukkan kesalahan yang rendah dan korelasi yang tinggi dengan data yang diukur,” kata Roßbach.

Tim peneliti menghitung berapa banyak kata per kalimat yang dapat dipahami oleh seorang pendengar melalui pengenalan ucapan otomatis (ASR). Alat pengenalan ucapan seperti Alexa dan Siri bergantung pada ASR, yang secara luas tersedia.

Studi dan Hasil

Studi yang dilakukan oleh tim melibatkan delapan orang dengan pendengaran normal dan 20 orang dengan gangguan pendengaran. Para pendengar terpapar pada banyak bising yang kompleks yang menyembunyikan ucapan, dan pendengar yang mengalami gangguan pendengaran dikelompokkan menjadi tiga kelompok tergantung pada tingkat kehilangan pendengaran yang terkait dengan usia.

Melalui model baru, para peneliti dapat memprediksi kinerja pengenalan ucapan manusia dari pendengar yang mengalami gangguan pendengaran dengan derajat kehilangan pendengaran yang berbeda. Mereka dapat membuat prediksi ini untuk berbagai bising dengan kompleksitas yang berbeda dalam modulasi temporal dan seberapa mirip mereka dengan ucapan nyata. Semua ini memungkinkan setiap orang untuk diamati dan dianalisis secara individual dalam hal kehilangan pendengaran yang mungkin terjadi.

“Kami paling terkejut bahwa prediksi bekerja dengan baik untuk semua jenis bising. Kami berharap model ini akan memiliki masalah ketika menggunakan satu pembicara yang bersaing. Namun, itu tidak terjadi,” kata Roßbach.

Karena model ini difokuskan pada pendengaran satu telinga, tim akan sekarang melihat untuk membuat model binaural untuk pendengaran dua telinga. Mereka juga mengatakan bahwa model baru ini dapat digunakan untuk memprediksi upaya mendengar atau kualitas ucapan juga.