Peneliti AI Merancang Program untuk Menghasilkan Efek Suara untuk Film dan Media Lain

Peneliti dari Universitas Texas San Antonio telah menciptakan aplikasi berbasis AI yang mampu mengamati aksi yang terjadi dalam video dan membuat efek suara buatan untuk mencocokkan aksi tersebut. Efek suara yang dihasilkan oleh program ini dilaporkan sangat realistis sehingga ketika pengamat manusia diminta untuk memilih, mereka biasanya mengira efek suara tersebut asli.

Program yang bertanggung jawab untuk menghasilkan efek suara, AudioFoley, dijelaskan dalam sebuah studi yang baru-baru ini diterbitkan di IEEE Transactions on Multimedia. Menurut IEEE Spectrum, program AI ini dikembangkan oleh Jeff Provost, profesor di UT San Antonio, dan mahasiswa S3 Sanchita Ghose. Peneliti membuat program ini menggunakan beberapa model pembelajaran mesin yang digabungkan.

Tugas pertama dalam menghasilkan efek suara yang sesuai dengan aksi di layar adalah mengenali aksi tersebut dan memetakan aksi tersebut ke efek suara. Untuk melakukan ini, peneliti merancang dua model pembelajaran mesin yang berbeda dan menguji pendekatan yang berbeda. Model pertama bekerja dengan mengekstrak frame dari video yang diberikan dan menganalisis frame tersebut untuk fitur yang relevan seperti gerakan dan warna. Setelah itu, model kedua digunakan untuk menganalisis bagaimana posisi objek berubah di seluruh frame, untuk mengekstrak informasi temporal. Informasi temporal ini digunakan untuk memprediksi aksi berikutnya yang mungkin terjadi dalam video. Kedua model memiliki metode yang berbeda untuk menganalisis aksi dalam klip, tetapi keduanya menggunakan informasi yang terkandung dalam klip untuk menebak suara yang paling sesuai untuk mengiringinya.

Tugas berikutnya adalah mensintesis suara, dan ini dilakukan dengan mencocokkan aktivitas/prediksi gerakan dengan sampel suara yang mungkin. Menurut Ghose dan Prevost, AutoFoley digunakan untuk menghasilkan suara untuk 1000 klip pendek, menampilkan aksi dan item seperti api, kuda yang berlari, jam yang berdetak, dan hujan yang jatuh pada tanaman. Meskipun AutoFoley paling berhasil dalam membuat suara untuk klip di mana tidak perlu ada kesesuaian yang sempurna antara aksi dan suara, dan memiliki kesulitan dalam mencocokkan klip di mana aksi terjadi dengan variasi yang lebih besar, program ini masih dapat menipu banyak pengamat manusia untuk memilih suara yang dihasilkannya daripada suara asli yang mengiringi klip.

Prevost dan Ghose merekrut 57 mahasiswa dan meminta mereka untuk menonton klip yang berbeda. Beberapa klip mengandung audio asli, beberapa mengandung audio yang dihasilkan oleh AutoFoley. Ketika model pertama diuji, sekitar 73% mahasiswa memilih audio sintetis sebagai audio asli, mengabaikan suara sebenarnya yang mengiringi klip. Model lainnya performa sedikit lebih buruk, dengan hanya 66% partisipan yang memilih audio yang dihasilkan daripada audio asli.

Prevost menjelaskan bahwa AutoFoley dapat digunakan untuk mempercepat proses produksi film, televisi, dan media lainnya. Prevost mencatat bahwa trek Foley yang realistis sangat penting untuk membuat media yang menarik dan dapat dipercaya, tetapi proses Foley sering memakan waktu yang cukup lama untuk diselesaikan. Dengan memiliki sistem otomatis yang dapat menangani pembuatan elemen Foley dasar, produksi media dapat menjadi lebih murah dan lebih cepat.

Saat ini, AutoFoley memiliki beberapa keterbatasan yang cukup mencolok. Pertama, meskipun model ini tampaknya berperforma baik ketika mengamati peristiwa dengan gerakan yang stabil dan dapat diprediksi, ia mengalami kesulitan ketika mencoba menghasilkan audio untuk peristiwa dengan variasi waktu (seperti badai petir). Selain itu, ia juga memerlukan bahwa subjek klasifikasi harus hadir dalam seluruh klip dan tidak meninggalkan bingkai. Tim peneliti berencana untuk mengatasi masalah-masalah ini dengan versi aplikasi di masa depan.