Peneliti Mengembangkan ‘Audeo’ AI yang Dapat Memainkan Piano

Tim peneliti di Universitas Washington mengembangkan sistem kecerdasan buatan (AI) yang disebut Audeo yang dapat menciptakan audio dari pertunjukan piano yang sunyi. Fase pengujian melibatkan aplikasi pengenalan musik seperti SoundHound, yang dapat mengidentifikasi musik dari Audeo sekitar 86% dari waktu.

Penelitian ini dipresentasikan pada konferensi NeurlPS 2020 pada 8 Desember.

Penulis senior Eli Shlizerman adalah asisten profesor di departemen matematika terapan dan teknik elektro dan komputer di universitas.

“Menciptakan musik yang terdengar seperti dapat dimainkan dalam pertunjukan musik sebelumnya dianggap mustahil,” kata Shlizerman. “Algoritma perlu menemukan petunjuk, atau ‘fitur,’ dalam bingkai video yang terkait dengan menghasilkan musik, dan perlu ‘membayangkan’ suara yang terjadi di antara bingkai video. Ini memerlukan sistem yang presisi dan imajinatif. Fakta bahwa kami mencapai musik yang terdengar cukup baik adalah kejutan.”

Bagaimana Audeo Bekerja

Sistem Audeo bekerja dengan mendekode video dan menerjemahkannya menjadi musik. Langkah pertama dari beberapa langkah melibatkan AI mendeteksi kunci yang ditekan dalam setiap bingkai video, dan akhirnya mengembangkan diagram. Diagram tersebut kemudian diterjemahkan sehingga synthesizer musik dapat mengenali suara.

Langkah berikutnya adalah membersihkan data dan menambahkan informasi tambahan. Informasi ini dapat mencakup hal-hal seperti tekanan di balik setiap tekan kunci dan berapa lama itu berlangsung.

“Jika kita mencoba mensintesis musik dari langkah pertama saja, kita akan menemukan kualitas musik yang tidak memuaskan,” kata Shlizerman. “Langkah kedua seperti bagaimana seorang guru mengoreksi komposisi musik seorang siswa dan membantu meningkatkannya.”

Sistem ini dilatih dan diuji dengan video YouTube dari pianis Paul Barton, dan terdiri dari sekitar 172.000 bingkai video dari musisi yang memainkan berbagai komponis klasik seperti Mozart. Audeo diuji dengan 19.000 bingkai Barton memainkan musik yang berbeda.

Synthesizer

Setelah dilatih, Audeo menghasilkan transkrip musik, yang kemudian diberikan kepada synthesizer untuk menerjemahkan menjadi suara. Musik terdengar berbeda tergantung pada synthesizer, yang setara dengan mengubah pengaturan instrumen pada keyboard elektronik.

Dua synthesizer terpisah digunakan oleh tim.

“Fluidsynth membuat suara piano synthesizer yang kita kenal. Ini sedikit terdengar mekanis tetapi cukup akurat,” kata Shlizerman. “Kami juga menggunakan PerfNet, synthesizer AI baru yang menghasilkan musik yang lebih kaya dan lebih ekspresif. Tetapi juga menghasilkan lebih banyak kebisingan.”

“Tujuan dari studi ini adalah untuk melihat apakah kecerdasan buatan dapat menghasilkan musik yang dimainkan oleh seorang pianis dalam rekaman video — meskipun kami tidak bermaksud untuk meniru Paul Barton karena dia adalah seorang virtuoso,” lanjut Shlizerman. “Kami berharap bahwa studi kami memungkinkan cara-cara baru untuk berinteraksi dengan musik. Misalnya, salah satu aplikasi masa depan adalah bahwa Audeo dapat diperluas ke piano virtual dengan kamera yang merekam hanya tangan seseorang. Juga, dengan meletakkan kamera di atas piano yang sebenarnya, Audeo dapat membantu dalam cara-cara baru untuk mengajar siswa bagaimana memainkan.”

Kung Su dan Ziulong Liu, mahasiswa doktoral di teknik elektro dan komputer, adalah co-penulis makalah tersebut.