Araştırmacılar Piyano Çalabilen ‘Audeo’ AI Geliştirdiler

Washington Üniversitesi’nden bir araştırma ekibi, sessiz piyano performanslarından ses oluşturabilen Audeo adlı bir yapay zeka sistemi geliştirdi. Test aşamasında, SoundHound gibi müzik tanıma uygulamaları Audeo’yu yaklaşık %86 oranında doğru şekilde tanımlayabildi.

Araştırma, 8 Aralık’ta NeurlPS 2020 konferansında sunuldu.

Baş yazar Eli Shlizerman, üniversitenin uygulamalı matematik ve elektrik ve bilgisayar mühendisliği bölümlerinde yardımcı profesör.

“Müzikal bir performansta çalınabilecek gibi sesler oluşturmak以前 düşünülenden imkansız olarak kabul ediliyordu” dedi Shlizerman. “Bir algoritma, video karelerinde müziği oluşturmaya ilişkin ipuçlarını veya ‘özellikleri’ bulmalı ve video kareleri arasındaki sesi ‘hayal etmeli’. Hem precisa hem de hayal gücü olan bir sistem gerektirir. Müziklerin oldukça iyi olduğunu gördüğümüzde şaşırıldı.”

Audeo Nasıl Çalışır

Audeo sistemi, bir videoyu çözerek müziğe çevirir. İlk adım, her video karesindeki tuşların tespit edilmesi ve bir diyagram oluşturulmasıdır. Daha sonra diyagram, bir müzik sentezleyicisi tarafından ses olarak tanınabilir.

Sonraki adım, verilerin temizlenmesi ve ek bilgilerin eklenmesidir. Bu bilgiler, her tuş vuruşunun arkasındaki basınç ve süresini içerebilir.

“Yalnızca ilk adımdan müziği sentezlemeye çalışırsak, müzik kalitesinin tatmin edici olmadığını görürüz” dedi Shlizerman. “İkinci adım, bir öğretmenın öğrenci bestecinin müziğini gözden geçirip geliştirmesine benzer.”

Sistem, piyanist Paul Barton’un YouTube videolarıyla eğitildi ve yaklaşık 172.000 video karesi içeriyordu. Audeo, 19.000 karelik farklı müziklerle test edildi.

Sentezleyici

Eğitildikten sonra, Audeo müziğin bir transkriptini oluşturur ve bunu bir sentezleyicinin ses olarak çevirmesi için kullanır. Müziğin sesi, her sentezleyiciye göre değişir, bu da elektrikli klavyenin enstrüman ayarını değiştirmeye benzer.

Ekibin iki ayrı sentezleyici kullandı.

“Fluidsynth, tanıdık mekanik-sounding piyano sesleri üretir” dedi Shlizerman. “Ayrıca daha zengin ve daha ifade edici müzik üreten yeni bir AI sentezleyici olan PerfNet’i kullandık. Ancak daha fazla gürültü de üretir.”

“Bu çalışmanın amacı, yapay zeka tarafından oluşturulan müziğin, bir video kaydında piyanist tarafından çalınan müziğe benzer olup olmadığını görmekti – aunque Paul Barton’u taklit etmeye çalışmadık, çünkü o çok yetenekli bir piyanist” diye devam etti Shlizerman. “Umarız ki çalışmamız, müziğe yeni şekillerde etkileşimde bulunma yollarını sağlar. Örneğin, gelecekte Audeo, bir kameranın yalnızca bir kişinin ellerini kaydettiği sanal bir piyanoya genişletilebilir. Ayrıca, gerçek bir piyanonun üzerine bir kamera yerleştirerek, Audeo öğrencilere nasıl çalacaklarını öğretmede yeni yollarla yardımcı olabilir.”

Elektrik ve bilgisayar mühendisliği alanında doktora öğrencileri Kung Su ve Ziulong Liu, makalenin ortak yazarlarıydı.