Naukowcy opracowali ‘Audeo’ – sztuczną inteligencję potrafiącą grać na pianinie

Zespół naukowców z Uniwersytetu Waszyngtonu opracował system sztucznej inteligencji o nazwie Audeo, który potrafi tworzyć dźwięk z niemych występów pianistycznych. Faza testowa obejmowała aplikacje rozpoznawania muzyki, takie jak SoundHound, które mogły poprawnie rozpoznać muzykę z Audeo około 86% czasu.

Badania zostały przedstawione na konferencji NeurlPS 2020 w dniu 8 grudnia.

Głównym autorem jest Eli Shlizerman, asystent profesora na wydziale matematyki stosowanej i inżynierii elektrycznej i komputerowej na uniwersytecie.

“Stworzenie muzyki, która brzmi jakby mogła być grana w występie muzycznym, było wcześniej uważane za niemożliwe”, powiedział Shlizerman. “Algorytm musi rozpoznać sygnały, czy ‘cechy’, w klatkach wideo, które są związane z generowaniem muzyki, i musi ‘wyobrazić’ sobie dźwięk, który występuje między klatkami wideo. Wymaga to systemu, który jest zarówno precyzyjny, jak i wyobraźniowy. Fakt, że osiągnęliśmy muzykę, która brzmiała dość dobrze, był zaskoczeniem.”

Jak działa Audeo

System Audeo działa poprzez dekodowanie wideo i tłumaczenie go na muzykę. Pierwszym z kilku kroków jest wykrycie przez sztuczną inteligencję klawiszy naciśniętych w każdej klatce wideo, a następnie tworzy diagram. Diagram jest następnie tłumaczony w taki sposób, aby syntezator mógł rozpoznać dźwięki.

Następnym krokiem jest oczyszczenie danych i dodanie dodatkowych informacji. Informacje te mogą obejmować takie rzeczy, jak ciśnienie za każdym naciśnięciem klawisza i czas trwania.

“Jeśli będziemy próbowali syntetyzować muzykę tylko z pierwszego kroku, okaże się, że jakość muzyki będzie niezadowalająca”, powiedział Shlizerman. “Drugi krok jest jak gdy nauczyciel przechodzi przez muzykę skomponowaną przez ucznia i pomaga ją udoskonalić.”

System został przeszkolony i przetestowany z filmami wideo pianisty Paula Bartona i składał się z około 172 000 klatek wideo muzyka grającego różnych kompozytorów klasycznych, takich jak Mozart. Audeo został przetestowany z 19 000 klatek Bartona grającego różną muzykę.

Syntezator

Po przeszkoleniu Audeo generuje transkrypcję muzyki, która jest następnie podawana do syntezatora w celu przetłumaczenia jej na dźwięk. Muzyka brzmi inaczej w zależności od syntezatora, co jest równoznaczne ze zmianą ustawienia instrumentu na klawiaturze elektronicznej.

Zespół użył dwóch oddzielnych syntezatorów.

“Fluidsynth tworzy dźwięki pianina syntezatora, które są nam znane. Są one trochę mechanicznie brzmiące, ale dość dokładne”, powiedział Shlizerman. “Użyliśmy również PerfNet, nowego syntezatora AI, który generuje bogatszą i bardziej wyrazistą muzykę. Ale generuje również więcej szumu.”

“Celem tego badania było sprawdzenie, czy sztuczna inteligencja może generować muzykę grana przez pianistę w nagraniu wideo – chociaż nie mieliśmy na celu odtworzyć Paula Bartona, ponieważ jest on tak wybitnym wirtuozem”, kontynuował Shlizerman. “Mamy nadzieję, że nasze badanie umożliwi nowe sposoby interakcji z muzyką. Na przykład, jednym z przyszłych zastosowań jest to, że Audeo może być rozszerzony do wirtualnego pianina z kamerą nagrywającą tylko ręce osoby. Również, umieszczając kamerę na górze prawdziwego pianina, Audeo może potencjalnie pomóc w nowych sposobach nauczania uczniów, jak grać.”

Kung Su i Ziulong Liu, doktoranci na wydziale inżynierii elektrycznej i komputerowej, byli współautorami artykułu.