Naukowcy opracowali ‘Audeo’ AI zdolną do gry na pianinie

Zespół naukowców z University of Washington opracował system sztucznej inteligencji (AI) o nazwie Audeo, który może tworzyć dźwięk z cichych występów pianistycznych. Faza testowa obejmowała aplikacje rozpoznawania muzyki, takie jak SoundHound, które mogły poprawnie identyfikować muzykę z Audeo około 86% czasu.

Badania zostały przedstawione na konferencji NeurlPS 2020 w dniu 8 grudnia.

Głównym autorem jest Eli Shlizerman, asystent profesora w departamentach matematyki stosowanej i inżynierii elektrycznej i komputerowej na uczelni.

“Stworzenie muzyki, która brzmi jakby mogła być grana w występie muzycznym, było wcześniej uważane za niemożliwe”, powiedział Shlizerman. “Algorytm musi znaleźć wskazówki, czy ‘cechy’, w klatkach wideo, które są związane z generowaniem muzyki, i musi ‘wyobrazić’ sobie dźwięk, który występuje między klatkami wideo. Wymaga to systemu, który jest zarówno precyzyjny, jak i wyobraźniowy. Fakt, że osiągnęliśmy muzykę, która brzmiała dość dobrze, był zaskoczeniem.”

Jak działa Audeo

System Audeo działa poprzez odkodowanie wideo i przekształcenie go w muzykę. Pierwszym z kilku kroków jest wykrycie przez AI klawiszy naciśniętych w każdej klatce wideo, a ostatecznie tworzy diagram. Diagram jest następnie przekształcany, aby syntezator mógł rozpoznać dźwięki.

Następnym krokiem jest oczyszczenie danych i dodanie dodatkowych informacji. Informacje te mogą obejmować rzeczy takie jak ciśnienie za każdym naciśnięciem klawisza i jak długo trwało.

“Jeśli będziemy próbowali syntetyzować muzykę tylko z pierwszego kroku, okaże się, że jakość muzyki jest niezadowalająca”, powiedział Shlizerman. “Drugi krok jest jak nauczyciel, który przechodzi przez muzykę skomponowaną przez ucznia i pomaga ją udoskonalić.”

System został przeszkolony i przetestowany z filmami wideo z pianistą Paul Barton, i składał się z około 172 000 klatek wideo, na których muzyk gra różnych kompozytorów klasycznych, takich jak Mozart. Audeo został przetestowany z 19 000 klatek, na których Barton gra różną muzykę.

Syntezator

Po przeszkoleniu Audeo generuje transkrypcję muzyki, która jest następnie podawana do syntezatora, aby przekształcić ją w dźwięk. Muzyka brzmi inaczej w zależności od syntezatora, co jest równoznaczne z zmianą ustawienia instrumentu na klawiaturze elektronicznej.

Zespół użył dwóch oddzielnych syntezatorów.

“Fluidsynth tworzy dźwięki syntezatora pianina, które są nam znane. Są one trochę mechanicznie brzmiące, ale dość dokładne”, powiedział Shlizerman. “Użyliśmy również PerfNet, nowego syntezatora AI, który generuje bogatszą i bardziej wyrazistą muzykę. Ale generuje również więcej szumu.”

“Celem tego badania było sprawdzenie, czy sztuczna inteligencja może generować muzykę granej przez pianistę w nagraniu wideo – choć nie mieliśmy na celu odtworzyć Paula Bartona, ponieważ jest on takim wirtuozem”, kontynuował Shlizerman. “Mamy nadzieję, że nasze badanie umożliwi nowe sposoby interakcji z muzyką. Na przykład, jednym z przyszłych zastosowań jest to, że Audeo może być rozszerzony o wirtualne pianino z kamerą nagrywającą tylko ręce osoby. Ponadto, umieszczając kamerę na górze prawdziwego pianina, Audeo może potencjalnie pomóc w nowych sposobach nauczania uczniów, jak grać.”

Kung Su i Ziulong Liu, doktoranci w dziedzinie inżynierii elektrycznej i komputerowej, byli współautorami artykułu.