I ricercatori sviluppano ‘Audeo’ AI in grado di suonare il pianoforte

Un team di ricercatori dell’Università di Washington ha sviluppato un sistema di intelligenza artificiale (AI) chiamato Audeo che può creare audio da esecuzioni pianistiche silenziose. La fase di testing ha coinvolto app di riconoscimento musicale come SoundHound, che ha identificato correttamente la musica di Audeo circa l’86% delle volte.

La ricerca è stata presentata alla conferenza NeurlPS 2020 l’8 dicembre.

L’autore senior Eli Shlizerman è professore assistente nei dipartimenti di matematica applicata e ingegneria elettrica e informatica dell’università.

“Creare musica che suoni come se potesse essere eseguita in una performance musicale era precedentemente considerata impossibile”, ha detto Shlizerman. “Un algoritmo deve scoprire i segnali, o ‘caratteristiche’, nei frame video che sono relativi alla generazione di musica, e deve ‘immaginare’ il suono che sta accadendo tra i frame video. Richiede un sistema che sia sia preciso che immaginativo. Il fatto che abbiamo ottenuto musica che suonava abbastanza bene è stata una sorpresa.”

Come funziona Audeo

Il sistema Audeo funziona decodificando un video e traducendolo in musica. Il primo dei diversi passaggi consiste nel rilevamento delle chiavi premute in ogni frame video, e alla fine sviluppa un diagramma. Il diagramma viene quindi tradotto in modo che un sintetizzatore musicale possa riconoscere i suoni.

Il passaggio successivo consiste nel pulire i dati e aggiungere ulteriori informazioni. Queste informazioni possono includere cose come la pressione dietro ogni pressione della chiave e quanto è durata.

“Se tentassimo di sintetizzare la musica solo dal primo passaggio, troveremmo la qualità della musica insoddisfacente”, ha detto Shlizerman. “Il secondo passaggio è come quando un insegnante esamina la musica di un compositore studente e aiuta a migliorarla.”

Il sistema è stato addestrato e testato con video di YouTube del pianista Paul Barton, e consisteva di circa 172.000 frame video del musicista che eseguiva vari compositori classici come Mozart. Audeo è stato testato con 19.000 frame di Barton che eseguiva musica diversa.

Il sintetizzatore

Dopo essere stato addestrato, Audeo genera una trascrizione della musica, che viene quindi alimentata a un sintetizzatore per tradurla in suono. La musica suona diversa a seconda del sintetizzatore utilizzato, che è equivalente a cambiare l’impostazione dello strumento su una tastiera elettrica.

La squadra ha utilizzato due sintetizzatori separati.

“Fluidsynth produce suoni di pianoforte sintetico che ci sono familiari. Sono un po’ meccanici, ma abbastanza precisi”, ha detto Shlizerman. “Abbiamo anche utilizzato PerfNet, un nuovo sintetizzatore AI che genera musica più ricca e più espressiva. Ma genera anche più rumore.”

“L’obiettivo di questo studio era vedere se l’intelligenza artificiale potesse generare musica eseguita da un pianista in una registrazione video – anche se non miravamo a replicare Paul Barton, perché è un virtuoso”, ha continuato Shlizerman. “Speriamo che il nostro studio consenta nuovi modi di interagire con la musica. Ad esempio, una possibile applicazione futura è che Audeo possa essere esteso a un pianoforte virtuale con una telecamera che registra solo le mani di una persona. Inoltre, posizionando una telecamera sopra un pianoforte reale, Audeo potrebbe potenzialmente aiutare in nuovi modi di insegnare agli studenti a suonare.”

Kung Su e Ziulong Liu, studenti di dottorato in ingegneria elettrica e informatica, erano co-autori del documento.