Forskere utvikler ‘Audeo’ AI i stand til å spille piano

Et team av forskere ved University of Washington har utviklet et kunstig intelligenssystem (AI) kalt Audeo som kan lage lyd fra stille pianoframføringer. Testingfasen involverte musikkgenkjenningapps som SoundHound, som kunne korrekt identifisere musikken fra Audeo rundt 86% av tiden.

Forskningen ble presentert på NeurlPS 2020-konferansen den 8. desember.

Seniorforfatter Eli Shlizerman er en assistentprofessor i anvendt matematikk og elektro- og datateknikkavdelingene ved universitetet.

“Å lage musikk som høres ut som om den kunne spilles i en musikalsk fremføring, var tidligere trodd å være umulig,” sa Shlizerman. “En algoritme må finne ut cues eller ‘funksjoner’ i video rammer som er relatert til å generere musikk, og den må ‘forestille’ seg lyden som skjer mellom video rammer. Det krever et system som er både presist og fantasifullt. Det faktum at vi oppnådde musikk som høres ganske bra, var en overraskelse.”

How Audeo Works

Audeo-systemet fungerer ved å dekodere en video og oversette den til musikk. Den første av flere trinn innebærer at AI-en detekterer tastene som trykkes i hver video ramme, og den utvikler til slutt en diagram. Diagrammet oversettes så at en musikk-synthesizer kan gjenkjenne lyder.

Neste trinn er å rense opp dataene og legge til ytterligere informasjon. Denne informasjonen kan inkludere ting som trykket bak hver tastetrykk og hvor lenge det varte.

“Hvis vi prøver å syntetisere musikk fra bare første trinn, ville vi finne at kvaliteten på musikken var utilfredsstillende,” sa Shlizerman. “Det andre trinnet er som når en lærer går gjennom en studentkomponists musikk og hjelper med å forbedre den.”

Systemet ble trent og testet med YouTube-videoer av pianisten Paul Barton, og det bestod av rundt 172 000 video rammer av musikeren som spilte forskjellige klassiske komponister som Mozart. Audeo ble testet med 19 000 rammer av Barton som spilte forskjellig musikk.

The Synthesizer

Etter å ha blitt trent, genererer Audeo en transkripsjon av musikken, som deretter mates til en synthesizer for å oversette den til lyd. Musikken høres forskjellig ut avhengig av hver synthesizer, som er ekvivalent med å endre instrumentinnstillingen på et elektrisk keyboard.

To separate synthesizere ble brukt av teamet.

“Fluidsynth lager synthesizer-piano-lyder som vi er kjent med. Disse er noe mekaniske og ganske nøyaktige,” sa Shlizerman. “Vi brukte også PerfNet, en ny AI-synthesizer som genererer rikere og mer uttrykksfulle musikk. Men den genererer også mer støy.”

“Målet med denne studien var å se om kunstig intelligens kunne generere musikk som ble spilt av en pianist i en videoopptak — selv om vi ikke hadde som mål å replikere Paul Barton, fordi han er så dyktig,” fortsatte Shlizerman. “Vi håper at vår studie muliggjør nye måter å samhandle med musikk på. For eksempel kan Audeo i fremtiden utvides til en virtuell piano med en kamera som optager bare en persons hender. Og ved å plassere en kamera på toppen av et ekte piano, kunne Audeo potensielt assistere på nye måter å undervise studenter i å spille.”

Kung Su og Ziulong Liu, doktorgradsstudenter i elektro- og datateknikk, var medforfattere av papiret.