Tutkijat kehittivät ‘Audeo’ -tekoälyjärjestelmän, joka pystyy soittamaan pianoa

Washingtonin yliopiston tutkijaryhmä on kehittänyt tekoälyjärjestelmän nimeltä Audeo, joka pystyy luomaan ääntä hiljaisista pianoesityksistä. Testivaiheessa käytettiin musiikkitunnistussovelluksia kuten SoundHound, joka pystyi tunnistamaan Audeon musiikin oikein noin 86 prosenttisesti.

Tutkimus esiteltiin NeurlPS 2020 -konferenssissa 8. joulukuuta.

Vanhempi tekijä Eli Shlizerman on apulaisprofessori sovelletun matematiikan ja sähkö- ja tietotekniikan osastoissa yliopistossa.

“Luoja musiikkia, joka kuulostaa kuin se voisi olla esitetty musiikin esityksessä, oli aiemmin uskottu olevan mahdotonta,” Shlizerman sanoi. “Algoritmi on löydettävä vihjeet tai ‘ominaisuudet’ videokuvissa, jotka liittyvät musiikin tuottamiseen, ja se on ‘kuunnelttava’ ääni, joka tapahtuu videokuvien välissä. Se vaatii järjestelmän, joka on sekä tarkka että mielikuvituksellinen. Se, että saavutimme musiikin, joka kuulosti melko hyvältä, oli yllätys.”

Audeon toimintaperiaate

Audeo-järjestelmä toimii dekoodaamalla videon ja kääntämällä sen musiikiksi. Ensimmäinen useista vaiheista on, että tekoäly havaitsee näppäimistön painallukset kussakin videokuvasessa, ja se lopulta kehittää kaavion. Kaavio käännetään siten, että musiikin syntetisaattori pystyy tunnistamaan äänet.

Seuraava vaihe on, että data puhdistetaan ja siihen lisätään lisätietoja. Tietoja voi olla esimerkiksi painalluksen takana oleva paine ja se, kuinka kauan se kestää.

“Jos yritämme syntetisoida musiikkia vain ensimmäisestä vaiheesta, havaitsemme, että musiikin laatu on tyydyttämätön,” Shlizerman sanoi. “Toinen vaihe on kuin opettaja käy läpi oppilaan säveltäjän musiikkia ja auttaa parantamaan sitä.”

Järjestelmä koulutettiin ja testattiin YouTube-videoiden avulla, joissa pianisti Paul Barton esittää eri klassisia säveltäjiä, kuten Mozartia. Audeo testattiin 19 000 kehyksellä, jossa Barton esittää eri musiikkia.

Syntetisaattori

Koulutuksen jälkeen Audeo luo musiikin transkription, joka syötetään syntetisaattoriin, joka kääntää sen ääniksi. Musiikki kuulostaa erilaiselta riippuen syntetisaattorista, joka on vastaavaa kuin vaihtaa instrumentin asetusta sähköurkuissa.

Tutkijaryhmä käytti kahta erillistä syntetisaattoria.

“Fluidsynth luo syntetisaattorin pianoääniä, joita olemme tottuneet. Ne ovat jonkin verran mekaniikkaa muistuttavia, mutta melko tarkkoja,” Shlizerman sanoi. “Käytimme myös PerfNetiä, uutta tekoälysyntetisaattoria, joka luo rikkaampaa ja ilmaisuvoimaisempaa musiikkia. Mutta se luo myös enemmän hälyä.”

“Tutkimuksen tavoitteena oli selvittää, voiko tekoäly tuottaa musiikkia, jota pianisti esittää videonauhalla – vaikka emme pyrkineet jäljittelemään Paul Bartonia, koska hän on niin virtuootti,” Shlizerman jatkoi. “Toivomme, että tutkimuksemme mahdollistaa uudet tavat vuorovaikuttaa musiikin kanssa. Esimerkiksi yksi tulevaisuuden sovellus on, että Audeo voidaan laajentaa virtuaalipianoksi, jossa kamera tallentaa vain henkilön kädet. Myös asettamalla kamera oikean pianon päälle Audeo voisi mahdollisesti auttaa uusissa tavoissa opettaa opiskelijoita soittamaan.”

Kung Su ja Ziulong Liu, sähkö- ja tietotekniikan tohtorikoulutettavat, olivat tutkimuksen tekijöitä.