Tutkijat kehittivät ‘Audeo’ -tekoälyjärjestelmän, joka pystyy soittamaan pianoa

Washingtonin yliopiston tutkijaryhmä kehitti tekoälyjärjestelmän nimeltä Audeo, joka pystyy luomaan ääntä hiljaisista pianoesityksistä. Testivaiheessa käytettiin musiikkitunnistussovelluksia kuten SoundHound, joka pystyi oikein tunnistamaan Audeon musiikin noin 86 prosentissa tapauksista.

Tutkimus esiteltiin NeurlPS 2020 -konferenssissa 8. joulukuuta.

Vanhempi tekijä Eli Shlizerman on sovelletun matematiikan ja sähkö- ja tietotekniikan apulaisprofessori yliopistossa.

“Luoda musiikkia, joka kuulostaa siltä, että se voisi olla esitetty musiikin esityksessä, oli aiemmin katsottu mahdottomaksi”, Shlizerman sanoi. “Algoritmin on löydettävä vihjeet tai ‘piirteet’ videokuvissa, jotka liittyvät musiikin luomiseen, ja se on ‘keksittävä’ ääni, joka tapahtuu videokuvien välillä. Siihen vaaditaan järjestelmä, joka on sekä tarkka että mielikuvituksellinen. Se, että saavutimme musiikin, joka kuulosti melko hyvältä, oli yllätys.”

Audeon toimintaperiaate

Audeo-järjestelmä toimii dekoodaamalla videon ja kääntämällä sen musiikiksi. Ensimmäinen useista vaiheista on, että tekoäly havaitsee näppäimet, jotka on painettu kussakin videokuvasaumassa, ja lopulta kehittää diagrammin. Diagrammi käännetään siten, että musiikkisynthesoinnin voi tunnistaa äänet.

Seuraava vaihe on, että data puhdistetaan ja siihen lisätään lisätietoja. Tähän tietoon voi kuulua asioita, kuten painetta, jota käytetään kunkin näppäimen painamiseen, ja kuinka kauan se kestää.

“Jos yritämme syntetisoida musiikkia vain ensimmäisestä vaiheesta, musiikin laatu olisi tyydyttämätön”, Shlizerman sanoi. “Toinen vaihe on kuin opettaja käy läpi opiskelijan säveltäjän musiikkia ja auttaa sitä parantamaan.”

Järjestelmä koulutettiin ja testattiin YouTube-videoiden avulla, joissa pianisti Paul Barton esittää eri klassisia säveltäjiä, kuten Mozartia. Audeo testattiin 19 000 kehyksellä, joissa Barton esittää eri musiikkia.

Synthesoinnin

Koulutuksen jälkeen Audeo luo musiikin transkription, joka syötetään synthesoinniksi, joka kääntää sen ääneksi. Musiikki kuulostaa erilaiselta riippuen synthesoinnista, joka on vastaavaa kuin muuttaa instrumentin asetusta sähköurkuissa.

Tutkijaryhmä käytti kahta eri synthesointia.

“Fluidsynth luo synthesointipianon ääniä, joita olemme tottuneet. Ne ovat jonkin verran mekaanisia, mutta melko tarkkoja”, Shlizerman sanoi. “Käytimme myös PerfNetiä, uutta tekoälysynthesointia, joka luo rikkaampaa ja ilmaisuvoimaisempaa musiikkia. Se luo myös enemmän melua.”

“Tutkimuksen tavoitteena oli selvittää, voiko tekoäly luoda musiikkia, jota pianisti esittää videonauhalla – vaikka emme pyrkineet jäljittelemään Paul Bartonia, koska hän on niin erinomainen”, Shlizerman jatkoi. “Toivomme, että tutkimuksemme mahdollistaa uudet tavat musiikin kanssa vuorovaikuttaa. Esimerkiksi yksi tulevaisuuden sovellus on, että Audeo voidaan laajentaa virtuaalipianoon, jossa kamera tallentaa vain henkilön kädet. Lisäksi asettamalla kameran oikean pianon päälle Audeo voi mahdollisesti auttaa uusilla tavoilla opettaa opiskelijoita soittamaan.”

Kung Su ja Ziulong Liu, sähkö- ja tietotekniikan tohtorikoulutettavat, olivat tutkimuksen kirjoittajia.