Onderzoekers ontwikkelen ‘Audeo’ AI die piano kan spelen

Een team van onderzoekers aan de Universiteit van Washington heeft een kunstmatig intelligentiesysteem genaamd Audeo ontwikkeld dat audio kan creëren uit stille pianoprestaties. De testfase omvatte muziekherkenning-apps zoals SoundHound, die de muziek van Audeo ongeveer 86% van de tijd correct kon identificeren.

Het onderzoek werd op 8 december gepresenteerd op de NeurlPS 2020-conferentie.

Senior auteur Eli Shlizerman is assistant-professor in de afdeling toegepaste wiskunde en elektrotechniek en informatica aan de universiteit.

“Het creëren van muziek die klinkt alsof het gespeeld kan worden in een muzikale uitvoering werd eerder onmogelijk geacht,” zei Shlizerman. “Een algoritme moet de cues, of ‘kenmerken’, in de videoframes vinden die gerelateerd zijn aan het genereren van muziek, en het moet de geluiden ‘verbeelden’ die tussen de videoframes gebeuren. Het vereist een systeem dat zowel nauwkeurig als verbeeldingskrachtig is. Het feit dat we muziek hebben bereikt die redelijk goed klonk, was een verrassing.”

Hoe Audeo werkt

Het Audeo-systeem werkt door een video te decoderen en om te zetten in muziek. De eerste van een aantal stappen omvat het detecteren van de toetsen die in elke videoframe worden ingedrukt, en het ontwikkelt uiteindelijk een diagram. Het diagram wordt vervolgens omgezet zodat een muzieksynthesizer de geluiden kan herkennen.

De volgende stap is om de gegevens op te schonen en aanvullende informatie toe te voegen. Deze informatie kan dingen omvatten zoals de druk achter elke toetsdruk en hoe lang het duurde.

“Als we proberen om muziek te synthetiseren uit de eerste stap alleen, zouden we ontdekken dat de kwaliteit van de muziek onbevredigend is,” zei Shlizerman. “De tweede stap is zoals een leraar die een student-componist zijn muziek doorneemt en helpt verbeteren.”

Het systeem werd getraind en getest met YouTube-video’s van pianist Paul Barton, en het bestond uit ongeveer 172.000 videoframes van de musicus die verschillende klassieke componisten zoals Mozart speelde. Audeo werd getest met 19.000 frames van Barton die verschillende muziek speelde.

De Synthesizer

Nadat het was getraind, genereert Audeo een transcript van de muziek, die vervolgens aan een synthesizer wordt gevoerd om deze om te zetten in geluid. De muziek klinkt verschillend afhankelijk van elke synthesizer, wat equivalent is aan het wijzigen van de instrumentinstelling op een elektrische toetsenbord.

Het team gebruikte twee separate synthesizers.

“Fluidsynth maakt synthesizerpianogeluiden die we kennen. Deze klinken enigszins mechanisch, maar zijn vrij nauwkeurig,” zei Shlizerman. “We gebruikten ook PerfNet, een nieuwe AI-synthesizer die rijkere en expressievere muziek genereert. Maar het genereert ook meer ruis.”

“Het doel van deze studie was om te zien of kunstmatige intelligentie muziek kon genereren die door een pianist in een videorecording werd gespeeld – hoewel we niet probeerden om Paul Barton na te bootsen, omdat hij zo’n virtuoos is,” vervolgde Shlizerman. “We hopen dat onze studie nieuwe manieren mogelijk maakt om met muziek om te gaan. Bijvoorbeeld, een toekomstige toepassing is dat Audeo kan worden uitgebreid tot een virtuele piano met een camera die alleen iemands handen opneemt. Ook kan Audeo, door een camera op een echte piano te plaatsen, mogelijk op nieuwe manieren helpen bij het lesgeven aan studenten hoe ze moeten spelen.”

Kung Su en Ziulong Liu, doctoraalstudenten in elektrotechniek en informatica, waren medeauteurs van het artikel.