Onderzoekers ontwikkelen ‘Audeo’ AI die piano kan spelen

Een team van onderzoekers aan de University of Washington heeft een kunstmatig intelligentiesysteem genaamd Audeo ontwikkeld dat audio kan creëren van stille pianoprestaties. De testfase omvatte muziekherkenning-apps zoals SoundHound, die de muziek van Audeo ongeveer 86% van de tijd correct kon identificeren.

Het onderzoek werd op 8 december gepresenteerd op de NeurlPS 2020-conferentie.

Senior auteur Eli Shlizerman is een assistent-professor in de afdelingen toegepaste wiskunde en elektrotechniek en computerengineering aan de universiteit.

“Het creëren van muziek die klinkt alsof het in een muzikale uitvoering kan worden gespeeld, werd eerder als onmogelijk beschouwd”, zei Shlizerman. “Een algoritme moet de cues of ‘functies’ in de videoframes vinden die gerelateerd zijn aan het genereren van muziek, en het moet de geluiden ‘verbeelden’ die tussen de videoframes gebeuren. Het vereist een systeem dat zowel precies als verbeeldingsrijk is. Het feit dat we muziek hebben bereikt die redelijk goed klonk, was een verrassing.”

Hoe Audeo werkt

Het Audeo-systeem werkt door een video te decoderen en om te zetten in muziek. De eerste van een aantal stappen omvat het detecteren van de toetsen die in elke videoframe worden ingedrukt, en het ontwikkelt uiteindelijk een diagram. Het diagram wordt vervolgens omgezet zodat een muzieksynthesizer geluiden kan herkennen.

De volgende stap is om de gegevens op te schonen en extra informatie toe te voegen. Deze informatie kan dingen omvatten zoals de druk achter elke toetsaanslag en hoe lang deze duurde.

“Als we proberen om muziek te synthetiseren uit de eerste stap alleen, zouden we merken dat de kwaliteit van de muziek onbevredigend is”, zei Shlizerman. “De tweede stap is zoals een leraar die een student-componist zijn muziek doorneemt en helpt om deze te verbeteren.”

Het systeem werd getraind en getest met YouTube-video’s van pianist Paul Barton, en het bestond uit ongeveer 172.000 videoframes van de musicus die verschillende klassieke componisten zoals Mozart speelde. Audeo werd getest met 19.000 frames van Barton die verschillende muziek speelde.

De synthesizer

Nadat Audeo was getraind, genereert het een transcript van de muziek, die vervolgens naar een synthesizer wordt gestuurd om deze om te zetten in geluid. De muziek klinkt anders afhankelijk van elke synthesizer, wat equivalent is aan het wijzigen van de instrumentinstelling op een elektrische keyboard.

Het team gebruikte twee separate synthesizers.

“Fluidsynth maakt synthesizerpianogeluiden die we kennen. Deze klinken enigszins mechanisch, maar zijn redelijk nauwkeurig”, zei Shlizerman. “We gebruikten ook PerfNet, een nieuwe AI-synthesizer die rijkere en expressievere muziek genereert. Maar het genereert ook meer ruis.”

“Het doel van deze studie was om te zien of kunstmatige intelligentie muziek kon genereren die door een pianist in een videorecording werd gespeeld – hoewel we niet probeerden om Paul Barton na te bootsen, omdat hij zo’n virtuoos is”, vervolgde Shlizerman. “We hopen dat onze studie nieuwe manieren mogelijk maakt om met muziek te interacteren. Bijvoorbeeld, een toekomstige toepassing is dat Audeo kan worden uitgebreid tot een virtuele piano met een camera die alleen iemands handen opneemt. Ook door een camera op een echte piano te plaatsen, kan Audeo mogelijk op nieuwe manieren helpen bij het lesgeven aan studenten hoe ze piano kunnen spelen.”

Kung Su en Ziulong Liu, doctoraalstudenten in elektrotechniek en computerengineering, waren co-auteurs van het artikel.