Forskare utvecklar ‘Audeo’ AI som kan spela piano

Ett team av forskare vid University of Washington har utvecklat ett artificiellt intelligenssystem (AI) som kallas Audeo, som kan skapa ljud från tysta pianoprestationer. Testfasen involverade musikigenkänningsappar som SoundHound, som kunde korrekt identifiera musiken från Audeo cirka 86% av tiden.

Forskningen presenterades på NeurlPS 2020-konferensen den 8 december.

Seniorförfattaren Eli Shlizerman är biträdande professor i tillämpad matematik och elektroteknik vid universitetet.

“Att skapa musik som låter som den kunde spelas i en musikalisk prestation troddes tidigare vara omöjligt”, sa Shlizerman. “En algoritm måste lista ut ledtrådarna eller ‘funktionerna’ i videoframarna som är relaterade till att generera musik, och den måste ‘föreställa sig’ ljudet som händer mellan videoframarna. Det kräver ett system som är både exakt och fantasifullt. Det faktum att vi uppnådde musik som lät ganska bra var en överraskning.”

Hur Audeo fungerar

Audeo-systemet fungerar genom att avkoda en video och översätta den till musik. Det första steget i flera steg är att AI: n upptäcker tangenter som trycks i varje videoframe, och det utvecklar så småningom en diagram. Diagrammet översätts sedan så att en musiksyntetisator kan känna igen ljud.

Nästa steg är att rensa datat och lägga till ytterligare information. Denna information kan inkludera saker som trycket bakom varje tangenttryck och hur länge det varade.

“Om vi försöker syntetisera musik från det första steget ensam, skulle vi finna att musikens kvalitet är otillfredsställande”, sa Shlizerman. “Det andra steget är som när en lärare går igenom en studentkompositörs musik och hjälper till att förbättra den.”

Systemet tränades och testades med YouTube-videor av pianisten Paul Barton, och det bestod av cirka 172 000 videoframar av musikern som spelade olika klassiska kompositörer som Mozart. Audeo testades med 19 000 ramar av Barton som spelade olika musik.

Syntetisatorn

Efter att ha tränats genererar Audeo en transkription av musiken, som sedan matas in i en syntetisator för att översätta den till ljud. Musiken låter annorlunda beroende på varje syntetisator, vilket är ekvivalent med att ändra instrumentinställningen på ett elektriskt tangentbord.

Två separata syntetisatorer användes av teamet.

“Fluidsynth skapar syntetisatorpianoljud som vi är bekanta med. Dessa är något mekaniskt ljudande men ganska exakta”, sa Shlizerman. “Vi använde också PerfNet, en ny AI-syntetisator som genererar rikare och mer uttrycksfull musik. Men den genererar också mer brus.”

“Målet med denna studie var att se om artificiell intelligens kunde generera musik som spelades av en pianist i en videoupptagning – även om vi inte syftade till att replikera Paul Barton eftersom han är så virtuos”, fortsatte Shlizerman. “Vi hoppas att vår studie möjliggör nya sätt att interagera med musik. Till exempel kan Audeo i framtiden utökas till en virtuell piano med en kamera som spelar in bara en persons händer. Dessutom kan Audeo, genom att placera en kamera ovanpå en riktig piano, potentiellt hjälpa till med nya sätt att undervisa studenter i att spela.”

Kung Su och Ziulong Liu, doktorander i elektroteknik och datateknik, var medförfattare till artikeln.