Forskere udvikler ‘Audeo’ AI, der kan spille piano

Et hold af forskere fra University of Washington har udviklet et kunstig intelligenssystem (AI) kaldet Audeo, der kan skabe lyd fra stille pianoforestillinger. Testfasen omfattede musikgenkendelsesapps som SoundHound, der kunne korrekt identificere musikken fra Audeo omkring 86% af tiden.

Forskningen blev præsenteret på NeurlPS 2020-konferencen den 8. december.

Seniorforfatter Eli Shlizerman er adjunkt i de anvendte matematiske og elektro- og datatekniske afdelinger på universitetet.

“At skabe musik, der lyder, som den kunne spilles i en musikalsk forestilling, blev tidligere betragtet som umulig,” sagde Shlizerman. “En algoritme skal finde ud af signalerne eller ‘funktionerne’ i videooptagelserne, der er relateret til at generere musik, og den skal ‘forestille sig’ lyden, der sker mellem videooptagelserne. Det kræver et system, der er både præcist og kreativt. Det, at vi opnåede musik, der lød ret godt, var en overraskelse.”

How Audeo Works

Audeo-systemet virker ved at afkode en video og oversætte den til musik. Det første af flere trin indebærer, at AI-systemet registrerer de trykkede tangenter i hver videooptagelse, og det udvikler herefter et diagram. Diagrammet oversættes herefter, så en musiksynthesizer kan genkende lyden.

Det næste trin er, at dataene renses op, og yderligere information tilføjes. Denne information kan omfatte ting som trykket bag hver tangent og hvor lang tid det varede.

“Hvis vi forsøger at syntetisere musik fra det første trin alene, ville vi finde, at musikkens kvalitet var utilfredsstillende,” sagde Shlizerman. “Det andet trin er ligesom, når en lærer gennemgår en elevkomponists musik og hjælper med at forbedre den.”

Systemet blev trænet og testet med YouTube-videoer af pianisten Paul Barton, og det bestod af omkring 172.000 videooptagelser af musikeren, der spillede forskellige klassiske komponister som Mozart. Audeo blev testet med 19.000 optagelser af Barton, der spillede forskellig musik.

The Synthesizer

Efter at være blevet trænet, genererer Audeo en transskription af musikken, der herefter føres til en synthesizer for at oversætte den til lyd. Musikken lyder forskelligt afhængigt af synthesizeren, der svarer til at ændre instrumentindstillingen på et elektrisk keyboard.

To separate synthesizere blev brugt af holdet.

“Fluidsynth genererer synthesizer-lyde, der er familiære for os. Disse er noget mekaniske, men ret præcise,” sagde Shlizerman. “Vi brugte også PerfNet, en ny AI-synthesizer, der genererer rigere og mere udtryksfuld musik. Men den genererer også mere støj.”

“Formålet med denne studie var at se, om kunstig intelligens kunne generere musik, der blev spillet af en pianist i en videooptagelse – selv om vi ikke havde til hensigt at genskabe Paul Barton, da han er sådan en virtuos,” fortsatte Shlizerman. “Vi håber, at vores studie muliggør nye måder at interagere med musik på. For eksempel kan Audeo udvides til et virtuelt piano med en kamera, der optager kun en persons hænder. Og ved at placere en kamera oven på et rigtigt piano, kan Audeo muligvis hjælpe med nye måder at undervise studerende i at spille på.”

Kung Su og Ziulong Liu, doktorstuderende i elektro- og datateknik, var medforfattere til artiklen.