Forscher entwickeln ‘Audeo’-KI, die Klavier spielen kann

Ein Team von Forschern an der University of Washington entwickelte ein künstliches Intelligenzsystem namens Audeo, das Audio von stummen Klavierauftritten erstellen kann. Die Testphase umfasste Musikerkennungs-Apps wie SoundHound, die die Musik von Audeo etwa 86% der Zeit richtig identifizieren konnten.

Die Forschung wurde auf der NeurlPS 2020-Konferenz am 8. Dezember vorgestellt.

Der Hauptautor Eli Shlizerman ist Assistant Professor in den Abteilungen für angewandte Mathematik und Elektrotechnik und Informatik an der Universität.

“Es galt als unmöglich, Musik zu erstellen, die wie eine musikalische Aufführung klingt”, sagte Shlizerman. “Ein Algorithmus muss die Hinweise oder ‘Merkmale’ in den Video-Frames finden, die mit der Erstellung von Musik zusammenhängen, und er muss sich die Geräusche vorstellen, die zwischen den Video-Frames passieren. Es benötigt ein System, das sowohl präzise als auch vorstellungsreich ist. Die Tatsache, dass wir Musik erstellten, die ziemlich gut klang, war eine Überraschung.”

Wie Audeo funktioniert

Das Audeo-System funktioniert, indem es ein Video decodiert und es in Musik übersetzt. Der erste von mehreren Schritten umfasst, dass die KI die gedrückten Tasten in jedem Video-Frame erkennt und schließlich ein Diagramm erstellt. Das Diagramm wird dann übersetzt, damit ein Musiksynthesizer die Klänge erkennen kann.

Der nächste Schritt besteht darin, die Daten zu bereinigen und zusätzliche Informationen hinzuzufügen. Diese Informationen können Dinge wie den Druck hinter jedem Tastendruck und wie lange er gedauert hat umfassen.

“Wenn wir versuchen, Musik aus dem ersten Schritt allein zu synthetisieren, würden wir feststellen, dass die Qualität der Musik unzureichend ist”, sagte Shlizerman. “Der zweite Schritt ist wie ein Lehrer, der den Musikkompositionen eines Schülers hilft, sie zu verbessern.”

Das System wurde mit YouTube-Videos des Pianisten Paul Barton trainiert und getestet und bestand aus etwa 172.000 Video-Frames des Musikers, der verschiedene klassische Komponisten wie Mozart spielte. Audeo wurde mit 19.000 Frames von Barton getestet, der verschiedene Musik spielte.

Der Synthesizer

Nachdem Audeo trainiert wurde, generiert es eine Transkription der Musik, die dann an einen Synthesizer gesendet wird, um sie in Klänge zu übersetzen. Die Musik klingt je nach Synthesizer unterschiedlich, was dem Ändern der Instrumenteneinstellung auf einer elektrischen Tastatur entspricht.

Das Team verwendete zwei separate Synthesizer.

“Fluidsynth erzeugt Synthesizer-Klavierklänge, die wir kennen. Sie klingen etwas mechanisch, aber ziemlich genau”, sagte Shlizerman. “Wir verwendeten auch PerfNet, einen neuen KI-Synthesizer, der reichere und ausdrucksvollere Musik erzeugt. Aber er erzeugt auch mehr Rauschen.”

“Das Ziel dieser Studie war es, zu sehen, ob künstliche Intelligenz Musik erstellen kann, die von einem Pianisten in einer Videoaufnahme gespielt wird – obwohl wir nicht darauf abzielten, Paul Barton nachzuahmen, da er so ein Virtuose ist”, fuhr Shlizerman fort. “Wir hoffen, dass unsere Studie neue Wege ermöglicht, mit Musik zu interagieren. Zum Beispiel könnte Audeo in Zukunft auf ein virtuelles Klavier erweitert werden, das mit einer Kamera aufgezeichnet wird, die nur die Hände einer Person zeigt. Außerdem könnte Audeo durch das Platzieren einer Kamera auf einem echten Klavier möglicherweise auf neue Weise beim Unterrichten von Schülern helfen, Klavier zu spielen.”

Kung Su und Ziulong Liu, Doktoranden in Elektrotechnik und Informatik, waren Co-Autoren des Papiers.