Исследователи разработали ИИ «Audeo», способный играть на фортепиано

Группа исследователей из Вашингтонского университета разработала систему искусственного интеллекта (ИИ) под названием Audeo, которая может создавать звук из тихих игр на фортепиано. На этапе тестирования участвовали приложения для распознавания музыки, такие как SoundHound, которые могли правильно идентифицировать музыку с Audeo примерно в 86% случаев. 

Исследование было представлено на конференции NeurlPS 2020 8 декабря.

Старший автор Эли Шлизерман является доцентом кафедры прикладной математики, электротехники и вычислительной техники в университете.

«Раньше считалось невозможным создать музыку, которая звучит так, как будто ее можно было бы сыграть в музыкальном представлении, — сказал Шлизерман. «Алгоритм должен определить признаки или «функции» в видеокадрах, которые связаны с созданием музыки, и он должен «вообразить» звук, который происходит между видеокадрами. Это требует системы, которая является одновременно точной и творческой. Тот факт, что мы создали музыку, которая звучала довольно хорошо, был сюрпризом».

Как работает аудио

Система Audeo работает путем декодирования видео и преобразования его в музыку. На первом из нескольких шагов ИИ определяет нажатые клавиши в каждом видеокадре и в конечном итоге разрабатывает диаграмму. Затем диаграмма переводится, чтобы музыкальный синтезатор мог распознавать звуки.

Следующим шагом является очистка данных и добавление дополнительной информации. Эта информация может включать в себя такие вещи, как давление при каждом нажатии клавиши и его продолжительность.

«Если мы попытаемся синтезировать музыку только с первого шага, мы обнаружим, что качество музыки будет неудовлетворительным», — сказал Шлизерман. «Второй шаг похож на то, как учитель просматривает музыку студента-композитора и помогает улучшить ее».

Система была обучена и протестирована с помощью видеороликов пианиста Пола Бартона на YouTube и состояла из примерно 172,000 19,000 видеокадров музыканта, играющего различных классических композиторов, таких как Моцарт. Audeo был протестирован с использованием XNUMX XNUMX кадров Бартона, играющего разную музыку. 

Синтезатор

После обучения Audeo генерирует расшифровку музыки, которая затем подается на синтезатор для преобразования в звук. Музыка звучит по-разному в зависимости от каждого синтезатора, что эквивалентно изменению настройки инструмента на электрической клавиатуре.

Команда использовала два отдельных синтезатора.

«Fluidsynth создает знакомые нам звуки синтезаторного фортепиано. Они несколько механически звучат, но довольно точны», — сказал Шлизерман. «Мы также использовали PerfNet, новый синтезатор искусственного интеллекта, который генерирует более насыщенную и выразительную музыку. Но это также создает больше шума».

«Цель этого исследования состояла в том, чтобы увидеть, может ли искусственный интеллект генерировать музыку, которую играет пианист в видеозаписи, хотя мы не стремились воспроизвести Пола Бартона, потому что он такой виртуоз», — продолжил Шлизерман. «Мы надеемся, что наше исследование позволит найти новые способы взаимодействия с музыкой. Например, одно из будущих приложений заключается в том, что Audeo можно расширить до виртуального пианино с камерой, записывающей только руки человека. Кроме того, разместив камеру на настоящем пианино, Audeo потенциально может помочь в новых способах обучения студентов игре».

Кунг Су и Цзюлонг Лю, докторанты в области электротехники и вычислительной техники, были соавторами статьи.