Исследователи разработали «Audeo» — ИИ, способный играть на пианино

Команда исследователей из Университета Вашингтона разработала систему искусственного интеллекта под названием Audeo, которая может создавать аудио из молчаливых выступлений на пианино. Фаза тестирования включала музыкальные приложения для распознавания, такие как SoundHound, которые могли правильно определить музыку из Audeo примерно 86% времени.

Исследование было представлено на конференции NeurlPS 2020 8 декабря.

Старший автор Эли Шлицерман является помощником профессора в отделениях прикладной математики и электротехники и компьютерных наук в университете.

“Создать музыку, которая звучит так, как будто она могла быть сыграна на музыкальном выступлении, ранее считалась невозможной”, – сказал Шлицерман. “Алгоритм должен выяснить сигналы или “функции” в кадрах видео, связанные с генерацией музыки, и он должен “представить” звук, который происходит между кадрами видео. Для этого требуется система, которая одновременно точна и воображаема. Тот факт, что мы достигли музыки, которая звучала довольно хорошо, был сюрпризом.”

Как работает Audeo

Система Audeo работает, декодируя видео и переводя его в музыку. Первым из нескольких шагов является обнаружение ИИ нажатых клавиш в каждом кадре видео, и в конечном итоге он разрабатывает диаграмму. Диаграмма затем переводится так, чтобы музыкальный синтезатор мог распознавать звуки.

Следующий шаг заключается в том, чтобы очистить данные и добавить дополнительную информацию. Эта информация может включать такие вещи, как давление за каждым нажатием клавиши и то, как долго оно длилось.

“Если мы попытаемся синтезировать музыку только из первого шага, мы обнаружим, что качество музыки неудовлетворительно”, – сказал Шлицерман. “Второй шаг похож на то, как учитель проходит через музыку студента-композитора и помогает улучшить ее.”

Система была обучена и протестирована с видео на YouTube пианиста Пола Бартона, и она состояла из примерно 172 000 кадров видео музыканта, играющего различные классические композиции, такие как Моцарт. Audeo был протестирован с 19 000 кадров Бартона, играющего разную музыку.

Синтезатор

После обучения Audeo генерирует транскрипт музыки, который затем передается синтезатору для перевода его в звук. Музыка звучит по-разному в зависимости от каждого синтезатора, что эквивалентно изменению настроек инструмента на электронной клавиатуре.

Команда использовала два отдельных синтезатора.

“Fluidsynth создает синтезаторные пианино звуки, с которыми мы знакомы. Они несколько механические, но довольно точные”, – сказал Шлицерман. “Мы также использовали PerfNet, новый ИИ-синтезатор, который генерирует более богатую и выразительную музыку. Но он также генерирует больше шума.”

“Целью этого исследования было выяснить, может ли искусственный интеллект генерировать музыку, сыгранную пианистом в видеозаписи – хотя мы не стремились повторить Пола Бартона, потому что он такой виртуоз”, – продолжил Шлицерман. “Мы надеемся, что наше исследование позволит найти новые способы взаимодействия с музыкой. Например, одним из будущих применений является то, что Audeo может быть расширен до виртуального пианино с камерой, записывающей только руки человека. Кроме того, установив камеру над настоящим пианино, Audeo потенциально может помочь в новых способах обучения студентов игре на пианино.”

Кун Су и Цзюлун Лю, докторанты по электротехнике и компьютерным наукам, были соавторами статьи.