Исследователи разработали ‘Audeo’ – ИИ, способный играть на пианино

Команда исследователей из Университета Вашингтона разработала систему искусственного интеллекта под названием Audeo, которая может создавать аудио из молчаливых выступлений на пианино. Фаза тестирования включала приложения для распознавания музыки, такие как SoundHound, которые могли правильно определить музыку Audeo около 86% времени.

Исследование было представлено на конференции NeurlPS 2020 8 декабря.

Старший автор Эли Шлицерман является помощником профессора в отделениях прикладной математики и электротехники и компьютерных наук в университете.

“Создание музыки, которая звучит так, как будто она могла быть сыграна на музыкальном выступлении, ранее считалось невозможным”, – сказал Шлицерман. “Алгоритм должен выяснить подсказки или ‘функции’ в кадрах видео, связанные с генерацией музыки, и он должен ‘представить’ звук, который происходит между кадрами видео. Для этого требуется система, которая одновременно точна и воображаема. То, что мы достигли музыки, которая звучала довольно хорошо, было сюрпризом.”

Как работает Audeo

Система Audeo работает путем декодирования видео и перевода его в музыку. Первый из нескольких шагов включает обнаружение ИИ нажатых клавиш в каждом кадре видео, и в конечном итоге он разрабатывает диаграмму. Диаграмма затем переводится так, чтобы музыкальный синтезатор мог распознавать звуки.

Следующий шаг – очистка данных и добавление дополнительной информации. Эта информация может включать такие вещи, как давление за каждым нажатием клавиши и то, как долго оно длилось.

“Если мы попытаемся синтезировать музыку только из первого шага, мы обнаружим, что качество музыки неудовлетворительно”, – сказал Шлицерман. “Второй шаг похож на то, как учитель проходит по музыке студента-композитора и помогает улучшить ее.”

Система была обучена и протестирована с помощью видео на YouTube пианиста Пола Бартона, и она состояла из около 172 000 кадров видео музыканта, играющего различные классические композиции, такие как Моцарт. Audeo был протестирован с 19 000 кадров Бартона, играющего разную музыку.

Синтезатор

После обучения Audeo генерирует транскрипт музыки, который затем передается синтезатору для перевода его в звук. Музыка звучит по-разному в зависимости от каждого синтезатора, что эквивалентно изменению настроек инструмента на электронной клавиатуре.

Команда использовала два отдельных синтезатора.

“Fluidsynth создает звуки синтезатора пианино, с которыми мы знакомы. Они несколько механические, но довольно точные”, – сказал Шлицерман. “Мы также использовали PerfNet, новый синтезатор ИИ, который генерирует более богатую и выразительную музыку. Но он также генерирует больше шума.”

“Целью этого исследования было выяснить, может ли искусственный интеллект генерировать музыку, сыгранную пианистом в видеозаписи – хотя мы не стремились повторить Пола Бартона, потому что он такой виртуоз”, – продолжил Шлицерман. “Мы надеемся, что наше исследование позволит найти новые способы взаимодействия с музыкой. Например, одним из будущих применений может быть то, что Audeo может быть расширен до виртуального пианино с камерой, записывающей только руки человека. Кроме того, размещая камеру на реальном пианино, Audeo потенциально может помочь в новых способах обучения студентов игре на пианино.”

Кунг Су и Циулонг Лиу, докторанты в области электротехники и компьютерных наук, были соавторами статьи.