ИИ в реальном времени может генерировать строки для живой инструментальной музыки

Исследователи из Лаборатории обработки естественного языка Университета Ватерлоо разработали систему искусственного интеллекта (ИИ), работающую в режиме реального времени, которая может генерировать строки для живой инструментальной музыки. Новая система называется LyricJam, и она была запущена в эксплуатацию в июне 2021 года, и с тех пор ее протестировали более 1,500 пользователей.

Команда представит свои исследованиями на Международной конференции по вычислительному творчеству в сентябре. 

Лабораторию возглавляет Ольга Вечтомова, профессор инженерных наук, которая работала в университете по совместительству в области компьютерных наук. Вечтомова занимается разработкой приложений для ИИ в течение многих лет, и работа лаборатории изначально привела к созданию системы, которая изучает музыкальные выражения артистов, прежде чем создавать тексты в их стиле.

Аспиранты Вечтомовой и Ватерлоо Гаурав Саху и Дхрув Кумас также разработали технологию, в которой используются различные музыкальные компоненты, такие как последовательности аккордов, темп и инструменты. Технология способна синтезировать тексты песен, чтобы они отражали настроение и эмоции, выраженные живой музыкой. 

Нейронная сеть

Система постоянно получает необработанные аудиоклипы, когда музыкант или группа исполняют инструментальную музыку. После этого нейронная сеть обрабатывает данные, прежде чем генерировать новые тексты, которые затем артисты могут использовать для разработки текстов своих песен.

«Цель системы — не написать песню для артиста, — говорит Вечтомова. — Вместо этого мы хотим помочь артистам раскрыть свой творческий потенциал. Система генерирует поэтические строки с новыми метафорами и выражениями, потенциально открывая артистам новые творческие направления, которые они ранее не исследовали».

Недавно разработанная нейронная сеть способна узнать, какие лирические темы и слова связаны с различными аспектами музыки, и, что самое впечатляющее, она делает это в каждом отдельном аудиоклипе. 

Команда провела исследование пользователей, в ходе которого музыканты играли живую музыку во время использования системы.

«Одним из неожиданных открытий стало то, что сгенерированные строки вдохновили участников на импровизацию», — сказала Вечтомова. «Например, строки вдохновили художников немного по-другому структурировать аккорды и направить свою импровизацию в новом направлении, чем предполагалось изначально. Некоторые музыканты также использовали реплики, чтобы проверить, произвела ли их импровизация желаемый эмоциональный эффект».

Партнерство с ИИ

Еще одним важным аспектом этого исследования была демонстрация сотрудничества и совместного творчества между людьми и ИИ. По словам участников, система выступала в роли музыкального партнера, причем некритичного, что позволяло музыкантам играть без ограничений. Они также сказали, что их вдохновляет играть на музыкальных инструментах, даже если они не работают над текстами.

Новая система LyricJam — последний пример того, как искусственный интеллект проникает в наши творческие умы. Хотя мы всегда говорим о связи между людьми и ИИ, часто это касается таких областей, как здоровье. Благодаря новым достижениям, подобным этим, мы приближаемся к тому, чтобы быть подключенными к этим машинам творчески.

Систему LyricJam можно найти здесь.