Реальное Время AI Может Генерировать Строки для Живой Инструментальной Музыки

Исследователи в лаборатории обработки естественного языка в Университете Ватерлоо разработали систему реального времени искусственного интеллекта (AI), которая может генерировать строки для живой инструментальной музыки. Новая система называется LyricJam, и она была запущена в июне 2021 года, и с тех пор ее протестировали более 1 500 пользователей.

Команда представит свою исследование на Международной конференции по вычислительной креативности в сентябре.

Лаборатория возглавляется Ольгой Вехтомовой, профессором инженерии, который был назначен в качестве профессора компьютерных наук в университете. Вехтомова разрабатывает приложения AI в течение многих лет, и работа лаборатории изначально привела к созданию системы, которая учится музыкальным выражениям артистов, прежде чем генерировать тексты в их стиле.

Вехтомова и выпускники Университета Ватерлоо Гаурав Саху и Дхрув Кумас также разработали технологию, которая использует различные музыкальные компоненты, такие как прогрессии аккордов, темп и инструментовку. Технология может синтезировать тексты так, чтобы они отражали настроение и эмоции, выраженные живой музыкой.

Нейронная Сеть

Система непрерывно получает сырые аудиоклипы, пока музыкант или группа исполняют инструментальную музыку. После этого нейронная сеть обрабатывает данные, прежде чем генерировать новые тексты, которые артисты могут затем использовать для разработки своих текстов песен.

“Цель системы не состоит в том, чтобы написать песню для артиста”, – говорит Вехтомова. “Вместо этого мы хотим помочь артистам реализовать свою собственную креативность. Система генерирует поэтические строки с новыми метафорами и выражениями, потенциально ведущими артистов в творческие направления, которые они не исследовали раньше”.

Недавно разработанная нейронная сеть может учиться, какие лирические темы и слова связаны с различными аспектами музыки, и что самое впечатляющее, она делает это в каждом отдельном аудиоклипе.

Команда провела исследование пользователей, в котором музыканты играли живую музыку, используя систему.

“Одно неожиданное открытие было то, что участники чувствовали себя поощренными сгенерированными строками, чтобы импровизировать”, – сказала Вехтомова. “Например, строки вдохновляли артистов структурировать аккорды немного иначе и брать свою импровизацию в новом направлении, чем изначально предполагалось. Некоторые музыканты также использовали строки, чтобы проверить, имела ли их импровизация желаемый эмоциональный эффект”.

Партнерство с AI

Другой важный аспект этого исследования было его демонстрация сотрудничества и совместной креативности между людьми и AI. Согласно участникам, система действовала как музыкальный партнер, и тот, который был некритичным, что позволяло музыкантам играть без ограничений. Они также сказали, что чувствовали себя поощренными играть на музыкальных инструментах, даже если они не работали над текстами.

Новая система LyricJam является последним примером того, как искусственный интеллект проникает в наши творческие умы. Хотя мы всегда говорим о связи между людьми и AI, это часто в таких областях, как здравоохранение. С новыми достижениями, такими как эти, мы приближаемся к тому, чтобы быть связанными с этими машинами творческим образом.

Систему LyricJam можно найти здесь.