Реальное Время ИИ Может Генерировать Строки для Живой Инструментальной Музыки

Исследователи в лаборатории обработки естественного языка Университета Ватерлоо разработали систему искусственного интеллекта (ИИ) в реальном времени, которая может генерировать строки для живой инструментальной музыки. Новая система называется LyricJam, и она была запущена в июне 2021 года, и с тех пор ее протестировали более 1 500 пользователей.

Команда представит свои исследования на Международной конференции по вычислительной креативности в сентябре.

Лабораторией руководит Ольга Вехтомова, профессор инженерии, который был назначен в компьютерных науках в университете. Вехтомова разрабатывает приложения ИИ в течение многих лет, и работа лаборатории изначально привела к созданию системы, которая учит музыкальные выражения артистов, прежде чем генерировать тексты в их стиле.

Вехтомова и выпускники Университета Ватерлоо Гаурав Саху и Дхрув Кумас также разработали технологию, которая использует различные музыкальные компоненты, такие как прогрессии аккордов, темп и инструментовка. Технология может синтезировать тексты так, чтобы они отражали настроение и эмоции, выраженные живой музыкой.

Нейронная Сеть

Система непрерывно получает сырые аудиоклипы, когда музыкант или группа исполняет инструментальную музыку. После этого нейронная сеть обрабатывает данные, прежде чем генерировать новые тексты, которые артисты могут затем использовать для разработки своих текстов песен.

“Цель системы не состоит в том, чтобы написать песню для артиста”, – говорит Вехтомова. “Вместо этого мы хотим помочь артистам реализовать свою собственную креативность. Система генерирует поэтические строки с новыми метафорами и выражениями, потенциально ведущими артистов в творческие направления, которые они не исследовали раньше”.

Недавно разработанная нейронная сеть может учиться, какие темы текстов и слова связаны с различными аспектами музыки, и, что самое впечатляющее, она делает это в каждом отдельном аудиоклипе.

Команда провела исследование пользователей, в котором музыканты играли живую музыку, используя систему.

“Одно неожиданное открытие было то, что участники чувствовали себя поощренными сгенерированными строками к импровизации”, – сказала Вехтомова. “Например, строки вдохновляли артистов структурировать аккорды немного иначе и взять свою импровизацию в новом направлении, чем изначально предполагалось. Некоторые музыканты также использовали строки, чтобы проверить, имела ли их импровизация желаемый эмоциональный эффект”.

Партнерство с ИИ

Другим из основных аспектов этого исследования было его демонстрация сотрудничества и ко-креативности между людьми и ИИ. Согласно участникам, система действовала как музыкальный партнер, и тот, который был некритичным, что позволило музыкантам играть без ограничений. Они также сказали, что чувствовали себя поощренными играть на музыкальных инструментах, даже если они не работали над текстами.

Новая система LyricJam является последним примером того, как искусственный интеллект проникает в наши творческие умы. Хотя мы всегда говорим о связи между людьми и ИИ, это часто в терминах таких областей, как здравоохранение. С новыми достижениями, такими как эти, мы приближаемся к тому, чтобы быть связанными с этими машинами творческим образом.

Систему LyricJam можно найти здесь.