Реальний час AI може генерувати рядки для живої інструментальної музики

Дослідники лабораторії обробки природної мови Університету Ватерлоо розробили систему штучного інтелекту (AI) в реальному часі, яка може генерувати рядки для живої інструментальної музики. Нова система називається LyricJam, і вона була запущена в червні 2021 року, після чого її випробували понад 1 500 користувачів.

Команда представить свою дослідження на Міжнародній конференції з комп’ютерної творчості у вересні.

Лабораторію очолює Ольга Вехтомова, професор інженерії, який також працює на кафедрі комп’ютерних наук університету. Вехтомова розробляє програми штучного інтелекту вже кілька років, і робота лабораторії спочатку привела до створення системи, яка вивчає музичні вирази артистів, перш ніж генерувати тексти в їхньому стилі.

Вехтомова та студенти університету Ватерлоо Гаурав Саху і Дхрув Кумас також розробили технологію, яка використовує різні музичні компоненти, такі як прогресії акордів, темп і інструментування. Ця технологія здатна синтезувати тексти так, щоб вони відображали настрій і емоції, виражені живою музикою.

Нейронна мережа

Система безперервно отримує сирі аудіокліпи, коли музикант або група виконує інструментальну музику. Після цього нейронна мережа обробляє дані, перш ніж генерувати нові тексти, які артисти можуть використовувати для розробки своїх пісень.

“Мета системи не полягає в тому, щоб написати пісню для артиста”, – говорить Вехтомова. “Натомість ми хочемо допомогти артистам реалізувати свою власну творчість. Система генерує поетичні рядки з новими метафорами і виразами, потенційно ведучи артистів у творчі напрямки, які вони раніше не досліджували”.

Розроблена нейронна мережа здатна вивчати, які тексти і слова асоціюються з різними аспектами музики, і що найвражає, вона робить це в кожному окремому аудіокліпі.

Команда провела дослідження, у якому музиканти грали живу музику, використовуючи систему.

“Одним з несподіваних відкриттів було те, що учасники відчували заохочення, генерованими рядками, до імпровізації”, – говорить Вехтомова. “Наприклад, рядки надихнули артистів структурувати акорди трохи інакше і взяти свою імпровізацію в новому напрямку, ніж спочатку планувалося. Деякі музиканти також використовували рядки, щоб перевірити, чи мала їхня імпровізація бажаний емоційний ефект”.

Партнерство з AI

Іншим одним з основних аспектів цього дослідження було його демонстрування співробітництва і ко-творчості між людьми і AI. За словами учасників, система діяла як музичний партнер, і той, який був некритичним, що дозволило музикантам грати без обмежень. Вони також сказали, що відчували заохочення грати на музичних інструментах, навіть якщо вони не працювали над текстами.

Нова система LyricJam є останнім прикладом того, як штучний інтелект проникає в наші творчі думки. Хоча ми завжди говоримо про зв’язок між людьми і AI, це часто відбувається в контексті таких областей, як охорона здоров’я. З новими досягненнями, такими як ці, ми наближаємося до того, щоб бути пов’язаними з цими машинами творчо.

Систему LyricJam можна знайти тут.