Реальний час AI може генерувати рядки для живої інструментальної музики

Дослідники в лабораторії обробки природної мови в Університеті Ватерлоо розробили систему штучного інтелекту (AI) в реальному часі, яка може генерувати рядки для живої інструментальної музики. Нова система називається LyricJam, і вона була запущена в червні 2021 року, після чого її протестували понад 1 500 користувачів.

Команда представить свою дослідження на Міжнародній конференції з комп’ютерної креативності у вересні.

Лабораторію очолює Ольга Вехтомова, професор інженерії, який був призначений на кафедру комп’ютерних наук в університеті. Вехтомова розробляє застосування AI протягом років, і робота лабораторії спочатку привела до створення системи, яка вивчає музичні вирази артистів перед генерацією текстів у їхньому стилі.

Вехтомова та студенти університету Ватерлоо Гаурав Саху і Дхрув Кумас також розробили технологію, яка використовує різні музичні компоненти, такі як прогресії акордів, темп і інструментування. Технологія能够 синтезувати тексти так, щоб вони відображали настрій і емоції, виражені живою музикою.

Нейронна мережа

Система безперервно отримує сирі аудіокліпи, коли музикант або гурт виконує інструментальну музику. Після цього нейронна мережа обробляє дані перед генерацією нових текстів, які артисти можуть використовувати для розробки своїх пісень.

“Мета системи полягає не в тому, щоб написати пісню для артиста,” каже Вехтомова. “Натомість, ми хочемо допомогти артистам реалізувати свою власну креативність. Система генерує поетичні рядки з новими метафорами і виразами, потенційно ведучи артистів у творчі напрямки, які вони раніше не досліджували.”

Розроблена нейронна мережа能够 вивчити, які ліричні теми і слова асоціюються з різними аспектами музики, і найбільш вражаюче, вона робить це в кожному окремому аудіокліпі.

Команда провела дослідження користувачів, під час якого музиканти грали живу музику, використовуючи систему.

“Одне несподіване відкриття полягало в тому, що учасники відчували заохочення генерованими рядками до імпровізації,” сказала Вехтомова. “Наприклад, рядки надихали артистів структурувати акорди трохи інакше і взяти свою імпровізацію в новому напрямку, ніж спочатку планувалося. Деякі музиканти також використовували рядки, щоб перевірити, чи мала їхня імпровізація бажаний емоційний ефект.”

Партнерство з AI

Іншим одним з основних аспектів цього дослідження була демонстрація співробітництва і ко-креативності між людьми і AI. За словами учасників, система діяла як музичний партнер, і такий, що був некритичним, що дозволило музикантам грати без обмежень. Вони також сказали, що відчували заохочення грати на музичних інструментах, навіть якщо вони не працювали над текстами.

Нова система LyricJam є останнім прикладом того, як штучний інтелект проникає в наші творчі думки. Хоча ми завжди говоримо про зв’язок між людьми і AI, часто це відбувається в контексті таких областей, як охорона здоров’я. З новими досягненнями, такими як ці, ми наближаємося до того, щоб бути пов’язаними з цими машинами творчо.

Систему LyricJam можна знайти тут.