L’AI in tempo reale può generare linee per la musica strumentale live

I ricercatori del Natural Language Processing Lab dell’Università di Waterloo hanno sviluppato un sistema di intelligenza artificiale (AI) in tempo reale che può generare linee per la musica strumentale live. Il nuovo sistema si chiama LyricJam e è stato lanciato nel giugno 2021 con oltre 1.500 utenti che lo hanno testato da allora.

Il team presenterà la loro ricerca alla Conferenza internazionale sulla creatività computazionale a settembre.

Il laboratorio è guidato da Olga Vechtomova, professoressa di Ingegneria che è stata nominata anche nel Dipartimento di Informatica dell’università. Vechtomova ha sviluppato applicazioni di intelligenza artificiale per anni e il lavoro del laboratorio ha inizialmente portato alla creazione di un sistema che apprende le espressioni musicali degli artisti prima di generare testi nella loro stile.

Vechtomova e gli studenti laureati dell’Università di Waterloo Gaurav Sahu e Dhruv Kumas hanno anche sviluppato una tecnologia che utilizza diversi componenti musicali come progressioni di accordi, tempo e strumentazione. La tecnologia è in grado di sintetizzare testi in modo che riflettano l’umore e le emozioni espresse dalla musica live.

La rete neurale

Il sistema riceve continuamente clip audio grezzi mentre un musicista o una band esegue musica strumentale. Dopo di che, la rete neurale elabora i dati prima di generare nuovi testi, che gli artisti possono poi utilizzare per sviluppare i loro testi delle canzoni.

“Lo scopo del sistema non è quello di scrivere una canzone per l’artista”, afferma Vechtomova. “Invece, vogliamo aiutare gli artisti a realizzare la loro creatività. Il sistema genera linee poetiche con nuove metafore ed espressioni, potenzialmente portando gli artisti in direzioni creative che non hanno esplorato prima”.

La rete neurale appena sviluppata è in grado di apprendere quali temi e parole liriche sono associati ai diversi aspetti della musica e, più impressionante, lo fa in ogni singolo clip audio.

Il team ha condotto uno studio sugli utenti in cui i musicisti hanno suonato musica live utilizzando il sistema.

“Una scoperta inaspettata è stata che i partecipanti si sono sentiti incoraggiati dalle linee generate a improvvisare”, ha detto Vechtomova. “Ad esempio, le linee hanno ispirato gli artisti a strutturare gli accordi in modo leggermente diverso e a prendere la loro improvvisazione in una direzione diversa da quella originariamente prevista. Alcuni musicisti hanno anche utilizzato le linee per verificare se la loro improvvisazione aveva l’effetto emotivo desiderato”.

Collaborazione con l’AI

Un altro aspetto importante di questa ricerca è stata la dimostrazione della collaborazione e della co-creatività tra esseri umani e AI. Secondo i partecipanti, il sistema ha agito come un partner musicale, e uno che non era critico, il che ha permesso ai musicisti di suonare senza vincoli. Hanno anche detto di essersi sentiti incoraggiati a suonare gli strumenti musicali anche se non stavano lavorando sui testi.

Il nuovo sistema LyricJam è l’ultimo esempio di come l’intelligenza artificiale stia facendo il suo ingresso nelle nostre menti creative. Mentre parliamo sempre del collegamento tra esseri umani e AI, spesso in aree come la salute. Con nuovi progressi come questi, stiamo avvicinandoci a essere connessi a queste macchine in modo creativo.

Il sistema LyricJam può essere trovato qui.