Skutečněčasná AI může generovat texty pro živou instrumentální hudbu

Výzkumníci v laboratoři zpracování přirozeného jazyka na University of Waterloo vyvinuli skutečněčasný umělý inteligentní (AI) systém, který může generovat texty pro živou instrumentální hudbu. Tento nový systém se jmenuje LyricJam a byl spuštěn v červnu 2021, od té doby ho otestovalo více než 1 500 uživatelů.

Tým bude prezentovat své výzkum na Mezinárodní konferenci o počítačové kreativitě v září.

Laboratoř je vedena Olga Vechtomovou, profesorkou inženýrství, která je také jmenována na katedře počítačových věd na univerzitě. Vechtomová již roky vyvíjí aplikace AI a práce laboratoře původně vedla k vytvoření systému, který se učí hudební výrazy umělců, než generuje texty ve stejném stylu.

Vechtomová a absolventi University of Waterloo Gaurav Sahu a Dhruv Kumas také vyvinuli technologii, která využívá různé hudební komponenty, jako jsou progrese akordů, tempo a instrumentace. Tato technologie je schopna syntetizovat texty tak, aby odrážely náladu a emoce vyjádřené živou hudbou.

Neuronová síť

Systém nepřetržitě přijímá surové audio klipy, zatímco hudebník nebo kapela hraje instrumentální hudbu. Poté neuronová síť zpracovává data, než generuje nové texty, které umělci mohou použít k vývoji svých textů.

“Účelem systému není napsat píseň pro umělce,” říká Vechtomová. “Místo toho chceme pomoci umělcům realizovat svou vlastní kreativitu. Systém generuje poetické texty s novými metaforami a výrazy, které mohou potenciálně vést umělce kreativním směrem, který dosud nevyzkoušeli.”

Nově vyvinutá neuronová síť je schopna se učit, které lyrické téma a slova jsou spojeny s různými aspekty hudby, a nejvíce dojme, že to dělá v každém jednotlivém audio klipu.

Tým provedl uživatelskou studii, ve které hudebníci hráli živou hudbu, zatímco používali systém.

“Jedním z neočekávaných zjištění bylo, že účastníci se cítili povzbuzeni generovanými texty k improvizaci,” řekla Vechtomová. “Například texty inspirovaly umělce k tomu, aby strukturovali akordy trochu jinak a aby jejich improvizaci vedli novým směrem, než původně zamýšleli. Někteří hudebníci také používali texty k ověření, zda jejich improvizace měla požadovaný emocionální efekt.”

Partnerství s AI

Jedním z dalších hlavních aspektů tohoto výzkumu byla demonstrace spolupráce a ko-creativity mezi lidmi a AI. Podle účastníků systém působil jako hudební partner, a to takový, který byl nekritický, což umožnilo hudebníkům hrát bez omezení. Také uvedli, že se cítili povzbuzeni hrát na hudební nástroje, i když nepracovali na textech.

Nový systém LyricJam je nejnovějším příkladem toho, jak umělá inteligence vstupuje do našich kreativních myslí. Zatímco často mluvíme o spojení mezi lidmi a AI, je to často v oblastech, jako je zdraví. S novými pokroky, jako jsou tyto, se blížíme k propojení s těmito stroji kreativní cestou.

Systém LyricJam lze nalézt zde.