Skutečný časový AI může generovat texty pro živou instrumentální hudbu

Výzkumníci v laboratoři Natural Language Processing na University of Waterloo vyvinuli systém umělých inteligencí (AI) v reálném čase, který může generovat texty pro živou instrumentální hudbu. Tento nový systém se jmenuje LyricJam a byl spuštěn v červnu 2021, od té doby ho otestovalo více než 1 500 uživatelů.

Tým bude prezentovat své výzkum na Mezinárodní konferenci o počítačové kreativitě v září.

Laboratoř je vedená Olga Vechtomova, profesorkou inženýrství, která je také jmenována v oboru počítačových věd na univerzitě. Vechtomova vyvíjí aplikace AI již mnoho let a práce laboratoře původně vedla k vytvoření systému, který se učí hudební vyjádření umělců, než generuje texty ve stejném stylu.

Vechtomova a absolventi University of Waterloo Gaurav Sahu a Dhruv Kumas také vyvinuli technologii, která využívá různých hudebních komponent, jako jsou progrese akordů, tempo a instrumentace. Tato technologie je schopna syntetizovat texty tak, aby odrážely náladu a emoce vyjádřené živou hudbou.

Neuronová síť

Systém nepřetržitě přijímá surové audio klipy, zatímco hudebník nebo kapela hraje instrumentální hudbu. Poté neuronová síť zpracovává data, než generuje nové texty, které umělci mohou použít k vývoji svých textů.

“Účelem systému není napsat píseň pro umělce,” říká Vechtomova. “Místo toho chceme pomoci umělcům realizovat svou vlastní kreativitu. Systém generuje poetické texty s novými metaforami a výrazy, které mohou potenciálně vést umělce v kreativních směrech, které dosud nezkoumali.”

Nově vyvinutá neuronová síť je schopna se učit, které lyrické téma a slova jsou spojeny s různými aspekty hudby, a nejvíce dojme, že to dělá v každém jednotlivém audio klipu.

Tým provedl studii uživatelů, ve které hudebníci hráli živou hudbu, zatímco používali systém.

“Jedno neočekávané zjištění bylo, že účastníci se cítili povzbuzeni generovanými texty, aby improvizovali,” řekla Vechtomova. “Například texty inspirovaly umělce, aby strukturovali akordy trochu jinak a vedli svou improvizaci novým směrem, než původně zamýšleli. Někteří hudebníci také používali texty k ověření, zda jejich improvizace měla požadovaný emocionální efekt.”

Partnerství s AI

Jedním z dalších hlavních aspektů tohoto výzkumu byla demonstrace spolupráce a ko-creativity mezi lidmi a AI. Podle účastníků systém fungoval jako hudební partner, který nebyl kritický, což umožnilo hudebníkům hrát bez omezení. Řekli, že se cítili povzbuzeni hrát na hudební nástroje, i když nepracovali na textech.

Nový systém LyricJam je nejnovějším příkladem toho, jak umělá inteligence proniká do našich kreativních myslí. Zatímco vždy mluvíme o spojení mezi lidmi a AI, často se jedná o oblasti, jako je zdraví. S novými pokroky, jako jsou tyto, se blížíme k tomu, abychom byli spojeni s těmito stroji kreativním způsobem.

Systém LyricJam lze nalézt zde.