Echt-tijdse AI kan regels genereren voor live instrumentale muziek

Onderzoekers in het Natural Language Processing Lab van de University of Waterloo hebben een echt-tijdse kunstmatige intelligentie (AI)-systeem ontwikkeld dat regels kan genereren voor live instrumentale muziek. Het nieuwe systeem heet LyricJam en is in juni 2021 live gegaan met meer dan 1.500 gebruikers die het sindsdien hebben getest.

Het team zal hun onderzoek presenteren op de International Conference on Computational Creativity in september.

Het lab wordt geleid door Olga Vechtomova, een professor in de ingenieurswetenschappen die is aangesteld in de computerwetenschappen aan de universiteit. Vechtomova heeft jarenlang AI-toepassingen ontwikkeld en het werk van het lab heeft aanvankelijk geleid tot de creatie van een systeem dat muzikale expressies van artiesten leert voordat het lyrics in hun stijl genereert.

Vechtomova en de afgestudeerde studenten van de University of Waterloo, Gaurav Sahu en Dhruv Kumas, hebben ook technologie ontwikkeld die verschillende muzikale componenten zoals akkoordprogressies, tempo en instrumentatie gebruikt. De technologie kan lyrics synthetiseren zodat ze de stemming en emoties weerspiegelen die door de live muziek worden uitgedrukt.

Het Neurale Netwerk

Het systeem ontvangt continu ruwe audiofragmenten terwijl een musicus of band instrumentale muziek speelt. Vervolgens verwerkt het neurale netwerk de gegevens voordat het nieuwe lyrics genereert, die de artiesten vervolgens kunnen gebruiken om hun songteksten te ontwikkelen.

“Het doel van het systeem is niet om een lied voor de artiest te schrijven,” zegt Vechtomova. “In plaats daarvan willen we artiesten helpen hun eigen creativiteit te realiseren. Het systeem genereert poëtische regels met nieuwe metaforen en expressies, wat de artiesten mogelijk in creatieve richtingen leidt die ze nog niet hebben verkend.”

Het nieuw ontwikkelde neurale netwerk kan leren welke lyrische thema’s en woorden geassocieerd zijn met de verschillende aspecten van muziek, en het doet dit het meest indrukwekkend in elk afzonderlijk audiofragment.

Het team heeft een gebruikersstudie uitgevoerd waarin muzikanten live muziek speelden terwijl ze het systeem gebruikten.

“Een onverwachte bevinding was dat deelnemers zich aangemoedigd voelden door de gegenereerde regels om te improviseren,” zei Vechtomova. “Bijvoorbeeld, de regels inspireerden artiesten om akkoorden een beetje anders te structureren en hun improvisatie in een nieuwe richting te nemen dan oorspronkelijk de bedoeling was. Sommige muzikanten gebruikten de regels ook om te controleren of hun improvisatie het gewenste emotionele effect had.”

Samenwerken met AI

Een ander belangrijk aspect van dit onderzoek was de demonstratie van samenwerking en co-creativiteit tussen mensen en AI. Volgens de deelnemers fungeerde het systeem als een muzikale partner, en een die niet kritisch was, waardoor de muzikanten onbezorgd konden spelen. Ze voelden zich ook aangemoedigd om muziekinstrumenten te spelen, zelfs als ze niet aan lyrics werkten.

Het nieuwe LyricJam-systeem is het laatste voorbeeld van hoe kunstmatige intelligentie haar weg vindt in onze creatieve geest. Terwijl we altijd praten over de verbinding tussen mensen en AI, is het vaak in termen van gebieden zoals gezondheid. Met nieuwe vooruitgang zoals deze, komen we dichter bij een creatieve verbinding met deze machines.

Het LyricJam-systeem kan worden gevonden hier.