Realtids-AI kan generera textrader för live instrumentalmusik

Forskare vid Natural Language Processing Lab vid University of Waterloo har utvecklat ett realtidsartificiellt intelligenssystem (AI) som kan generera textrader för live instrumentalmusik. Det nya systemet kallas LyricJam och gick live i juni 2021 med över 1 500 användare som testat det sedan dess.

Teamet kommer att presentera sin forskning på International Conference on Computational Creativity i september.

Labbet leds av Olga Vechtomova, en professor i teknik som också är anställd vid datavetenskapliga institutionen vid universitetet. Vechtomova har utvecklat AI-applikationer i åratal, och labbets arbete ledde initialt till skapandet av ett system som lär sig musikaliska uttryck från artister innan det genererar texter i deras stil.

Vechtomova och Waterloos doktorander Gaurav Sahu och Dhruv Kumas utvecklade också teknologi som använder olika musikaliska komponenter som ackordprogressioner, tempo och instrumentering. Teknologin kan syntetisera texter så att de speglar stämningen och känslor som uttrycks av den live-musik.

Neuronnätverket

Systemet tar emot råa ljudklipp kontinuerligt när en musiker eller en grupp spelar instrumentalmusik. Därefter bearbetar neuronnätverket data innan det genererar nya texter, som artisterna sedan kan använda för att utveckla sina sångtexter.

“Syftet med systemet är inte att skriva en låt åt artisten”, säger Vechtomova. “I stället vill vi hjälpa artister att förverkliga sin egen kreativitet. Systemet genererar poetiska rader med nya metaforer och uttryck, vilket kan leda artisterna i kreativa riktningar som de inte tidigare har utforskat.”

Det nyligen utvecklade neuronnätverket kan lära sig vilka lyriska teman och ord som är associerade med olika aspekter av musik, och det gör detta i varje enskild ljudklipp.

Teamet genomförde en användarstudie där musiker spelade live-musik medan de använde systemet.

“En oväntad upptäckt var att deltagarna kände sig uppmuntrade av de genererade raderna att improvisera”, sa Vechtomova. “Till exempel inspirerade raderna artisterna att strukturera ackord på ett annat sätt och ta sin improvisation i en ny riktning än vad som ursprungligen var tänkt. Vissa musiker använde också raderna för att kontrollera om deras improvisation hade den önskade emotionella effekten.”

Samarbeta med AI

En annan av de viktigaste aspekterna av denna forskning var dess demonstration av samarbete och ko-kreativitet mellan människor och AI. Enligt deltagarna fungerade systemet som en musikalisk partner, och en som var okritisk, vilket möjliggjorde för musikerna att spela utan hinder. De sa också att de kände sig uppmuntrade att spela musikinstrument även om de inte arbetade med texter.

Det nya LyricJam-systemet är det senaste exemplet på hur artificiell intelligens gör sitt intåg i våra kreativa sinnen. Medan vi alltid talar om kopplingen mellan människor och AI, är det ofta i termer av områden som hälsa. Med nya framsteg som dessa är vi på väg att bli mer sammanlänkade med dessa maskiner på ett kreativt sätt också.

LyricJam-systemet kan hittas här.