Real-Tid AI Kan Generera Texter för Live Instrumental Musik

Forskare i Natural Language Processing Lab vid University of Waterloo har utvecklat ett realtidsbaserat artificiellt intelligenssystem (AI) som kan generera texter för live instrumental musik. Det nya systemet kallas LyricJam, och det lanserades i juni 2021 med över 1 500 användare som testat det sedan dess.

Teamet kommer att presentera sin forskning på International Conference on Computational Creativity i september. 

Labbet leds av Olga Vechtomova, en professor i teknik som också är anställd vid datavetenskapliga institutionen vid universitetet. Vechtomova har utvecklat AI-applikationer i flera år, och labbets arbete ledde initialt till skapandet av ett system som lär sig musikaliska uttryck från artister innan det genererar texter i deras stil.

Vechtomova och Waterloo-studenterna Gaurav Sahu och Dhruv Kumas utvecklade också teknologi som använder olika musikaliska komponenter som ackordföljder, tempo och instrumentering. Teknologin kan syntetisera texter så att de reflekterar stämningen och känslor som uttrycks av den live-musik.

Neuronnätverket

Systemet tar kontinuerligt emot råa ljudklipp medan en musiker eller ett band framför instrumental musik. Efter det bearbetar neuronnätverket data innan det genererar nya texter, som artisterna sedan kan använda för att utveckla sina sångtexter.

“Syftet med systemet är inte att skriva en låt för artisten,” säger Vechtomova. “I stället vill vi hjälpa artister att förverkliga sin egen kreativitet. Systemet genererar poetiska rader med nya metaforer och uttryck, vilket potentiellt kan leda artisterna i kreativa riktningar som de inte tidigare har utforskat.”

Det nyligen utvecklade neuronnätverket kan lära sig vilka lyriska teman och ord som är associerade med olika aspekter av musik, och mest imponerande, gör det detta i varje enskild ljudklipp. 

Teamet genomförde en användarstudie där musiker spelade live-musik medan de använde systemet.

“En oväntad upptäckt var att deltagarna kände sig uppmuntrade av de genererade raderna att improvisera,” sa Vechtomova. “Till exempel inspirerade raderna artisterna att strukturera ackord på ett annat sätt och ta sin improvisation i en ny riktning än vad som ursprungligen var tänkt. Vissa musiker använde också raderna för att kontrollera om deras improvisation hade den önskade emotionella effekten.”

Samarbeta med AI

En annan av de viktigaste aspekterna av denna forskning var dess demonstration av samarbete och ko-kreativitet mellan människor och AI. Enligt deltagarna fungerade systemet som en musikalisk partner, och en som var icke-kritisk, vilket möjliggjorde för musikerna att spela ostört. De sa också att de kände sig uppmuntrade att spela musikinstrument även om de inte arbetade med texter.

Det nya LyricJam-systemet är det senaste exemplet på hur artificiell intelligens gör sitt intåg i våra kreativa sinnen. Medan vi alltid talar om sambandet mellan människor och AI, är det ofta i termer av områden som hälsa. Med nya framsteg som dessa, kommer vi närmare att vara anslutna till dessa maskiner på ett kreativt sätt också.

LyricJam-systemet kan hittas här.