Realtids-AI kan generera linjer för live instrumental musik

Forskare vid Natural Language Processing Lab vid University of Waterloo har utvecklat ett realtidssystem för artificiell intelligens (AI) som kan generera linjer för levande instrumental musik. Det nya systemet heter LyricJam, och det gick live i juni 2021 med över 1,500 XNUMX användare som testade det sedan dess.

Teamet kommer att presentera sina forskning vid den internationella konferensen om beräkningskreativitet i september. 

Labbet leds av Olga Vechtomova, en ingenjörsprofessor som korsutnämnts i datavetenskap vid universitetet. Vechtomova har utvecklat AI-applikationer i flera år, och labbets arbete ledde initialt till skapandet av ett system som lär sig musikaliska uttryck för artister innan de genererar texter i deras stil.

Vechtomova och Waterloo doktorander Gaurav Sahu och Dhruv Kumas utvecklade också teknologi som använder olika musikaliska komponenter som ackordförlopp, tempo och instrumentering. Tekniken kan syntetisera texter så att de återspeglar stämningen och känslorna som uttrycks av livemusiken. 

Det neurala nätverket

Systemet tar kontinuerligt emot råa ljudklipp när en musiker eller ett band framför instrumental musik. Därefter bearbetar det neurala nätverket data innan de genererar nya texter, som artisterna sedan kan använda för att utveckla sina sångtexter.

"Syftet med systemet är inte att skriva en låt för artisten", säger Vechtomova. ”Istället vill vi hjälpa konstnärer att förverkliga sin egen kreativitet. Systemet genererar poetiska linjer med nya metaforer och uttryck, som potentiellt leder konstnärerna i kreativa riktningar som de inte har utforskat tidigare.”

Det nyutvecklade neurala nätverket kan lära sig vilka lyriska teman och ord som är förknippade med de olika aspekterna av musik, och det mest imponerande är att det gör detta i varje enskilt ljudklipp. 

Teamet genomförde en användarstudie där musiker spelade livemusik medan de använde systemet.

"Ett oväntat fynd var att deltagarna kände sig uppmuntrade av de genererade raderna att improvisera", sa Vechtomova. – Till exempel inspirerade replikerna artister att strukturera ackord lite annorlunda och ta sin improvisation i en ny riktning än vad som ursprungligen var tänkt. Vissa musiker använde också replikerna för att kontrollera om deras improvisation hade den önskade känslomässiga effekten.”

Samarbetar med AI

En annan av de viktigaste aspekterna av denna forskning var dess demonstration av samarbete och medkreativitet mellan människor och AI. Enligt deltagarna fungerade systemet som en musikalisk partner, och en som var okritisk, vilket gjorde att musikerna kunde spela obehindrat. De sa också att de kände sig uppmuntrade att spela musikinstrument även om de inte arbetade med texter.

Det nya LyricJam-systemet är det senaste exemplet på hur artificiell intelligens tar sig in i våra kreativa sinnen. Även om vi alltid pratar om kopplingen mellan människor och AI, är det ofta när det gäller områden som hälsa. Med nya framsteg som dessa kommer vi också närmare att vara anslutna till dessa maskiner på ett kreativt sätt.

LyricJam-systemet kan hittas här..