Realtids-AI kan generere linjer til live instrumentalmusik

Forskere i Natural Language Processing Lab på University of Waterloo har udviklet et realtids-artificielt intelligenssystem (AI), der kan generere linjer til live instrumentalmusik. Det nye system kaldes LyricJam, og det gik live i juni 2021 med over 1.500 brugere, der har testet det siden.

Holdet vil præsentere deres forskning på International Conference on Computational Creativity i september.

Laboratoriet ledes af Olga Vechtomova, en ingeniørprofessor, der var udpeget i datalogi på universitetet. Vechtomova har udviklet AI-anvendelser i årevis, og laboratoriets arbejde førte oprindeligt til skabelsen af et system, der lærer musikalske udtryk af kunstnere, før det genererer tekster i deres stil.

Vechtomova og Waterloo-studerende Gaurav Sahu og Dhruv Kumas udviklede også teknologi, der udnytter forskellige musikalske komponenter som akkordprogressioner, tempo og instrumentation. Teknologien kan syntetisere tekster, så de reflekterer humøret og følelserne, der udtrykkes af den live-musik.

Neuralt Netværk

Systemet modtager kontinuerligt rå lydklips, mens en musiker eller band spiller instrumentalmusik. Efterfølgende behandler neuralt netværk data, før det genererer nye tekster, som kunstnerne kan bruge til at udvikle deres sangtekster.

“Formålet med systemet er ikke at skrive en sang for kunstneren,” siger Vechtomova. “I stedet vil vi hjælpe kunstnere med at realisere deres egen kreativitet. Systemet genererer poetiske linjer med nye metaforer og udtryk, der potentielt kan føre kunstnerne i kreative retninger, de ikke har udforsket før.”

Det nyudviklede neurale netværk kan lære, hvilke lyriske temaer og ord der er forbundet med de forskellige aspekter af musik, og mest imponerende, gør det dette i hvert enkelt lydklip.

Holdet gennemførte en brugerundersøgelse, hvor musikere spillede live-musik, mens de brugte systemet.

“En uventet opdagelse var, at deltagere følte sig opmuntret af de genererede linjer til at improvisere,” sagde Vechtomova. “For eksempel, inspirerede linjerne kunstnere til at strukturere akkorder lidt anderledes og tage deres improvisation i en ny retning end oprindeligt intentioneret. Nogle musikere brugte også linjerne til at kontrollere, om deres improvisation havde den ønskede emotionelle effekt.”

Samarbejde med AI

En anden af de vigtigste aspekter af denne forskning var dens demonstration af samarbejde og ko-kreativitet mellem mennesker og AI. Ifølge deltagere fungerede systemet som en musikalsk partner, der var ukritisk, hvilket enablede musikerne til at spille uforskammet. De sagde også, at de følte sig opmuntret til at spille musikinstrumenter, selv om de ikke arbejdede på tekster.

Det nye LyricJam-system er det seneste eksempel på, hvordan kunstig intelligens er på vej ind i vores kreative sind. Mens vi altid taler om forbindelsen mellem mennesker og AI, er det ofte i forbindelse med områder som sundhed. Med nye fremskridt som disse er vi ved at blive mere forbundet til disse maskiner på en kreativ måde.

LyricJam-systemet kan findes her.