Real-Tid AI Kan Generere Linjer til Live Instrumentalmusik

Forskere i Natural Language Processing Lab på University of Waterloo har udviklet et real-time kunstig intelligenssystem (AI), der kan generere linjer til live instrumentalmusik. Det nye system kaldes LyricJam, og det gik live i juni 2021 med over 1.500 brugere, der har testet det siden.

Holdet vil præsentere deres forskning på International Conference on Computational Creativity i september.

Laboratoriet ledes af Olga Vechtomova, en professor i ingeniørvidenskab, der er tilknyttet Computer Science på universitetet. Vechtomova har udviklet AI-applikationer i årevis, og laboratoriets arbejde førte initialt til oprettelsen af et system, der lærer musikalske udtryk fra kunstnere, før det genererer tekster i deres stil.

Vechtomova og Waterloo-studerende Gaurav Sahu og Dhruv Kumas udviklede også teknologi, der udnytter forskellige musikalske komponenter som akkordfølger, tempo og instrumentation. Teknologien kan syntetisere tekster, så de reflekterer humøret og følelserne, der udtrykkes af den live musik.

Neuralt Netværk

Systemet modtager kontinuerligt rå lydklip, mens en musiker eller band optræder med instrumentalmusik. Efterfølgende behandler neuralt netværk data, før det genererer nye tekster, som kunstnerne kan bruge til at udvikle deres sangtekster.

“Formålet med systemet er ikke at skrive en sang for kunstneren,” siger Vechtomova. “I stedet vil vi hjælpe kunstnere med at realisere deres egen kreativitet. Systemet genererer poetiske linjer med nye metaforer og udtryk, der potentielt kan føre kunstnerne i kreative retninger, de ikke har udforsket før.”

Det nyligt udviklede neurale netværk kan lære, hvilke lyriske temaer og ord, der er forbundet med de forskellige aspekter af musik, og mest imponerende, gør det dette i hvert enkelt lydklip.

Holdet gennemførte en brugerundersøgelse, hvor musikere spillede live musik, mens de brugte systemet.

“En uventet opdagelse var, at deltagerne følte sig opmuntret af de genererede linjer til at improvisere,” sagde Vechtomova. “For eksempel inspirerede linjerne kunstnere til at strukturere akkorder lidt anderledes og tage deres improvisation i en ny retning end oprindeligt intentioneret. Nogle musikere brugte også linjerne til at kontrollere, om deres improvisation havde den ønskede emotionelle effekt.”

Samarbejde med AI

En anden af de største aspekter af denne forskning var dens demonstration af samarbejde og ko-kreativitet mellem mennesker og AI. Ifølge deltagerne fungerede systemet som en musikalsk partner, og en, der var ukritisk, hvilket enablede musikerne at spille ufetteret. De følte sig også opmuntret til at spille musikinstrumenter, selv om de ikke arbejdede på tekster.

Det nye LyricJam-system er det seneste eksempel på, hvordan kunstig intelligens er på vej ind i vores kreative sind. Mens vi altid taler om forbindelsen mellem mennesker og AI, er det ofte i områder som sundhed. Med nye fremskridt som disse er vi tættere på at være forbundet til disse maskiner på en kreativ måde.

LyricJam-systemet kan findes her.