AI-modeller og platforme

Realtids-AI kan generere linjer til live instrumentalmusik

Alex McFarland
Føj Unite.AI til dine foretrukne kilder på Google
NøglepunkterLyricJam genererar live-tekster fra instrumentallyd for at inspirere musikeres…
Vis mere
  • LyricJam genererar live-tekster fra instrumentallyd for at inspirere musikeres kreativitet.
  • Systemet fungerer som en ukritisk musikalsk partner, der opmuntrer til improvisation og følelsesmæssigt udtryk.
  • Waterloos neurale netværk lærer lyriske temaer fra rå lydklip i realtid.

Forskere i Natural Language Processing Lab på University of Waterloo har udviklet et realtids-artificielt intelligenssystem (AI), der kan generere linjer til live instrumentalmusik. Det nye system kaldes LyricJam, og det gik live i juni 2021 med over 1.500 brugere, der har testet det siden.

Holdet vil præsentere deres forskning på International Conference on Computational Creativity i september.

Laboratoriet ledes af Olga Vechtomova, en ingeniørprofessor, der var udpeget i datalogi på universitetet. Vechtomova har udviklet AI-anvendelser i årevis, og laboratoriets arbejde førte oprindeligt til skabelsen af et system, der lærer musikalske udtryk af kunstnere, før det genererer tekster i deres stil.

Vechtomova og Waterloo-studerende Gaurav Sahu og Dhruv Kumas udviklede også teknologi, der udnytter forskellige musikalske komponenter som akkordprogressioner, tempo og instrumentation. Teknologien kan syntetisere tekster, så de reflekterer humøret og følelserne, der udtrykkes af den live-musik.

Neuralt Netværk

Systemet modtager kontinuerligt rå lydklips, mens en musiker eller band spiller instrumentalmusik. Efterfølgende behandler neuralt netværk data, før det genererer nye tekster, som kunstnerne kan bruge til at udvikle deres sangtekster.

“Formålet med systemet er ikke at skrive en sang for kunstneren,” siger Vechtomova. “I stedet vil vi hjælpe kunstnere med at realisere deres egen kreativitet. Systemet genererer poetiske linjer med nye metaforer og udtryk, der potentielt kan føre kunstnerne i kreative retninger, de ikke har udforsket før.”

Det nyudviklede neurale netværk kan lære, hvilke lyriske temaer og ord der er forbundet med de forskellige aspekter af musik, og mest imponerende, gør det dette i hvert enkelt lydklip.

Holdet gennemførte en brugerundersøgelse, hvor musikere spillede live-musik, mens de brugte systemet.

“En uventet opdagelse var, at deltagere følte sig opmuntret af de genererede linjer til at improvisere,” sagde Vechtomova. “For eksempel, inspirerede linjerne kunstnere til at strukturere akkorder lidt anderledes og tage deres improvisation i en ny retning end oprindeligt intentioneret. Nogle musikere brugte også linjerne til at kontrollere, om deres improvisation havde den ønskede emotionelle effekt.”

Samarbejde med AI

En anden af de vigtigste aspekter af denne forskning var dens demonstration af samarbejde og ko-kreativitet mellem mennesker og AI. Ifølge deltagere fungerede systemet som en musikalsk partner, der var ukritisk, hvilket enablede musikerne til at spille uforskammet. De sagde også, at de følte sig opmuntret til at spille musikinstrumenter, selv om de ikke arbejdede på tekster.

Det nye LyricJam-system er det seneste eksempel på, hvordan kunstig intelligens er på vej ind i vores kreative sind. Mens vi altid taler om forbindelsen mellem mennesker og AI, er det ofte i forbindelse med områder som sundhed. Med nye fremskridt som disse er vi ved at blive mere forbundet til disse maskiner på en kreativ måde.

LyricJam-systemet kan findes her.

Alex leder Unite.AI's AI-drevne nyhedsoperationer, der kombinerer journalistik, forskning og automatisering for at understøtte rettidig og skalerbar dækning af kunstig intelligens. Hans arbejde hjælper med at sikre, at nye AI-udviklinger fremhæves effektivt, samtidig med at publikationens redaktionelle standarder opretholdes.