Forskere lager AI-modell som kan synge på både kinesisk og engelsk

Et team av forskere fra Microsoft og Zhajiang University har nylig laget en AI-modell som er i stand til å synge på en rekke språk. Som VentureBeat rapporterte, DeepSinger AI utviklet av teamet ble trent på data fra ulike musikknettsteder, ved hjelp av algoritmer som fanget klangen til sangerens stemme.

Å generere "stemmen" til en AI-sanger krever algoritmer som er i stand til å forutsi og kontrollere både tonehøyde og varighet av lyd. Når folk synger, har lydene de produserer mye mer komplekse rytmer og mønstre sammenlignet med enkel tale. Et annet problem for teamet å overvinne var at selv om det er en god del tale-/taletreningsdata tilgjengelig, er datasett for sangtrening ganske sjeldne. Kombiner disse utfordringene med at sanger må ha både lyd og tekst analysert, og problemet med å generere sang er utrolig komplekst.

DeepSinger-systemet laget av forskerne overvant disse utfordringene ved å utvikle en datapipeline som utvinner og transformerte lyddata. Sangklippene ble hentet ut fra ulike musikknettsteder, og deretter blir sangen isolert fra resten av lyden og delt inn i setninger. Det neste trinnet var å bestemme varigheten av hvert fonem i teksten, noe som resulterte i en serie prøver som hver representerte et unikt fonem i teksten. Rengjøring av dataene gjøres for å håndtere eventuelle forvrengte treningsprøver etter at tekstene og tilhørende lydprøver er sortert i henhold til konfidensresultatet.

De nøyaktig samme metodene ser ut til å fungere for en rekke språk. DeepSinger ble trent på kinesisk, kantone og engelsk vokalprøver bestående av 89 forskjellige sangere som sang i over 92 timer. Resultatene av studien fant at DeepSinger-systemet var i stand til pålitelig å generere høykvalitets "syngende" prøver i henhold til beregninger som nøyaktighet av tonehøyde og hvor naturlig sangen hørtes ut. Forskerne fikk 20 personer til å vurdere både sanger generert av DeepSinger og treningssangene i henhold til disse beregningene, og gapet mellom poengsummene for de genererte prøvene og ekte lyd var ganske lite. Deltakerne ga DeepSinger en gjennomsnittlig meningsscore som avvek med mellom 0.34 og 0.76.

Ser frem til, ønsker forskerne å prøve å forbedre kvaliteten på de genererte stemmene ved i fellesskap å trene de ulike undermodellene som utgjør DeepSinger, gjort ved hjelp av spesialteknologier som WaveNet som er designet spesielt for oppgaven med å generere naturlig lydende tale gjennom lydbølgeformer .

DeepSinger-systemet kan brukes til å hjelpe sangere og andre musikalske artister med å gjøre korrigeringer for å fungere uten å måtte gå tilbake i studio for en ny innspillingsøkt. DET kan også potensielt brukes til å lage lyddeepfakes, noe som får det til å virke som en artist sang en sang de faktisk aldri gjorde. Selv om den kan brukes til parodi eller satire, er den også av tvilsom lovlighet.

DeepSinger er bare en av en bølge av nye AI-baserte musikk- og lydsystemer som kan transformere hvordan musikk og programvare samhandler. OpenAI lanserte nylig sitt eget AI-system, kalt JukeBox, som er i stand til å produsere originale musikkspor i stilen til en viss sjanger eller til og med en spesifikk artist. Andre musikalske AI-verktøy inkluderer Googles magenta og Amazons DeepComposer. Magnets er et åpen kildekode-lyd- (og bilde-) manipulasjonsbibliotek som kan brukes til å produsere alt fra automatisert trommestøtte til enkle musikkbaserte videospill. I mellomtiden er Amazons DeepComposer rettet mot de som ønsker å trene og tilpasse sine egne musikkbaserte dyplæringsmodeller, slik at brukeren kan ta forhåndstrente eksempelmodeller og tilpasse modellene til deres behov.

Du kan lytte til noen av lydeksemplene generert av DeepSinger ved denne lenken.