AI-forskning ser for seg separate volumkontroller for dialog, musikk og lydeffekter

En ny forsknings­samarbeid ledet av Mitsubishi undersøker muligheten for å trekke ut tre separate lydspor fra en original lydkilde, og bryte ned lydsporet i tale, musikk og lydeffekter (dvs. bakgrunnsstøy).

Siden dette er et post-facto prosess­rammeverk, tilbyr det potensiale for senere generasjoner av multimediaplattformer, inkludert forbruker­utstyr, å tilby tre­punkts volumkontroller, som lar brukeren øke volumet på dialog eller senke volumet på en lydspor.

I den korte klippet nedenfor fra den tilhørende videoen for forskningen (se slutten av artikkelen for full video), ser vi ulike aspekter av lydsporet bli betont når brukeren drar en kontroll over en trekant med hver av de tre lydkomponentene i en hjørne:

En kort klipp fra videoen som følger med papiret (se innlegg ved slutten av artikkelen). Når brukeren drar markøren mot en av de tre uttrukne aspektene i trekant­grensesnittet (til høyre), betoner lyden den delen av lydsporet. Selv om den lengre videoen nevner flere eksempler på YouTube, ser disse ut til å være utilgjengelige for øyeblikket. Kilde: https://vimeo.com/634073402

Papiret hefter tittelen The Cocktail Fork Problem: Three-Stem Audio Separation for Real-World Soundtracks, og kommer fra forskere ved Mitsubishi Electric Research Laboratories (MERL) i Cambridge, MA, og avdelingen for intelligente systemer ved Indiana University i Illinois.

Separering av lydsporaspekter

Forskerne har døpt utfordringen ‘The Cocktail Party Problem’ fordi den innebærer å isolere sterkt sammenflettede elementer i en lydspor, som skaper en veikart som ligner en gaffel (se bildet nedenfor). I praksis kan multi-kanals lydspor (dvs. stereo og mer) ha ulike mengder innhold, som dialog, musikk og bakgrunnsstøy, særlig siden dialog tenderer til å dominere sentralkanalen i Dolby 5.1-blandinger. For tiden er det meget aktive forskningsfeltet for lydseparasjon konsentrert om å fange disse trådene fra en enkelt, bakt lydspor, som gjør også den nåværende forskningen.

The Cocktail Fork – trekke ut tre distinkte lydspor fra en sammenslått og enkelt lydspor. Kilde: https://arxiv.org/pdf/2110.09958.pdf

Nylig forskning har konsentrert seg om å trekke ut tale i ulike miljøer, ofte for å fjerne støy fra tale­lyd for senere engasjement med naturlig språk­behandling (NLP)-systemer, men også på isolering av arkiv­syngestemmer, enten for å lage syntetiske versjoner av virkelige ( selv døde ) sangere, eller for å lette Karaoke-liknende musikk­isolering.

En datasett for hver aspekt

Inntil nå har det vært liten vekt på å bruke denne type AI-teknologi til å gi brukerne mer kontroll over lydsporens blandingsforhold. Derfor har forskerne formalisert problemet og generert en ny datasett som en hjelp til pågående forskning i multi-type lydsporseparasjon, samt testet den på ulike eksisterende lydseparasjons­rammeverk.

Den nye datasetten som forfatterne har utviklet, heter Divide and Remaster (DnR), og er avledet fra tidligere datasett LibriSpeech, Free Music Archive og Freesound Dataset 50k (FSD50K). For de som ønsker å arbeide med DnR fra scratch, må datasettene rekonstrueres fra de tre kildene; ellers vil det snart være tilgjengelig på Zenodo, hevder forfatterne. Imidlertid er den tilgjengelige GitHub-lenken for kilde-ekstraksjons­verktøy ikke aktiv for øyeblikket, så de interesserte kan måtte vente en stund.

Forskerne har funnet ut at CrossNet un-mix (XUMX)-arkitekturen foreslått av Sony i mai, fungerer spesielt godt med DnR.

Sonys CrossNet-arkitektur.

Forfatterne hevder at deres maskinlærings­uttrekks­modeller fungerer godt på lydspor fra YouTube, selv om evalueringene presentert i papiret er basert på syntetisk data, og den tilgjengelige hoved­støtte­videoen (innlagt nedenfor) er for øyeblikket den eneste som ser ut til å være tilgjengelig.

De tre datasettene som hver består av en samling av den type utgang som må skilles ut fra en lydspor: FSD50K er opptatt av lydeffekter og inneholder 50 000 44,1 kHz mono-lydklipp merket med 200 klassifikasjons­etiketter fra Googles AudioSet-ontologi; Free Music Archive inneholder 100 000 stereo­sanger som dekker 161 musikk­sjangre, selv om forfatterne har brukt en under­samling som inneholder 25 000 sanger, for likhet med FSD50K; og LibriSpeech gir DnR 100 timer med lydbok­eksempler som 44,1 kHz mp3-lydfiler.

Fremtidig arbeid

Forfatterne forventer videre arbeid på datasettene og en kombinasjon av de separate modellene som er utviklet for ytterligere forskning i tale­gjenkjenning og lydklassifiserings­rammeverk, med automatisk undertekst­generering for tale og ikke-tale-lyder. De har også til hensikt å evaluere muligheter for remix-tilnærminger som kan redusere perseptuelle feil, som fortsatt er det sentrale problemet når en sammenslått lydspor deles inn i sine bestanddelene.

Dette type separasjon kan i fremtiden være tilgjengelig som en forbruker­vare i smart-TV-er som inkorporerer høyt optimerte inferens­netverk, selv om det ser ut til at tidlige implementeringer vil trenge en viss grad av for­prosesserings­tids og lagrings­plass. Samsung bruker allerede lokale neurale nettverk for oppskalering, mens Sonys Cognitive Processor XR, som brukes i selskapets Bravia-rekke, analyserer og tolker lydspor på en live-basis via lette integrerte AI.

Krav om større kontroll over lydsporens blandingsforhold gjentas periodisk, og de fleste løsningene som tilbys må håndtere det faktum at lydsporet allerede er bounset ned i henhold til gjeldende standarder (og antagelser om hva seerne ønsker) i film- og TV-industrien.

En seer, plaget av den skremmende ulikheten i volum­nivåer mellom ulike elementer i film­lydspor, ble desperat nok til å utvikle en maskin­basert automatisk volum­juster som kan jevne ut volum for filmer og TV.

Selv om smart-TV-er tilbyr en mangfoldig rekke metoder for å forsøke å forsterke dialog-volum mot store volum­nivåer for musikk, slåss de alle mot beslutningene som er tatt på mikse­tiden, og, kan man si, visjonene til innholds­produsenter som ønsker at publikum skal oppleve lydsporene akkurat som de ble satt opp.

Innholds­produsenter ser ut til å være motvillige mot denne potensielle tilføyelsen til ‘remix-kultur’, siden flere bransje­luminærer allerede har uttrykt misnøye mot standard post-prosessering TV-baserte algoritmer slik som bevegelses­glattning.

https://vimeo.com/634073402