AI-forskning ser möjligheter för separata volymkontroller för dialog, musik och ljud-effekter

En ny forskningssamarbete lett av Mitsubishi undersöker möjligheten att extrahera tre separata ljudspår från en ursprunglig ljudkälla, och bryta ner ljudspåret i tal, musik och ljud-effekter (dvs. bakgrundsbrus).

Eftersom detta är en efterbearbetningsramverk, erbjuder det potential för senare generationer av multimedievisningsplattformar, inklusive konsumentutrustning, att erbjuda trepunktsvolymkontroller, som tillåter användaren att höja volymen på dialogen eller sänka volymen på en soundtrack.

I den korta klippen nedan från den medföljande videon för forskningen (se slutet av artikeln för fullständig video), ser vi olika aspekter av soundtracken betonas när användaren drar en kontroll över en triangel med var och en av de tre ljudkomponenterna i ena hörnet:

En kort klipp från videon som medföljer artikeln (se inbäddad video längst ner i artikeln). När användaren drar musen mot en av de tre extraherade aspekterna i triangelgränssnittet (till höger), betonas ljudet på den delen av det tredelade soundtracket. Även om den längre videon citerar flera ytterligare exempel på YouTube, verkar dessa för närvarande vara otillgängliga. Källa: https://vimeo.com/634073402

Den artikeln heter The Cocktail Fork Problem: Three-Stem Audio Separation for Real-World Soundtracks, och kommer från forskare vid Mitsubishi Electric Research Laboratories (MERL) i Cambridge, MA, och Institutionen för intelligenta systemteknik vid Indiana University i Illinois.

Att separera aspekter av ett soundtrack

Forskarna har gett utmaningen namnet ‘The Cocktail Party Problem’ eftersom det handlar om att isolera allvarligt sammanflätade element i ett soundtrack, vilket skapar en vägkarta som liknar en gaffel (se bild nedan). I praktiken kan multikanalsljudspår (dvs. stereo och mer) ha olika mängder innehåll, såsom dialog, musik och bakgrund, särskilt eftersom dialog tenderar att dominera mittenkanalen i Dolby 5.1-blandningar. För närvarande koncentrerar sig den mycket aktiva forskningsfältet för ljudseparation på att fånga dessa trådar från ett enda, bakat soundtrack, som den aktuella forskningen gör.

The Cocktail Fork – att härleda tre distinkta ljudspår från ett sammanfogat och enskilt soundtrack. Källa: https://arxiv.org/pdf/2110.09958.pdf

Nylig forskning har koncentrerat sig på att extrahera tal i olika miljöer, ofta för att avlägsna brus från talsignaler för efterföljande engagemang med Natural Language Processing (NLP)-system, men också på isolering av arkivsångare, antingen för att skapa syntetiska versioner av riktiga (även döda) sångare, eller för att underlätta Karaoke-liknande musikisolering.

En dataset för varje aspekt

Hittills har det inte getts mycket hänsyn till att använda denna typ av AI-teknologi för att ge användarna mer kontroll över ljudblandningen. Därför har forskarna formaliserat problemet och skapat en ny dataset som en hjälp för pågående forskning om separation av flera typer av ljudspår, samt testat den på olika befintliga ljudseparationsramverk.

Den nya dataset som författarna har utvecklat kallas Divide and Remaster (DnR), och är härledd från tidigare dataset LibriSpeech, Free Music Archive och Freesound Dataset 50k (FSD50K). För de som vill arbeta med DnR från scratch måste datasetet återskapas från de tre källorna; annars kommer det att finnas tillgängligt på Zenodo, hävdar författarna. Men för närvarande är den tillhandahållna GitHub-länken för källutvinningverktyg inte aktiv, så de som är intresserade kan behöva vänta en stund.

Forskarna har funnit att CrossNet un-mix (XUMX)-arkitekturen som föreslagits av Sony i maj fungerar särskilt bra med DnR.

Sonys CrossNet-arkitektur.

Författarna hävdar att deras maskinlärningsmodeller för extraktion fungerar bra på ljudspår från YouTube, även om utvärderingarna som presenteras i artikeln är baserade på syntetiska data, och den tillhandahållna huvudvideon (inbäddad nedan) är för närvarande den enda som verkar vara tillgänglig.

De tre dataset som används består var och en av en samling av den typ av utdata som behöver separeras från ett soundtrack: FSD50K är upptagen med ljud-effekter och har 50 000 44,1 kHz mono-ljudklipp med 200 klassetiketter från Googles AudioSet-ontologi; Free Music Archive har 100 000 stereo-låtar som täcker 161 musikgenrer, men författarna har använt en undermängd som innehåller 25 000 låtar, för att matcha FSD50K; och LibriSpeech tillhandahåller DnR med 100 timmar av ljudboksexempel som 44,1 kHz mp3-ljudfiler.

Framtida arbete

Författarna förutser ytterligare arbete på dataseten och en kombination av de separata modellerna som utvecklats för ytterligare forskning om taligenkänning och ljudklassificeringsramverk, med automatisk undertextsgenerering för tal och icke-tal. De avser också att utvärdera möjligheter för remix-approacher som kan minska perceptuella artefakter, vilket förblir det centrala problemet när man delar upp ett sammanfogat ljudsoundtrack i dess beståndsdelar.

Denna typ av separation kan i framtiden vara tillgänglig som en konsumentvara i smarta TV-apparater som integrerar högt optimerade inferensnätverk, även om det verkar troligt att tidiga implementationer skulle behöva en viss mängd förbearbetningstid och lagringsutrymme. Samsung använder redan lokala neurala nätverk för uppskalering, medan Sonys Cognitive Processor XR, som används i företagets Bravia-sortiment, analyserar och tolkar om ljudspår i realtid via lätta integrerade AI.

Önskemål om större kontroll över ljudblandningen återkommer periodvis, och de flesta lösningar som erbjuds måste hantera det faktum att ljudspåret redan har blandats ned i enlighet med nuvarande standarder (och antaganden om vad tittare vill ha) i film- och TV-industrin.

En tittare, som var irriterad över den chockerande dispariteten i volymnivåer mellan olika element i filmsoundtrack, blev tillräckligt desperat för att utveckla en hårdvarubaserad automatisk volymjusterare som kan jämna ut volymen för film och TV.

Även om smarta TV-apparater erbjuder en varierad mängd metoder för att försöka förstärka dialogvolymen mot storskaliga volymnivåer för musik, kämpar de alla mot de beslut som fattats vid mixningstiden, och, argumenterbart, visionsinnehavarna som vill att publiken ska uppleva deras soundtrack exakt som de var inställda.

Innehållsproducenter verkar sannolikt att reagera mot denna potentiella tillägg till ‘remixkultur’, eftersom flera branschlegender redan har uttryckt missnöje mot standardpostbearbetnings-TV-baserade algoritmer såsom rörelseutjämning.

https://vimeo.com/634073402