AI-onderzoek naar afzonderlijke volumeregeling voor dialoog, muziek en geluidseffecten

Een nieuwe onderzoeks samenwerking onder leiding van Mitsubishi onderzoekt de mogelijkheid om drie afzonderlijke soundtracks uit een originele audiobron te extraheren, waarbij de audiotrack wordt opgesplitst in spraak, muziek en geluidseffecten (d.w.z. omgevingsgeluid).

Aangezien dit een post-facto verwerkingssysteem is, biedt het potentieel voor latere generaties van multimediaweergaveplatforms, waaronder consumentenapparatuur, om drie-punts volumeregeling te bieden, waardoor de gebruiker het volume van de dialoog kan verhogen of het volume van een soundtrack kan verlagen.

In de korte clip hieronder uit de bijbehorende video voor het onderzoek (zie het einde van het artikel voor de volledige video), zien we verschillende facetten van de soundtrack die worden benadrukt als de gebruiker een besturingselement over een driehoek met elk van de drie audiocomponenten in een hoek sleept:

Een korte clip uit de video die bij het onderzoek hoort (zie embed aan het einde van het artikel). Als de gebruiker de cursor naar een van de drie geëxtraheerde facetten in de driehoekige UI (rechts) sleept, benadrukt de audio dat deel van de driedelige soundtrack. Hoewel de langere video een aantal aanvullende voorbeelden op YouTube noemt, lijken deze momenteel niet beschikbaar te zijn. Bron: https://vimeo.com/634073402

Het artikel heet Het Cocktail Fork-probleem: drie-stemmige audióscheiding voor echte soundtracks en komt van onderzoekers bij de Mitsubishi Electric Research Laboratories (MERL) in Cambridge, MA, en de afdeling Intelligent Systems Engineering van de Universiteit van Indiana in Illinois.

Afzonderlijke facetten van een soundtrack

De onderzoekers hebben de uitdaging ‘Het Cocktail Party-probleem’ genoemd omdat het gaat om het isoleren van ernstig verstrengelde elementen van een soundtrack, wat een roadmap creëert die lijkt op een vork (zie afbeelding hieronder). In de praktijk kunnen multikanaals soundtracks (d.w.z. stereo en meer) verschillende hoeveelheden soorten inhoud hebben, zoals dialoog, muziek en omgeving, vooral omdat dialoog de neiging heeft om de centrale kanaal te domineren in Dolby 5.1-mixen. Op dit moment richt het zeer actieve onderzoeksgebied van audióscheiding zich op het vastleggen van deze draden uit een enkele, gebakken soundtrack, zoals het huidige onderzoek.

De Cocktail Fork – drie afzonderlijke soundtracks afleiden uit een samengevoegde en enkele soundtrack. Bron: https://arxiv.org/pdf/2110.09958.pdf

Recent onderzoek heeft zich gericht op het extraheren van spraak in verschillende omgevingen, vaak voor doeleinden van het denoiseren van spraakaudio voor latere betrokkenheid bij Natural Language Processing (NLP)-systemen, maar ook op de isolatie van archief zangstemmen, hetzij om synthetische versies van echte (zelfs overleden) zangers te creëren, of om Karaoke-stijl muziekisolatie te faciliteren.

Een dataset voor elk facet

Tot nu toe is er weinig aandacht besteed aan het gebruik van deze soort AI-technologie om gebruikers meer controle te geven over de mix van een soundtrack. Daarom hebben de onderzoekers het probleem geformaliseerd en een nieuwe dataset gegenereerd als hulpmiddel voor voortdurend onderzoek naar multi-type soundtrack-scheiding, evenals het testen op verschillende bestaande audióscheidingframeworks.

De nieuwe dataset die de auteurs hebben ontwikkeld, heet Divide and Remaster (DnR) en is afgeleid van eerdere datasets LibriSpeech, Free Music Archive en de Freesound Dataset 50k (FSD50K). Voor diegenen die vanaf scratch met DnR willen werken, moet de dataset worden gereconstrueerd uit de drie bronnen; anders zal het binnenkort beschikbaar worden gesteld op Zenodo, zoals de auteurs claimen. Echter, op het moment van schrijven is de verstrekte GitHub-link voor bron-extractiehulpmiddelen niet actief, dus geïnteresseerden moeten mogelijk even wachten.

De onderzoekers hebben ontdekt dat de CrossNet un-mix (XUMX)-architectuur die door Sony in mei is voorgesteld, bijzonder goed werkt met DnR.

Sony’s CrossNet-architectuur.

De auteurs claimen dat hun machine learning-extractiemodellen goed werken op soundtracks van YouTube, hoewel de evaluaties die in het artikel worden gepresenteerd, zijn gebaseerd op synthetische gegevens, en de verstrekte hoofdondersteunende video (ingesloten hieronder) momenteel de enige lijkt te zijn die beschikbaar is.

De drie datasets die elk een verzameling vormen van het soort output dat moet worden gescheiden uit een soundtrack, bestaan uit: FSD50K is bezig met geluidseffecten en bevat 50.000 44,1 kHz mono-audioclips met 200 klassenlabels uit Google’s AudioSet-ontologie; de Free Music Archive bevat 100.000 stereosongs die 161 muziekgenres dekken, hoewel de auteurs een subset hebben gebruikt met 25.000 songs, voor gelijkheid met FSD50K; en LibriSpeech levert DnR 100 uur audioboeksamples als 44,1kHz mp3-audio-bestanden.

Toekomstig onderzoek

De auteurs verwachten verder onderzoek naar de dataset en een combinatie van de afzonderlijke modellen die zijn ontwikkeld voor aanvullend onderzoek naar spraakherkenning en geluidclassificatieframeworks, met automatische ondertiteling voor spraak en niet-spraakgeluiden. Ze zijn ook van plan om de mogelijkheden te evalueren voor remix-benaderingen die perceptuele artifacten kunnen verminderen, wat het centrale probleem blijft bij het opsplitsen van een samengevoegde audiotrack in zijn constituerende componenten.

Dit soort scheiding kan in de toekomst beschikbaar komen als consumentenproduct in slimme tv’s die hoog geoptimaliseerde inferentienetwerken incorporeren, hoewel het waarschijnlijk lijkt dat vroege implementaties enige voorverwerkingstijd en opslagruimte nodig zullen hebben. Samsung gebruikt lokaal neurale netwerken voor upscaling, terwijl Sony’s Cognitive Processor XR, gebruikt in het bedrijfs Bravia-reeks, soundtracks analyseert en herinterpreteert op een live basis via lichtgewicht geïntegreerde AI.

Er zijn regelmatig oproepen gedaan voor meer controle over de mix van een soundtrack die terugkeren, en de meeste oplossingen die worden aangeboden, moeten te maken hebben met het feit dat de soundtrack al is gebogen in overeenstemming met de huidige standaarden (en aannamen over wat kijkers willen) in de film- en tv-industrie.

Een kijker, die gefrustreerd was door het schokkende verschil in volumeniveaus tussen de verschillende elementen van filmsoundtracks, werd wanhopig genoeg om een hardware-gebaseerde automatische volumeregelaar te ontwikkelen die in staat is om het volume te egaliseren voor films en tv.

Hoewel slimme tv’s een gevarieerd aanbod van methoden bieden om te proberen het dialoogvolume te verhogen tegenover grandioze volumeniveaus voor muziek, worstelen ze allemaal tegen de beslissingen die zijn genomen op het moment van mixing, en, argumentatief, de visies van contentproducenten die de kijker willen laten ervaren hun soundtracks precies zoals ze waren ingesteld.

Inhoudsproducenten zullen waarschijnlijk tegen deze potentiële toevoeging aan ‘remix-cultuur’ in opstand komen, aangezien verschillende industrie-icoonen al ontevredenheid hebben geuit over standaard post-processing tv-gebaseerde algoritmes zoals motion smoothing.

https://vimeo.com/634073402