KI-Forschung sieht separate Lautstärkeregelungen für Dialog, Musik und Soundeffekte vor

Eine neue Forschungskooperation unter der Leitung von Mitsubishi untersucht die Möglichkeit, drei separate Soundtracks aus einer ursprünglichen Audioquelle zu extrahieren, indem der Audiotrack in Sprache, Musik und Soundeffekte (d. h. Hintergrundgeräusche) aufgeteilt wird.

Da es sich um ein post-faktes Verarbeitungsframework handelt, bietet es Potential für spätere Generationen von Multimedia-Anzeigegeräten, einschließlich Consumer-Equipment, um drei Punkte für die Lautstärkeregelung anzubieten, sodass der Benutzer die Lautstärke des Dialogs erhöhen oder die Lautstärke eines Soundtracks verringern kann.

In dem kurzen Clip unten aus dem begleitenden Video zur Forschung (siehe Ende des Artikels für das vollständige Video) sehen wir verschiedene Aspekte des Soundtracks, die hervorgehoben werden, wenn der Benutzer einen Regler über ein Dreieck mit jedem der drei Audio-Komponenten in einer Ecke zieht:

Ein kurzer Clip aus dem Video, das dem Paper beigefügt ist (siehe Embed am Ende des Artikels). Wenn der Benutzer den Cursor in Richtung einer der drei extrahierten Aspekte im Dreieck-UI (rechts) zieht, betont der Audio diesen Teil des tripartiten Soundtracks. Obwohl das längere Video eine Reihe von zusätzlichen Beispielen auf YouTube erwähnt, sind diese derzeit nicht verfügbar. Quelle: https://vimeo.com/634073402

Das Paper trägt den Titel The Cocktail Fork Problem: Three-Stem Audio Separation for Real-World Soundtracks und stammt von Forschern der Mitsubishi Electric Research Laboratories (MERL) in Cambridge, MA, und der Abteilung für Intelligente Systeme an der Indiana University in Illinois.

Trennung von Soundtrack-Aspekten

Die Forscher haben die Herausforderung ‘The Cocktail Party Problem’ genannt, da sie darin besteht, stark verflochtene Elemente eines Soundtracks zu isolieren, was eine Straßenkarte ähnlich einem Fork (siehe Bild unten) erstellt. In der Praxis können Mehrkanal-Soundtracks (d. h. Stereo und mehr) unterschiedliche Mengen an Inhalten wie Dialog, Musik und Ambiente haben, insbesondere da Dialog in Dolby 5.1-Mischungen tendenziell den Mittelkanal dominiert. Derzeit konzentriert sich das sehr aktive Forschungsgebiet der Audio-Trennung darauf, diese Stränge aus einem einzigen, gebackenen Soundtrack zu erfassen, wie es auch die aktuelle Forschung tut.

The Cocktail Fork – Ableitung von drei verschiedenen Soundtracks aus einem gemischten und einzigen Soundtrack. Quelle: https://arxiv.org/pdf/2110.09958.pdf

Jüngste Forschung hat sich auf die Extraktion von Sprache in verschiedenen Umgebungen konzentriert, oft für den Zweck der Entfernung von Hintergrundgeräuschen aus Sprachaudio für die spätere Verwendung mit Natural Language Processing (NLP)-Systemen, aber auch auf die Isolation von Archiv-Aufnahmen von Gesangsstimmen, entweder um synthetische Versionen von realen (auch verstorbenen) Sängern zu erstellen oder um Karaoke-Style-Musik-Isolation zu ermöglichen.

Ein Dataset für jeden Aspekt

Bisher wurde wenig Beachtung darauf gelegt, diese Art von KI-Technologie zu verwenden, um den Benutzern mehr Kontrolle über die Mischung eines Soundtracks zu geben. Daher haben die Forscher das Problem formalisiert und ein neues Dataset als Hilfe für die laufende Forschung zur Trennung von Soundtracks mit mehreren Typen erstellt und es auf verschiedenen bestehenden Audio-Trennframeworks getestet.

Das neue Dataset, das die Autoren entwickelt haben, heißt Divide and Remaster (DnR) und basiert auf vorherigen Datasets LibriSpeech, Free Music Archive und dem Freesound Dataset 50k (FSD50K). Für diejenigen, die mit DnR von Grund auf arbeiten möchten, muss das Dataset aus den drei Quellen rekonstruiert werden; ansonsten wird es bald auf Zenodo verfügbar sein, wie die Autoren behaupten. Allerdings ist der bereitgestellte GitHub-Link für Quell-Extraktions-Utilities derzeit nicht aktiv, so dass die Interessierten möglicherweise warten müssen.

Die Forscher haben festgestellt, dass die CrossNet-un-mix- (XUMX) -Architektur, die von Sony im Mai vorgeschlagen wurde, besonders gut mit DnR funktioniert.

Sonys CrossNet-Architektur.

Die Autoren behaupten, dass ihre maschinellen Lern-Extraktionsmodelle gut auf Soundtracks von YouTube funktionieren, obwohl die in der Arbeit präsentierten Bewertungen auf synthetischen Daten basieren und das bereitgestellte Haupt-Video (eingebettet unten) derzeit das einzige zu sein scheint, das verfügbar ist.

Die drei Datasets, die jeweils eine Sammlung der Art von Ausgabe enthalten, die aus einem Soundtrack getrennt werden muss, umfassen: FSD50K ist mit Soundeffekten besetzt und enthält 50.000 44,1-kHz-Mono-Audio-Clips mit 200 Klassenlabels aus der Google-AudioSet-Ontologie; der Free Music Archive enthält 100.000 Stereo-Songs, die 161 Musikgenres abdecken, obwohl die Autoren eine Teilmenge mit 25.000 Songs verwendet haben, um mit FSD50K übereinzustimmen; und LibriSpeech liefert DnR mit 100 Stunden Audio-Buch-Proben als 44,1-kHz-mp3-Audio-Dateien.

Zukünftige Arbeiten

Die Autoren erwarten weitere Arbeiten am Dataset und einer Kombination der separaten Modelle, die für weitere Forschung zu Spracherkennung und Sound-Klassifizierungsframeworks entwickelt wurden, mit Funktionen wie automatischer Untertitel-Generierung für Sprache und Nicht-Sprach-Sounds. Sie beabsichtigen auch, die Möglichkeiten für Remix-Ansätze zu bewerten, die wahrnehmbare Artefakte reduzieren können, was das zentrale Problem darstellt, wenn ein gemischter Audio-Soundtrack in seine Bestandteile geteilt wird.

Diese Art von Trennung könnte in Zukunft als Verbraucher-Kommodität in intelligenten Fernsehern verfügbar sein, die hoch optimierte Inferenz-Netzwerke integrieren, obwohl es wahrscheinlich ist, dass frühe Implementierungen einige Vorbearbeitungszeit und Speicherplatz benötigen würden. Samsung verwendet bereits lokale neuronale Netzwerke für die Auflösung, während Sonys Cognitive Processor XR, der in der Bravia-Reihe verwendet wird, Soundtracks in Echtzeit über leichte integrierte KI analysiert und interpretiert.

Rufe nach mehr Kontrolle über die Mischung eines Soundtracks kehren periodisch wieder, und die meisten Lösungen, die angeboten werden, müssen mit der Tatsache umgehen, dass der Soundtrack bereits gemäß den aktuellen Standards (und Annahmen darüber, was Zuschauer wollen) in der Film- und Fernsehindustrie gemischt wurde.

Ein Zuschauer, der von den schockierenden Unterschieden in den Lautstärkeniveaus zwischen verschiedenen Elementen von Film-Soundtracks genug hatte, wurde so verzweifelt, dass er einen hardware-basierten automatischen Lautstärke-Regler entwickelte, der in der Lage ist, Lautstärken auszugleichen für Filme und Fernsehen.

Obwohl intelligente Fernseher eine vielfältige Palette von Methoden anbieten, um zu versuchen, die Dialog-Lautstärke gegenüber großen Lautstärken für Musik zu erhöhen, kämpfen sie alle gegen die Entscheidungen, die zum Zeitpunkt der Mischung getroffen wurden, und, argumentativ, gegen die Visionen von Content-Produzenten, die wünschen, dass das Publikum ihre Soundtracks genau so erlebt, wie sie eingerichtet wurden.

Content-Produzenten scheinen wahrscheinlich gegen diese potenzielle Ergänzung der ‘Remix-Kultur’ zu reagieren, da bereits mehrere Branchen-Größen ihre Unzufriedenheit mit Standard-Post-Processing-TV-Algorithmen wie Bewegungsglättung geäußert haben.

https://vimeo.com/634073402