Дослідження штучного інтелекту передбачає окремі контроли гучності для діалогів, музики та звукових ефектів

Нове дослідження, яке очолює компанія Mitsubishi, досліджує можливість виділення трьох окремих звукових доріжок з оригінального аудіо джерела, розбиваючи аудіо доріжку на мовлення, музику та звукові ефекти (тобто фоновий шум).

Оскільки це пост-фактум обробка, вона пропонує потенціал для майбутніх поколінь мультимедійних платформ перегляду, включаючи споживчу техніку, щоб пропонувати триконтрольні регулятори гучності, що дозволяють користувачеві підвищити гучність діалогів або знижувати гучність саундтреку.

У короткому кліпі нижче з супровідного відео до дослідження (див. кінець статті для повного відео), ми бачимо різні аспекти саундтреку, які підкреслюються, коли користувач перетягує контроль над трикутником з трьома аудіо компонентами в одному з кутів:

Короткий кліп з відео, що супроводжує статтю (див. вкладення в кінці статті). Коли користувач перетягує курсор до одного з трьох виділених аспектів у трикутному інтерфейсі (праворуч), аудіо підкреслює цю частину трипартійної саундтреку. Хоча довше відео цитує ряд додаткових прикладів на YouTube, вони зараз здаються недоступними. Джерело: https://vimeo.com/634073402

Стаття стаття називається Проблема коктейльної вилки: тристеблова аудіо-сепарація для реальних саундтреків і походить від дослідників Mitsubishi Electric Research Laboratories (MERL) у Кембриджі, штат Массачусетс, та кафедри інженерії інтелектуальних систем Університету Індіани в Іллінойсі.

Відокремлення аспектів саундтреку

Дослідники назвали цю проблему “Проблема коктейльної партії”, оскільки вона полягає у виділенні сильно переплетених елементів саундтреку, що створює карту, схожу на вилку (див. зображення нижче). На практиці багатоканальні (тобто стерео та більше) саундтреки можуть мати різну кількість типів контенту, таких як діалоги, музика та атмосфера, особливо оскільки діалоги схильні домінувати у центральному каналі у мікшах Dolby 5.1. Наразі жива область дослідження аудіо-сепарації зосереджена на захопленні цих ниток з одного, запечатаного саундтреку, як і робить поточне дослідження.

Коктейльна вилка – отримання трьох окремих саундтреків з одного об’єднаного саундтреку. Джерело: https://arxiv.org/pdf/2110.09958.pdf

Нещодавнє дослідження зосереджувалося на виділенні мовлення у різних середовищах, часто з метою денойзингу аудіо для подальшої взаємодії з системами обробки природної мови (NLP), але також на виділенні архівних вокальних голосів, або для створення синтетичних версій реальних (навіть мертвих) співаків, або для полегшення виділення музики у стилі караоке.

Датасет для кожного аспекту

До сьогодні мало уваги було приділено використанню цього типу технології штучного інтелекту для надання користувачам більшого контролю над сумішшю саундтреку. Тому дослідники формалізували проблему та створили новий датасет як допомогу для подальших досліджень щодо розділення саундтреків 여러 типів, а також тестування його на різних існуючих рамках аудіо-сепарації.

Новий датасет, який розробили автори, називається Divide and Remaster (DnR), і походить від попередніх датасетів LibriSpeech, Free Music Archive та Freesound Dataset 50k (FSD50K). Для тих, хто бажає працювати з DnR з нуля, датасет потрібно відтворити з трьох джерел; інакше він скоро буде доступний на Zenodo, заявляють автори. Однак на момент написання цієї статті наданий посилання на GitHub для утиліт витягування джерел зараз неактивне, тому тих, хто цікавиться, може потрібно чекати деякий час.

Дослідники виявили, що архітектура CrossNet un-mix (XUMX), запропонована Sony у травні, працює особливо добре з DnR.

Архітектура CrossNet від Sony.

Автори стверджують, що їхні моделі виділення машинного навчання працюють добре на саундтреках з YouTube, хоча оцінки, представлені в статті, базуються на синтетичних даних, а наданий основний відео (вкладений нижче) зараз здається єдиним, який доступний.

Три датасети, які використовуються, складаються з колекції такого типу виводу, який потрібно розділити з саундтреку: FSD50K зайнятий звуковими ефектами та містить 50 000 аудіокліпів з частотою 44,1 кГц у моно з 200 мітками класів з онтології AudioSet від Google; Free Music Archive містить 100 000 стерео-пісень, що охоплюють 161 музичний жанр, хоча автори використали підмножину, що містить 25 000 пісень, для паритету з FSD50K; а LibriSpeech надає DnR 100 годин аудіо-взірців книг у вигляді аудіофайлів mp3 з частотою 44,1 кГц.

Майбутня робота

Автори передбачають подальшу роботу над датасетом та поєднання окремих моделей, розроблених для додаткових досліджень щодо розпізнавання мовлення та класифікації звуків, що включає автоматичне створення підписів для мовлення та немовлення звуків. Вони також планують оцінити можливості для підходів реміксу, які можуть зменшити сприйняття артефактів, що залишається центральною проблемою при розділі об’єднаного аудіо-саундтреку на його складові частини.

Цей тип розділення може в майбутньому бути доступний як споживча комодітет у розумних телевізорах, які включають високоефективні мережі висновків, хоча здається ймовірним, що перші реалізації потребуватимуть деякого рівня попередньої обробки часу та місця зберігання. Samsung вже використовує локальні нейронні мережі для апскейлінгу, тоді як процесор Cognitive Processor XR від Sony, який використовується в лінійці Bravia, аналізує та перетлумачує саундтреки в режимі реального часу через легкі інтегровані штучні інтелекти.

Вимоги щодо більшого контролю над сумішшю саундтреку періодично повторюються, і більшість рішень, запропонованих мають справу з тим, що саундтрек вже був перемішаний у відповідності з поточними стандартами (та припущеннями про те, чого хочуть глядачі) у кіно- та телевізійній промисловості.

Один глядач, розгніваний на шокуючу диспропорцію рівнів гучності різних елементів саундтреків, став настільки відчайдушним, що розробив апаратний автоматичний регулятор гучності, здатний вирівнювати гучність для фільмів та телебачення.

Хоча розумні телевізори пропонують різноманітні методи спроби підвищити гучність діалогів проти грандіозних рівнів гучності для музики, вони всі борються проти рішень, прийнятих під час мікшування, і, можливо, бачення виробників контенту, які бажають, щоб аудиторія пережила їхні саундтреки точно так, як вони були встановлені.

Виробники контенту, ймовірно, будуть сприймати цю потенційну доповнення до “культури реміксу” негативно, оскільки кілька відомих діячів індустрії вже висловили незадоволення щодо алгоритмів постобробки телевізора за замовчуванням, таких як motion smoothing.

https://vimeo.com/634073402