AI 연구, 대화, 음악, 사운드 이펙트를 위한 별도의 볼륨 컨트롤 가능성 조사

미쓰비시가 주도하는 새로운 연구 협력에서는 원본 오디오 소스에서 세 개의 별도의 사운드트랙을 추출할 가능성을 조사하고 있습니다. 이는 오디오 트랙을 대화, 음악 및 사운드 이펙트(즉, 환경 노이즈)로 분리하는 것을 의미합니다.

이 후처리 프레임워크는 미래의 멀티미디어 뷰어 플랫폼, 소비자 장비 및 3점 볼륨 컨트롤을 제공할 수 있는 잠재력을 제공합니다. 이는 사용자가 대화의 볼륨을 높이거나 사운드트랙의 볼륨을 낮출 수 있습니다.

아래의 연구 동영상 클립(본문 끝에 전체 동영상 참조)에서 사용자가 삼각형의 각 오디오 구성 요소 중 하나로 커서를 이동할 때 사운드트랙의 다양한 측면이 강조되는 것을 볼 수 있습니다.

연구 논문 동영상의 짧은 클립(본문 끝에 임베드 참조). 사용자가 삼각형 UI(오른쪽)의 세 가지 추출된 측면 중 하나로 커서를 이동할 때 오디오가 해당 사운드트랙 부분을 강조합니다. 더 긴 동영상은 유튜브의 추가 예시를 인용하지만 현재는 사용할 수 없습니다. 출처: https://vimeo.com/634073402

이 논문은 The Cocktail Fork Problem: Three-Stem Audio Separation for Real-World Soundtracks라는 제목으로 미쓰비시 전기 연구소(MERL)와 인디애나 주 일리노이 주립대 스마트 시스템 공학부의 연구자들이 작성했습니다.

사운드트랙의 측면 분리

연구자들은 이 문제를 ‘칵테일 파티 문제’라고 명명했습니다. 이는 사운드트랙의 심하게 얽힌 요소를 분리하는 것을 의미하며 포크와 같은 도로를 만듭니다(아래 이미지 참조). 실제로 다중 채널(즉, 스테레오 및 이상) 사운드트랙은 다이얼로그, 음악 및 앰비언스와 같은 다양한 유형의 콘텐츠를 가질 수 있으며 특히 다이얼로그는 돌비 5.1 믹스에서 중앙 채널을 지배합니다. 현재 오디오 분리 연구 분야는 이미 혼합된 단일 사운드트랙에서 이러한 스트림을 캡처하는 데 중점을 두고 있으며 현재 연구도 마찬가지입니다.

칵테일 포크 – 단일 사운드트랙에서 세 개의 별도 사운드트랙을 도출합니다. 출처: https://arxiv.org/pdf/2110.09958.pdf

최근 연구는 다양한 환경에서 스피치를 추출하는 데 중점을 두고 있으며 이는 주로 스피치 오디오를 노이즈 제거하여 이후 자연어 처리(NLP) 시스템과 상호 작용하는 데 사용됩니다. 또한 보관된 노래 목소리를 분리하여 실제(또는 사망한) 가수의 합성 버전을 만들거나 카라오케 스타일의 음악 분리를 위한 것입니다.

각 측면에 대한 데이터셋

이러한 기술을 사용하여 사용자가 사운드트랙의 믹스를 더 많이 제어할 수 있도록 하는 것에 대한 고려는 거의 없었습니다. 따라서 연구자들은 문제를 공식화하고 진행 중인 연구를 지원하기 위한 새로운 데이터셋을 생성했습니다.

연구자들이 개발한 새로운 데이터셋은 Divide and Remaster(DnR)라고 하며 이전 데이터셋인 LibriSpeech, Free Music Archive 및 Freesound Dataset 50k(FSD50K)에서 파생되었습니다. DnR를 처음부터 작업하려는 경우 데이터셋은 세 가지 소스에서 재구성되어야 하며 그렇지 않으면 곧 Zenodo에서 제공될 것입니다. 그러나 현재 제공된 GitHub 링크는 활성화되지 않았으므로 관심 있는 사람들은 잠시 기다려야 할 수 있습니다.

연구자들은 Sony에서 제안한 CrossNet un-mix(XUMX) 아키텍처가 DnR와 특히 잘 작동한다고发现했습니다.

Sony의 CrossNet 아키텍처.

저자들은 기계 학습 추출 모델이 유튜브의 사운드트랙에서 잘 작동한다고 주장하지만 논문에 제시된 평가는 합성 데이터에 기반을 두고 있으며 제공된 주요 동영상은 현재 사용할 수 있는 유일한 동영상입니다.

사용된 세 가지 데이터셋은 사운드트랙에서 분리해야 하는 출력의 모음입니다. FSD50K는 44.1 kHz 모노 오디오 클립 50,000개로 구성되며 200개의 클래스 레이블이 있습니다. Free Music Archive는 100,000개의 스테레오 노래를 포함하며 161개의 음악 장르를 다루며 저자들은 FSD50K와 일치시키기 위해 25,000개의 노래를 사용했습니다. LibriSpeech는 DnR에 44.1kHz mp3 오디오 파일 100시간을 제공합니다.

미래 작업

저자들은 데이터셋과 추가 연구를 위한 별도의 모델 개발에 대한 추가 작업을 예상합니다. 이는 음성 인식 및 사운드 분류 프레임워크를 위한 자동 캡션 생성을 특징으로 합니다. 또한 인식 가능한 아티팩트를 줄이는 리믹스 접근 방식을 평가할 계획입니다.

이러한 종류의 분리는 미래에 고도로 최적화된 추론 네트워크를 통합한 스마트 TV에서 소비자용으로 제공될 수 있습니다. 그러나 초기 구현에서는 사전 처리 시간과 저장 공간이 필요할 수 있습니다. 삼성은 이미 로컬 신경망을 사용하여 업스케일링을 수행하며 Sony의 Cognitive Processor XR는 라이브로 사운드트랙을 분석하고 재해석합니다.

사운드트랙의 믹스에 대한 더 큰 제어를 요구하는 목소리는 주기적으로 반복되며 대부분의 해결책은 사운드트랙이 이미 영화 및 텔레비전 산업에서 현재의 표준 및 가정을 따라 다운믹스되었다는 사실을 다루는 데 어려움을 겪습니다.

한 시청자는 영화 사운드트랙의 다양한 요소 간의 볼륨 수준의 충격적인 불일치를 경험하여 영화와 텔레비전의 볼륨을 균일화할 수 있는 하드웨어 기반 자동 볼륨 조정기를 개발했습니다.

스마트 TV는 다이얼로그 볼륨을 높이기 위한 다양한 방법을 제공하지만 모두 믹싱 시간에 이루어진 결정과 콘텐츠 제작자가 원하는대로 사운드트랙을 경험하도록 원하는 시청자의 비전에 반대하는 것입니다.

콘텐츠 제작자는 이미 기본 포스트 프로세싱 TV 기반 알고리즘과 같은 ‘리믹스 문화’에 대한 이러한 잠재적인 추가에 대해 불만을 표명한 산업 유명 인사들과 함께 이에 대해 불평할 가능성이 있습니다.

https://vimeo.com/634073402