HierSpeech++ : 계층적 변분 추론을 통한 제로샷 음성 합성

대규모 언어 모델의 발전은 특히 제로샷 오디오 생성과 음성 합성을 발전시켰습니다. 이산 오디오·음성 단위를 위한 신경 코덱도 기존 시스템의 능력을 높였습니다. 하지만 낮은 강건성과 느린 추론으로 인한 발음 오류·생략·반복, 이산 단위나 사전 훈련된 코덱에 대한 과도한 의존, 대규모 데이터 요구가 남아 있습니다. HierSpeech++ 보고서(arXiv:2311.12454)는 첫 문제를 자기회귀 모델의 한계로 설명합니다.

HierSpeech++는 음성 변환과 텍스트 음성 합성(TTS)을 위한 빠르고 강건한 제로샷 합성기입니다. 계층적 방식은 학습하지 않은 화자에서도 표현력, 자연스러움, 화자 유사성을 개선합니다. 이 글에서는 구조, 작동과 결과를 살펴봅니다.

HierSpeech++: 제로샷 합성을 위한 계층적 변분 추론

엔드투엔드 파이프라인은 자기지도 음성 표현을 의미 정보로 사용해 의미·음향 표현의 간격을 계층적으로 연결하고 스타일 적응의 한계를 해결합니다. VITS는 변분 오토인코더(VAE)에 적대적 학습과 정규화 흐름을 결합한 엔드투엔드 합성을 도입했습니다. 이 접근은 높은 지각적 품질의 파형을 생성할 수 있습니다.

HierSpeech의 계층적 조건부 VAE는 재구성 품질을 높이지만, 좋은 오디오만으로 제로샷 화자 유사성과 계산 비용 문제를 해결하지는 못합니다. 확산 기반 음성 합성 모델은 화자 적응에 유리하지만 반복적 생성이 느리고 잡음 데이터에 취약합니다. 멜스펙트로그램에서 오디오로 이어지는 두 단계 생성의 학습·추론 불일치도 품질을 떨어뜨립니다.

HierSpeech++는 계층적 합성기, 음성 초해상도, text-to-vec를 결합합니다. 개선된 조건부 VAE는 이중 오디오 인코딩으로 음향 사후 표현을 강화합니다. 조건부·무조건부 생성을 함께 사용하는 계층적 적응 생성기는 분포 밖 일반화를 개선합니다. 소스-필터 이론 기반 다중 경로 의미 인코더는 화자 관련·독립 정보를 분리하고 목표 스타일에 점진적으로 적응합니다. 양방향 정규화 흐름 트랜스포머는 적응을 개선하고 학습·추론 차이를 줄입니다.

완전 병렬 구조는 음성 스타일·운율 제어와 전이, 데이터 확장 및 16→48 kHz 합성, 제로샷 음성 변환과 TTS의 인간 수준 품질을 목표로 합니다.

구성요소와 구조

계층적 합성기, SpeechSR, text-to-vec(TTV)는 함께 작동합니다. 각 모듈은 대량의 저해상도 음성 데이터를 활용해 음성 복제를 학습할 수 있습니다.

음성 표현

기본 오디오는 16 kHz로 처리하고 SpeechSR이 48 kHz로 높여 지각적 품질을 개선합니다. 의미·음향 표현에는 저해상도 표현을 사용합니다. 신호의 주파수 성분을 복원하려면 표본화 주파수는 최고 성분의 최소 두 배여야 합니다. 참고: 원문의 ‘인간 주파수 대역이 4 kHz 미만’이라는 일반적 주장은 여기서 검증된 사실로 반복하지 않았습니다.

전통적 TTS는 단시간 푸리에 변환(STFT)으로 파형에서 얻은 멜스펙트로그램을 중간 음향 특징으로 사용합니다. 내용, 발음, 음성 정체성 등 정보가 풍부해 예측이 어렵고 발음 오류, 낮은 유사성, 과도한 평활화가 생길 수 있습니다.

연속 의미 표현을 추출하는 데 Wav2Vec를 사용합니다. 풍부한 단일 언어 모델에는 도움이 되지만, 특히 다국어 제로샷 복제의 강건성과 표현력은 여전히 과제입니다.

계층적 음성 합성기

기본 모듈은 전사나 화자 ID 없이 음성 데이터만으로 학습할 수 있습니다. 이전 모델은 멜스펙트로그램을 선형 스펙트로그램으로 대체했습니다. 원문은 그 한계를 KL 발산, 피치 주기성, PESQ, 유성·무성 점수와 멜스펙트로그램 거리 등으로 논의합니다. 이중 오디오 음향 인코더는 더 풍부한 표현을 얻습니다. 파형 인코더가 원시 오디오 정보를 추출하고 선형 스펙트로그램 표현과 연결한 뒤 공통 음향 표현으로 투영합니다.

다중 경로 자기지도 표현은 화자 관련·독립 의미를 구분합니다. MMS의 중간층에서 언어 정보를 얻으며 기본 주파수는 음성 성분 분리와 피치 곡선의 수동 제어를 돕습니다. 언어 표현은 계층적 파형 생성의 조건입니다.

파형과 선형 스펙트로그램의 음향 표현은 원시 오디오를 재구성하고, 계층적 변분 추론은 이를 다중 경로 언어 표현에 연결합니다. 계층적 적응 생성기(HAG)는 의미에서 파형을 생성하며 스타일·음향 표현을 소스 생성기와 파형 생성기에 전달합니다.

Text-to-vec

TTV는 텍스트에서 기본 주파수와 의미 표현을 만듭니다. 단조 정렬 탐색과 VAE로 음성과 텍스트를 내부적으로 맞춥니다. 선형 스펙트로그램 대신 자기지도 표현을 재구성해 TTV 출력으로 사용합니다.

기본 주파수는 자기지도 음성 표현보다 네 배 높은 해상도로 예측하며 조건부 텍스트 표현을 사전 정보로 사용합니다. 의미 정보는 운율 전이를 돕고, 잠재 표현을 음소 인코더에 전달해 언어 능력을 높입니다.

SpeechSR: 음성 초해상도

이용하기 쉬운 저해상도 데이터로 학습한 뒤 파형을 16에서 48 kHz로 높입니다. 전치 합성곱 대신 최근접 이웃 업샘플러를 사용해 전치 합성곱의 아티팩트를 줄입니다.

아키텍처

TTV 내용 인코더는 커널 5, 은닉 크기 256인 비인과적 WaveNet 16층입니다. 디코더는 8층이며 커널 5, 은닉 크기 512입니다. 텍스트 인코더에는 운율 조건부 트랜스포머 세 개와 무조건부 트랜스포머 세 개가 있고, 커널 9, 필터 1024, 은닉 크기 256, dropout 0.2를 사용합니다. 트랜스포머 블록의 커널 5 CNN은 인접 정보와 운율 적응을 돕습니다.

SpeechSR은 초기 32채널의 AMP 블록 하나를 사용하며 해당 블록 안에는 업샘플링 층이 없습니다. 은닉 표현은 최근접 이웃 방식으로 확대합니다. MPD 판별기는 여섯 창 크기를 사용하며 네 개의 하위 대역 판별기도 적용합니다.

추론은 16 kHz 오디오의 의미 표현과 원문에서 YAPPT라고 표기한 알고리즘의 기본 주파수 추출로 시작합니다. 기본 주파수는 소스 음성의 평균·표준편차로 정규화하고 목표 음성의 통계로 역정규화합니다. TTS는 음성 대신 텍스트 표현을 추출하고 TTV로 운율 프롬프트의 의미 표현을 생성합니다.

실험과 결과

계층적 합성기는 공개 LibriTTS의 train-clean 부분집합으로 먼저 학습하고, 나머지 데이터를 활용해 스타일 전이를 개선합니다. 다양성과 강건성을 위해 데이터 규모도 늘립니다. 참고: 원문이 데이터셋 크기에 사용한 ‘1 kHz’라는 단위는 불명확하므로 검증된 수치로 제시하지 않았습니다.

재구성, 재합성, 음성 변환

재구성과 재합성은 일곱 객관적 지표로 평가했습니다. 다음 두 그림은 각 결과입니다.

음성 변환에는 유사성 sMOS와 자연스러움 nMOS라는 주관적 점수 외에 자연스러움 객관 지표 세 개와 유사성 지표 두 개를 사용했습니다.

제로샷 성능을 AutoVC, VoiceMixer 및 확산 기반 모델과 비교했습니다.

다음 그림은 잡음이 있는 프롬프트와 잡음이 매우 심한 프롬프트의 제로샷 TTS 결과입니다.

마무리

HierSpeech++는 대규모 데이터, 이산 단위와 코덱 의존성, 느린 추론과 발음 오류를 해결하려는 강건한 제로샷 합성 접근입니다. 완전 병렬 계층으로 스타일·운율을 제어하고 전이하며, 데이터 확장과 16→48 kHz 합성을 지원하고 음성 변환·TTS의 인간 수준 품질을 목표로 합니다.