AI 모델 및 플랫폼
StyleTTS 2: 대규모 음성 언어 모델을 활용한 인간 수준의 텍스트 음성 합성
핵심 포인트StyleTTS 2는 음성 스타일을 잠재 변수로 모델링하고 확산 모델을 통해 샘플링하여 참조 오디오 없이도 다양한 합성이 가능합니다.
더 보기
- StyleTTS 2는 음성 스타일을 잠재 변수로 모델링하고 확산 모델을 통해 샘플링하여 참조 오디오 없이도 다양한 합성이 가능합니다.
- 이 프레임워크는 사전 훈련된 WavLM 음성 언어 모델을 판별자로 사용하여 적대적 훈련을 통해 자연스러움을 향상시킵니다.
- StyleTTS 2는 높은 데이터 효율성으로 최첨단 결과를 달성하며, 훨씬 더 큰 데이터셋으로 훈련된 모델들을 능가합니다.
최근 몇 년 동안 AI 산업이 달성한 주요 성과 중 하나는 다양한 산업에서 적용할 수 있는 오디오북, 가상 어시스턴트, 음성 내레이션 등에 잠재적인 응용 프로그램을 갖춘 텍스트 음성 프레임워크를 효과적으로 합성하는 것입니다. 일부 최첨단 모델은 광범위한 음성 관련 작업에서 인간 수준의 성능과 효율성을 제공합니다. 그러나 강력한 성능에도 불구하고, 표현적이고 다양한 음성, 제로샷 텍스트 음성 프레임워크를 최적화하기 위한 대량의 훈련 데이터 요구, OOD(Out of Distribution) 텍스트에 대한 강건성 등에서 개선의 여지가 있습니다.
이 기사에서는 StyleTTS-2라는 강력하고 혁신적인 텍스트 음성 프레임워크에 대해 이야기하겠습니다. StyleTTS-2는 StyleTTS 프레임워크의 기초 위에 구축되었으며, 최첨단 텍스트 음성 시스템의 다음 단계를 제시합니다. StyleTTS2 프레임워크는 음성 스타일을 잠재 확률변수로 모델링하고 확률론적 확산 모델을 사용하여 이러한 음성 스타일 또는 랜덤 변수를 샘플링하여 참조 오디오 입력 없이 현실적인 음성을 합성할 수 있습니다. StyleTTS2 프레임워크는 현재 최첨단 텍스트 음성 프레임워크보다 더 나은 결과를 제공하며, 확산 모델 프레임워크에서 제공하는 다양한 음성 합성의 이점도 활용할 수 있습니다.
StyleTTS2를 위한 텍스트 음성 합성: 소개
StyleTTS2는 인간 수준의 TTS 프레임워크를 구축하기 위한 다음 단계를 나타내는 혁신적인 텍스트 음성 합성 모델입니다. StyleTTS2는 StyleTTS 프레임워크 위에 구축되었으며, 음성 스타일을 잠재 확률변수로 모델링하고 확률론적 확산 모델을 사용하여 이러한 음성 스타일 또는 랜덤 변수를 샘플링하여 참조 오디오 입력 없이 현실적인 음성을 합성할 수 있습니다. 입력 텍스트에 가장 알맞은 음성 스타일을 참조 오디오 없이 생성하려는 점이 이전 StyleTTS와의 차이입니다. StyleTTS2는 스타일 기반 음성 생성 모델인 StyleTTS를 바탕으로, 확산 모델의 다양한 음성 합성 능력을 활용합니다. 또한 WavLM 같은 사전 학습된 대규모 음성 언어 모델(SLM)을 판별기로 사용하고, 새로운 미분 가능한 지속시간 모델링을 결합하여 종단 간 학습하며 자연스러움을 높입니다. 원문은 이러한 접근이 기존 음성 생성 기법보다 우수하고 제로샷 화자 적응을 위한 대규모 음성 모델의 사전 학습에도 효율적이라고 설명합니다.
StyleTTS2 프레임워크는 기존 연구에서 학습한 내용을 통합하여 인간 수준의 텍스트 음성 합성을 제공합니다. 확산 모델은 음성 합성 작업에서 미세한 음성 제어와 다양한 음성 샘플링 능력으로 인해 일반적으로 사용됩니다. 그러나 확산 모델은 GAN 기반의 비반복적 프레임워크만큼 효율적이지 않습니다. 주요 이유는 목표 기간까지 반복적으로 잠재 표현, 파형, 및 멜-스펙트로그램을 샘플링해야 하기 때문입니다.
최근의 연구에서는 대규모 음성 언어 모델이 텍스트 음성 생성 작업의 품질을 향상시키고 화자에 잘 적응할 수 있음을 보여주었습니다. 대규모 음성 언어 모델은 일반적으로 텍스트 입력을 사전 훈련된 음성 언어 프레임워크에서 파생된 양자화된 표현 또는 연속 표현으로 변환하여 음성 재구성 작업을 위해 사용합니다. 그러나 이러한 음성 언어 모델의 특징은 직접 음성 합성에 최적화되어 있지 않습니다. StyleTTS2 프레임워크는 대규모 SLM 프레임워크에서 얻은 지식을 활용하여 적대적 훈련을 사용하여 음성 언어 모델의 특징을 합성하고, 잠재 공간 맵을 사용하지 않으므로 음성 합성을 최적화한 잠재 공간을 직접 학습할 수 있습니다.
StyleTTS2: 아키텍처 및 방법론
StyleTTS2는 이전 모델인 StyleTTS를 바탕으로 합니다. StyleTTS는 비자기회귀 텍스트 음성 변환 프레임워크로, 스타일 인코더가 참조 오디오에서 스타일 벡터를 추출하여 표현력 있고 자연스러운 음성을 생성합니다. 이 벡터는 AdaIN(적응형 인스턴스 정규화)을 통해 인코더와 지속시간·운율 예측기에 직접 통합되므로 운율, 지속시간과 감정이 다른 출력을 만들 수 있습니다. StyleTTS의 총 8개 모델은 다음 세 범주로 나뉩니다.
- 스타일 인코더, 텍스트 인코더, 음성 디코더로 구성된 음향 모델 또는 음성 생성 시스템.
- 운율 및 지속시간 예측기를 사용하는 텍스트 음성 예측 시스템.
- 텍스트 정렬기, 피치 추출기, 훈련 목적으로 사용되는 판별기를 포함하는 유틸리티 시스템.
StyleTTS는 이 접근으로 제어 가능하고 다양한 음성 합성에서 높은 성능을 보입니다. 다만 원문은 샘플 품질 저하와 표현력의 한계, 실시간 응용을 방해하는 음성 처리상의 제약을 단점으로 지적합니다.
StyleTTS2는 StyleTTS를 개선하여 표현력 높은 텍스트 음성 변환과 분포 외 텍스트에서의 성능, 인간 수준의 음질을 추구합니다. 적대적 학습과 직접 파형 합성을 함께 사용해 여러 구성 요소를 종단 간 최적화합니다. StyleTTS와 달리 음성 스타일을 잠재변수로 모델링하고 확산 모델로 샘플링하므로 참조 오디오 없이 다양한 음성을 생성합니다. 아래에서 각 구성 요소를 살펴봅니다.
추론을 위한 종단 간 학습
StyleTTS2는 구성 요소를 고정해 둘 필요 없이 추론에 사용할 여러 텍스트 음성 변환 요소를 종단 간 최적화합니다. 스타일 벡터, 피치·에너지 곡선과 정렬된 표현에서 파형을 직접 생성하도록 디코더를 수정하고 마지막 투영층을 파형 디코더로 대체합니다. 원문은 여기서 두 가지 디코더를 설명합니다. HiFi-GAN 기반 디코더는 파형을 직접 생성하고, iSTFT 기반 디코더는 위상과 크기를 출력한 뒤 파형으로 변환하여 추론과 학습을 빠르게 합니다.

위의 그림은 사전 훈련 및 공동 훈련을 위한 음성 모델을 나타냅니다. 훈련 시간을 줄이기 위해 모듈은 사전 훈련 단계에서 먼저 최적화되고, 공동 학습에서는 피치 추출기를 제외한 모든 구성 요소가 최적화됩니다. 공동 훈련에서 피치 추출기가 최적화되지 않는 이유는 피치 곡선의 정답값을 제공하기 때문입니다.

위의 그림은 사전 학습되었지만 별도로 미세 조정되지 않은 WavLM을 활용한 음성 언어 모델의 적대적 학습과 추론을 나타냅니다. 이 과정은 이전에 언급된 과정과 다르며, 다양한 입력 텍스트를 취할 수 있지만 각 배치에서 매개변수를 업데이트하기 위해 그라디언트를 누적합니다.
스타일 확산
StyleTTS2는 조건부 분포를 따르는 잠재변수를 통해 음성의 조건부 분포를 모델링합니다. 이 변수는 일반화된 음성 스타일이라고 하며, 음소 내용 이외의 모든 특징을 나타냅니다. 여기에는 어휘 강세, 운율, 발화 속도와 포먼트 전이가 포함됩니다.
음성 언어 모델 판별기
음성 언어 모델은 다양한 의미·음향 정보를 인코딩하며, 그 표현은 합성 음질을 평가하는 인간의 지각을 모방할 수 있습니다. StyleTTS2는 이 인코더의 능력을 생성 작업에 활용하도록 적대적 학습을 적용하고, 12층 WavLM을 판별기로 사용합니다. 이를 통해 분포 외(OOD) 텍스트에서도 학습하여 성능을 개선할 수 있습니다. 과적합을 방지하기 위해 분포 내 텍스트와 분포 외 텍스트를 같은 확률로 샘플링합니다.
미분 가능한 지속시간 모델링
기존 텍스트 음성 변환의 지속시간 예측기는 음소별 지속시간을 출력하지만, 이를 사용하는 업샘플링 방식이 종단 간 학습에서 기울기 흐름을 막는 경우가 있습니다. NaturalSpeech는 어텐션 기반 업샘플러를 사용합니다. 그러나 StyleTTS2의 설명에서는 적대적 학습 중 이 방식이 불안정하고, 지속시간 편차에 따른 길이 불일치가 추가 손실항을 요구하는 문제가 있습니다. 소프트 동적 시간 왜곡은 불일치를 완화할 수 있지만 계산 비용이 크고 적대적 목표나 멜 스펙트로그램 재구성에서 안정성이 문제가 됩니다. 따라서 StyleTTS2는 학습을 안정화하기 위해 비모수적 업샘플링을 사용합니다. 일반적인 가우스 업샘플링도 비모수적이지만 미리 정한 커널 길이가 서로 다른 길이의 정렬을 정확히 표현하는 능력을 제한합니다.
이 한계를 해결하기 위해 StyleTTS2는 추가 학습 없이 다양한 정렬 길이를 다룰 수 있는 새로운 비모수적 업샘플링 방식을 제안합니다. 각 음소의 정렬을 확률변수로 모델링하여 해당 음소가 정렬되는 음성 프레임의 인덱스를 나타냅니다.
모델 훈련 및 평가
StyleTTS2는 VCTK, LibriTTS, LJSpeech의 세 데이터셋에서 학습·실험되었습니다. 단일 화자 구성 요소는 약 24시간 분량인 LJSpeech의 13,000개 이상 오디오 샘플로 학습하며, 원문은 이를 학습 12,500개, 검증 100개, 시험 약 500개로 나눕니다. 다중 화자 구성 요소는 억양이 다양한 100명 이상의 원어민이 포함된 VCTK의 44,000개 이상 클립을 사용하며, 학습 43,500개, 검증 100개, 시험 약 500개로 나눕니다. 제로샷 적응에는 1,150명 이상 화자의 약 250시간 오디오가 포함된 LibriTTS 결합 데이터셋을 사용합니다. 평가 지표는 자연스러움에 대한 평균 의견 점수인 MOS-N과 유사성에 대한 평균 의견 점수인 MOS-S입니다.

결과
StyleTTS2 프레임워크의 접근 방식과 방법론은 성능에서 나타납니다. StyleTTS2 프레임워크는 여러 최첨단 텍스트 음성 프레임워크를 능가하며, 특히 NaturalSpeech 데이터셋에서 새로운 기준을 설정합니다. 또한, StyleTTS2 프레임워크는 VCTK 데이터셋에서 VITS 프레임워크를 능가하며, 결과는 다음 그림에 나타납니다.

StyleTTS2는 LJSpeech에서도 이전 모델을 능가하며, 같은 평가 지표에서 기존 모델이 보인 분포 외 텍스트의 품질 저하를 보이지 않는다고 원문은 설명합니다. 제로샷 조건에서 VALL-E보다 자연스러움은 높지만 유사성은 낮습니다. 그럼에도 학습 오디오가 약 245시간으로, VALL-E의 6만 시간 이상보다 훨씬 적으므로 데이터 효율적인 대안이라는 것이 원문의 평가입니다.

StyleTTS2 프레임워크는 또한 감정 레이블이 있는 오디오 텍스트 데이터의 부족으로 인해 GPT-4 모델을 사용하여 다양한 감정에 대한 500개 이상의 인스턴스를 생성했습니다. 이는 프레임워크의 확산 과정으로 만든 스타일 벡터를 시각화하기 위한 사례입니다.

첫 번째 그림은 LJSpeech 모델의 스타일 벡터를 나타내며, 입력 텍스트 감정에 대한 음성 스타일을 나타냅니다. 두 번째 그림은 5명의 개별 화자에 대한 구별된 클러스터를 나타내며, 단일 오디오 파일에서 다양한 음성의 다양성을 나타냅니다. 세 번째 그림은 화자 1의 느슨한 클러스터를 나타내며, 감정 기반 클러스터가 두드러지며, 참조 오디오와 입력 어조에 관계없이 화자의 감정적 어조를 조절할 가능성을 보여 줍니다. 원문은 확산 기반 방식임에도 VITS, ProDiff, FastDiff 등 기존 모델보다 우수한 성능을 보였다고 덧붙입니다.

최종 생각
이 기사에서는 StyleTTS2 프레임워크에 대해 이야기했습니다. StyleTTS2 프레임워크는 StyleTTS 프레임워크 위에 구축되었으며, 최첨단 텍스트 음성 시스템의 다음 단계를 제시합니다. StyleTTS2 프레임워크는 음성 스타일을 잠재 확률변수로 모델링하고 확률론적 확산 모델을 사용하여 이러한 음성 스타일 또는 랜덤 변수를 샘플링하여 참조 오디오 입력 없이 현실적인 음성을 합성할 수 있습니다. StyleTTS2 프레임워크는 또한 대규모 음성 언어 모델을 사용하여 음성 언어 모델의 특징을 합성하고, 잠재 공간 맵을 사용하지 않으므로 음성 합성을 최적화한 잠재 공간을 직접 학습할 수 있습니다.












