HierSpeech++ : Hiyerarşik Variationel İnceleme için Zero-Shot Konuşma Sentezi

Büyük dil modellerindeki gelişmeler, özellikle sıfır örnekli (zero-shot) ses üretimi ve konuşma sentezini ilerletti. Ayrık ses birimleri için nöral kodekler geleneksel sistemleri geliştirse de üç sorun sürüyor: düşük dayanıklılık ve yavaş çıkarım nedeniyle telaffuz hataları, atlamalar ve tekrarlar; ayrık birimlere veya hazır kodeklere aşırı bağımlılık; çok büyük eğitim verisi gereksinimi. HierSpeech++ raporu, arXiv:2311.12454, ilk sorunu otoregresif modellerle ilişkilendirir.

HierSpeech++, ses dönüştürme ve metinden konuşmaya (TTS) için hızlı ve dayanıklı bir zero-shot sentezleyicidir. Hiyerarşik yaklaşım, eğitimde görülmemiş seslerde bile ifade gücünü, doğallığı ve konuşmacı benzerliğini iyileştirir. Bu yazıda mimariyi, işleyişi ve sonuçları inceliyoruz.

HierSpeech++: zero-shot konuşma sentezi için hiyerarşik varyasyonel çıkarım

Uçtan uca sistem, özdenetimli konuşma temsilini anlamsal bilgi olarak kullanıp anlamsal ve akustik temsilleri hiyerarşik olarak birleştirir. Böylece stil uyarlamasındaki sınırlamaları ele alır. VITS, varyasyonel otomatik kodlayıcıyı (VAE) çekişmeli eğitim ve normalleştirici akışlarla birleştiren uçtan uca sentez yaklaşımını sundu. Bu tür modeller yüksek algısal kalitede dalga biçimleri üretebilir.

HierSpeech’teki hiyerarşik koşullu VAE yeniden yapılandırmayı geliştirebilir. Ancak kaliteli ses, zero-shot klonlamadaki konuşmacı benzerliği ve hesaplama zorluklarını tek başına çözmez. Difüzyon tabanlı konuşma sentezi modelleri konuşmacıya iyi uyarlanır; fakat yinelemeli üretim yavaştır, gürültülü veriye duyarlıdır ve Mel-spektrogramdan sese iki aşamalı geçişte eğitim ile çıkarım arasındaki uyuşmazlık kaliteyi düşürür.

HierSpeech++ hiyerarşik sentezleyici, konuşma süper çözünürlüğü ve text-to-vec bileşenlerini birleştirir. Geliştirilmiş koşullu VAE, akustik sonsal temsili zenginleştiren çift ses kodlaması kullanır. Koşullu ve koşulsuz üretim yapan hiyerarşik uyarlamalı üreteç, dağılım dışı genellemeyi artırır. Kaynak-filtre kuramına dayalı çok yollu anlamsal kodlayıcı, konuşmacıya bağlı ve bağımsız bilgileri ayırır. Hiyerarşi hedef ses stiline aşamalı uyum sağlar. Çift yönlü normalleştirici akış Transformer ağı, uyarlamayı geliştirip eğitim-çıkarım farkını azaltır.

Tam paralel sistem; ses stilini ve prozodiyi kontrol edip aktarmayı, veri ölçeklenebilirliğini ve 16’dan 48 kHz’e yüksek çözünürlüklü sentezi, ayrıca zero-shot ses dönüştürme ve TTS’de insan düzeyinde kaliteyi hedefler.

Bileşenler ve mimari

Hiyerarşik sentezleyici, SpeechSR ve text-to-vec (TTV) birlikte çalışır. Bileşenlerin eğitimi, ses klonlama için büyük miktarda düşük çözünürlüklü konuşma verisinden yararlanabilir.

Konuşma temsilleri

Temel ses 16 kHz’de işlenir; SpeechSR bunu 48 kHz’e yükselterek algısal kaliteyi artırır. Anlamsal ve akustik temsiller düşük çözünürlüklüdür. Bir sinyalin frekans içeriğini yeniden oluşturmak için örnekleme hızı en yüksek bileşenin en az iki katı olmalıdır. Not: Kaynaktaki insan frekans bandının 4 kHz altında olduğuna ilişkin genel ifade burada doğrulanmış bilgi olarak tekrarlanmamıştır.

Geleneksel TTS, kısa zamanlı Fourier dönüşümüyle (STFT) dalga biçiminden elde edilen Mel-spektrogramı ara akustik özellik olarak kullanır. İçerik, telaffuz ve ses kimliği gibi birçok öznitelik içeren bu temsilin tahmini güçtür; yanlış telaffuz, düşük benzerlik veya aşırı yumuşatma oluşabilir.

Sürekli anlamsal temsil için Wav2Vec kullanılır. Zengin tek dilli modellerde yararlı olsa da zero-shot klonlamanın dayanıklılığı ve ifade gücü, özellikle çok dilli sentezde sorun olmaya devam eder.

Hiyerarşik konuşma sentezleyici

Temel modül yalnız konuşma verisiyle, metin dökümü veya konuşmacı kimliği olmadan eğitilebilir. Önceki modeller Mel-spektrogramı doğrusal spektrogramla değiştirdi. Kaynak bunun sınırlamalarını KL ayrışması, perde periyodikliği, PESQ, ötümlülük ölçümleri ve Mel-spektrogram uzaklığı üzerinden tartışır. Çift ses akustik kodlayıcısı daha zengin temsil yakalar: ham dalga biçiminden çıkarılan bilgi doğrusal spektrogramla birleştirilir ve ortak akustik temsile yansıtılır.

Çok yollu özdenetimli temsil, konuşmacıyla ilişkili ve bağımsız semantiği ayırır. MMS’nin orta katmanından dilsel bilgi alınır. Temel frekans bileşenleri ayrıştırmaya yardımcı olur ve perde eğrisini elle kontrol etmeyi sağlar. Dilsel temsil, dalga biçiminin hiyerarşik üretimini koşullandırır.

Dalga biçimi ve doğrusal spektrogramdan çıkarılan akustik temsiller ham sesi yeniden oluşturur; hiyerarşik varyasyonel çıkarım bunları çok yollu dilsel temsillere bağlar. Hiyerarşik uyarlamalı üreteç (HAG) semantikten dalga biçimine örnekler üretir; stil ve akustik temsiller kaynak ve dalga biçimi üreteçlerine verilir.

Text-to-vec

TTV metinden temel frekans ve anlamsal temsil üretir. Monoton hizalama araması ve VAE, konuşmayla metni içsel olarak hizalar. Doğrusal spektrogramın yerini alan özdenetimli temsil yeniden oluşturularak TTV çıktısı olur.

Temel frekans özdenetimli konuşma temsiline göre dört kat yüksek çözünürlükte tahmin edilir. Koşullu metin temsili önsel bilgi sağlar. Anlamsal içerik prozodi aktarımına yardımcı olur; gizil temsil fonem kodlayıcısına verilerek dilsel yetenek güçlendirilir.

SpeechSR: konuşma süper çözünürlüğü

Daha erişilebilir düşük çözünürlüklü veriyle eğitim yapılır ve ses 16’dan 48 kHz’e yükseltilir. Aktarılmış evrişim yerine en yakın komşu örnek artırıcı kullanılarak bu evrişimin neden olabildiği bozulmalar azaltılır.

Mimari

TTV içerik kodlayıcısı çekirdek boyutu 5 ve gizli boyutu 256 olan 16 nedensel olmayan WaveNet katmanı içerir. Çözücü sekiz katmanlıdır; çekirdek 5, gizli boyut 512’dir. Metin kodlayıcısında üç prozodi koşullu ve üç koşulsuz Transformer bulunur: çekirdek 9, filtre 1024, gizli boyut 256 ve dropout 0,2. Transformer bloklarındaki çekirdeği 5 olan CNN komşuluk bilgisini ve prozodi uyumunu destekler.

SpeechSR, içinde örnek artırma katmanı olmayan ve başlangıçta 32 kanallı tek AMP bloğu kullanır. Gizli temsiller en yakın komşuyla büyütülür. Ayırt edici MPD altı farklı pencere boyutu kullanır; ayrıca dört alt bant ayırt edicisi bulunur.

Çıkarım, 16 kHz sesten anlamsal temsil ve kaynakta YAPPT olarak adlandırılan algoritmayla temel frekans çıkarılmasıyla başlar. Temel frekans kaynak sesin ortalaması ve standart sapmasıyla normalleştirilir, ardından hedef sesin istatistikleriyle geri ölçeklenir. TTS’de konuşma yerine metin temsili çıkarılır ve TTV prozodi isteminden anlamsal temsil üretir.

Deneyler ve sonuçlar

Hiyerarşik sentezleyici halka açık LibriTTS’de önce train-clean alt kümeleri, ardından stil aktarımını geliştirmek için kalan verilerle eğitilir. Çeşitlilik ve dayanıklılık için veri ölçeği de artırılır. Not: Kaynakta veri kümesi büyüklüğü için verilen “1 kHz” birimi belirsizdir; burada doğrulanmış bir miktar olarak sunulmamıştır.

Yeniden yapılandırma, yeniden sentezleme ve ses dönüştürme

Yeniden yapılandırma ve yeniden sentezleme yedi nesnel ölçütle değerlendirilir; sonuçları aşağıdaki iki şekilde gösterilir.

Ses dönüştürme için benzerlik sMOS ve doğallık nMOS öznel puanlarına ek olarak üç nesnel doğallık ve iki benzerlik ölçütü kullanılır.

Zero-shot performans AutoVC, VoiceMixer ve difüzyon tabanlı modellerle karşılaştırılır.

Sonraki şekiller gürültülü ve çok gürültülü ses istemleriyle zero-shot metinden konuşmaya sonuçlarını gösterir.

Son düşünceler

HierSpeech++ büyük veri, ayrık birimler ve hazır kodeklere bağımlılığı, yavaş çıkarımı ve telaffuz sorunlarını ele alan dayanıklı bir zero-shot sentez yaklaşımıdır. Tam paralel hiyerarşi stil ve prozodiyi kontrol edip aktarır; veri ölçeğini ve 16’dan 48 kHz’e sentezi destekler; ses dönüştürme ve TTS’de insan düzeyinde kaliteyi hedefler.