Синтез природного мовлення став одним із помітних досягнень ШІ останніх років. Системи перетворення тексту на мовлення застосовують для аудіокниг, віртуальних помічників та озвучування; деякі сучасні моделі демонструють якість на рівні людини. Водночас залишаються проблеми виразності й різноманітності, великих обсягів даних для навчання адаптації без додаткових прикладів та стійкості до текстів поза навчальним розподілом (OOD).

StyleTTS2 розвиває підхід StyleTTS. Модель представляє стилі мовлення як приховані випадкові змінні й вибирає їх за допомогою ймовірнісної дифузійної моделі. Це дає змогу синтезувати реалістичне мовлення без обов’язкового вхідного аудіозразка та використовувати різноманітність дифузійного синтезу. Далі розглянемо архітектуру, методику та результати.

StyleTTS2: вступ до синтезу мовлення з тексту

StyleTTS2 побудовано на StyleTTS — стильовій генеративній моделі мовлення. На відміну від попередника, вона моделює стиль як приховану випадкову змінну, щоб підбирати відповідне звучання до тексту без еталонного аудіо. Для вибірки стилю застосовуються дифузійні моделі. Також система використовує попередньо навчену велику мовленнєву модель (SLM), зокрема WavLM, як дискримінатор і поєднує її з диференційовним моделюванням тривалості. Наскрізне навчання підвищує природність, а підхід придатний для ефективного попереднього навчання великих моделей із подальшою адаптацією до мовця без донавчання на ньому.

Дифузійні моделі корисні для точного керування й різноманітної вибірки мовлення. Проте вони часто менш ефективні за неітеративні GAN-підходи, оскільки багаторазово обробляють приховані представлення, хвильові форми чи мел-спектрограми протягом цільової тривалості запису.

Великі мовленнєві моделі також покращують якість і адаптацію до мовця. Зазвичай текст перетворюють на квантовані або неперервні представлення попередньо навчених моделей, призначені для реконструкції мовлення. Однак ці ознаки не оптимізовані безпосередньо для синтезу. StyleTTS2 використовує знання SLM через змагальне навчання, щоб відтворювати її ознаки й безпосередньо навчати придатний для синтезу прихований простір без окремого відображення між прихованими просторами.

StyleTTS2: архітектура та методика

Попередня StyleTTS є неавторегресійною системою. Її кодувальник стилю отримує вектор з еталонного аудіо, що забезпечує природне й виразне мовлення. Через адаптивну нормалізацію екземплярів (AdaIN) цей вектор впливає на кодувальник і предиктори тривалості та інших характеристик, дозволяючи змінювати просодію, темп і емоції. Вісім модулів поділено на три групи:

• Акустична система: кодувальник стилю, кодувальник тексту й декодувальник мовлення.
• Система передбачення: предиктори просодії та тривалості.
• Допоміжна система для навчання: модуль вирівнювання тексту, виділення висоти тону та дискримінатор.

StyleTTS забезпечує керований і різноманітний синтез, але має обмеження щодо якості окремих зразків, виразності й застосування в реальному часі.

StyleTTS2 покращує виразність перетворення тексту на мовлення, роботу з OOD-текстами та якість звучання. Наскрізне навчання спільно оптимізує компоненти за допомогою змагального навчання й безпосереднього синтезу хвильової форми. Стиль вибирається дифузійною моделлю як прихована змінна, тому різноманітні зразки можна генерувати без еталонного запису.

Наскрізне навчання для інференсу

Компоненти оптимізуються спільно, без залежності від фіксованих проміжних модулів. Декодувальник змінено так, щоб він створював хвильову форму з вектора стилю, кривих висоти тону й енергії та вирівняних представлень. Останній проєкційний шар замінено декодувальником хвильової форми. Розглядаються два варіанти: декодувальник на основі HiFi-GAN генерує сигнал безпосередньо, а варіант на основі iSTFT прогнозує фазу й амплітуду, з яких відновлюється сигнал, для швидшого навчання та інференсу.

На схемі показано акустичні модулі попереднього й спільного навчання. Спочатку модулі попередньо оптимізують, щоб скоротити час. Потім навчають усі компоненти разом, крім модуля виділення висоти тону: він надає еталонні криві висоти й тому залишається незмінним.

Наступна схема показує змагальне навчання з мовленнєвою моделлю та інференс. Попередньо навчений WavLM не донавчають. Процес може працювати з різними вхідними текстами, накопичуючи градієнти для оновлення параметрів у кожному пакеті.

Дифузія стилю

Мовлення моделюється як умовний розподіл через приховану змінну — узагальнений стиль мовлення. Вона охоплює характеристики поза фонетичним змістом: словесний наголос, просодію, темп і навіть переходи формант.

Дискримінатори на основі мовленнєвих моделей

SLM кодують корисну семантичну й акустичну інформацію. Їхні представлення можуть відображати людське сприйняття якості синтезу. StyleTTS2 використовує змагальне навчання та 12-шаровий WavLM як основу дискримінатора. Це дозволяє навчатися на OOD-текстах і покращувати узагальнення. Для зменшення перенавчання тексти з навчального розподілу та поза ним вибираються з однаковою ймовірністю.

Диференційовне моделювання тривалості

Зазвичай предиктор тривалості визначає, скільки триває кожна фонема. Але перетворення цих тривалостей на послідовність кадрів часто блокує потік градієнтів під час наскрізного навчання. NaturalSpeech використовує підвищення часової роздільності на основі уваги. Для змагального навчання StyleTTS2 цей підхід виявився нестабільним через розбіжності довжин. М’яке динамічне вирівнювання в часі може пом’якшити проблему, але потребує значних обчислень і теж викликає питання стабільності зі змагальними цілями та реконструкцією мел-спектрограм.

Тому StyleTTS2 застосовує непараметричний підхід. Поширене гаусівське підвищення часової роздільності обмежене наперед заданою фіксованою довжиною ядер, що ускладнює моделювання вирівнювань різної довжини. Новий метод не потребує додаткового навчання й ураховує різні довжини: вирівнювання кожної фонеми моделюється як випадкова змінна, яка позначає індекс відповідного мовленнєвого кадру.

Навчання й оцінювання моделі

Експерименти проводили на LJSpeech, VCTK і LibriTTS. Одноголосий варіант навчали на LJSpeech із понад 13 000 записів: 12 500 для навчання, 100 для валідації та близько 500 для тестування, загалом приблизно 24 години. Багатоголосий варіант навчали на VCTK із понад 44 000 записів більш ніж 100 носіїв мови з різними акцентами: 43 500 навчальних, 100 валідаційних і близько 500 тестових прикладів. Для адаптації до нового мовця без донавчання використовували об’єднаний LibriTTS: приблизно 250 годин і понад 1 150 мовців. Якість оцінювали за MOS-N — середньою суб’єктивною оцінкою природності — та MOS-S, середньою оцінкою подібності.

Результати

StyleTTS2 перевершує низку сучасних TTS-систем, зокрема у порівняннях із NaturalSpeech, а на VCTK показує кращі результати за VITS. Результати наведено нижче.

На LJSpeech модель також випереджає попередні підходи й не демонструє такого погіршення якості на OOD-текстах. У режимі zero-shot вона перевершує VALL-E за природністю, хоча поступається за подібністю голосу. При цьому StyleTTS2 досягає конкурентної якості після навчання приблизно на 245 годинах аудіо, тоді як для VALL-E використовували понад 60 000 годин. Це свідчить про високу ефективність використання даних.

Через брак аудіотекстових даних з емоційними мітками автори використали GPT-4 для створення понад 500 текстових прикладів з різними емоціями й візуалізації векторів стилю, отриманих дифузійним процесом.

Перша візуалізація показує, як вектори стилю моделі LJSpeech відображають емоційне забарвлення тексту, і демонструє виразний синтез різних емоцій. Друга показує окремі кластери п’яти мовців і різноманітність, яку можна отримати з одного аудіозразка. Третя — більш розріджені емоційні кластери першого мовця. Попри часткове перекриття, групи емоцій помітні, що вказує на можливість змінювати емоційне звучання незалежно від емоції еталонного запису. Попри дифузійний підхід, модель перевершує VITS, ProDiff і FastDiff у наведених порівняннях.

Підсумок

StyleTTS2 — розвиток StyleTTS у напрямі синтезу мовлення людського рівня. Вона моделює стилі як приховані випадкові змінні й вибирає їх імовірнісною дифузійною моделлю, що дозволяє створювати реалістичне мовлення без обов’язкового еталонного аудіо. Дифузія стилю та дискримінатори на основі SLM забезпечують природність і сильні результати в різних задачах синтезу.