Модели и платформы ИИ
HierSpeech++: иерархический вариационный вывод для синтеза речи в режиме zero-shot
Ключевые моментыHierSpeech++ использует иерархический вариационный вывод для соединения семантических и…
Показать больше
- HierSpeech++ использует иерархический вариационный вывод для соединения семантических и акустических речевых представлений в задачах синтеза без обучения на целевом голосе.
- Модель применяет двойной акустический энкодер и многопутевой семантический энкодер для улучшения адаптации к диктору и разделения характеристик голоса.
- Система генерирует высококачественную речь 48 кГц из данных 16 кГц и достигает человеческого уровня преобразования голоса без обучения на целевом дикторе, не используя текстовые разметки.
Недавние разработки и прогресс в возможностях больших языковых моделей сыграли решающую роль в продвижении рамок, основанных на LLM, для генерации аудио и задач синтеза речи, особенно в режиме zero-shot. Традиционные рамки синтеза речи стали свидетелями значительного прогресса в результате интеграции дополнительных функций, таких как нейронные аудиокодеки для дискретного аудио и речевых единиц. Хотя эти рамки синтеза речи и аудио обеспечивают удовлетворительные результаты, все еще есть место для улучшения, поскольку текущие рамки аудио, основанные на LLM, имеют три основных ограничения
- Они склонны к автогенерации аудиовыхода, что в конечном итоге приводит к отсутствию устойчивости и медленной скорости инференса, что приводит к неправильному произношению, пропуску или повторению.
- Они склонны слишком сильно полагаться на дискретные речевые единицы или предварительно обученные нейронные аудиокодеки.
- Они часто требуют большого количества обучающих данных.
Чтобы решить проблемы, упомянутые выше, и улучшить возможности моделей синтеза речи и аудио на основе LLM, разработчики создали HierSpeech++, устойчивый и эффективный синтезатор речи в режиме zero-shot для преобразования голоса и текста в речь или задач TTS. Рамка HierSpeech++ основана на иерархических рамках синтеза речи, которые не только повышают устойчивость, но и добавляют выразительность синтетической речи, а также повышают естественность и сходство говорящего синтетически сгенерированной речи, даже в режиме zero-shot.
В этой статье мы подробно рассмотрим рамку HierSpeech++, и посмотрим на архитектуру модели, ее работу и результаты по сравнению с современными моделями генерации текста и аудио. Итак, начнем.
HierSpeech++ : Иерархическая вариационный вывод для синтеза речи в режиме zero-shot
HierSpeech++ – это быстрый, устойчивый и эффективный синтезатор речи в режиме zero-shot, который использует иерархический конвейер синтеза речи, и, принимая этот конвейер синтеза речи от начала до конца, модель HierSpeech++ может максимизировать потенциал высококачественной генерации волновой формы, чтобы иерархически мостить разрыв между семантическими и акустическими представлениями, принимая самообучаемое представление речи в качестве семантического представления речи, и таким образом пытается решить текущие ограничения адаптации стиля. Конвейер синтеза речи от начала до конца был впервые представлен моделью VITS, и он принимает VAE или вариационный автоэнкодер, дополненный обучением с противостоянием и нормализующим потоком. Кроме того, рамки, основанные на VAE, с конвейером обучения от начала до конца, имеют возможность генерировать высококачественную волновую форму аудио, с синтезом речи, воспринимаемым значительно лучше, чем тот, который генерируется другими рамками синтеза речи.
Качество аудиовосстановления этих рамок можно еще больше улучшить, используя иерархический условный вариационный автоэнкодер, используемый в рамке HierSpeech. Несмотря на их потенциал, модели с конвейером обучения от начала до конца имеют определенные ограничения, особенно в режиме zero-shot, поскольку, хотя они могут синтезировать образцы речи с высококачественным аудио, сходство говорящего в задачах клонирования голоса в режиме zero-shot все еще осложнено высокой вычислительной сложностью. С другой стороны, диффузионные модели синтеза речи работают хорошо в плане адаптации говорящего, но они все еще далеки от совершенства, поскольку они используют итеративный процесс генерации, который замедляет скорость вывода, они часто уязвимы для шумных данных, и в результате несоответствия между обучением и выводом двухэтапного процесса генерации между мел-спектрограммой и сгенерированной фактической аудио качество аудио не на высоте.
Чтобы решить проблемы, с которыми столкнулись его предшественники, модель HierSpeech++ использует иерархический синтезатор речи, супер-разрешение речи и компонент текста в вектор, и вводит улучшенный иерархический синтезатор речи, построенный на иерархическом условном VAE или вариационном автоэнкодере. В попытке повысить качество аудио за пределами воспринимаемого качества рамка HierSpeech++ принимает двойной аудио, чтобы повысить акустический постериор, и улучшает обобщение вне распределения, используя иерархический адаптивный генератор, оснащенный как условной, так и безусловной генерацией. Кроме того, чтобы разъединить компоненты речи и повысить связанную с говорящим и независимую от говорящего семантическую информацию, рамка HierSpeech++ также принимает теоретически-основанный много-путьный семантический кодировщик на основе источника и фильтра. В результате использования вариационного автоэнкодера модель HierSpeech++ может соединить и изучить представления иерархически и прогрессивно адаптироваться к целевому стилю голоса, чтобы сделать вывод о волновой форме аудио. Кроме того, рамка HierSpeech++ также развертывает двустороннюю сеть нормализующих потоков трансформеров в попытке повысить адаптацию и также уменьшить несоответствие между обучением и выводом.
В целом, модель HierSpeech++ – это полностью-параллельная, новая и прочная иерархическая рамка синтеза речи, направленная на синтез образцов речи в режиме zero-shot, и пытается сделать следующие вклады
- Использование иерархической рамки синтеза речи для контроля и передачи стилей голоса и просодии.
- Включить масштабируемость данных и высокое разрешение синтеза речи, увеличивая волновую форму аудио с 16 до 48 кГц.
- Достичь человеческого уровня способностей в задачах преобразования голоса и текста в речь в режиме zero-shot.
HierSpeech++ : Компоненты модели и архитектура
Как обсуждалось, HierSpeech++ – это модель синтеза речи в режиме zero-shot, которая пытается достичь человеческого уровня точности в плане сходства голоса и естественности речи.

Модель HierSpeech++ состоит из различных компонентов, включая иерархический синтезатор речи, супер-разрешение речи и текст-в-вектор, которые работают в гармонии друг с другом, чтобы облегчить обучение каждой модели, которая может эффективно использовать большое количество данных речи с низким разрешением для клонирования голоса. Давайте разберем рамку и поговорим о каждом компоненте.
Представления речи
Поскольку человеческая частотная полоса находится ниже 4 кГц, для синтеза речи рамка HierSpeech++ снижает частоту аудио до 16 кГц. Кроме того, для восстановления сигнала голоса важно использовать как минимум вдвое высшую компоненту частоты голоса, помимо снижения частоты аудио. Чтобы достичь повышенного воспринимаемого качества, рамка HierSpeech++ использует компонент супер-разрешения речи или SpeechSR для увеличения частоты аудио с 16 до 48 кГц и использует представления с низким разрешением для семантических и акустических представлений.

Для акустических представлений традиционная рамка текста в речь или TTS использует мел-спектрограмму в качестве промежуточной акустического признака, которая затем преобразуется из волновой формы с помощью STFT или кратковременного преобразования Фурье. Однако стоит отметить, что поскольку акустические признаки являются богатыми представлениями, включающими различные атрибуты, включая содержание и произношение, информацию о голосе и многое другое, что делает трудным для рамки сделать вывод об этих представлениях, что часто приводит к неправильному произношению, отсутствию сходства или чрезмерному сглаживанию речи.
Двигаясь дальше, чтобы извлечь непрерывное семантическое представление из волновой формы, рамка HierSpeech++ использует рамку Wav2Vec, в отличие от популярного самообучаемого подхода представления речи для семантических представлений. Хотя этот подход делает хорошую альтернативу для богатой монолингвальной модели, он влияет на способности модели к синтезу в режиме zero-shot в плане как устойчивости, так и выразительности, особенно на задачах синтеза речи на нескольких языках.
Иерархический синтезатор речи
Компонент иерархического синтезатора речи – это основа рамки HierSpeech++, поскольку он позволяет обучать модуль без использования каких-либо меток, таких как текстовые транскрипты или идентификатор говорящего, и полагаться исключительно на данные речи. Чтобы повысить акустическую емкость, предыдущие модели синтеза речи заменили мел-спектрограмму на линейный спектрограмму, однако этот подход минимизирует показатель KL-расхождения в плане периодичности тона, PESQ, звонких и глухих участков, и даже расстояния мел-спектрограммы. Иерархический синтезатор речи использует двойной акустический кодировщик для решения проблем, представленных линейным спектрограммой, предназначенным для захвата более богатых и полных акустических представлений. Рамка также использует кодировщик волновой формы для извлечения информации из сырой волновой формы аудио и объединяет ее с линейным спектрограммным представлением, и, наконец, проецирует акустическое представление в виде объединенного представления.

Кроме того, чтобы решить проблемы, связанные с говорящим и независимыми от говорящего семантическими представлениями, рамка HierSpeech++ использует много-путьный самообучаемый подход представления речи, где каждое отдельное представление используется для иерархической адаптации стиля с семантическими представлениями, извлеченными для получения лингвистической информации из среднего слоя MMS. Рамка также использует основную частоту для повышения дезентанглемента речи, что позволяет контролировать контур тона вручную. Рамка также использует лингвистическое представление в качестве условной информации для генерации волновой формы аудио иерархически и использует повышенное лингвистическое представление самообучаемого представления. Также стоит отметить, что акустические представления, извлеченные во время обучения с помощью волновой формы и линейного спектрограммы, используются для восстановления сырой волновой формы аудио, и иерархическая вариационный вывод используется для соединения акустических представлений с много-путьными лингвистическими представлениями. Рамка также использует иерархический адаптивный генератор для генерации семантических-в-волновую форму образцов, и сгенерированные представления, включающие представление стиля и акустическое представление, подаются в генераторы источника и волновой формы.
Текст в вектор
Для синтеза речи из текста рамка HierSpeech++ использует модель текста в вектор или TTV, которая генерирует основную частоту и семантическое представление из последовательности текста, и использует монотонный поиск выравнивания, объединенный с вариационным автоэнкодером, для выравнивания речи и текста внутри. Рамка HierSpeech++ затем заменяет линейный спектрограмму на самообучаемое линейное представление и восстанавливает то же представление, чтобы служить выходом для TTV.

Кроме того, рамка HierSpeech++ предсказывает основную частоту с четырьмя разами большей разрешающей способностью по сравнению с самообучаемыми представлениями речи, и использует условное текстовое представление в качестве априорной информации. В результате семантической информации самообучаемых представлений речи, рамка способна передавать стиль просодии в модели текста в вектор, и подает латентное представление в кодировщик фонемы, чтобы повысить лингвистические способности представления.
SpeechSR или супер-разрешение речи
Рамка HierSpeech++ обучается на относительно наборе данных с низким разрешением в плане эффективности и доступности данных, и увеличивает речевую волну с низким разрешением до речевой волны с высоким разрешением с 16 до 48 кГц. Рамка также заменяет транспонированную свертку на ближайший соседний апсэмплер, который ранее был известен как средство для смягчения артефактов, вызванных транспонированными свертками.

Архитектура
Кодировщик контента модели текста в вектор состоит из 16 некаузальных слоев WaveNet с размером ядра 5 и скрытым размером 256, в то время как декодировщик контента состоит из 8 некаузальных слоев WaveNet с размером ядра 5 и скрытым размером 512. Компонент текстового кодировщика состоит из трех условных трансформерных сетей просодии и трех безусловных трансформерных сетей с размером ядра 9, размером фильтра 1024 и скрытым размером 256, с текстовым кодировщиком, имеющим коэффициент dropout 0,2. Чтобы закодировать соседнюю информацию и повысить адаптацию стиля просодии, рамка использует свертку с размером ядра 5 в трансформерных блоках. SpeechSR, с другой стороны, состоит из одного блока AMP с 32 начальными каналами без наличия слоя апсэмплинга. Рамка использует ближайший соседний апсэмплер для апсэмплинга скрытых представлений и использует MPD в качестве дискриминатора с шестью разными размерами окон и четырьмя суб-банд дискриминаторами.

Вышеуказанная фигура демонстрирует конвейер вывода рамки HierSpeech++, который начинается с извлечения семантических представлений из аудио на частоте 16 кГц и на основной частоте с помощью алгоритма YAPPT. Перед тем, как основная частота может быть подана в иерархический синтезатор, она нормализуется с помощью стандартного отклонения и среднего значения исходного аудио, и нормализованная основная частота затем денормализуется с помощью стандартного отклонения и среднего значения целевого аудио. Для задач синтеза речи из текста рамка HierSpeech++ извлекает текстовые представления вместо представлений речи и использует модель текста в вектор для генерации семантического представления из просодического промпта.
Эксперимент и результаты
Рамка использует общедоступный набор данных LibriTTS для обучения компонента иерархического синтезатора с первым шагом, заключающимся в обучении модели на подмножестве trainclean набора данных, и использовании оставшихся данных для улучшения передачи стиля голоса. Кроме того, чтобы повысить разнообразие и устойчивость, рамка масштабирует набор данных до 1 кГц, как показано на следующей фигуре.

Восстановление, задачи ресинтеза и преобразование голоса
Чтобы оценить производительность рамки HierSpeech++ на задачах восстановления и ресинтеза, разработчики провели семь объективных метрик, и результаты демонстрируются на следующих фигурах для задач восстановления и ресинтеза соответственно.


Для задач преобразования голоса рамка использует два субъективных метрика для оценки: голосовое сходство MOS или sMOS и естественность среднее мнение о качестве или nMOS с тремя объективными метриками естественности и двумя метриками сходства.

Двигаясь дальше, основная цель рамки HierSpeech++ – это включить синтез речи в режиме zero-shot, и чтобы оценить ее производительность в режиме zero-shot, она сравнивается с другими базовыми моделями, такими как AutoVC, VoiceMixer, диффузионными моделями и многими другими, с результатами, демонстрируемыми на следующей фигуре.

Следующие фигуры демонстрируют результаты синтеза речи из текста в режиме zero-shot с шумными промптами и очень шумными промптами соответственно.


Окончательные мысли
В этой статье мы говорили о модели HierSpeech++, новом подходе к включению прочного и эффективного синтеза речи в режиме zero-shot, и преодолению ограничений, с которыми сталкиваются текущие рамки синтеза речи, включая их чрезмерную зависимость от больших объемов обучающих данных, зависимость от дискретных единиц речи или предварительно обученных нейронных аудиокодеков, и их тенденцию к автогенерации аудиовыхода, что в конечном итоге приводит к отсутствию устойчивости и медленной скорости инференса, что приводит к неправильному произношению, пропуску или повторению. Модель HierSpeech++ – это полностью-параллельная, новая и прочная иерархическая рамка синтеза речи, направленная на синтез образцов речи в режиме zero-shot, и пытается сделать следующие вклады
- Использование иерархической рамки синтеза речи для контроля и передачи стилей голоса и просодии.
- Включить масштабируемость данных и высокое разрешение синтеза речи, увеличивая волновую форму аудио с 16 до 48 кГц.
- Достичь человеческого уровня способностей в задачах преобразования голоса и текста в речь в режиме zero-shot.










