Do sự gia tăng của các phương pháp tổng hợp giọng nói tự nhiên và tổng hợp, một trong những thành tựu chính mà ngành công nghiệp AI đã đạt được trong những năm gần đây là tổng hợp hiệu quả các khung văn bản thành giọng nói với các ứng dụng tiềm năng trên nhiều ngành công nghiệp khác nhau, bao gồm sách nói, trợ lý ảo, thuyết minh và nhiều hơn nữa, với một số mô hình hiện đại cung cấp hiệu suất và hiệu quả mức độ con người trên nhiều nhiệm vụ liên quan đến giọng nói. Tuy nhiên, mặc dù hiệu suất mạnh mẽ, vẫn còn chỗ để cải thiện cho các nhiệm vụ nhờ vào giọng nói biểu cảm và đa dạng, yêu cầu một lượng lớn dữ liệu đào tạo để tối ưu hóa các khung văn bản thành giọng nói không có sẵn, và độ bền cho các văn bản ngoài phạm vi phân phối (OOD) khiến các nhà phát triển làm việc trên một khung tổng hợp giọng nói mạnh mẽ và dễ tiếp cận hơn.

Trong bài viết này, chúng tôi sẽ thảo luận về StyleTTS-2, một khung tổng hợp giọng nói mạnh mẽ và sáng tạo được xây dựng trên nền tảng của khung StyleTTS, và nhằm mục đích trình bày bước tiếp theo hướng tới các hệ thống tổng hợp giọng nói hiện đại. Khung StyleTTS2 mô hình hóa các phong cách giọng nói như các biến ngẫu nhiên ẩn, và sử dụng một mô hình khuếch tán xác suất để lấy mẫu các phong cách giọng nói hoặc biến ngẫu nhiên này, cho phép khung StyleTTS2 tổng hợp giọng nói thực tế hiệu quả mà không cần sử dụng đầu vào âm thanh tham chiếu. Nhờ vào cách tiếp cận này, khung StyleTTS2 có thể cung cấp kết quả tốt hơn và hiển thị hiệu suất cao khi so sánh với các khung tổng hợp giọng nói hiện đại, nhưng cũng có thể tận dụng lợi thế của sự tổng hợp giọng nói đa dạng được cung cấp bởi các khung mô hình khuếch tán.

StyleTTS2 cho Tổng hợp Giọng nói: Giới thiệu

StyleTTS2 là một mô hình tổng hợp giọng nói sáng tạo lấy bước tiếp theo hướng tới xây dựng các khung tổng hợp giọng nói mức độ con người, và nó được xây dựng dựa trên StyleTTS, một mô hình tạo giọng nói dựa trên phong cách. Khung StyleTTS2 mô hình hóa các phong cách giọng nói như các biến ngẫu nhiên ẩn, và sử dụng một mô hình khuếch tán xác suất để lấy mẫu các phong cách giọng nói hoặc biến ngẫu nhiên này, cho phép khung StyleTTS2 tổng hợp giọng nói thực tế hiệu quả mà không cần sử dụng đầu vào âm thanh tham chiếu. Việc mô hình hóa các phong cách như các biến ngẫu nhiên ẩn là gì phân biệt khung StyleTTS2 với người tiền nhiệm của nó, khung StyleTTS, và nhằm mục đích tạo ra phong cách giọng nói phù hợp nhất cho văn bản đầu vào mà không cần đầu vào âm thanh tham chiếu, và có thể đạt được sự khuếch tán ẩn hiệu quả trong khi tận dụng lợi thế của khả năng tổng hợp giọng nói đa dạng được cung cấp bởi các mô hình khuếch tán.

… (the rest of the translation remains the same, following the exact structure and format as the original)