Fish Audio ra mắt Drama 3, cho phép điều khiển giọng nói AI và chỉnh sửa chỉ một từ

Một câu thoại có thể chứa đầy đủ những từ cần thiết mà phần thể hiện vẫn không đúng ý. Khoảng ngừng xuất hiện quá sớm. Nhân vật nghe có vẻ tự tin trong khi cảnh phim đòi hỏi sự do dự. Chỉ một từ phát âm sai cũng đủ phá hỏng phần thuyết minh vốn rất thuyết phục.

Fish Audio đang nhắm đến những vấn đề trong quá trình sản xuất này bằng Drama 3, mô hình chuyển văn bản thành giọng nói mới được công bố ngày 13 tháng 10. Công ty cho biết nhà sáng tạo có thể điều khiển cách thể hiện bằng ngôn ngữ thông thường, tạo cảnh có nhiều người nói và chỉnh sửa một đoạn âm thanh tổng hợp được chọn mà không cần tạo lại phần thể hiện xung quanh.

Tính năng có tác động lớn nhất có thể lại là thao tác chỉnh sửa nhỏ nhất: thay đổi một từ duy nhất mà vẫn giữ nguyên giọng nói, tâm trạng và nhịp điệu ở hai bên. Với các nhóm sản xuất sách nói, nội dung lồng tiếng, trò chơi hoặc kịch âm thanh, giá trị của giọng nói tổng hợp ngày càng phụ thuộc vào mức độ dễ dàng khi chỉnh sửa.

Định hướng cách thể hiện bằng giọng nói

Drama 3 tiếp nhận mô tả về giọng điệu, nhịp độ và tính cách nhân vật, bao gồm cả những chỉ dẫn làm thay đổi cách thể hiện ngay trong một câu. Theo thông báo, một đoạn có thể bắt đầu với giọng bình thản rồi chuyển sang hoảng loạn, thay vì phải tạo lại từng phần cảm xúc.

“AI giọng nói đã tiến bộ vượt bậc trong việc tạo lời nói. Bước tiếp theo là định hướng cách thể hiện”, Rissa Cao, đồng sáng lập kiêm giám đốc điều hành của Fish Audio, cho biết trong thông báo ra mắt.

Trang xem trước Drama 3 công khai của công ty cho thấy cụ thể hơn cách điều khiển. Người dùng có thể đặt chỉ dẫn, âm thanh và khoảng ngừng trong ngoặc vuông, hoặc áp dụng các thẻ mở và đóng cho những từ được chọn. Nhờ đó, người viết có thể giới hạn hiệu ứng như lời thì thầm, nhấn mạnh hoặc nói chậm hơn vào một cụm từ cụ thể. Tính năng Auto Tag cũng có thể đề xuất các chỉ dẫn ban đầu cho kịch bản để nhà sáng tạo chỉnh sửa sau đó.

Ý nghĩa đối với công việc sáng tạo rất rõ ràng: kịch bản vừa là lời thoại, vừa là tập hợp chỉ dẫn về cách thể hiện. Người viết có thể chỉnh sửa ngay trong cùng một văn bản những điều nhân vật muốn nói, vị trí cần lấy hơi và cụm từ cần được nhấn mạnh.

Phục dựng âm thanh cục bộ: sửa đoạn bị lỗi

Fish Audio mô tả tính năng phục dựng âm thanh cục bộ của Drama 3 là cách chọn một đoạn trong phần thể hiện hiện có, cập nhật chỉ dẫn rồi tạo lại đoạn đó mà vẫn giữ nguyên âm thanh xung quanh. Shijia Liao, đồng sáng lập kiêm nhà khoa học trưởng, cho biết mô hình sử dụng âm thanh ở cả hai phía của từ được chỉnh sửa để phần thay thế hòa khớp.

Đây là một tác vụ khác với việc tạo một câu thay thế riêng lẻ. Âm thanh mới phải nối liền với phần thể hiện đã có: thời điểm, ngữ điệu và đặc trưng giọng nói đều cần giữ được độ tự nhiên tại ranh giới đoạn chỉnh sửa.

Hãy hình dung một dự án sản xuất sách nói giả định, trong đó người kể đọc đúng cả đoạn văn nhưng nhấn giọng vụng về ở một cái tên. Việc chỉnh sửa có mục tiêu có thể giữ nguyên phần thể hiện tốt của phần còn lại trong đoạn. Cách làm tương tự cũng có thể giúp một nhóm phát triển trò chơi sửa một đoạn thoại ngắn sau khi kịch bản thay đổi.

Đây là những lợi ích tiềm năng đối với quy trình làm việc, chứ không phải mức tăng năng suất đã được đo lường. Bản phát hành không đưa ra đánh giá độc lập về mức độ đáng tin cậy của việc chỉnh sửa một từ trong việc giữ nguyên âm thanh xung quanh, xét trên các giọng nói, giọng vùng miền hoặc những đoạn chuyển tiếp khó.

Cảnh, nhân vật và tính nhất quán đa ngôn ngữ

Drama 3 cũng hỗ trợ tạo toàn bộ cảnh có nhiều người nói chỉ trong một lượt. Fish Audio cho biết mỗi nhân vật vẫn giữ được giọng nói riêng biệt và phản hồi dựa trên ngữ cảnh của phần hội thoại trước đó. Thông báo nhấn mạnh khả năng duy trì tính nhất quán của nhân vật trong các kịch bản dài, chuyển đổi ngôn ngữ giữa cảnh và kiểm soát phát âm ở cấp độ âm vị với các ngôn ngữ như tiếng Anh, tiếng Trung, tiếng Nhật và tiếng Hàn.

Trong hội thoại, tính liên tục không chỉ nằm ở việc nhận biết ai đang nói. Câu trả lời cần nghe như một phần tiếp nối câu thoại trước đó, chứ không phải một bản ghi âm không liên quan được ghép vào chuỗi. Với bản địa hóa, cách phát âm và đặc điểm nhân vật cũng phải được duy trì khi chuyển đổi giữa các ngôn ngữ.

Các tuyên bố của công ty đề cập đến cả hai vấn đề, nhưng phép thử thực tế sẽ nằm ở cảnh hoàn chỉnh: người nghe không nên nhận ra những thay đổi đột ngột về giọng nói hay cách thể hiện khi người nói đổi lượt, một đoạn được chỉnh sửa hoặc kịch bản chuyển ngôn ngữ.

Vị trí của Drama 3 trong công nghệ của Fish Audio

Cách tiếp cận ưu tiên chỉ dẫn kế thừa hướng nghiên cứu mà Fish Audio đã mô tả trước đây. Đợt công bố nghiên cứu S2 trước đó của công ty hỗ trợ các chỉ dẫn bằng ngôn ngữ tự nhiên được nhúng tại những vị trí cụ thể của từ hoặc cụm từ. Công ty mô tả một kiến trúc tự hồi quy kép, tách biệt việc dự đoán theo dòng thời gian của âm thanh với việc tạo ra các chi tiết âm học tinh hơn, đồng thời kết hợp phương pháp căn chỉnh bằng học tăng cường nhằm cải thiện độ rõ lời, mức độ tuân thủ chỉ dẫn và độ tương đồng giọng nói.

Công trình trước đó cung cấp bối cảnh hữu ích cho trọng tâm của Fish Audio về khả năng kiểm soát lời nói. Tuy nhiên, công trình này không xác lập chính xác kiến trúc của Drama 3: thông báo mới có nhắc đến một thay đổi về kiến trúc nhưng không công bố đủ chi tiết để khẳng định hai hệ thống giống nhau hoặc áp dụng kết quả kiểm chuẩn của S2 cho Drama 3.

Đối với nhà phát triển, tài liệu API chuyển văn bản thành giọng nói liệt kê Drama 3 dưới mã định danh mô hình drama-3-preview. Các yêu cầu sử dụng nhiều người nói dùng danh sách mã định danh giọng nói và dấu đánh dấu người nói trong văn bản. Điểm cuối này cũng cung cấp các tùy chọn điều chỉnh tốc độ, âm lượng, cách lấy mẫu và định dạng đầu ra, bao gồm WAV, PCM, MP3 và Opus.

Trang sản phẩm công khai và tài liệu API vẫn mô tả Drama 3 là phiên bản xem trước. Fish Audio lưu ý rằng kết quả có thể khác nhau giữa các lần tạo và mô hình sẽ tiếp tục thay đổi. Vì vậy, các nhóm sản xuất nên phân biệt những tính năng được công bố khi ra mắt với mức độ nhất quán mà họ quan sát được trên chính tài liệu của mình.

Một công cụ sản xuất được đánh giá qua khả năng chỉnh sửa

Fish Audio cho biết hiện có hơn 15 triệu người dùng và đã đạt 21 triệu USD doanh thu định kỳ hằng năm. Những số liệu do công ty công bố này cho thấy Drama 3 là một phần của nền tảng rộng hơn, bao gồm tạo giọng nói, phiên âm, nhân bản giọng nói và các công cụ sáng tạo.

Công ty cho biết trong đợt ra mắt, phí sử dụng API sẽ được giảm 80% trong 30 ngày đầu tiên; các doanh nghiệp đủ điều kiện chuyển đổi nhà cung cấp giọng nói sẽ được miễn phí ba tháng. Bạn đọc có thể xem trang giá của Fish Audio để biết các gói hiện hành và chi tiết ưu đãi.

Điểm mạnh của Drama 3 thể hiện rõ nhất ở chỗ khâu tạo giọng nói kết hợp với khâu chỉnh sửa. Một bản thu đầu tiên ấn tượng rất hữu ích; khả năng giữ lại những đoạn đạt yêu cầu trong khi sửa những đoạn chưa tốt mới là điều giúp mô hình giọng nói dễ hòa vào quy trình sản xuất hơn. Với lần ra mắt này, Fish Audio đặt khả năng đó vào vị trí trọng tâm trong chặng phát triển tiếp theo.