Phỏng vấn

Anton Dvorkovich, Giám đốc điều hành và Người sáng lập tại Dubformer – Loạt phỏng vấn

Antoine Tardif
Thêm Unite.AI vào các nguồn ưu tiên của bạn trên Google
Điểm chínhLồng tiếng bằng AI vẫn thất bại trong việc thể hiện cảm xúc chân thực ngay cả khi giọng…
Xem thêm
  • Lồng tiếng bằng AI vẫn thất bại trong việc thể hiện cảm xúc chân thực ngay cả khi giọng nói nghe như người thật.
  • Bộ đánh giá chuẩn mở VOX-DUB buộc các công ty phải chứng minh các tuyên bố về chất lượng lồng tiếng bằng bằng chứng có thể đo lường được.
  • Bản địa hóa bằng AI sẽ giúp các nhà sáng tạo độc lập tiếp cận khán giả toàn cầu, điều trước đây chỉ dành cho các hãng phim lớn.

Anton Dvorkovich, Giám đốc điều hành và Người sáng lập tại Dubformer, đã dành hơn một thập kỷ để định hình sự giao thoa giữa Trí tuệ nhân tạo, ngôn ngữ và công nghệ giọng nói. Trước khi thành lập Dubformer vào năm 2023, anh đã lãnh đạo các sáng kiến học máy và NLP chính tại Yandex, giám sát các sản phẩm như Yandex Translate, Yandex Keyboard và trợ lý giọng nói Alice, mỗi sản phẩm đều phục vụ hàng triệu người dùng. Tại Nebius, anh đã từng là Trưởng phòng Trí tuệ nhân tạo, nơi anh phát triển cơ sở hạ tầng quy mô lớn cho các hệ thống thông minh. Kinh nghiệm quản lý các đội ngũ đa chức năng với hơn 100 kỹ sư, nhà phát triển và nhà nghiên cứu đã cung cấp nền tảng cho tầm nhìn của Dubformer – bắc cầu ngôn ngữ thông qua công nghệ lồng tiếng tiên tiến.

Dubformer là một công ty khởi nghiệp về lồng tiếng được hỗ trợ bởi Trí tuệ nhân tạo, có trụ sở tại Amsterdam, đã xử lý hơn một triệu phút nội dung video được bản địa hóa. Công ty chuyên về dịch và lồng tiếng video bằng giọng nói tổng hợp, bảo tồn âm điệu cảm xúc, thời gian và tính cách của người nói, giúp các nhà sáng tạo, studio và doanh nghiệp làm cho nội dung của họ có thể tiếp cận toàn cầu. Nền tảng của công ty tận dụng các mô hình học sâu cho nhận dạng giọng nói, nhân bản giọng nói và dịch, cung cấp kết quả nghe tự nhiên vượt trội so với các công cụ lồng tiếng truyền thống.

Sau khi lãnh đạo các nhóm NLP và giọng nói tại Yandex và担任 Trưởng phòng Trí tuệ nhân tạo tại Nebius, điều gì đã thúc đẩy bạn xây dựng một công ty lồng tiếng chuyên dụng, và những kinh nghiệm đó đã định hình tầm nhìn của bạn như thế nào?

Làm việc tại Yandex với tư cách là Trưởng phòng NLP, tôi đã phát triển niềm đam mê với việc phá vỡ rào cản ngôn ngữ bằng công nghệ. Tôi đã chứng kiến (và tham gia vào) cuộc cách mạng Trí tuệ nhân tạo xảy ra với dịch máy – và sau đó tôi nhận ra rằng một khoảng trống lớn vẫn còn chưa được giải quyết là dịch truyền thông (âm thanh và video). Khi bạn thấy dịch văn bản trở nên gần như hoàn hảo, bạn bắt đầu tự hỏi: vậy những câu chuyện thực sự di chuyển con người thì sao? Những màn trình diễn làm bạn cười hoặc khóc thì sao? Vì vậy, chúng tôi quyết định chấp nhận thách thức xây dựng công nghệ lồng tiếng Trí tuệ nhân tạo, và đi vượt qua dịch truyền thông chỉ là có thể hiểu được, đến mức nó thực sự thú vị. Đó là lý do chúng tôi ra mắt Dubformer.

Bạn đã xác định khoảng trống cụ thể nào trong bản địa hóa truyền thông, và nền tảng của bạn đã bị ảnh hưởng như thế nào bởi kinh nghiệm của bạn trong dịch máy và công nghệ giọng nói?

Bản địa hóa truyền thông ngày nay được thực hiện gần như hoàn toàn với diễn viên lồng tiếng, và điều đó có một số hạn chế: nó khá tốn kém, thời gian quay trở lại chậm, và việc mở rộng quy mô rất khó và dẫn đến chi phí quản lý nhân sự rất lớn. Hãy nghĩ về nó: nghề lồng tiếng truyền thống thật tuyệt vời, nhưng những hạn chế đó có nghĩa là nhiều dự án không bao giờ được lồng tiếng. Trên thực tế, 95% nội dung chỉ có sẵn trong ngôn ngữ gốc. Đó là khoảng trống chúng tôi đang giải quyết.

VOX-DUB là một cột mốc quan trọng trong việc đánh giá chất lượng lồng tiếng. Sự tham gia của bạn đã cung cấp những thông tin gì về vị trí hiện tại của ngành công nghiệp?

Kết quả VOX-DUB đã tiết lộ một điều quan trọng: ngành công nghiệp đã giải quyết được vấn đề làm cho giọng nói Trí tuệ nhân tạo nghe giống như con người cho nội dung mà thành phần cảm xúc không quan trọng. Tuy nhiên, lồng tiếng nội dung mà cảm xúc thực sự quan trọng vẫn còn là một thách thức chưa được giải quyết, mặc dù nó có thể看似 mọi thứ đã được giải quyết. Nhiều hệ thống có thể tạo ra giọng nói có thể hiểu được, nhưng rất ít hệ thống có thể tạo ra màn trình diễn cảm xúc chân thực và đồng bộ với bản gốc. Chúng tôi đã thành thạo việc đọc văn bản to, nhưng chúng tôi vẫn đang học cách thực sự trình diễn cảnh.

Bạn đã nói về sự đánh đổi giữa độ trung thực của giọng nói và chất lượng tổng thể của giọng nói. Bạn tiếp cận việc cân bằng các yếu tố này trong hệ thống của mình như thế nào?

Trên thực tế, sự đánh đổi thường không phải là giữa độ trung thực của giọng nói và chất lượng, mà giữa độ sâu của chuyển đổi cảm xúc, ngữ điệu và biểu cảm và sự ổn định của kết quả. Càng cố gắng chuyển đổi nhiều, rủi ro càng cao khi chuyển đổi sai, đặc biệt là khi cảm xúc nghe và được biểu hiện khác nhau qua các ngôn ngữ. Điều gì nghe có đam mê trong một ngôn ngữ có thể nghe không tự nhiên hoặc thậm chí khó chịu trong ngôn ngữ khác. Chúng tôi nhằm tìm kiếm sự cân bằng giữa độ chính xác cảm xúc và sự tự nhiên, đảm bảo rằng kết quả vẫn富有 biểu cảm nhưng thoải mái khi nghe.

Theo bạn, điều gì làm cho lồng tiếng Trí tuệ nhân tạo khác biệt cơ bản so với văn bản-giọng nói truyền thống – cả về mặt kỹ thuật và nghệ thuật?

Văn bản-giọng nói truyền thống tập trung vào việc đọc văn bản, thường trong giọng trung lập. Lồng tiếng Trí tuệ nhân tạo, đặc biệt trong ngành công nghiệp truyền thông, là một nhiệm vụ phức tạp hơn nhiều, nơi mục tiêu không chỉ là truyền đạt ý nghĩa mà còn tạo ra cảm giác hiện diện và trình diễn thực sự. Cảm xúc, ngữ điệu và khoảng nghỉ tự nhiên đều đóng vai trò quan trọng, cùng với các thách thức như trộn, thích nghi âm thanh và đồng bộ hóa với chuyển động môi và nhịp cảnh. Về mặt nghệ thuật, lồng tiếng Trí tuệ nhân tạo gần giống với diễn xuất hơn là đọc; hệ thống phải trình diễn dòng, không chỉ phát âm.

Bạn đánh giá cao khía cạnh nào của khuôn khổ đánh giá VOX-DUB trong việc thúc đẩy tính minh bạch và trách nhiệm trong bản địa hóa truyền thông Trí tuệ nhân tạo?

Điều làm cho VOX-DUB có giá trị cho tính minh bạch là nó buộc mọi người phải trung thực về những gì họ có thể thực sự cung cấp. Trước khuôn khổ này, các công ty có thể đưa ra tuyên bố về chất lượng lồng tiếng của họ mà không có cách nào để xác minh. Sự đột phá quan trọng là VOX-DUB giới thiệu danh mục đầu tiên về các lỗi lồng tiếng Trí tuệ nhân tạo thông qua điểm chuẩn dựa trên con người. Điều này Bộ dữ liệu mã nguồn mở này tạo ra một ngôn ngữ chung cho chất lượng – các mảnh văn bản gốc với bản dịch, âm thanh được tạo ra từ các hệ thống khác nhau và chú thích của con người trên năm khía cạnh quan trọng: phát âm, tự nhiên, chất lượng âm thanh, tương đồng cảm xúc và tương đồng giọng nói. Lần đầu tiên, chúng tôi có một tiêu chuẩn cho đánh giá của con người về lồng tiếng với hướng dẫn và ví dụ rõ ràng. Bây giờ, khi các đội ngũ nói về chất lượng, mọi người đều nói về cùng một điều. Kết quả được công bố mà mọi người có thể xem tạo ra trách nhiệm thực sự. Các đội phải hỗ trợ các tuyên bố tiếp thị của họ bằng dữ liệu hiệu suất trên tất cả các chiều chất lượng. Loại minh bạch này thay đổi cách thức hoạt động của toàn bộ ngành công nghiệp và xây dựng niềm tin với các nhà sáng tạo cần kết quả đáng tin cậy và có thể đo lường.

Bạn dự đoán các điểm chuẩn như VOX-DUB sẽ ảnh hưởng đến tốc độ tiến bộ trong tạo nội dung đa ngôn ngữ và phân phối như thế nào?

Điều tuyệt vời về việc có các điểm chuẩn rõ ràng là nó tạo ra một bản đồ đường cho mọi người theo dõi. Khi các đội xem kết quả VOX-DUB, nó sẽ tăng tốc thời gian phát triển của họ. Thay vì đoán chất lượng trông như thế nào, họ có mục tiêu cụ thể để nhắm tới. Tôi đang theo dõi các công ty nén thời gian phát triển của họ vì họ có thể thấy bằng chứng về những gì hoạt động ở nơi khác. Sự hiểu biết chung này đang giúp toàn bộ lĩnh vực di chuyển nhanh hơn cùng nhau, điều đó có nghĩa là nhiều nội dung đa dạng hơn có thể đến với khán giả toàn cầu sớm hơn.

Nền tảng của bạn đã đạt được kết quả mạnh mẽ trong phát âm và tự nhiên. Những đổi mới hoặc lựa chọn mô hình nào đã đóng góp nhiều nhất cho điều này?

Điều đó phụ thuộc vào việc hiểu rằng lồng tiếng không chỉ là về các từ riêng lẻ; nó là về toàn bộ hệ sinh thái trình diễn. Hai đột phá đã tạo ra sự khác biệt. Đầu tiên, chúng tôi ngừng coi phát âm như một vấn đề kỹ thuật thuần túy và bắt đầu coi nó như một vấn đề cảm xúc. Người ta không nói bằng âm tiết được phát âm hoàn hảo; họ nuốt từ khi buồn, họ vội khi hào hứng. Việc bắt được sự không hoàn hảo tự nhiên đó là rất quan trọng. Thứ hai, chúng tôi phải suy nghĩ về toàn bộ cảnh quan âm thanh. Khi ai đó nói trong một cảnh với mưa, hoặc trong một nhà thờ vang vọng, giọng nói của họ tự nhiên thích nghi. Hệ thống của chúng tôi đã học cách hòa trộn với môi trường âm thanh ban đầu. Những điều này không chỉ là cải tiến kỹ thuật. Chúng là về việc hiểu những gì làm cho giọng nói cảm giác giống như con người.

Nền tảng của bạn kết hợp chuyên môn của con người với tự động hóa như thế nào để cung cấp lồng tiếng chuyên nghiệp cấp độ tại quy mô?

Chúng tôi làm việc chặt chẽ với các studio lồng tiếng truyền thống, giúp họ đào tạo đội ngũ của mình trong các kỹ năng mới và nghề nghiệp mới nổi. Trí tuệ nhân tạo xử lý dịch, đồng bộ hóa và tạo giọng nói, trong khi các chuyên gia đánh giá, dịch giả và kỹ sư âm thanh chuyên nghiệp thực hiện kiểm tra chất lượng cuối cùng thông qua nền tảng của chúng tôi. Cách tiếp cận này cho phép chúng tôi duy trì chất lượng cấp độ studio trong khi giảm thời gian quay trở lại từ vài tuần xuống vài giờ. Tự động hóa cung cấp khả năng mở rộng quy mô, và chuyên môn của con người đảm bảo tính nghệ thuật. Đó là sự kết hợp của cả hai thế giới: hiệu quả của máy móc với nghệ thuật của con người.

Trong bối cảnh thị trường bản địa hóa truyền thông Trí tuệ nhân tạo đang phát triển nhanh chóng, bạn dự đoán Trí tuệ nhân tạo sẽ đóng vai trò gì trong việc định hình lại sản xuất sáng tạo toàn cầu?

Bản địa hóa Trí tuệ nhân tạo sẽ làm cho lồng tiếng trở nên dễ tiếp cận hơn với nhiều nhà sáng tạo và người kể chuyện. Nó sẽ cho phép họ chia sẻ câu chuyện của mình với khán giả toàn cầu mà không mất đi độ sâu cảm xúc hoặc tính xác thực văn hóa. Theo thời gian, điều này sẽ dẫn đến sự đa dạng lớn hơn trong nội dung, mở cửa cho các dự án độc lập và khán giả chuyên biệt mà trước đây không thể đủ khả năng cho lồng tiếng chuyên nghiệp. Hãy nghĩ về các nhà làm phim độc lập, người làm phim tài liệu, người tạo nội dung giáo dục; họ cuối cùng cũng có thể tiếp cận với khán giả toàn cầu mà trước đây họ không thể tiếp cận được.

Điều gì bạn hào hứng nhất về các tiến bộ hoặc hợp tác sắp tới khi bạn nhìn về giai đoạn phát triển tiếp theo?

Điều khiến tôi hào hứng nhất là tiếp tục cải thiện khả năng chuyển đổi cảm xúc của chúng tôi. Chúng tôi đã đạt được tiến bộ tốt, nhưng vẫn còn rất nhiều không gian để cải thiện việc bảo tồn các sắc thái tinh tế làm cho màn trình diễn cảm giác chân thực. Về hợp tác, chúng tôi đang xây dựng các mối quan hệ đối tác sâu hơn với các studio lồng tiếng truyền thống để tạo ra các quy trình làm việc kết hợp giữa cả hai thế giới. Những studio này có nhiều thập kỷ kinh nghiệm mà chúng tôi đang học hỏi, trong khi chúng tôi cung cấp công nghệ để mở rộng quy mô nghệ thuật của họ. Các hợp tác thú vị nhất là với các studio nhìn thấy Trí tuệ nhân tạo không phải là một sự thay thế, mà là một cách để bổ sung cho đội ngũ của họ và thực hiện các dự án đa dạng mà họ không thể xử lý trước đây. Sự đột phá thực sự sẽ là khi chúng tôi có thể cung cấp một cách nhất quán các màn trình diễn mà khán giả quên rằng chúng được tạo ra bởi Trí tuệ nhân tạo. Đó là nơi chúng tôi đang hướng tới.

Cảm ơn vì cuộc phỏng vấn tuyệt vời, độc giả muốn tìm hiểu thêm có thể truy cập Dubformer.

Antoine là một nhà lãnh đạo có tầm nhìn và đối tác sáng lập của Unite.AI, được thôi thúc bởi niềm đam mê bền bỉ trong việc định hình và thúc đẩy tương lai của AI và công nghệ robot. Là doanh nhân đã thành lập nhiều công ty, ông tin rằng AI sẽ làm thay đổi xã hội sâu sắc như điện năng và thường hào hứng nói về tiềm năng của các công nghệ đột phá và trí tuệ nhân tạo tổng quát (AGI).

Với vai trò là một nhà tương lai học, ông dành tâm huyết khám phá cách những đổi mới này sẽ định hình thế giới. Ông cũng là người sáng lập Securities.io, một nền tảng tập trung đầu tư vào các công nghệ tiên tiến đang định nghĩa lại tương lai và tái định hình toàn bộ các ngành.