インタビュー

DubformerのCEO兼設立者Anton Dvorkovich – インタビュー・シリーズ

Antoine Tardif
Unite.AI を Google の優先ソースに追加
要点AI吹き替えは、音声が人間らしく聞こえる場合でも、感情的に本物の演技では依然として失敗する。
もっと見る
  • AI吹き替えは、音声が人間らしく聞こえる場合でも、感情的に本物の演技では依然として失敗する。
  • VOX-DUBのオープンベンチマークは、企業に吹き替え品質の主張を測定可能な証拠で証明することを強制する。
  • AIローカリゼーションにより、独立系クリエイターはかつて大手スタジオだけに限られていた世界中の観客にリーチできるようになる。

Anton Dvorkovich、DubformerのCEO兼設立者は、AI、言語、音声技術の交差点を10年以上形作ってきた。2023年にDubformerを立ち上げる前に、ヤンデックスで主要な機械学習とNLPイニシアチブを指揮し、ヤンデックス・トランスレート、ヤンデックス・キーボード、声のアシスタントアリスなどの製品を担当し、それぞれ数百万人のユーザーにサービスを提供していた。Nebiusでは、AI担当として、大規模なインテリジェント・システムのインフラストラクチャを進歩させた。100人以上のエンジニア、開発者、研究者のクロスファンクショナル・チームを管理する経験は、Dubformerのビジョン、つまり高度なAIダビングを通じて言語の隔たりを架け橋するという基盤となった。

Dubformerは、アムステルダムに本拠を置くAIパワーのダビング・スタートアップで、すでに100万分以上のローカライズされたビデオ・コンテンツを処理している。同社は、合成音声でビデオを翻訳およびダビングし、感情のトーン、タイミング、スピーカーの個性を保存し、クリエイター、スタジオ、企業が世界中でコンテンツをアクセス可能にすることを支援している。同社のプラットフォームは、音声認識、声の複製、翻訳のためのディープ・ラーニング・モデルを利用し、伝統的なダビング・ツールを大幅に上回る自然な音質の結果を提供している。

ヤンデックスとNebiusでのNLPおよび音声チームのリーダーを務めた後、専門のAIダビング会社を立ち上げるきっかけとなったものは何ですか。また、それらの経験はあなたのビジョンをどのように形作ったのでしょうか。

ヤンデックスでNLPの責任者として働いている間に、テクノロジーで言語の壁を打ち破ることに情熱を持ちました。私は(そして参加しました)機械翻訳で起こったAI革命を見て、それからまだ解決されていない大きなギャップがメディア翻訳(オーディオ&ビデオ)であることを実感しました。テキスト翻訳がほぼ完璧になるのを見ていると、人を動かす物語について、笑ったり泣いたりする演技について、問い合わせることになります。そこで、AIダビング技術を構築し、ただ理解できるメディア翻訳を超えて、実際に楽しめるものを作ることにしました。そこで、Dubformerを立ち上げました。

あなたはメディア・ローカライゼーションにおいて具体的にどのようなギャップを特定しましたか。また、ニューラル・マシン・トランスレーションおよび声技術におけるあなたの背景は、問題を解決するためのあなたのアプローチにどのような影響を与えましたか。

現在のメディア・ローカライゼーションはほぼ完全に声優によって行われており、それにはいくつかの欠点があります。費用が高い、ターンアラウンド時間が遅い、スケーラビリティが低く、多くのプロジェクトがダビングされないという結果につながります。伝統的なダビングの技術は信じられないほどですが、上記の欠点のため、多くのプロジェクトはダビングされません。実際、コンテンツの95%はオリジナルの言語でのみ利用可能です。那が私たちが解決しようとしているギャップです。

VOX-DUBベンチマークはダビング品質の評価において重要な里程標です。参加によって得られた洞察は、業界が現在どこにいるのかについて何を示していますか。

VOX-DUBの結果は、業界がすでに人間のようなAIボイスオーバーをコンテンツで作成する問題を解決したことを示していますが、感情が重要なコンテンツのダビングは未解決の課題であり、すべてがすでに解決されていると思われているかもしれません。多くのシステムは理解可能なスピーチを生成できますが、真正で感情的に整合性のあるパフォーマンスを生成することは非常に少ないです。テキストを読み上げることには優れていますが、実際にシーンを演じる方法をまだ学んでいます。

あなたは声の忠実度と全体的なスピーチ品質のトレードオフについて話しました。システム内でこれらの要素をどのようにバランスをとるのですか。

実際、トレードオフは声の忠実度と品質の間ではなく、感情的、イントネーション、表現の転送の深さと結果の安定性の間です。感情をより多く転送しようとすると、特に感情が言語によって異なり、ある言語で情熱的に聞こえるものが別の言語で不自然または刺激的に聞こえる可能性があるため、間違ったものを運ぶリスクが高くなります。私たちは、感情の正確さと自然さのバランスをとることを目指し、出力が表現的でありながらも聞き手にとって快適なものであることを保証しています。

あなたの見解では、AIダビングは技術的にも芸術的にも伝統的なテキスト・ツー・スピーチとは根本的に異なる点は何ですか。

伝統的なTTSは、通常中立的なトーンでテキストを読み上げることに重点を置いています。AIダビング、特にメディア業界では、単に意味を伝えるのではなく、存在感と真正のパフォーマンスを生み出すことを目指す、はるかに複雑なタスクです。感情、イントネーション、自然なパウゼが重要な役割を果たします。また、ミキシング、音響適応、リップ・ムーブメントやシーン・リズムとの同期などの課題もあります。芸術的に見ると、AIダビングは読み上げることよりも演技に近いです。システムは、単に発音するのではなく、行を演じる必要があります。

あなたはAIメディア・ローカライゼーションにおける透明性と説明責任を促進するために、VOX-DUB評価フレームワークのどの側面が最も貴重であると考えていますか。

VOX-DUBが貴重なのは、すべての参加者が実際に提供できるものについて正直であることを強制することです。このフレームワークが登場する前は、企業はダビング品質についての主張を行うことができましたが、それを検証する方法はありませんでした。VOX-DUBは、人間ベースのベンチマークを通じて、AIダビングのエラーの最初の体系的なカタログを導入することで、重要な突破口を提供します。このオープンソース・データセットにより、品質について共通の言語が生まれました。オリジナルのスピーチ・フラグメント、生成されたオーディオ、人間のアノテーションが含まれています。発音、自然さ、音質、感情の類似性、声の類似性の5つの重要な側面があります。初めて、ダビングの人間による評価のための標準ができました。明確なガイドラインと例があります。チームが品質について話すとき、すべて同じことについて話していることを保証します。公開された結果は、実際の説明責任を生み出します。チームは、すべての品質次元にわたるパフォーマンス・データでマーケティングの主張を裏付ける必要があります。このようなオープン性は、業界全体の運営方法を変え、信頼性の高い結果が必要なクリエイターとの信頼を築きます。

ベンチマークのようなVOX-DUBは、多言語コンテンツの作成と配信の進歩のペースにどのような影響を与えるでしょうか。

明確なベンチマークがあることは、すべての参加者にロードマップを提供します。チームがVOX-DUBの結果を見ると、自社の開発計画を加速させることができます。品質について推測するのではなく、具体的な目標に向かって努力できます。この共通の理解は、業界全体が一緒に進化するのを促進し、より多様なコンテンツが世界中の聴衆に早く届けられることを意味します。

あなたのプラットフォームは発音と自然さで強力な結果を達成しました。どのような根本的な革新またはモデル選択がこれに最も貢献しましたか。

それは、ダビングが単なる単語ではなく、全体的なパフォーマンス・エコシステムであることを理解することから来ています。2つのブレークスルーが違いをもたらしました。まず、発音を純粋に技術的なものと見なすのをやめ、感情的なものと見なすようになりました。人々は、完全に発音されたシラブルで話すことはありません。悲しいときは言葉を曖昧にし、興奮したときは急ぎます。自然な不完全さを捉えることが重要でした。2つ目は、全体的なサウンドスケープについて考える必要がありました。雨の中で話したり、反響のある大聖堂の中で話したりするとき、声は自然に適応します。私たちのシステムは、オリジナルの音響環境と融合することを学びました。これらは技術的な改善だけでなく、人間のスピーチが感じられるものを作ることについての理解を深めるものでした。

あなたのプラットフォームは、専門家のダビングを大規模に提供するために、人間の専門知識と自動化をどのように組み合わせていますか。

私たちは、伝統的なダビング・スタジオと密接に協力し、新しいスキルや新興の専門職に従業員をトレーニングするのを支援しています。AIは翻訳、同期、声の生成を担当し、プロのレビューアー、翻訳者、サウンド・エンジニアが、私たちのプラットフォームを通じて最終的な品質チェックを実行します。このアプローチにより、スタジオ・レベルの品質を維持しながら、納期を週単位から数時間に短縮できます。自動化によりスケーラビリティが提供され、人間の専門知識により芸術的な表現が保証されます。機械の効率と人間の芸術性の両方を兼ね備えた、最良の両世界です。

AIメディア・ローカライゼーション市場が急速に成長している中で、AIはグローバルなクリエイティブ・プロダクションを再定義する上でどのような役割を果たすと思いますか。

AIローカライゼーションにより、ダビングがより幅広いクリエイターやストーリー・テラーにとってアクセス可能になります。感情の深さや文化的本質を失うことなく、世界中の聴衆と物語を共有できるようになります。時間の経過とともに、これによりコンテンツの多様性が大幅に増加し、独立した映画製作者、ドキュメンタリー製作者、教育コンテンツ製作者などのニッチなプロジェクトや専門的な聴衆が、以前はプロのダビングを利用できなかったプロジェクトが、世界中の聴衆にリーチできるようになります。

あなたは次の開発段階に向けて、どのような進歩やコラボレーションに最も興奮していますか。

私が最も興奮しているのは、感情の転送能力をさらに改善することです。進歩はありましたが、真正なパフォーマンスを生み出すための微妙なニュアンスを保存するには、まだ改善の余地があります。コラボレーションについては、伝統的なダビング・スタジオと密接に協力して、両者の長所を兼ね備えたハイブリッド・ワークフローを作成することを計画しています。これらのスタジオには、数十年の専門知識があり、私たちが技術を提供して芸術性をスケールアップできるようになります。最も興奮するコラボレーションは、AIをチームの代替ではなく、より多様なプロジェクトを扱えるようにする手段と見なすスタジオとのものです。本当のブレークスルーは、聴衆がAIによって作成されたものであることを忘れるほど一貫したパフォーマンスを提供できるようになることです。那が私たちが目指す方向です。

素晴らしいインタビュー、詳細についてはDubformerを訪れてください。

アントワーヌは、先見の明を持つリーダーであり、Unite.AIの創業パートナーです。AIとロボティクスの未来を形作り、その発展を促すことに揺るぎない情熱を注いでいます。複数の企業を立ち上げてきた起業家として、AIは電気と同じほど社会を大きく変えると考えており、革新的な技術や汎用人工知能(AGI)の可能性について熱く語ることがよくあります。

未来を展望するフューチャリストとして、こうした革新が世界をどのように形作るかを探究しています。また、未来を再定義し、業界全体を変革する最先端技術への投資に焦点を当てたプラットフォーム、Securities.ioの創設者でもあります。