Fish Audio、AI音声の演技を指示し、単語単位で編集できるDrama 3を発表

台詞に必要な言葉がすべてそろっていても、演技が意図どおりになるとは限らない。間が早すぎる。ためらいが求められる場面なのに、登場人物の声が自信に満ちて聞こえる。たった一語の発音を間違えただけで、それまで説得力のあったナレーションが台無しになる。

Fish Audioは、10月13日に発表した新しいテキスト読み上げモデル、Drama 3で、こうした制作上の問題の解決を目指している。同社によると、制作者は日常的な言葉で音声の話し方を指示し、複数の話者が登場するシーンを生成できるほか、合成音声の一部を選んで、前後の演技を再生成せずに修正できる。

最も大きな意味を持つ機能は、最小単位の編集かもしれない。前後の声や雰囲気、リズムを保ったまま、たった一語を変更できることだ。オーディオブック、吹き替えコンテンツ、ゲーム、音声ドラマを制作するチームにとって、合成音声の価値は、どれだけ簡単に修正できるかにますます左右される。

声の演技に指示を与える

Drama 3では、声の調子、話す速さ、キャラクターについて説明でき、文の途中で話し方を変える指示にも対応する。発表によると、感情が変わるたびに新たに生成し直さなくても、穏やかに始まった一節を、途中からパニックに陥ったような口調にできる。

「音声AIは、音声を生成する能力が非常に高くなりました。次の段階は、演技を演出することです」と、Fish Audioの共同創業者兼CEOであるRissa Caoは発表で述べた。

同社のDrama 3の公開プレビューページでは、操作方法をより具体的に確認できる。ユーザーは角括弧内に指示や効果音、間を入力したり、選択した単語に対で使うタグを付けたりできる。これにより、特定のフレーズにささやき声や強調、ゆっくりした話し方などの効果を限定して適用できる。また、Auto Tag機能はスクリプトに付ける最初の指示を提案でき、制作者はその後、内容を修正できる。

創作面での意義は明快だ。スクリプトが台詞であると同時に、演技指示をまとめたものにもなる。書き手は、登場人物の意図や息継ぎを入れる位置、強調すべきフレーズを、同じ編集可能なテキスト上で調整できる。

音声インペインティング：うまくいかなかった箇所を修正

Fish Audioによると、Drama 3の音声インペインティングでは、既存の演技の一部を選択して指示を更新し、前後の音声を保ったまま、その部分を再生成できる。共同創業者兼チーフサイエンティストのShijia Liaoによると、モデルは編集した単語の前後の音を利用して、置き換えた音声が自然につながるようにする。

これは、独立した置き換え用の台詞を生成する作業とは異なる。新しい音声は、すでにある演技につながらなければならない。編集箇所の境目で、タイミングやイントネーション、声の個性のすべてに一貫性があり、自然に聞こえる必要がある。

架空のオーディオブック制作で、ナレーターが段落を正しく読んだものの、ある名前を不自然に強調してしまったとしよう。問題の箇所だけを修正すれば、段落の残りの部分でうまくいった読み方を保てる可能性がある。同じ方法は、脚本の変更後に短い台詞を修正したいゲーム制作チームにも役立つだろう。

これらはワークフロー改善につながる可能性であり、生産性向上を測定した結果ではない。今回の発表では、話者やアクセント、難しい音声のつなぎ目が異なる場合に、単語単位の修正で前後の音声をどの程度確実に維持できるかについて、第三者による評価は示されていない。

シーン、登場人物、多言語での一貫性

Drama 3は、複数の話者が登場するシーン全体を一度に生成する機能にも対応する。Fish Audioによると、各キャラクターはそれぞれ異なる声を保ち、直前の台詞の文脈に沿って応答する。発表では、長い脚本を通じたキャラクターの一貫性、シーン内での言語の切り替え、英語、中国語、日本語、韓国語などにおける音素レベルの発音制御が強調されている。

台詞の連続性を保つには、誰が話しているかを認識するだけでは不十分だ。応答は、無関係な録音を並べたように聞こえるのではなく、直前の台詞を受けたものとして自然に聞こえる必要がある。ローカライズでは、言語を切り替えても発音とキャラクターの描写を維持しなければならない。

同社の説明はこの両方の課題を扱っているが、実際に問われるのは完成したシーンの品質だ。話者が切り替わるとき、台詞を編集するとき、あるいは脚本の言語が変わるときに、声の個性や話し方が急に変わったとリスナーに感じさせてはならない。

Fish Audioの技術におけるDrama 3の位置付け

指示を優先するこのアプローチは、Fish Audioがこれまでに説明してきた研究の流れを発展させたものだ。同社が以前発表したS2の研究成果では、単語やフレーズの特定の位置に埋め込んだ自然言語の指示に対応していた。同社は、音声の時間軸に沿った予測と、より細かな音響特性の生成を分けるデュアル自己回帰型アーキテクチャについて説明しており、これに加えて、明瞭さ、指示への準拠、声の類似性を高めるための強化学習による調整も行っていた。

それ以前の研究は、Fish Audioが制御可能な音声に注力する背景を理解するうえで役立つ。ただし、Drama 3の正確なアーキテクチャを明らかにするものではない。新たな発表ではアーキテクチャの変更に触れているものの、2つのシステムを同一視したり、S2のベンチマーク結果をDrama 3にも当てはめたりできるほどの詳細は公開されていない。

開発者向けの音声合成APIドキュメントでは、Drama 3はモデル識別子の下に掲載されています drama-3-preview。複数話者のリクエストでは、テキスト内で音声識別子と話者マーカーをリスト形式で指定します。このエンドポイントでは、速度、音量、サンプリング、WAV、PCM、MP3、Opusなどの出力形式も設定できます。

公開されている製品ページとAPIドキュメントでは、Drama 3は現在もプレビュー版とされています。Fish Audioは、生成結果はテイクごとに異なり、モデルも今後変更されると説明しています。そのため制作チームは、発表された機能の説明と、自社の素材で実際に確認できる一貫性とを区別する必要があります。

制作ツールの価値は修正のしやすさで決まる

Fish Audioによると、現在のユーザー数は1,500万人を超え、年間経常収益は2,100万ドルに達しています。同社が公表したこれらの数値は、音声生成、文字起こし、音声クローン、クリエイティブツールにまたがる幅広いプラットフォームの一部として、Drama 3が位置付けられていることを示しています。

今回の発表にあたり、同社は最初の30日間、APIの利用料金を80％割引し、音声プロバイダーを切り替える対象企業には3か月間無料で提供するとしています。現在のプランとキャンペーンの詳細は、Fish Audioの料金ページで確認できます。

Drama 3の強みが最も発揮されるのは、音声の生成と修正が交わる場面です。魅力的な最初のテイクを得られるのは有用ですが、うまくいった箇所を残しながら弱点を修正できることこそ、音声モデルを制作ワークフローに取り入れやすくします。今回の発表では、この機能がFish Audioの次の展開の中心に据えられています。