Boson AI共同創業者、Alex Smola氏 ― インタビューシリーズ

Alex Smola氏はBoson AIの共同創業者で、対話型音声AIやマルチモーダルシステムに取り組んでいます。キャリアを通じて、Carnegie Mellon Universityでの学術研究から、AWSでの大規模なAI施策まで幅広く経験してきました。研究と製品開発の両方で培った経験を生かし、会話の手がかりを理解し、割り込みに対応し、実用的な作業を実行できるアシスタントの開発に取り組んでいます。

Boson AIは、音声、オーディオ、マルチモーダルなインタラクション向けの基盤モデルとツールを開発しています。同社のHiggs Realtimeモデルは、リアルタイムの音声対音声の会話に対応し、より幅広いプラットフォームには、表現力豊かな音声生成、アバター、企業向け音声エージェントが含まれます。このインタビューでSmola氏は、会話における知能、多言語対応の性能、推論の経済性、そして音声エージェントを実際のビジネス業務に導入するために必要な安全対策について語ります。

あなたは、Carnegie Mellon Universityでの学術研究から、AWSで大規模なAI施策を率いる立場を経て、現在はBoson AIを共同創業するに至りました。対話型音声AIに注力するきっかけは何だったのでしょうか。また、人間とAIのインタラクションにおけるどのような根本的な限界を乗り越えたいと考えていますか？

人間のコミュニケーションは、言葉だけで成り立っているわけではありません。声から相手の不安を感じ取ったり、説明を理解していない様子に気づいたりできます。ちょっとした相づちで、話を続けてほしいという意思が伝わることもあります。私たちはこうした手がかりを無意識に読み取っていますが、コンピューターに認識させる取り組みは、今も発展の途上にあります。

だからこそ、私はこの分野に大きな関心を持っています。今では高い知能を備えたシステムが登場していますが、それらとのやり取りには、まだぎこちなさを感じることがあります。ソフトウェアにどう話しかければよいかを考えずに、自分の言葉で必要なことを説明できるようになってほしいのです。

AWSでは、顧客が何をしようとしているのか、そして製品がその実現に役立っているかどうかに細心の注意を払うことを学びました。研究の進展に合わせて迅速に動ける自由を得て、Bosonでもその姿勢を取り入れています。

音声や映像があれば、活用できる情報が増えます。相手が戸惑っている様子や、言葉に詰まる様子が見えれば、会話が軌道を外れる前にアシスタントが対応できます。こうした日常的なやり取りを適切にこなすことは、私たちが目指すものの大きな柱です。

Boson AIが最近発表したHiggs Realtimeは、自然なリアルタイムの音声対音声のやり取りを実現するよう設計されています。音声認識、言語モデル、音声合成を組み合わせた従来のシステムと、このアプローチの根本的な違いは何でしょうか。また、その違いはAIアシスタントの将来にとってなぜ重要なのでしょうか？

従来の一連の処理では、音声認識が話した言葉をテキストに変換し、言語モデルが回答を生成した後、音声モデルがそれを読み上げます。それぞれの段階が直前の段階に依存するため、会話が遅く、途切れがちな印象になることがあります。

Higgs Realtimeは、リアルタイムのやり取りを目的に開発された、音声を基盤とする音声対音声モデルです。会話の順番の取り方や、変化する要望への応答など、会話における振る舞いを考慮して訓練されています。テキストチャットボットに音声を付けるのとは大きく異なります。

難しい質問を誰かに尋ねる場面を考えてみてください。相手は答えを調べながら、「調べてみます」と言うかもしれません。そうすれば、質問を聞き、対応していることが分かります。AIアシスタントも、情報を検索したりツールを使ったりする間、同じように状況を伝える必要があります。そうすることで、こちらの話を理解したのか、処理をやめてしまったのかと、利用者が不安に思わずに済みます。

長時間にわたるタスクでは、これはいっそう重要になります。アシスタントは作業中も状況を伝え続け、質問されたり、利用者の考えが変わったりした場合には、それに応じて対応する必要があります。

会話型AIが直面する大きな課題の一つは、いつ話し、いつ聞くべきか、また割り込みや話の方向転換にどう対応するかを判断することです。Boson AIはこうした課題にどのように取り組んでいますか。また、AIとの会話が本当に自然に感じられるようになるには、今後どのような技術的ブレークスルーが必要でしょうか？

相づちと割り込みはよく似た音に聞こえることがありますが、それぞれに必要な応答は異なります。こちらが話している間に相手が「うん」と言っても、話を続けてほしいという意味かもしれません。一方、電話番号の数字を訂正された場合は、話を止めて正しい番号を使う必要があります。AIアシスタントは、その違いを見分けられるべきです。

Higgs Realtimeは、相手の発言の意味を手がかりに、話し終えたのか、それとも少し間を置いているだけなのかを判断します。すばやく応答することも重要ですが、どのように応答するかを判断することも同じく重要です。

こうした判断を常に正しく行うのは、今も非常に難しい課題です。人はきちんと区切られた順番で話すわけではなく、同じ言葉でも会話の内容によって意味が変わります。アシスタントは何が変わったのかを理解し、それまで何をしていたかを覚えておく必要があります。

Boson AIは、音声エージェントが割り込みからどのように立ち直るかを測るIHBenchなどのベンチマークを開発しました。こうした評価から、現在を代表する音声モデルの弱点についてどのようなことが分かりましたか。また、業界は会話における知能の測り方をどのように見直すべきでしょうか？

音声エージェントが途中で遮られたときに何が起きるのかを検証するため、IHBenchを開発しました。予約の途中で内容を訂正した場合、エージェントはその訂正を受け入れ、適切なところから続けるべきです。最初からやり直したり、すでに伝えられた情報をもう一度聞かされたりする必要はありません。結果は、モデルや割り込みの種類によって大きく異なりました。公表するのが特に気の進まなかった結果もあります。一般に、クローズドウェイトのシステムのほうが割り込みへの対応に優れ、会話が進んだ段階で割り込まれた場合も、より安定して対応できていました。

これはオープンなエコシステムに実際に存在する大きな隔たりです。ないふりをするより、公の場で測定したいと考えました。それが、このベンチマークを作った最大の理由でもあります。測定方法について誰も合意していない隔たりを埋めることはできません。私たちは、自社モデルを含めずにこのベンチマークを公開しました。その後、自社モデルを加えたところ、Higgs Realtimeは復旧品質で71.2を記録し、GPT Realtime 1.5の65.5、GPT Realtime 2の62.4、Gemini 3.1 Flash Liveの61.1を上回りました。つまり、この隔たりは埋めることができ、オープンウェイトモデルが実際にそれを埋めたのです。

私たちが何かを示せるようになる前に、難度の高いテストを設計して公開していたことを、そのテストで証明したいと思います。もっと広く言えば、この分野では測るべきものを測っていないと考えています。音声がどれほど自然に聞こえても、仕事をこなせなければ意味がありません。重要なのは、エージェントがタスクを完了できるかどうかです。何をしていたのかを何度も思い出させなければならないなら、音声がどれほど優れているかは、すぐに重要ではなくなります。

印象的な音声AIのデモと、実際の顧客対応を担える自律型エージェントとの間には、大きな隔たりがあります。その違いは何でしょうか。また、企業が業務上重要なワークフローに音声エージェントを安心して導入するには、どのような能力を向上させる必要があるでしょうか。

ケーブル会社に電話して、最後に楽しいと感じたのはいつですか。ほとんどの人にとって、その答えは「一度もない」でしょう。担当者が次々と変わるたびに、名前、生年月日、問題の内容をまた説明しなければならず、次の担当者にも同じことを最初から尋ねられます。同じ問題について4回目に電話をかける場面を考えてみてください。最初の3回の電話で何があったかを、エージェントには把握していてほしいものです。ルーターを再起動しても解決しなかったなら、技術者を派遣する時期かもしれません。その必要性を自分で説明しなくても済むべきです。エージェントがそれを実行するには、アカウントの履歴と、訪問予約を行うシステムへのアクセスが必要です。

予約に失敗した場合にも対応し、実際に問題を解決できる担当者に引き継ぐべきタイミングを判断できなければなりません。企業は、顧客からの電話対応をエージェントに任せる前に、こうした状況をテストする必要があります。さらに、運用コストも考慮しなければなりません。デモでは見事に対応できるシステムでも、1日に何千件もの電話を処理するとなると、運用コストが高すぎる場合があります。そのため、効率性は事業で使える状態にするための要件であり、別個の問題ではありません。

私たちは、あるグローバル保険会社と、まさにこのシナリオを数カ月にわたって運用してきました。実際のシステムと並行して行う試験ではありません。コンタクトセンターで、人間の営業担当者とともに、受信・発信の両方の顧客との通話を実際に処理しています。同時に何千件もの通話を、人間の担当者のおよそ3分の1のコストで対応しています。

コスト以上に興味深いのは、システムを稼働させたまま改善できたことです。導入時、同社独自の評価では、会話品質に30点が付けられました。5カ月後には80点となり、これは同社が資格を持つ人間のテレマーケターに与える評価です。同じ評価でGPT-4o Realtimeは55点でした。研究室で調整を重ねて、この結果を得たわけではありません。実際に処理していたトラフィックを通じてシステムの性能が向上しました。コンタクトセンターが重視するのは、まさにこのような改善だけです。

音声エージェントが質問への回答にとどまらず、タスクの実行、顧客情報へのアクセス、企業システムとの連携を担うようになるなかで、開発者は自律性と人間による監督のバランスをどう取るべきでしょうか。こうしたシステムへの長期的な信頼を築くうえで、不可欠な安全策は何でしょうか。

まず、エージェントに何を任せるのかを考えるべきです。口座残高を照会させることと、送金やサービスの解約を許可することはまったく違います。権限はその違いを反映させるべきであり、接続先のシステムにも権限を適用させる必要があります。こうしたことをすべてプロンプトの指示に委ねることはできません。

利用者は、自分が何に同意しているのかも把握できるべきです。元に戻すのが難しい変更をエージェントが行う前に、その結果を説明し、確認を求める必要があります。そうすれば、エージェントが行き詰まったときも、担当者に簡単に引き継げます。

それでも、問題が起きることはあります。その際には、エージェントが何を行い、どこで止まったのかを確認できなければ、誰かが問題を正せません。自信に満ちた声を聞くと、システムが自分のしていることを理解していると思いがちです。しかし、その信頼は、システムの信頼性ある振る舞いによって得られなければなりません。

Higgs Realtimeは100を超える言語に対応し、会話の途中で言語を切り替えることもできます。感情的な文脈やユーザーの意図を理解するうえで、言語やアクセント、コミュニケーションのスタイルが異なっても、一貫した会話能力を実現するための最大の技術的課題は何でしょうか。

言語対応というと単なるリストのように聞こえますが、実際はそうではありません。少し前、ある顧客がタイ語を必要としていました。部分的には対応していたものの、まず分かったのは、タイ語そのものについて私たちはまったく何も知らなかったということです。そもそも、タイ語の書き言葉には基本的に句読点がありません。これは、多くの音声システムが前提としている文の境界を崩してしまいます。その市場への参入を先送りすることもできました。しかし、タイ語を話す計算機科学者を見つけ、適切に処理できるよう仕組みを作り直しました。

それから約6週間後、私たちはバンコクでそれを実演していました。デモの最中、私はそれがうまくいっているのか分かりませんでした。自分が話せない言語でシステムを試す人たちの様子を聞いていたからです。終了後、彼らから良かったと言われ、大いにほっとしました。慣習の違いは、語彙の違いと同じくらい大きいものです。日本語では、聞き手は相手の話についていっていることを示すため、話の途中で小さく相づちを打ちます。アシスタントが毎回停止して発話の順番を相手に渡していたら、会話のリズムが壊れてしまいます。

言葉が完璧でも、会話がうまくいかないことはあります。そして、何を言うかと同じくらい、どう言うかも重要です。まったく同じ言葉でも、愛情を込めて言う場合と皮肉を込めて言う場合とでは、適切な返答はまったく異なります。文の途中で言語が切り替わっても、口調や文脈を保つことが、私にとってこの分野を興味深くしている大きな要素です。

OpenAIやGoogleのような企業は、リアルタイムのマルチモーダルAIに多額の投資をしています。Boson AIのような専門企業は、はるかに豊富な計算資源を持つ組織とどのように競争できるのでしょうか。また、モデルのアーキテクチャ、性能、推論コストの面で、差別化の最大の機会はどこにあるとお考えですか？

計算資源が多ければ、それをうまく使えているとは限りません。リアルタイムの会話では、「うーん」や「そうですね、おそらく」といった発言を処理するだけのために、非常に高性能なモデルを動かして多額の費用をかけることもあり得ます。そのモデルは、内容のない言葉を聞き取ることに知能の大部分を使ってしまいます。計算資源は高くつき、多くのエネルギーを消費します。推論にも同じことが言えます。結局、その費用を負担するのは顧客です。

人間は注意を分散させることで、この問題に対処しています。コーヒーショップで少し退屈な会話をしながら、頭の片隅では夕食に何を作るか考えることができます。意識の表層では会話を続けています。そして、相手から本当に難しい質問をされると、完全にそのことに集中し、持てる力をすべて注ぎます。私たちも同じやり方で会話システムを構築しています。

会話の表層は低コストのモデルが担い、タスク上必要になった段階で、より高価な推論処理やツール呼び出しを行います。もう一つの要点は、計算資源を借りるのではなく購入したことです。計算は複雑ではありません。クラウドインスタンスの1時間あたりの費用に年間の時間数を掛ければ、ハードウェアを買い切る費用に近い金額になります。私たちはコンポーネントごとに損益分岐点を算出し、そこから構築を始めました。実際には、そう聞こえるほど簡単ではなく、すべてが順調に進んだわけでもありません。しかし、力ずくで規模を拡大する選択肢をなくしたことで、あらゆる改善をより良いデータとアーキテクチャによって実現しなければならなくなりました。また、結果として、それは私たちを守ることにもなりました。10万ドル未満と見積もられていたコンポーネントが、6か月後にはおよそその2倍の価格になったのです。私たちは一つのことに取り組む小さなチームなので、迅速に動けます。研究者がアイデアを考え、検証し、自分で製品に組み込むことができます。また、オープンな研究コミュニティから恩恵を受けるとともに、そこに貢献もしています。そのおかげで、小さなチームでも規模から想像される以上のことを実現できます。

会話知能の重要な側面、つまりユーザーが明確に頼んでいなくても、何を必要としているかを認識する能力を、あなたの研究であるProactBenchは探っています。音声エージェントは、受け身のアシスタントから積極的に協力する存在へと、どのように進化していくとお考えですか。また、ユーザーのニーズを先回りすることと、出過ぎた振る舞いをすることの境界は、どこに置くべきでしょうか？

たとえば、医師の予約を取る会話の早い段階で、車を運転できないと伝えたとしましょう。優れたアシスタントなら、そのことを覚えておき、オンライン診療を提案したり、移動手段の手配を手伝ったりするでしょう。その情報を繰り返し伝える必要はありません。

私たちがProactBenchで研究しているのは、アシスタントがユーザーから聞いたことを活用してニーズを予測し、直接頼まれていないことについても支援を申し出られるかどうかです。

もちろん、すでに予約先までの移動手段を手配しているかもしれません。アシスタントは、ユーザーの予定を知っていると思い込むのではなく、選択肢を提示して、本人に決めてもらうべきです。こうしたシステムには、人々の手間を減らしながら、何が起きるかを自分でコントロールできる状態を保ってほしいと思います。

今後5年を見据えたとき、人々がAIやソフトウェアを操作する主要なインターフェースは音声になるとお考えですか。そうだとすれば、その変化によって、従来のアプリケーションやエンタープライズソフトウェア、さらには画面やグラフィカルユーザーインターフェースの役割は、どのように変わるでしょうか？

人々はコンピューターに話しかける機会がずっと増え、映像も一緒に使うことが多くなると考えています。相手が困惑した表情をしているのが見えれば、説明の仕方を変える必要があるかもしれないと分かります。私たちの音声・映像デモは、AIが聞こえたことだけでなく見えたことにも応答する、そうしたやり取りの始まりを示しています。

コードを書くときは、今でもキーボードを使うほうが好きです。また、情報を比較するときは、自分のペースで目を通せる画面に表示したいと思うかもしれません。

ビジネスソフトウェアでは、必要なことを説明してタスクを始め、画面上で結果を確認し、その場で直接変更を加える、という使い方が考えられます。今後5年間で、こうした作業方法を切り替えるのは、ずっと簡単になると思います。都合のよいときには話しかけ、正確さが必要なときには画面を使うことができるでしょう。

素晴らしいインタビューをありがとうございました。会話型音声AIや企業向け音声エージェントについて詳しく知りたい読者は、Boson AIをご覧ください。