AIモデルとプラットフォーム
Baseten、Voice Agent StackとRealtime Voiceを非公開プレビューで提供開始

要点オーケストレーションを音声モデルと同じ場所に配置することで、リモートのオーケストレーターがターンごとに追加するネットワークの往復がなくなる。
もっと見る
- オーケストレーションを音声モデルと同じ場所に配置することで、リモートのオーケストレーターがターンごとに追加するネットワークの往復がなくなる。
- Basetenのスタックにより、オペレーターはパイプライン全体を複製するのではなく、各パイプライン段階を独立してスケールできる。
- Basetenのエンドポイントは追加されたリアルタイムパスを提供しないため、OpenAI SDKクライアントは直接接続できない。
Basetenは発表した。Voice Agent StackとBaseten Realtime Voiceを2026年11月16日に発表し、ウェイトリストを通じて両方の非公開プレビューを開始した。テスト環境では、最大56の同時セッションでターンあたりのレイテンシの中央値が約1秒だったという。スタックは音声モデルとオーケストレーションを同じ場所に配置し、顧客がモデルを個別に選べるようにするとともに、パイプラインの各コンポーネントを個別にスケールできる。
同一拠点に配置したインフラ
Voice Agent StackはBasetenの専用推論基盤上で稼働し、オーケストレーターとモデルを同一のクラウドリージョン内に配置して、クラスター内ネットワークで接続する。Basetenによると、音声認識、言語処理、音声合成の各コンポーネントをすべて同社のプラットフォーム上でホストしている場合でも、オーケストレーターをリモートに置くと、ターンごとにネットワークの往復で数百ミリ秒の遅延が加わる可能性がある。このスタックには、推論ランタイムの最適化、モデル間ネットワーキング、トラフィックに応じた自動スケーリング、クラウド間のフェイルオーバー、モデルの追加学習のサポートも含まれる。
Realtime Voiceはリファレンス実装であり、Basetenが最適化したオープンウェイトモデルを音声認識、言語処理、音声合成に用いるカスケード構成を、Pipecatベースのカスタムオーケストレーターで実行する。任意で利用できる委譲設計では、高速で同じ場所に配置された会話モデルが会話を処理する一方、より高性能な外部の思考モデルが推論、ウェブ検索、判断、ツール呼び出しを非同期で担う。サーバー側のツールは同じ場所に配置されたオーケストレーター上で実行され、オーケストレーターはリモートのModel Context Protocolサーバーも呼び出せるため、クライアントとの余分な往復を避けられる。クライアント側のツールにも対応している。
モデル制御とAPIの互換性
顧客は音声認識、言語処理、音声合成に使うモデルをそれぞれ個別に選択でき、専用コンポーネントとサードパーティーAPIを組み合わせることも、個々の構成要素を時間をかけて専用インフラに移行することもできる。追加学習の選択肢には、業界特有の専門用語に合わせた文字起こしの適応、通話向けの言語モデルの動作調整、顧客の音声データを使った音声の教師ありファインチューニングが含まれる。セッション中に、再デプロイせずに言語モデル、音声、文字起こしの経路を切り替えられる。
このAPIはOpenAI Realtimeの中核となるイベントプロトコルに準拠し、音声入力・音声出力とテキスト入力・音声出力の各モードに対応するほか、文字起こし用キーワードの強調、設定可能な応答メッセージ、音声クローンにも対応する。ただし、互換性には実用上の制約があり、クライアントは完全なWebSocket URLを受け付ける必要がある。OpenAIのPython SDKは直接接続できない。これは、ベースURLにパスを追加するためで、 /realtime そのパスはBasetenのエンドポイントでは提供されていない。ブラウザーは必要な Authorization ヘッダーを設定できないため、ブラウザークライアントでは、APIキーを保持してWebSocket接続を中継するバックエンドが必要になる。
同時接続時のレイテンシとコスト
Basetenの発表によると、最初の音声が出力されるまでの時間の中央値は、同時通話が1件の場合の0.94秒から、56件の場合には1.14秒に増加した。レイテンシのテストでは最大16,000トークンのコンテキストを使用した。コンテキストが長くなるとターンのレイテンシが増加する場合がある一方、要約を設定すれば、各セッションのコンテキスト長を目標値に収められる。テスト構成では、1基のRTX-6000でQwen3-ASR、1基のB200でGemma-4-31B、別の1基のRTX-6000でQwen3-TTSを動作させ、委譲にはBaseten Model APIs経由でGLM-5.3 Fastを使用した。
各コンポーネントはそれぞれ独自の同時実行目標に応じて個別にスケールするため、運用者はパイプライン全体を複製せず、飽和した段階に容量を追加できる。この設計は、GPU使用率を高く保ちながら、p90およびp95のレイテンシの裾を厳密に維持することを意図している。Basetenの推定では、同時セッション数が32の場合、音声1分あたりのコストは0.012ドルで、推論モデルへの委譲にかかるトークン単位の費用は含まない。同時セッション数が56の場合は、Model API経由の委譲を含め、通話1分あたり0.008ドルとなる。いずれも同社が示した使用率の前提に基づく。専用プランでは、より多くのセッションでハードウェア費用を按分できるため、これらのコストを左右するうえで、継続的な使用率が重要となる。
独立したCovalの音声認識ベンチマークは、コンポーネント単位で比較する際の参考になる。2026年11月16日17:30 UTC時点のデータを掲載した24時間ランキングでは、BasetenがホストするQwen3 ASR 1.7bが、最終セグメントまでの時間の中央値で2位となり、456サンプルにおける単語誤り率は2.1%、時間は33ミリ秒だった。この指標は、共通の発話終了時点を起点とし、最終的な文字起こしが届くまでを測定する。ライブシステムがターンの終了を検出するのにかかる時間は含まれない。そのため、エージェントの応答全体を測る指標ではない。
Basetenによると、今後はより複雑なオーケストレーションフロー、既存の音声パイプラインをより簡単に移行する方法、ネイティブな音声間の全二重システム、専用の音声生成ヘッドを備えたオムニモデル、カスケード全体に適用する新たなスケジューリングプリミティブに取り組む予定だ。今回の発表により、オーケストレーションが音声エージェントのコストを左右する制御点となる。モデルの選択、ツールの実行、コンポーネント単位の容量管理を一体的に扱えるため、運用者はパイプライン全体を再構築せずに、レイテンシとGPU使用率を調整する複数の方法を得られる。












