インタビュー

Propensity Labsの共同創業者兼CEO、Rahul Nambiar — インタビューシリーズ

Antoine Tardif
Unite.AI を Google の優先ソースに追加
Rahul Nambiar smiling in a green shirt against an outdoor urban background.
要点プロンプトをより安価なモデルに適応させることで、7%のコストでプレミアムモデルに匹敵することができた。
もっと見る
  • プロンプトをより安価なモデルに適応させることで、7%のコストでプレミアムモデルに匹敵することができた。
  • 安価なモデルは、生の能力が不十分なのではなく、修正可能な行動パターンによって失敗することが多い。
  • チームはトークンあたりのコストだけでなく、正常に完了したタスクあたりのコストを測定すべきである。

Rahul Nambiarは、Propensity Labsの共同創業者兼CEOです。以前はAWSで大規模インフラの構築に携わり、その後Metaに移って、機械学習による分類を用いたエクサバイト規模のユーザーデータインベントリの開発を率いました。現在は、AIモデルの挙動を理解し、モデルのルーティングと指示の適応を組み合わせることで、エージェント型ワークフローのコストと信頼性を向上させることに取り組んでいます。

Propensity Labsは、チームがそれぞれのワークロードに適したAIモデルを選び、振り分けるためのシステムを開発しています。同社のアプローチでは、モデルの挙動評価、プロンプトの自動適応、モデル間のルーティングを組み合わせています。これにより、ユーザーが各モデルの専門家にならなくても、利用可能なモデルをより効果的に活用できるようにすることを目指しています。

あなたは、エクサバイト規模のデータインベントリプロジェクトでプライバシー技術を率いたMetaから、AWSを経て、現在はPropensity LabsのCEOを務めています。こうした技術的な経歴は、現在のAIモデルの限界や、特化型の指示ルーティングが持つ可能性についての見方に、どのような影響を与えましたか?

私は実際にはAWSからキャリアをスタートし、その後Metaに移りました。大規模システムの構築を通じて学んだことの一つは、基盤となる構成要素を互換性のあるブラックボックスとして扱うのではなく、その挙動を理解して最適化することで、大きな改善を実現できる場合が多いということです。同じことはAIモデルにも当てはまります。非常に高性能なモデルであっても、挙動に癖があり、それを理解して対処することで、性能とコストを驚くほど大きく改善できることが分かっています。

最近の実験では、小型モデルをルーティングして使うことで、プレミアムモデルをわずかなコストで上回ることを示されました。ベンチマークテストと比べて、こうしたモデルルーティングを本番環境に導入する際に、主にどのような技術的課題がありますか?

Lunaの弱点に合わせてプロンプトを適応させることで、Sierraの複雑なエージェント型ベンチマークTau3において、Solの7%のコストで同等の性能を実現できました。適応を加えたLunaとSolの間でルーティングすることで、Astraの16%のコストで同等の性能を達成できました。

大きな学びの一つは、ルーティングもプロンプトの適応も、ワークロードに合わせてきめ細かく調整する必要があるということです。ベンチマークには整備された環境と採点基準があり、特定のタスクでモデルがどのように性能を発揮するかを調べ、その結果を評価できます。これを踏まえて、モデルに合わせてプロンプトをどう適応させるか、また、どのモデルにルーティングするかを判断します。

本番環境のワークフローは、そう簡単に整った形で用意されているわけではありません。モデルがタスクを実行した記録はあっても、実際に成功したか、何をもって良しとするかを確実に判断する方法がありません。そこで私たちは、既存の利用データ、つまり評価データや本番環境の実行記録を使い、同じワークロードで異なるモデルや適応方法をテストできる評価環境を再構築するようになりました。

興味深いのは、ルーティングと適応を一体として考える必要があることです。より安価なモデルでも、既存のプロンプトではタスクに失敗するかもしれませんが、そのモデルの挙動に合わせてプロンプトを適応させれば、成功する可能性があります。その結果、そもそもどのモデルにルーティングすべきかという判断も変わります。

特定のモデルに合わせて指示を適応させるとおっしゃっています。普遍的に使える指示と、特定のモデルアーキテクチャの強みや弱みに応じて個別に調整しなければならない指示を、どのように見分けていますか?

普遍的に使えるように見える指示でも、モデルに合わせた調整が必要なものは多くあります。簡単な例として、単一ターンの応答における幻覚を考えてみましょう。ここではDeepSeek V4 ProとGPT-6 Lunaという2つのモデルを調べました。どちらも、答えが分からないときに事実を捏造する傾向が強くあります。学習過程の何らかの要因により、「分からない」と答えることを非常にためらうようです。この挙動は似ていますが、プロンプトを使った抑制方法は大きく異なります。

DeepSeek V4 Proには、「分からないと言ってもよい」という表現をさまざまな形で重ねて与えると、Claudeモデルと同程度に回答を控えさせることができます。同じ方法はLunaにはほとんど効果がありません。Lunaには、誤答に対するコストを設定するのが最も効果的です。たとえば、「間違った回答は-90点、正しい回答は+10点」といった指示を与えると、兄貴分であるSolと同じ程度まで回答を控えるようになります。同じ挙動であっても、2つのモデルにそれを改めさせるための働きかけは大きく異なります。特定のモデルに合わせて指示を適応させるには、そのモデルと、モデルが導入されるワークフローの両方を深く理解する必要があります。

企業がエージェント型ワークフローへと移行するなかで、より安価で特化したモデル間のルーティングは、単一の高性能な最先端モデルがあらゆるタスクを処理できるようになるのを待つよりも、長期的に有効な戦略だと考える根拠には、どのようなものがありますか?

最先端モデルは、ほぼ毎週のように新しいものが登場します。今、ワークフロー全体に最も大きく高性能なモデルを選んだとしましょう。数カ月後、あるいは数週間後には、ワークフローの大部分、場合によってはすべてを処理できる、より小型のモデルが登場している可能性があります。同時に、ワークフローでより高い性能を発揮する、さらに大型のモデルや、より特化したモデルも登場しているでしょう。モデルを切り替えたり、モデル間でルーティングしたりしなければ、性能とコストの両面で得られるはずの価値を逃すことになります。

こうした状況をすべて把握し続けるのは大変ですし、さまざまなモデルに精通する必要があるべきではありません。私たちは、求める性能を最も低いコストで実現できる最適なモデルを常に使えるようにすることで、その課題を解決できると考えています。ワークロードの一部には最も高性能なモデルを選ぶだけでよい場合もあれば、ワークロードの大半を、はるかに低コストのモデルで処理できるように適応させる場合もあります。

複数のモデルにタスクを振り分けるシステムを運用する際、特に機密情報を扱うタスクについて、データの一貫性とプライバシーをどのように確保していますか?

私たちは、ユーザーとモデルプロバイダーの間に立つレイヤーとして機能します。ユーザーは利用したいプロバイダーを選び、自身のAPIキーを持ち込みます。選択されたプロバイダーのモデルから、ユーザーのワークロード全体、またはその一部に最適なモデルを選び、ワークロードを適応させたうえで、適切なモデルに送ります。お客様が共有を選んだ評価データやトレースのみを使用し、お客様のデータを使って学習したり、保存したりすることはありません。

Mana AzarmとPropensity Labsを共同創業されました。モデルの挙動を研究する研究中心の側面と、自律型エージェントのパイプラインを構築する実践的なシステムエンジニアリングの側面に、どのように力を配分していますか?

この点では、私たちのスキルがうまく補い合っています。チーフサイエンティストであり教授でもあるManaは、モデルの挙動に関する部分を主に担当し、私はシステムエンジニアリングの側面に注力しています。というより、本来はそうしたいと思っています。実際はもっと複雑で、その時点で最大の障害となっていることに、それぞれが取り組むことになります。

プレミアムモデルのAPI利用料に多額の費用をかけているCTOにとって、既存のワークフローでモデルのルーティングや指示の適応を試す際、手始めに取り組みやすいことは何でしょうか?

ぜひ私たちにご相談ください!真面目な話、まずは最新世代の小型モデルを、自社の具体的なワークロードで動かし、どこまで対応できるか試してみるのがよいと思います。以前の世代の大型モデルを使い続けている人は多いのではないでしょうか。モデルの進歩は速いため、最近登場した、ワークロードに対応できる小型で安価な代替モデルに気づいていないのだと思います。

より安価なモデルを適切に制約したり、誘導したりすれば何ができるのかについて、開発者が抱きがちな誤解のうち、最もよくあるものは何ですか?

最もよくあるのは、安価なモデルが失敗すると、単に能力が足りないのだと思い込むことです。ワークフローのどこで、どのように安価なモデルが失敗するのかを詳しく分析することが有益だと思います。失敗の一部は、モデルが陥りがちなパターンによるものです。そのパターンを特定し、モデルが陥らないよう促せば、ワークフローをうまくこなせる可能性があります。一方、安価なモデルには正しく実行するための基礎的な能力が不足しているタスクもあり、そうした場合には、より大きなモデルが必要です。

プライバシー、規模、コストの交差する領域に取り組まれています。今後12~18か月のAIインフラ開発を見据えたとき、企業が求めるものと、現在のツール環境が提供するものとの間には、どのような大きな隔たりがあるとお考えですか?

本番環境にモデルを導入している実務者と話すと、新しいモデルやその性能向上を追い続けることへの焦り、そしてある程度の疲れが広く見られます。多くのテクノロジーは、時間がたつにつれて使いやすく、導入しやすくなるものです。しかし、大規模言語モデルはむしろ扱いが難しくなっており、選択すべきモデルや設定(temperature、推論の強度、キャッシュなど)が数多くあります。モデルを使うチームが、どうやって目的を達成するかではなく、モデルを使って何を実現したいかに集中できるよう、こうした要素を簡素化し、抽象化することには大きな価値があると思います。

信頼性を犠牲にしてコスト削減だけを追い求めることのないよう、複数モデルのルーティングを試し始める技術チームは、どの指標を優先すべきでしょうか?

まず、タスクの成功率、失敗率、レイテンシー、そしてタスクを正常に完了するためのコストを確認します。安価なモデルの失敗が多ければ、トークン単価だけを見てもあまり意味はありません。そのため、再試行や、ルーティングに使う分類器や判断モデルの呼び出しも含め、タスクにかかるコスト全体を数える必要があります。

難しいのは信頼性の測定です。エージェントを別のモデルに移行するのに苦労していたチームが、数か月にわたって評価に本格的に取り組んだ結果、モデルを切り替える作業がずっと容易になった、というよくあるパターンを目にしてきました。できるだけ早い段階でワークフローの評価にしっかり投資し、ワークフローやユーザーの使い方が変わるのに合わせて、評価も常に最新の状態に保つことを強くお勧めします。

素晴らしいインタビューをありがとうございました。モデルルーティング、指示の適応、評価手法について知り、より信頼性が高く費用対効果に優れたAIワークフローを実現したい読者は、Propensity Labsをご覧ください。

アントワーヌは、先見の明を持つリーダーであり、Unite.AIの創業パートナーです。AIとロボティクスの未来を形作り、その発展を促すことに揺るぎない情熱を注いでいます。複数の企業を立ち上げてきた起業家として、AIは電気と同じほど社会を大きく変えると考えており、革新的な技術や汎用人工知能(AGI)の可能性について熱く語ることがよくあります。

未来を展望するフューチャリストとして、こうした革新が世界をどのように形作るかを探究しています。また、未来を再定義し、業界全体を変革する最先端技術への投資に焦点を当てたプラットフォーム、Securities.ioの創設者でもあります。