NeuroMetricのCEO兼共同創設者Rob May – インタビュー・シリーズ

Rob May、NeuroMetricのCEO兼共同創設者は、クラウドコンピューティング、AIスタートアップ、ベンチャーキャピタルにわたる長いキャリアを持つ経験豊富な起業家および投資家であり、現在、NeuroMetric AIの指揮をとりながら、HalfCourt Venturesのマネージングディレクターも務めており、100以上のテクノロジー企業に投資しています。運営および投資業務と並行して、AIイノベーター・コミュニティの共同創設者であり、Backupifyを含む企業を立ち上げて後に売却しており、複数のテクノロジー・サイクルにわたる深い経験を持っています。また、彼は、10年以上前にAIのトレンド、投資戦略、市場動向を分析するために開始したInvesting in AIニュースレターで広く知られており、これは、急速に進化しているAIの景観に関する深い洞察を提供するプラットフォームに進化しています。

NeuroMetric AIは、現在のAIにおける最も重要な課題の1つである、大規模な推論のコストと効率性を解決することに焦点を当てています。プラットフォームは、AIワークロードを動的に評価し、最適化戦略（小規模な特化モデルと高度なテスト時コンピューティング技術の組み合わせなど）を適用して、パフォーマンスを向上させながらコストを大幅に削減し、企業がAIデプロイからより良いROIを達成できるようにします。ワークロードをオーケストレーションし、モデル使用を特定のタスクに合わせてカスタマイズすることで、NeuroMetricは、AIシステムを大幅に高速化および低コスト化し、AIインフラストラクチャ、効率性、現実世界のスケーラビリティの交差点に位置することを目指しています。

あなたは複数のAI企業を設立・運営し、HalfCourt Venturesを通じて100以上のスタートアップに投資し、Backupifyを立ち上げて後に売却しました。これらの経験は、AIにおける持続可能な価値の創出についてのあなたの視点をどのように形作ってきましたか。

私は、ほとんどの投資家や起業家が短期的な独自性を追求しているように思います。つまり、現在の市場で明らかなギャップのように見えるものですが、すでに存在する企業によってすぐに埋められるギャップです。AIは、ビジネスを運営することを、確率的な意思決定の連続に縮小させるでしょう。投資する会社や、構築する会社は、確率の全体的な見積もりが最も優れている会社です。時には、それは垂直統合から来るかもしれませんし、時には水平的なスケールから来るかもしれません。市場によって異なります。

あなたのInvesting in AIニュースレターでは、モデルは相互に交換可能になっており、実際の防御性はシステム層にシフトするという議論を展開しています。実践では、「システム・モート」とはどのようなものですか。

真のシステム・モートには、3つの特性があります。使用に伴って蓄積され、顧客に特有であり、モデルを交換することで再現できないものです。

防御性は、私が「コンテキスト・システム」と呼ぶ統合アーキテクチャに存在します。これは、基礎モデルを、企業が独自のものであるすべてのものに接続します。データ、ワークフロー、ドメイン知識、意思決定履歴などです。システムは、すべての相互作用から信号をキャプチャし、それをフィードバックして自己を改善するために使用します。

重要な洞察は、これが乗法的フライホイールを生み出すことです。加法的なものではありません。過去の意思決定の検索可能なログを蓄積しているのではなく、特化したモデルを生成するトレーニング・シグナルを生成しています。これにより、ルーティングが改善され、さらに貴重なデータがキャプチャされます。モートは、各推論に伴って拡大します。

実践では、システム・モートは、APIではなくビジネス・ロジックの書き換えに関するスイッチング・コストがある、深いワークフロー統合のようになります。競合他社が複製できない、独自のコンテキストが、特定の企業内での生産使用を通じて生成されたものです。また、システムは、特定の顧客にとって、汎用的なモデル・プロバイダーがそうすることはないように、重要な方法で改善されます。

モデル・エラは、生の能力を私たちに与えました。システム・エラは、そこで能力が現実世界の価値になる場所です。

企業は、単一の最先端モデルに頼るのではなく、ルーティング・ロジック、エスカレーション・パス、継続的な評価を含む、マルチ・モデル戦略を構築する方法についてどう考えるべきですか。

企業が最初に内部化する必要があることは、「最良のモデルを使用するだけ」は、スケールでの敗北戦略であるということです。これは、すべてのクエリを最もシニアなエンジニアに実行するのと同じです。費用がかかります。遅いです。反対に、結果が最も優れているとは限りません。

これは、私が「推論の不規則な境界」と呼ぶものに触れています。モデル・パフォーマンスは、タスク・特異的であり、予測不能です。最先端モデルは、特定のタスクで小規模な特化モデルに常に敗北します。私たちは、複合マルチ・モデル・システムで72.7%の精度を達成したCRMタスクで、最先端モデルは58%のスコアを達成しました。パフォーマンス・サーフェスは、パラメータ数と整然と相関しません。したがって、実際の質問は、「どのモデルが最も優れているか？」ではなく、「この特定のサブタスクに最も適したモデルはどれか？」です。

その再構成は、実際のマルチ・モデル戦略の基盤です。以下は、企業がそれについてどう考えるべきか、3つの層で説明します。

ルーティング・ロジックは、推論・ランドスケープのマッピングから始まります。システム内のLLMコールが行われるすべてのポイントをカタログ化し、各ポイントについて、タスクの種類、入力/出力の複雑さ、待ち時間の要件、精度のしきい値、コールのボリュームを文書化します。すると、ヒートマップが得られます。ほとんどのボリュームは、高頻度の狭いスコープの作業であることがすぐにわかります。分類、エンティティ抽出、意図のルーティング、テンプレートの生成などで、小規模な特化モデルは、最先端モデルと同じかそれ以上のパフォーマンスを、コストの小さな部分で達成します。高価な最先端コールは、実際に複雑な推論を必要とするタスクに予約します。50回のタスクごとにコールするエージェントには、すべての50回にGPT-4が必要ありません。

エスカレーション・パスは、単にフォールオーバーではなく、インテリジェントなフォールバックを構築することについてです。システムは、小規模なモデルが低信頼度の結果を返すときにそれを認識し、より能力のあるモデルにエスカレートする必要があります。あるいは、まったく別のモデル・戦略の組み合わせにエスカレートする必要があります。これは、テスト時コンピューティング・戦略が関与するところです。正解は、必ずしもより大きなモデルではありません。同じモデルで、チェーン・オブ・ソート、ビーム・サーチ、またはベスト・オブ・N・サンプリングを使用する場合があります。最適な構成は、モデルによって異なり、ペアにする思考アルゴリズムによっても異なります。

継続的な評価は、企業が完全に欠如している部分です。そこで実際の防御性が現れます。モデル選択は、一回限りの決定ではありません。継続的な最適化問題です。新しいモデルが常にリリースされ、ユースケースが進化し、パフォーマンスが静かに劣化します。特定のクエリー・タイプで40%悪い答えを出した顧客サービス・ボットを見て、3か月後に顧客が去っていくだけです。実際に機能するモデルとタスクの組み合わせを測定し、実際のパフォーマンス・データに基づいてルーティングを調整するインフラストラクチャが必要です。ベンチマークではありません。

企業のほとんどがこのシフトをしていない理由は、誰もが最先端モデルを選択することを選ぶからです。ベンダーのエコシステムは、そこにマージンがあるからです。マルチ・モデル・アーキテクチャを実際に実行するために必要なオーケストレーション・インフラストラクチャ、ルーティング・ロジック、フォールバック・メカニズム、モデル管理、可観測性は、ほとんどの企業では存在しません。ローカル最適解に陥り、最先端の推論の継続的な過剰支出よりも、マルチ・モデルのスイッチング・コストと不確実性が高く感じられるからです。

企業がAIのパイロットから本格的なシステムに移行する際に、最も重大なミスを犯すのは何ですか。

彼らは、選択が静的で長期的なものになると想定しています。実際には、AIのテクノロジー・スタックのすべての層が急速に変化しています。企業は、選択肢を柔軟性と選択肢を提供する決定を下す必要があります。

どのようなワークフローで、小規模でタスク・特異的なモデルが大規模な最先端モデルを上回るのを見ましたか。戦略的にそれが何を意味しますか。

基本的な会計、テキストの要約、さまざまなドキュメントからのエンティティ抽出など、ほぼすべての一般的な日常タスクでそれを見ました。ワーク・タスクの数百に対してSLMを探索し、問題が正しく構造化されている場合、それらはほとんど常に勝ちます。

あなたは、新しいユースケースにAIを展開することの減少する限界コストについて書いてきました。企業のAI採用の長期的な経済学にどのような影響がありますか。

バブル・ナラティブは、AIの収益が新しいモデルへの比例したR&D投資を必要とするものであると想定しています。そうではありません。モデルは構築されています。インフラストラクチャは存在します。追加のユースケースは、プロンプト、データ接続、軽いファインチューニングの可能性があります。100Mドルのトレーニング実行ではありません。限界コスト曲線は、プラットフォームが成熟するにつれて下向きに曲がります。

これは、鉄道や電信と正反対です。新しいトラックの各マイルは高価でした。AIの場合、エンジンを構築することが高価でした。エンジンに接続することは、安いです。さらに安くなっています。2年で推論コストは約1,000倍に低下しました。企業にとっての質問は、AIが償還するかどうかではありません。同じインフラストラクチャ上に何個のユースケースを積み重ねることができるかです。収益曲線がコスト曲線を上回るまでです。

モデルの切り替え、ファインチューニング、または特化された小規模タスク・モデルを構築するための信号として、テクニカル・チームはどのような信号を使用するべきですか。

信号は、必ずしも技術的なものではありません。パフォーマンスや経済的に駆り立てられるものです。たとえば、モデルを切り替えるか、ファインチューニングするか、カスタムSLMを構築するかは、すべて機能します。決定は、待ち時間を最適化しているか、コストを最適化しているか、タスクがどれほど頻繁に実行されるか、各ソリューションを構築して展開するのにどれほど時間がかかるかによって異なります。

ガバナンス、監視、管理をどのように設計すれば、使用量ではなく、ボトルネックになるのではなく拡大することができますか。

企業が犯す間違いは、ガバナンスをチェックポイントとして扱うことです。AIワークフローの上に手動レビュー・レイヤーを組み込んだものです。拡大しません。使用量が増加するとすぐにボトルネックになります。

ガバナンスは、オーケストレーション・レイヤー自体に組み込まれている必要があります。ルーティング・インフラストラクチャがすでに各推論コールを評価している場合（どのモデル、どのタスク、どの信頼度レベルなど）、ガードレールを追加することは、限界コストではありません。新しいシステムではありません。モデルを選択するレイヤーは、ポリシーも適用できます。コールの前にPIIフィルタリング、コールの後に出力の検証、自動的にキャプチャされた監査証跡、コストの部門別割り当てなどです。

重要な洞察は、企業がAIシステム内で失敗するのではなく、システム間で失敗することです。ハンドオフ、エスカレーション、例外です。拡大するガバナンスは、AIのすべてのアクションを、実行の副産物として安全、監査可能、繰り返し実行可能にするコントロール・プレーンのようです。障害ではありません。

あなたは、現在のAIの景観を、メインフレームからPCへの移行と比較しています。システム層を構築するスタートアップにとって、分散化とは何を意味しますか。

私たちは現在、AIのメインフレーム・フェーズにいます。OpenAI、Anthropic、Googleからの大規模な集中型最先端モデルは、努力を集中させ、AIが何をできるかを示すために必要でした。そのフェーズは機能しました。能力はよく理解されています。しかし、コンピューティングが集中型のままではなかったように、AIも集中型のままではありません。PC時代に入っています。小規模で特化したモデルが、作業に近い場所で実行される分散型エコシステムです。

支出データはすでにそれを反映しています。企業のAI投資は、インフラストラクチャとアプリケーションの間でほぼ均等に分割されており、アプリケーションのシェアがより速く成長しています。拡大は、HR、法務、Marketing、Operations、Financeなど、横方向に広がっています。垂直方向に大きなモデルにではなく、横方向に広がっています。

システム層を構築するスタートアップにとって、これは一生懸命の機会です。集中型の世界では、モデル・プロバイダーが最もの価値を 捕獲します。分散型の世界では、価値は、オーケストレーション、ルーティング、評価、特化を解決する会社に移ります。AIのエコシステムを大規模に展開する際の運用上の課題です。

私の予測は、AIの推論の約25%が最先端モデルを必要とするだろうということです。そうした会社は、数兆ドルの市場でうまくやっていくでしょう。しかし、75%はオープンソースと小規模な特化モデルで動作します。私たちは、4億パラメータのモデルを訓練し、特定のCRMタスクで最先端モデルを上回ったのですが、それを実行することはほぼ無料です。それが未来です。しかしそれには、完全に新しいシステム層が必要です。

アナロジーは、最後まで続きます。メインフレーム・ベンダーはうまくやりましたが、実際の富の創出は、PCエコシステムで起こりました。AIでも同じことになります。

5年先を見て、最先端モデル・プロバイダーが大部分の価値を 捕獲すると思いますか。あるいは、オーケストレーション、最適化、適用されたシステムが、経済的影響の主な源泉になるのでしょうか。

私は、AIの推論市場が、世界の歴史上で最大の市場の1つになるだろうと思います。つまり、最先端モデル・ラボは非常にうまくやりますし、周囲を構築する企業にもまだ大量の機会があるということです。1兆ドルの市場がある場合、そこでの小さなエッジ・ケースを解決すると、100億ドルの会社になる可能性があります。

素晴らしいインタビュー、ありがとうございました。読者がもっと学びたい場合は、NeuroMetric AIを訪ねるか、Investing in AIニュースレターに登録してください。