インタビュー
NeuroMetric CEO兼共同創業者、ロブ・メイ – インタビューシリーズ
ロブ・メイは、NeuroMetricのCEO兼共同創業者であり、クラウドコンピューティング、AIスタートアップ、ベンチャーキャピタルにわたる長い実績を持つ経験豊富な起業家兼投資家です。現在はNeurometric AIを率いると同時に、HalfCourt Venturesのマネージングディレクターも務め、100社以上のテクノロジー企業に出資してきました。経営と投資の役割に加えて、AI Innovators Communityを共同設立し、以前にはBackupifyなどの企業を立ち上げて売却するなど、複数のテクノロジーサイクルにわたる深い経験を持っています。また、10年以上前から執筆を始め、新興のAIトレンド、投資戦略、市場の変化を分析するInvesting in AIニュースレターで広く知られており、これは急速に進化するAIの状況に関するより深い洞察のプラットフォームへと発展しています。
NeuroMetric AIは、今日の人工知能における最も重要な課題の一つ、すなわち大規模推論のコストと効率性の解決に焦点を当てています。このプラットフォームはAIワークロードを動的に評価し、より小さな専門モデルと高度なテスト時計算技術の組み合わせなど、最適化戦略を適用することで、パフォーマンスを向上させながらコストを劇的に削減し、企業がAI導入からより良いROIを達成できるようにします。ワークロードを調整し、特定のタスクに合わせてモデル使用をカスタマイズすることで、NeuroMetricはAIシステムを大幅に高速かつ手頃な価格にすることを目指しており、組織が実験段階から本番環境へ移行する中で、AIインフラストラクチャ、効率性、実世界でのスケーラビリティの交差点に自らを位置づけています。
あなたは複数のAI企業を創業・率い、HalfCourt Venturesを通じて100以上のスタートアップに投資し、以前にはBackupifyを立ち上げて売却しました。それらの経験は、今日のAIにおいて持続的な価値がどこで生み出されるかについてのあなたの見解をどのように形作ってきましたか？
ほとんどの投資家と起業家は、短期的な堀（競争優位性）を追いかけていると思います。つまり、現在市場にはっきりと存在するギャップのように見えるが、既存企業によってすぐに埋められてしまうようなものです。AIはビジネス運営を一連の確率的な意思決定に集約させていくでしょう。投資すべき、あるいは構築すべき企業は、それらの確率について最も優れた全体的な推定を持つ企業です。それは時には垂直統合から、時には水平スケールから生まれるでしょう。市場によります。
あなたのInvesting in AIニュースレターでは、モデルはますます交換可能になりつつあり、真の防御性はシステム層に移行すると論じています。実際のところ、真の「システムの堀」とはどのようなものですか？
真のシステムの堀には3つの特性があります：使用とともに複利効果で強まること、顧客固有であること、より優れたモデルに置き換えることで複製できないことです。
防御性は、私が「コンテキストのシステム」と呼ぶものの中に存在します。これは、基盤モデルを、企業をユニークにするすべてのもの（そのデータ、ワークフロー、ドメイン知識、意思決定の履歴）に接続する統合アーキテクチャです。このシステムは、どのモデルがどのタスクで成功するか、どこでレイテンシが重要か、どのような企業固有のパターンが現れるかなど、あらゆるインタラクションから信号を捕捉し、それを自己改善にフィードバックします。
重要な洞察は、これが加算的なフライホイールではなく、乗算的なフライホイールを生み出すことです。過去の意思決定の検索可能なログを単に蓄積しているのではありません。ルーティングを改善する専門モデルを生み出すトレーニング信号を生成し、それがより価値のあるデータを捕捉するのです。堀は推論のたびに広がります。
実際には、システムの堀は、切り替えコストがAPIに関するものではなく、ビジネスロジックの書き直しに関するような、深いワークフロー統合のように見えます。それは、特定の企業内での数ヶ月にわたる本番使用を通じて生成されたため、競合他社が複製できない独自のコンテキストのように見えます。そしてそれは、システムがその顧客にとって汎用モデルプロバイダーが決してできない方法で、意味のある改善を続ける継続的特殊化ループのように見えます。
モデルの時代は、私たちに生の能力を与えました。システムの時代は、その能力が実世界の価値になる時代です。
単一のフロンティアモデルに依存する代わりに、ルーティングロジック、エスカレーションパス、継続的評価を含むマルチモデル戦略を構築するにあたり、企業はどのように考えるべきですか？
企業がまず内面化する必要があるのは、「単に最良のモデルを使う」というのは、スケールでは負ける戦略だということです。それは、すべてのクエリを最も経験豊富なエンジニアに通すのと同じです。高価で、遅く、そして直感に反して、しばしば最良の結果を生み出しません。
これは私が「推論のギザギザのフロンティア」と呼ぶものにつながります：モデルのパフォーマンスはタスク固有で予測不可能です。フロンティアモデルは、特定のタスクでより小さな専門モデルに常に負けています。私たちは、複合マルチモデルシステムがCRMタスクで72.7%の精度を達成したのに対し、フロンティアモデルは58%だった例を見ています。パフォーマンスの表面は、パラメータ数ときれいに相関しません。ですから、本当の問いは「どのモデルが最良か？」ではなく、「この特定のサブタスクに最適なモデルはどれか？」です。
その考え方の転換が、真のマルチモデル戦略の基礎です。企業には3つの層で考えるように伝えたいと思います。
ルーティングロジックは、推論の状況をマッピングすることから始まります。システム内でLLM呼び出しが行われるすべてのポイントをカタログ化し、それぞれについて、タスクタイプ、入出力の複雑さ、レイテンシ要件、精度の閾値、呼び出し量を文書化します。それによりヒートマップが得られます。すぐに、ボリュームの大部分が、分類、エンティティ抽出、インテントルーティング、テンプレート生成など、高頻度で範囲の狭い作業であることに気づくでしょう。そこでは、ファインチューニングされた小さなモデルが、フロンティアモデルに匹敵するか凌駕するパフォーマンスを、ほんの一部のコストで発揮します。複雑な推論を真に必要とするタスクのために、高価なフロンティア呼び出しを取っておきましょう。1タスクあたり50回の呼び出しを行うエージェントが、そのすべてにGPT-4を必要とするわけではありません。
エスカレーションパスは、単なるフェイルオーバーではなく、インテリジェントなフォールバックを構築することです。システムは、より小さなモデルが低信頼度の結果を返していることを認識し、より能力の高いモデルへ、あるいは全く異なるモデルと戦略の組み合わせへエスカレートする必要があります。ここでテスト時計算戦略が重要になります。時には正しい答えは、より大きなモデルではなく、同じモデルに連鎖思考、ビームサーチ、またはbest-of-Nサンプリングを組み合わせることです。最適な構成は、モデルによってだけでなく、それに組み合わせる思考アルゴリズムによっても変化します。
継続的評価は、ほとんどの企業が完全に見落としている部分であり、真の防御性が現れるところです。モデル選択は一度きりの決定ではなく、継続的な最適化問題です。新しいモデルは絶えずリリースされ、ユースケースは進化し、パフォーマンスは静かに失敗する形で劣化します。顧客サービスボットが40%悪い回答をしたことを、そのクエリタイプに間違ったモデルを使ったからだと知ることはできません。ただ、3ヶ月後に解約が増えるのを見るだけです。モデルとタスクの組み合わせで実際に何が機能するかを継続的に測定し、ベンチマークではなく実際のパフォーマンスデータに基づいてルーティングを調整するインフラストラクチャが必要です。
ほとんどの企業がこのシフトをまだ行っていない理由は、フロンティアモデルを選んでも誰も解雇されないからです。それはAIにおける「IBMを買っても誰も解雇されない」という状況です。ベンダーエコシステムは、マージンが高いフロンティアを推進します。そして、実際にマルチモデルアーキテクチャを実行するために必要なオーケストレーションインフラストラクチャ（ルーティングロジック、フォールバックメカニズム、モデル管理、可観測性）は、ほとんどの企業には単に存在しません。彼らは、マルチモデルへの切り替えコストと不確実性が、フロンティア推論への継続的な過剰支出よりも高いと感じられる局所最適解に留まっているのです。
企業がAIパイロットから本番グレードのシステムに移行する際に、あなたが見る最大の過ちは何ですか？
彼らは、自分の選択が静的で長続きするものだと想定しています。現実には、AIの技術スタックのあらゆる層が急速に変化しています。企業は、選択肢と柔軟性を提供する決定を下す必要があります。
どのようなタイプのワークフローで、より小さなタスク特化型モデルが大規模なフロンティアモデルを上回るのを見てきましたか？また、それはなぜ戦略的に重要ですか？
基本的な会計処理、テキスト要約、様々な文書からのエンティティ抽出など、ほぼすべての日常的な業務タスクでそれを目にしています。何百もの業務タスクについてSLMを検討しましたが、問題が正しく構造化されていれば、ほぼ常に勝ちます。
新しいユースケースにAIを導入する際の限界費用の低下について書いています。それは企業におけるAI導入の長期的な経済性をどのように変えますか？
バブル論は、AIの収益には新しいモデルへの比例的なR&D投資が必要だと想定しています。そうではありません。モデルは構築済みです。インフラは存在します。追加される各ユースケースは、プロンプト、データ接続、おそらく軽微なファインチューニングであり、別の1億ドルのトレーニング実行ではありません。プラットフォームが成熟するにつれて、限界費用曲線は下方に曲がります。
これは、新しい1マイルの線路を敷設するのに費用がかかった鉄道や通信とは正反対です。AIでは、エンジンを構築するのに費用がかかりました。エンジンに接続することは安価で、さらに安くなっています。推論コストは2年間で約1,000倍低下しました。企業にとっての問いは、AIが利益を生むかどうかではありません。収益曲線が費用曲線を圧倒する前に、同じインフラ上にどれだけ多くのユースケースを積み重ねられるかです。
技術チームは、いつモデルを切り替えるか、ファインチューニングするか、専門的な小さなタスクモデルを構築するかを判断するために、どのようなシグナルを使用すべきですか？
シグナルは必ずしも技術的なものではありません。むしろ、パフォーマンスや経済性に基づくものです。例えば、モデルの切り替え、モデルのファインチューニング、カスタムSLMの構築は、すべて機能する可能性があります。決定は、レイテンシとコストのどちらを最適化するか、タスクがどのくらいの頻度で実行されるか、各ソリューションの構築とデプロイにどれくらい時間がかかるかによって異なります。
ガードレール、モニタリング、ガバナンスを、ボトルネックになるのではなく、実際に使用量に合わせて拡張するように設計するにはどうすればよいですか？
ほとんどの企業が犯す過ちは、ガバナンスをチェックポイントとして扱うことです。つまり、AIワークフローの上にボルトで固定された手動レビュー層としてです。それはスケールしません。使用量が増加した瞬間にボトルネックになります。
ガバナンスは、オーケストレーション層自体に組み込まれなければなりません。ルーティングインフラストラクチャがすでにすべての推論呼び出し（どのモデル、どのタスク、どの信頼度レベル）を評価している場合、ガードレールを追加することは、新たなシステムではなく限界費用です。どのモデルがクエリを処理するかを決定するのと同じ層が、ポリシーを強制できます：呼び出し前のPIIフィルタリング、呼び出し後の出力検証、自動的に捕捉される監査証跡、部門別のコスト配分。
重要な洞察は、企業はAIシステム内部で失敗するのではなく、システム間の受け渡し、エスカレーション、例外で失敗するということです。スケールするガバナンスとは、すべてのAIアクションを、実行の障害ではなく、その副産物として安全で監査可能かつ繰り返し可能にするコントロールプレーンのようなものです。
今日のAIの状況を、メインフレームからPCへの移行期に例えています。その分散化は、システム層で構築するスタートアップにとって何を意味しますか？
私たちは今、AIのメインフレーム段階にいます。OpenAI、Anthropic、Googleからの大規模で集中化されたフロンティアモデルは、取り組みを集中させ、AIが何をできるかを示すために必要でした。その段階は機能しました。能力はよく理解されています。しかし、コンピューティングが集中化されたままではなかったように、AIもそうはなりません。私たちはPC時代に入りつつあります。つまり、より小さな専門モデルが仕事の近くで実行される分散型エコシステムです。
支出データはすでにこれを反映しています。企業のAI投資は現在、インフラとアプリケーションでほぼ均等に分かれており、アプリケーションのシェアの方がより速く成長しています。拡大は垂直方向（より大きなモデルへ）ではなく、HR、法務、マーケティング、運用、財務など横方向に広がっています。
システム層で構築するスタートアップにとって、これは一世代に一度の機会です。集中化された世界では、モデルプロバイダーが価値の大部分を獲得します。分散化された世界では、価値は、異種モデルエコシステムを大規模に導入するという運用上の課題、つまりオーケストレーション、ルーティング、評価、特殊化を解決する企業に移行します。
私の予測では、AI推論の約25%はフロンティアモデルを必要とするでしょう。それらの企業は問題ありません。それは数兆ドルのTAMです。しかし、75%はオープンソースと小さな専門タスクモデルで実行されるでしょう。私たちは、特定のCRMタスクでフロンティアモデルを上回る40億パラメータのモデルをトレーニングしましたが、実行コストはほぼ無料に近いほど安価です。それが未来です。そしてそれを管理するには、全く新しいシステム層が必要です。
この類推は最後まで成り立ちます：メインフレームベンダーはうまくいきましたが、真の富の創造はPCエコシステムで起こりました。AIでも同じことが真実となるでしょう。
5年後を見据えて、フロンティ
