プライベートAIには、ワークロードとともに進化できるインフラが必要

2年前、私が話をした企業のほとんどは、AIとはAPI経由で最先端モデルを呼び出すことだと考えていました。しかし、その前提は崩れつつあります。オープンウェイトモデルは、日常業務の多くに十分使えるほど高性能になりました。また、企業向けAIアプリケーションの価値を生み出すのは、通常、その背後にあるモデルではなく、企業独自のデータです。企業がこの点を理解すれば、モデルを自社データの近くに置き、自ら管理するのは当然のことです。

これがプライベートAIです。自社の環境でモデルを動かし、自社の情報を使って調整し、どこで稼働させ、何にアクセスさせるかを自ら決めます。銀行や製薬会社であれば、独自の研究情報や顧客記録を他社のテナントに置くことに、そもそも抵抗があったはずです。それ以外の企業で導入が進む理由は、大規模な推論にかかる費用と、事業運営の中核になりつつあるものを単一のプロバイダーに依存したくないという意向にあります。Linux Foundationの調査によると、調査対象企業の63%がオープンAIモデルを利用しており、こうした代替手段がすでに広く導入されていることが分かります。

見落とされがちなのは、モデルを社内に持ち込むと、それに伴ってインフラも必要になるという点です。電力、冷却、計算資源、設置場所、そしてほかのあらゆるシステムとの接続方法が求められます。以前は、こうした問題への対応はクラウドプロバイダーの役割でした。今は自社で担わなければなりません。多くの企業にとって、こうした判断を迫られるのは初めてですが、技術の進化は、誰かがコンクリートを流し込むよりも速く進んでいます。規模の見積もりを誤れば、最終的に実行するワークロードに合わないキャパシティを抱えることになります。柔軟性は、最初から設計に組み込む必要があります。既存インフラの改修は可能な場合でも高くつくことがあり、施設がこうした高密度化を想定して建設されていないため、対応できないプロバイダーもあります。

基盤は自前で整え、需要急増時は借りる

まず、すべての用途に最大規模のモデルが必要なわけではないと理解することが大切です。文書の要約、問い合わせチケットの分類、自社のナレッジベースに基づく質問への回答は、いずれもオープンウェイトモデルを使って、コストを予測しながらプライベート環境で実行できるタスクです。最先端モデルは、本当に必要となる業務に限って使いましょう。

これを踏まえると、インフラをどのような構成にすべきかが見えてきます。毎週発生することが予測できる安定した需要に備えて、プライベート環境のキャパシティを構築します。需要の急増や、自社のキャパシティを超える負荷の大きな業務には、外部からキャパシティを借ります。企業は長年、この方法で計算資源を運用してきました。AIがその考え方を変えるわけではありません。ただ、基盤となるキャパシティの密度が高まり、ピーク需要の振れ幅が大きくなるだけです。

課題は、基盤となるキャパシティを正確に見積もると同時に、プライベート環境とレンタル環境を一つのシステムのように機能させることです。どちらの環境からも同じデータにアクセスでき、同じ管理ルールが適用される必要があります。また、ワークロードを一方から他方へ移すたびに、パイプラインを再構築せずに済むことも重要です。

インフラはどこに置くべきか？

GPUを購入することは、実は簡単な判断です。その後、GPUを設置する場所を確保し、電力を供給して冷却し、自社のほかのシステムに接続しなければなりません。高密度のAIハードウェアは、電力設備と冷却設備を大幅に変更しなければ、標準的な企業データセンターには導入できません。また、すべての拠点に適しているわけでもありません。Uptime Instituteの「2025年AIインフラ調査」では、回答者の37%が、AI推論ワークロードの実行場所を決める主な要因の一つとして、電力の供給状況を挙げました。

多くの企業は、コロケーションとクラウドを組み合わせて利用しています。通常、判断の決め手となるのはデータです。データはすでに複数の場所に分散しており、移動には費用がかかります。また、規制の厳しい業界では、国境や特定の環境の外に持ち出せないデータもあります。すべてのデータをGPUの隣にある一つの建物に集約できれば分かりやすいものの、実際にはほとんど実現しません。

ですから、問題は計算資源をどこに置くかだけではありません。3年後に後悔するようなコストや複雑さを招かずに、必要なデータへ安全にアクセスするにはどうすればよいか、ということです。これを3度目の変革と考えてみてください。1度目はインターネットで、接続性が課題を解決しました。2度目はクラウドで、ファブリックが解決策となりました。ソフトウェア定義の相互接続を可能にし、企業は一つの拠点から複数のプロバイダーに接続できるようになりました。AIは3度目の変革ですが、ファブリックだけでは解決できません。必要なのは電力であり、それもファブリックと同じ場所で大量に必要になります。プライベートAIをうまく実現する企業は、計算資源と接続性を別々に調達するのではなく、電力と接続性が交わる場所に計算資源を配置する企業です。

ワークロードの変化に応じてプライベートAIを接続する

エージェント型AIの普及により、接続性の問題はより差し迫ったものになっています。従来型のアプリケーションは、プロンプトを受け取り、モデルを呼び出して、回答を返します。一方、エージェントは処理の全過程を通じて動き続けます。複数のモデルを呼び出し、複数のシステムに問い合わせ、データが存在する場所からデータを取得し、ほかのエージェントに作業を引き継ぎます。こうした処理のたびに境界を越えるため、遅延が発生し、誰が何にアクセスできるのかという問題も生じます。

モデルをある場所に、データを別の場所に置き、そのデータの一部は特定の国またはプライベート環境内にとどめなければならない、というルールを設けるとします。企業には、こうした経路を実際に管理する力が必要です。どのシステムがどのデータにアクセスできるのか、ワークロードを移動したときに何が起きるのか、稼働中の環境に影響を与えずに新しいモデルをどう組み込むのか。

だからこそ、インフラはプログラム可能でなければなりません。モデル、データ、環境をつなぐ仕組みは、その都度エンジニアリングプロジェクトを立ち上げるのではなく、設定や変更ができるものであるべきです。そして今後は、設定を行うのが人間とは限りません。Model Context Protocol（MCP）のような標準規格を使えば、エージェントは周囲のツールやシステムと共通の方法でやり取りできます。新しいデータソースやモデルへの接続が必要なエージェントは、適切なポリシーと制御を維持したまま、ほかのサービスを呼び出すのと同じように、その接続を要求できます。これが、プログラム可能なインフラの実際の姿です。新しいモデルは数カ月ごとに登場します。現在は存在しない経路を必要とする新しいアプリケーションも出てくるでしょう。変更のたびに環境を再構築しなければならないなら、プライベート環境を選んで得ようとした柔軟性は失われてしまいます。

経済性を成り立たせる

適切な容量を確保することは、成功を左右する重要な要因ですが、単に総量を決めればよいわけではありません。うまく取り組んでいる企業は、投入する電力と、そこから得られるトークンとの関係を明確に把握しています。電力とトークンの関係は、プライベートAIの経済性を測る基準です。自社のワークロードについてそれを理解すれば、確かな自信を持って環境の規模を決められます。もう一つ重要なのが、余裕を持たせることです。新しい機能は四半期ごとに市場に登場します。計画をうまく立てる企業は、今日の要件ぎりぎりに構築するのではなく、次に必要となるもののために必ず余地を残します。最善の計画は、この二つを組み合わせたものです。電力とトークンの経済性を徹底的に把握し、そのうえで妥当な余裕を見込んで計画しましょう。

GPUは費用の一部にすぎません。設置場所の確保、冷却、電力供給、社内のほかのシステムとの接続にかかる費用は、ハードウェアの支出に匹敵することがあります。さらに、人材も必要です。ほとんどの企業には、高密度なコンピューティング環境を運用した経験がなく、そのスキルを持つ人材を四半期のうちに採用できるわけでもありません。

だからこそ、通常時の需要とピーク時の需要を分けて考えることが重要です。通常の負荷をまかなえるだけのプライベートな容量を確保し、需要がそれを超えたときには追加分を借りれば、年間の大半で使われないハードウェアに費用をかけずに済みます。また、モデルやアプリケーションの変化に応じて方針を変える余地も保てます。実際、モデルもアプリケーションも変化していくでしょう。

次に備えた計画を立てる

こうした取り組みの根底には、タイミングの問題があります。データセンターの建設には約2年かかります。その2年の間に、企業が実行したいと考えるモデル、ハードウェア、アプリケーションは、現在とは大きく異なるものになるでしょう。今決めた内容に基づいて稼働を始める頃には、まだ誰にも全容を説明できないワークロードを扱うことになります。

企業は、どのワークロードをプライベート環境で実行すべきか、また、どのような場合に外部の容量が必要になるのかを、今も見極めているところです。それは当然のことです。避けるべきなのは、判断する機会を得る前に、その選択肢を奪うようなインフラへの投資を決めてしまうことです。さまざまなモデルに対応できる余地、必要なときに容量を増やせる余地、そしてワークロードを移動できる余地を残しておきましょう。

プライベートAIが長期的に成果をもたらすかどうかは、どのモデルを選ぶかよりも、要件が明確になるにつれてインフラが対応し続けられるかどうかにかかっています。今日のワークロードに合わせて構築し、接続をプログラム可能な状態に保ち、ファブリックと電力が交わる場所にコンピューティング能力を配置しましょう。