StardockのClairvoyance、Hivemindを追加し、余剰GPUを共有してローカルAIに活用

StardockのClairvoyanceに、アイドル状態のコンピューターをAI推論に活用する機能が加わった。ローカルモデル管理ツールLocamaには、企業内の複数のマシンでローカル推論の処理能力を共有する機能「Hivemind」が搭載されている。特定のハードウェアでAIをどれだけ快適に実行できるかを示すことを目的としたベンチマークも備える。

11月5日のリリースでは、Clairvoyance 0.90はローカルモデルとクラウドモデルを併用するためのデスクトップ環境として位置付けられている。LocamaはWindows、macOS、Linuxでローカルモデルのインストール、実行、オーケストレーションを管理し、Hivemindはその仕組みを1台のコンピューターからチームが利用できる複数のマシンへと広げる。

Stardockが対象としているのは、調達、サプライチェーン、法務業務、財務などの分野における、定型的で大量の業務だ。同社の主張によれば、そうした業務の一部は組織がすでに所有しているハードウェアで処理できるため、すべてのリクエストを従量課金制のクラウドサービスに送る必要性を減らせる。

Hivemindで余剰コンピューターを共有推論能力に

Hivemindを使うと、チームメンバーは社内のコンピューターにあるアイドル状態のGPUを活用してAI処理を実行できる。ローカルモデルを実行できるマシンが通常の勤務時間外には使われずにいる場合もあるため、特にそうした時間帯に役立つ可能性がある。

「多くの企業では、毎晩、高性能なマシンが使われないままになっています。Hivemindを使えば、それらをまとめて活用できます」と、Stardock SoftwareのCEO、Brad Wardell氏は述べた。

同社の技術用語の定義では、Hivemindはピア間でローカル推論を共有する機能とされている。また、推論を実行するホストはLocamaであり、Conciergeと呼ばれるルーティングコンポーネントが、各処理で使用するモデルとマシンを選択すると説明している。

これは、複数のコンピューターが1台の大型アクセラレーターになると考えることとは大きく異なる。利用可能なマシン間で処理を共有すれば、活用できる処理能力を高められる可能性はあるが、今回の発表では、テンソル並列実行やGPUメモリーの統合について、また、1台には大きすぎるモデルを複数のピア間でどのように分割するかについては明らかにされていない。

ワークロードの実行先を決めるチームにとって重要なのは、モデルが利用可能なハードウェアに収まるか、許容できる結果を出せるか、そして別のマシンに処理を振り分けることで、削減できる時間よりも遅延が増えることのほうが大きくならないか、という点だ。Hivemindの価値はGPUが利用できるかどうかだけでなく、これらの条件の組み合わせによって決まる。

同じワークスペースでローカルモデルとクラウドモデルを併用

Clairvoyanceでは、AIアシスタントは名前付きのStaffとして構成され、ユーザーのファイルを扱い、文書などの成果物を作成する。ドキュメントによると、Staffごとに異なるプロバイダーやローカルモデルを割り当てることができ、1つのワークスペース内で複数のコンピューティング環境を組み合わせられる。

これらの選択肢の違いは重要だ。ローカルモデルは、ユーザーまたは組織が管理するハードウェア上で実行される。クラウドプロバイダーのツールに接続する場合は、そのプロバイダーのアカウントと認証を通じてアクセスする。Clairvoyanceをインストールしても、対応するすべての商用モデルを無制限に利用できるわけではない。

ドキュメントでは、ローカルモデルによってツールの使用能力に差があることも説明されている。質問に答えられるモデルでも、チームが必要とするエージェント型ワークフローを実行できるとは限らない。そのため、より小型のローカルモデルを選ぶかどうかは、速度だけでなく能力も考慮する、タスクごとの判断となる。

これにより、この製品は従業員と、その基盤となるモデル実行環境の間をつなぐ実用的な役割を担う。すべてのタスクで同じバックエンドを使うのではなく、環境に応じて作業ごとに異なる選択肢を利用できる。今回のリリースでは、Hivemindの導入によってクラウドコストがどれだけ削減されるかを独立して測定した結果は示されていない。

実際に所有しているハードウェアを測るベンチマーク

Locamaには、Clairvoyance Local AI Benchmarkも含まれている。Stardockによると、主要指標の「モデル速度」は、ローカルモデルがリクエストを処理し、完全な応答を返すまでにかかる時間を組み合わせたものだ。公開結果はclairvoyanceai.com/benchmarkで確認でき、Professionalユーザーは自分のハードウェアでテストを実行できる。

製品のリリースノートでは、プリフィル、デコード、最初のトークンが生成されるまでの時間、メモリーなどの測定項目に加え、タスクに応じた評価について説明している。プリフィルとは入力プロンプトとそのコンテキストを処理すること、デコードとは応答を生成することだ。これらの段階では、ハードウェアにかかる負荷がそれぞれ異なる場合がある。

最初のトークンが速く生成されれば、インターフェースの応答性が高いと感じられる。一方、バッチ処理や長時間にわたるエージェントタスクでは、処理全体の完了時間が重要になる。こうした指標を明示することで、単一のハードウェア仕様に頼るよりも、ベンチマークの有用性が高まる。

結果ページでは、各データがClairvoyanceユーザーから提出され、そのユーザーのハードウェアと設定を反映していることが示されている。そのため、このデータベースは、条件を統制した独立ランキングではなく、構成ごとの実測結果を示す情報源となる。有意義な比較には、使用したモデル、精度、コンテキスト、タスク、実行環境も考慮する必要がある。

Qualcommとの連携により、ローカルでの計算手段がさらに拡大

ClairvoyanceとQualcommの連携は、今回のリリース以前から続いています。9月23日付のQualcomm開発者向け記事では、チップメーカーのデバイス上で動作する生成AIランタイムGenieXを、Snapdragon X Series PCのHexagon NPUと統合したことが紹介されています。

この統合により、ローカル推論の対象は従来のデスクトップGPUにとどまりません。Qualcommによると、タスクの要件に応じてモデルとコンピューティングリソースを選択でき、ローカルでのエージェント型ワークフローにも対応します。ただし、あらゆるタスクで、すべてのローカルモデルが最先端のクラウドモデルに代わることを示すものではありません。

Hivemindとの関連で重要なのは、より広いハードウェア戦略です。既存のコンピューティングリソースを、ひとつの作業環境から利用できるようにします。マシンによってモデルの処理能力、帯域幅、アクセラレーション性能は異なるため、ソフトウェアは利用可能なリソースに応じてタスクを割り当てる必要があります。

料金体系とハードウェア再利用の経済性

Clairvoyance 0.90は、Windows、macOS、Linux向けにリリースされます。料金ページには、個人利用および非商用利用向けの無料プランが掲載されています。Professionalは月額20ドルで、商用ライセンス、Hivemind、チーム向け機能、クラウド同期、AIトークンパッケージが含まれます。Enterpriseは1席あたり月額100ドルで、組織向けの追加機能とボリュームに応じた契約が用意されています。

ローカル推論によって、利用量に応じたクラウドの支出を抑えられる可能性がありますが、電力、ハードウェアの消耗、管理、マシンを占有することによる機会費用は依然として発生します。費用を比較する際には、出力の品質や、その確認・修正に必要な作業も考慮する必要があります。

Stardockは、近くにある既存のハードウェアで要件を満たせる反復的な作業が十分にあると見込んでいます。Hivemindは、チームがこの可能性を試す手段となり、ベンチマークは、どのモデルとマシンがその作業に適しているかを測定するための出発点となります。