PiedPiperスタイルの分散型推論サービス for AI？

『BitTorrent for AI』は近い将来現実になる可能性があるか？

意見 マイク・ジャッジの面白くて鋭いテクノロジー・サティア『シリコンバレー』のリウォッチを昨日終えたところで – そこでは社会的に課題を持った天才たちが、ピードパイパーと呼ばれる『新しいインターネット』を作ろうとしている。彼らはモバイルフォンのメッシュネットワークを利用してそれを作ろうとしている – その後、HNコミュニティが新しいオファーであるDarkBloomと関わっているのを見て興味を持った。

Eigen LabsのDarkBloomは、AI推論の分散型メッシュネットワークの平等主義的な概念と、暗号通貨マイニングの利益動機の間にある。Apple Silicon Macシステムの所有者は、機器を推論ノードに変えることができる。

DarkBloomウェブサイトの収益セクションから、ユーザーはレンタルする機器とサポートするAIモデルを選択できる。 ソース

このシステムは現在、Trinity Mini（3B）やCohere Transcribeのようなテキストベースのモデルに重点を置いているが、FLUX 2 Klein 4Bのような画像生成モデルも提供している。

ユーザーがレンタルするモデルと月次収益予測の範囲。

このスキームに参加するユーザーは、1ヶ月間の推論提供で新しいMacを買うのに十分な収益を得ることができ、理論的には推論ファームを構築できる。

実質的に、このようなスキームが本当に人気を博した場合（現在はコールドスタートの問題がある）、熱心なユーザーがハードウェアを求める立場に戻る可能性がある。最後の大きな暗号通貨ブーム（そしてその後の崩壊）のように。

そう簡単ではない

しかし、小規模なユーザーにとって、その船はもう出航したかもしれない。AIのRAMへの需要以外に、AI対応データセンターのグローバルな需要は、一般の消費者にとってハードウェアとサービスコストを引き上げている。これは、以前はRAMを独占的に使用していたが、現在は企業の関心が高まっているため、規制の不確実性により、企業の関心が高まっている。

MacBook Neoは、常にエスカレートするハードウェアの代替として現れたが、そのA18モバイルフォンチップと8GBのVRAMは、推論マシンとして真剣に検討されるほどではない。

しかし、ユーザーが推論ファームを構築しようとしていない場合、現在の未使用のM[n]容量をレンタルしたいだけならば、潜在的な収益は大きく見える。コールドスタートの問題がすぐに解決され、プラットフォームが単なる実験ではなく、潜在的な需要として広告される場合に限る。

異なる推論

いくつかのコメントでは、DarkBloomのスキームにPiedPiper/Torrentスタイルの民主主義を見ているが、推論タスクは、映画ファイルをハッシュ化されたスライスに分割して後にトレントクライアントで再構築するように、簡単に分割できない。

DarkBloomモデルは、参加者のM[n]チップが推論タスクのx%を処理することを提案していない。主流の使用では、NVIDIAのTensorRT LLMやDeepSpeedのシャーディング推論のような、いくつかのフレームワークまたは方法論のみが、単一の推論タスクでクロスGPU利用を実現できる。

代わりに、DarkBloom対応のMacは、リストされているモデルをダウンロードして起動し、100%の推論を実行し、エンドツーエンドの暗号化とハードウェア認証ノードでのみプロンプトを復号化する。ワークロード自体は、テキストベースの推論または画像の1つ以上で構成される。

単一のユーザーセッションがどれほど広範囲に及ぶかは不明である。現在、AIの趣味家は、RunPodのような推論ファームを利用してGPUを確保することに慣れている。ピーク時にはGPUを確保するのに時間がかかるが、ユーザーはセッションが期限切れにならない限り、GPUを独占的に使用できる。

したがって、単一の支払いユーザーが、単一のレンタルDarkBloom MacのMシリーズAI機能を非常に長いセッションで使用する可能性がある。ただし、クライアントをリクエスト間で交換することによるロジスティックまたはコンプライアンスの利点がある場合を除く。

Macは、このアプローチに適しているように見える。これは、参加者に対して技術的な構成が限られているため、クライアントに適切なサイズのモデルを割り当てることが容易だからである。

さらに、DarkBloomネットワークに参加できるMacには、ユーザーとサプライヤーを隔てるハードウェアセキュアエンクレーブがある。

これらは、より汎用的な、カスタマイズされたセットアップや、過去6〜7年間に利用可能な数百または数千のWindowsおよびLinuxマシンを合理化することは、簡単にはできない。

しかし、より大きな非Macハードウェアプールが需要を満たすことができるとは明らかである。ただし、その特性を合理化する必要がある。

法的監督?

このような『民主的な』解決策に直面する最大の問題は、提案されたプロセスの閉鎖性である。世界中の政府は現在、新しい法律を制定しようとしている。これは、どこで制定されても、インターネットの匿名性を基本的に終わらせる。明らかに、この時期にはプライバシーに優しい考え方ではない。

したがって、フィルタリング、チェック、バランスなしに、分散ネットワーク（DarkBloomはそう呼べるかどうかはわからないが、むしろ推論マーケットプレイスである）でランダムなAI推論を実行するという考えは、皮肉にも遠い。

DarkBloomやその後のメッシュ推論スキームは、プライバシーをホストに制限するバックドアに同意する必要があるかもしれない。代わりに、返された推論データは、政府機関のマンチャインザミドル（MiTM）構造を介して利用できる。

分割テスト

現在までに、PiedPiperスタイルのシステムを実現しようという本物の試みは驚くほど少ない。DarkBloomは一方の端に位置し、ネットワーク全体にタスクを分割するのではなく、個々のマシンに完全なジョブをダウンロードして実行する。一方、ほとんどのプロダクションシステムは問題を完全に避けるために、推論を単一のホストに保持する。

しかし、いくつかのプロジェクトは、共有実行に少し近いものを表している。

Petalsは、自分自身を『BitTorrentスタイルのネットワーク』と説明し、トランスフォーマーブロックを複数のインターネット接続ノードに分配し、ノード間で中間状態を渡す。

単一の推論リクエストが複数のリモートGPUにルーティングされ、それぞれがモデル層のサブセットを保持している。DarkBloomとは異なり、実行はネットワーク全体に分割され、ノード間で中間状態が渡される。 ソース

Hivemindは、推論ではなく、すでにトレーニングされたモデルからの推論ではなく、モデルをトレーニングするために、同様のピアツーピアの調整とエキスパートルーティングを実験している。

Latticaは、シャーディング推論が発生する可能性のあるアプリケーション層としてのみ、ネットワークの下位レベルに焦点を当てている。

Latticaのスキーマ。NATトラバーサル、コンテンツ配布、DHTベースの調整を処理するピアツーピアの下位レベルサブストレートを示す。 ソース –

これら3つのモデルはメッシュ理想に近づいているが、待ち時間、不安定性、公開の代償で。

一方、exoは、パブリックインターネットに頼るのではなく、ローカルクラスター内で推論を保持し、GPU間のワークロードを分割するために高速インターコネクトを使用する。

クラスターのビュー exo。ローカルApple Siliconマシンが単一のモデルを共同でホストし、パイプラインまたはテンソルシャーディングがノード間でレイヤーを分割している。 ソース

最後に、いくつかの一般的に引用されるアプローチは推論には全く触れていない。2016年のGoogleのFedAvg、MITの2018年のSplitNN、および2020年のオーストラリアのSplitFedは、推論リクエストではなく、トレーニングの分散またはプライバシー保護データ交換に焦点を当てている。

結論

『シリコンバレー』のテクノロジーは、狂った発明だったので、PiedPiperが本当にハッシュ駆動（データをチャンクに分割して分配する、トレントスタイル）だったか、タスクまたはセッションを1つのノードに設定したかはわからない。

しかし、現在のトレーニングと推論ハードウェアの需要は、提供セクターが誰もをサービスしたい、またはエンタープライズレベルのプロビジョニングに備えていることを示唆している。ただし、AI展開における一般的な『护城河』の欠如によってこれが損なわれる。

メッシュ推論が現実になる場合、最初にそれを活用しようとするのは、OpenAIやAnthropicのような既存の企業である。彼らは、既存のアプリインストールベース内に専用のシステムを展開するか、インストールが簡単なオープンソースシステムに協力することができる。

より民主的な、ユーザー主導のメッシュネットワークが現れるかどうかについては、数多くの要因がそれに反対している。

まず、暗号化と匿名性に対する現在の世界的な取り組みは、BitTorrentのようなシステムが匿名性を保つメカニズムを破壊する可能性がある。エンドツーエンドの暗号化やVPNのような、一般的な暗号化ストリームを検査可能にすると、新しい監督と禁止の層が可能になる。

次に、AIの『乱用』やオープンソースフレームワークの匿名操作に対する新しい規制や提案は、コンプライアンスのコストが企業レベルでは些細なものになるが、小規模なプレーヤーを市場から排除することになる。

最後に、主要セクターのプレーヤーがEmbrace、Extend、Extinguish（EEE、FacebookやTwitterがインターネットコミュニティで行ったように）を実行する能力は、ユーザーが採用におけるあらゆる摩擦にほとんど耐えられない市場で、メッシュモデルを自身の利益のために活用化およびストリームライン化できることを意味する。

初めて公開：2026年4月16日木曜日