Andersonの視点
パイプドパイパー様の分散型推論サービス for AI？
Unite.AI を Google の優先ソースに追加
『BitTorrent for AI』は近い将来に実現する可能性があるのか？
意見 マイク・ジャッジの面白くて鋭いテック・ブロー・サティア『シリコンバレー』を昨日再視聴したばかりで、その中で『新しいインターネット』を作ろうとする社会的に不適切な天才たちが『パイプドパイパー』を作ろうとするシーンを見て、HNコミュニティが同様の新しいサービスに興味を持っているのを見て興味を持った。
イーゲンラボの『ダークブルーム』は、AI推論の分散型メッシュネットワークの平等主義的な概念と、暗号通貨マイニングの利益動機の間にある。Apple Silicon Macシステムの所有者は、機器を推論ノードに変えることができる。
ダークブルームのウェブサイトの収益セクションから、ユーザーはレンタルする機器とサポートするAIモデルを選択できる。 ソース
現在、システムは主にテキストベースのモデル、例えば『トリニティ・ミニ』（3B）や『コヒーレ・トランスクリブ』に焦点を当てているが、画像生成モデル、例えば『FLUX 2 Klein 4B』も提供している。
レンタルするモデルと月次収益の見積もり。
このスキームに参加するユーザーは、推論提供の1ヶ月で、新しいMacを連鎖的に追加できるほどの収益を上げることができる。
これは、実際に人気を得た場合、熱心なユーザーをハードウェアを求める立場に戻す可能性があるスキームである。以前の暗号通貨ブーム（およびその後の崩壊）と同様である。
そう簡単にできない
しかし、小規模なプレイヤーにとっては、その船は既に出航している。AIの『RAMへの需要』のため、グローバルなAI対応データセンターの需要が高まり、ハードウェアとサービスコストが上昇している。以前、RAMを独占していた暗号通貨マイニングのために、周辺的な活動と規制上の不確実性により、ビジネス上の関心が慎重になっていた。
『MacBook Neo』は、ハードウェアコストを抑えるために現れたが、そのA18モバイルチップと8GBのVRAMでは、推論マシンとしては本格的に対抗できない。
しかし、ユーザーがフルスケールの推論ファームを開始したいとは限らない。単に現在使用していないM[n]容量をレンタルしたいだけだとしても、収益の可能性は大きい。ただし、初期のユーザー不足（冷たいスタート）の問題が早く解決され、プラットフォームが実験的な需要の可能性以上のものであることをアピールする必要がある。
異なる推論
いくつかのコメントでは、ダークブルームのスキームにパイプドパイパー/トレント様の民主主義を見ている。しかし、推論タスクは、映画ファイルを複数のハッシュ化されたスライスに分割して後にトレントクライアントで再構築できるように簡単に分割できない。
ダークブルームモデルは、参加者のM[n]チップが推論タスクのx%を処理することを提案していない。主流の使用では、NVIDIAの『TensorRT LLM』やDeepSpeedの『シャーディング推論』などの、いくつかのフレームワークまたは手法のみが、単一の推論タスクでクロスGPU利用を実現できる。
代わりに、ダークブルーム対応のMacは、リストされているモデルをダウンロードして起動し、100%の推論を実行し、エンドツーエンドの暗号化で、ハードウェア認証ノードでのみプロンプトを復号化する。ワークロード自体は、テキストベースの推論または画像の1つ以上で構成される。
単一のユーザーセッションがどのくらいの期間続くかは明らかではない。現在、AIの趣味家は、推論ファームのような『ランポッド』を介してGPUを確保することに慣れているが、セッションが期限切れにならない限り、ユーザーはそれを独占的に使用できる。
したがって、単一の支払いユーザーが、単一のレンタルダークブルームMacのMシリーズAI機能を非常に長いセッションで使用する可能性がある。ただし、クライアントをリクエスト間で切り替えることによるロジスティックまたはコンプライアンス上の利点がある場合を除く。
Macは、このアプローチに適しているように見えるが、参加者には技術的な構成が限られているため、クライアントに適切なサイズのモデルを割り当てることが容易である。
さらに、ダークブルームネットワークに貢献できるMacには、ユーザーとサプライヤー之间の壁を保証するハードウェアセキュアエンクレイブがある。
これらは、より汎用的なカスタムセットアップや、過去6〜7年間に利用可能な数百または数千のWindowsおよびLinuxマシンで合理化することが容易ではない要因である。
しかし、非Macハードウェアプールがより大規模であれば、需要を満たすことができる。ただし、その多様な特性を合理化する必要がある。
法的監督?
このような『民主的な』解決策に直面する最大の問題は、提案されたプロセスの閉鎖性である。世界中の政府は、実際にインターネットの匿名性を終わらせる法律を制定しようとしている。明らかに、この時期にプライバシーに好意的ではない。
したがって、フィルタリング、チェック、バランスなしに、分散ネットワーク上でランダムなAI推論を実行するという前景は、皮肉にも遠い。
ダークブルームやその他のメッシュ推論スキームは、プライバシーをホストに制限するバックドアに同意する必要があるかもしれない。代わりに、返された推論データは、政府機関のマンチャレン中間構造を介して利用できるようになる。提供者は、実行中のクライアントジョブを読むことができない。
おそらく、OSレベルの身分確認を提案する新しい法律の波が広く採用された場合、これらの措置は冗長になるかもしれない。ただし、現在の気候を考慮すると、ダークブルーム様のネットワークは、AIの『ダークネット』と見なされる可能性がある。そこでは、秘密のAIベースの活動が発生する可能性がある。
分割テスト
現在までに、実際に『パイプドパイパー様のシステム』を実現しようとした試みは驚くほど少ない。ダークブルームは、一方では分散型メッシュネットワークの理想に近いが、推論タスクをネットワーク上で分割するのではなく、個々のマシンに完全なジョブを配布する。
しかし、いくつかのプロジェクトは、共有実行に少し近いものがある。
『ペタルス』は、トランスフォーマーブロックを複数のインターネット接続ノードに分散し、ノード間で中間状態を交換する。ペタルスは、自身を『BitTorrent様のネットワーク』と表現している。
ペタルスの典型的なワークフロー。単一の推論リクエストが複数のリモートGPUにルーティングされ、それぞれがモデルレイヤーのサブセットを保持している。ダークブルームとは異なり、ネットワーク上で実行が分割され、ノード間で中間状態が交換される。 ソース
『ハイブマインド』は、ピアツーピアの調整とエキスパートルーティングを実験しているが、推論ではなくモデルをトレーニングするために使用される。
『ラティカ』は、実現可能なシステムを作成するために必要な基礎となるネットワークレイヤーに焦点を当てている。
ラティカの図。NATトラバーサル、コンテンツ配布、DHTベースの調整を処理するピアツーピアの下位層が表示されている。シャーディング推論は、1つの可能なアプリケーションレイヤーとしてのみ出現する。ダークブルームやペタルスとは異なり、ラティカは推論システム自体を定義しないが、システムを構築するために必要なネットワークおよび同期プリミティブを提供する。 ソース
これら3つのモデルはメッシュ理想に近いが、レイテンシ、不安定性、さらさらへのコストでである。
一方、エクソは、ローカルクラスター内で推論を保持し、GPU間でワークロードを分割するために高速インターコネクトを使用する。実践では、このようなセットアップは、分散メッシュよりも、単一の拡張マシンのように動作する。
エクソのクラスター表示。ローカルのApple Siliconマシンが単一のモデルを共同でホストし、パイプラインまたはテンソルシャーディングがレイヤーをノード間で分割している。WANベースのシステムとは異なり、エクソは高速ローカルインターコネクトに依存し、複数のデバイスを単一の複合推論マシンに変える。 ソース
最後に、よく引用されるアプローチは推論には全く触れていない。2016年のGoogleの『FedAvg』、MITの2018年の『SplitNN』、および2020年のオーストラリアの『SplitFed』は、分散トレーニングまたはプライバシー保護データ交換に焦点を当てている。
トレーニングは推論よりもはるかにリソースを大量に消費するため、これらのネットワークが負荷を効果的に分散できることが証明されれば、将来的には趣味家やビジネスユーザーからの関心が高まる可能性がある。
結論
『シリコンバレー』の多くのテクノロジーは、実際には『野心的な発明』だったため、パイプドパイパーが本当にハッシュドリブン（データをチャンクに分割して分配する）だったか、セッションを1つのノードに設定したかはわからない。
しかし、現在のデータセンターレベルのトレーニングと推論ハードウェアの提供の混乱は、提供部門が誰もをサポートするために準備されているか、または最も利益の高いエンタープライズレベルの提供に備えているかを示唆している。後者は、AIの展開における『モートの欠如』によって損なわれている。
メッシュ推論が現実になる場合、最初にそれを活用するのは、既存のアプリのインストールベース内で専用のシステムを展開できるOpenAIやAnthropicなどの大手プレイヤーである可能性が高い。彼らは、インストールが簡単なオープンソースシステムに協力することもできる。
より民主的な、ユーザー主導のメッシュネットワークが現れる可能性については、複数の要因がそれに反対している。まず、暗号化と匿名性に対する現在の世界的な反対は、BitTorrentのようなシステムの匿名性を維持するメカニズムを削除または損なう可能性がある。エンドツーエンドの暗号化やVPNを隠す『汎用』な暗号化ストリームが検査可能になると、新しい監視と禁止の層が可能になる。
次に、AIの『乱用』やオープンソースフレームワークの匿名操作に対する新しい規制は、コンプライアンスのコストが企業レベルでは些細なものであるため、小規模プレイヤーを市場から排除することになる。
最後に、大きなセクターのプレーヤーがEmbrace、Extend、Extinguish（EEE、FacebookやTwitterがよりアドホックなインターネットコミュニティで議論したように）する力は、現在の主要プレーヤーがメッシュモデルを自分の利益のために活用し、採用におけるフリクションにほとんど耐えられないエンドユーザーの市場でそれをストリームライン化できることを意味する。
2026年4月16日木曜日に初めて公開されました。
