Anderson 视角
像PiedPiper一样的去中心化AI推理服务?

是否有可能实现“AI的BitTorrent”?
观点 刚刚重看了迈克·贾奇的娱乐性和讽刺性的科技喜剧《硅谷》——一群社交困难的极客天才试图通过一个叫做《PiedPiper》的“新互联网”创建一个基于手机的_mesh网络——我对Eigen Labs的DarkBloom感到很感兴趣,它介于去中心化的mesh网络和加密货币挖矿利润动机之间,允许Apple Silicon Mac系统的所有者将设备变成一个推理节点:

从DarkBloom网站的收益部分,用户可以选择要出租的设备和要支持的AI模型. 来源
该系统目前专注于基于文本的模型,如Trinity Mini(3B)和Cohere Transcribe,尽管它还提供了多种图像生成模型,如FLUX 2 Klein 4B:

“房东”可以选择出租的模型范围,以及每月预计收益。
参与该计划的用户显然可以通过提供推理服务在一个月内赚到足够的钱,以便定期添加新的Mac到不断增长的链中,直到理论上,他们可以赚到一个完整的推理农场。
实际上,这种计划如果真正流行起来(目前它有一个冷启动问题),可能会让热衷的普通用户重新回到寻找硬件的状态,就像在最后一次伟大的加密货币热潮(和随后的崩溃)中一样。
不必着急
然而,对于小玩家来说,这艘船可能已经驶离。除了AI对RAM的需求外,全球AI启用的数据中心配置的需求继续提高硬件和服务成本,对于普通消费者来说,他们以前能够垄断RAM用于加密货币挖矿,因为这种活动的外围性质,以及监管不确定性,这让商业利益变得谨慎。
虽然超级廉价的MacBook Neo已经作为一个可以击败不断升级的硬件的替代品出现,但其A18移动电话芯片和8GB的VRAM并不能使其成为一个严肃的推理机。
但是,即使最终用户不想建立一个完整的推理农场,只是想出租他们当前未使用的M[n]容量,如果冷启动问题(最初缺乏用户)快速解决,并且如果该平台开始将自己宣传为不仅仅是一个好奇的实验,那么潜在的收益似乎很显著。
推理不同
虽然一些评论者已经认识到DarkBloom计划中的PiedPiper/Torrent式民主,但推理任务并不像将电影文件分割成多个哈希片段那么容易分割,以便稍后可以在torrent客户端中重新组装。
DarkBloom模型并没有提出让参与者的M[n]芯片处理x%的推理任务。在主流使用中,只有少数框架或方法可以实现这种跨GPU的利用,包括NVIDIA的TensorRT LLM,它使用流水线并行性;和DeepSpeed的分片推理,它利用模型并行性(MP)。
相反,您的DarkBloom启用的Mac将下载并启动列出的模型之一,并为付费用户执行100%的推理,具有端到端加密,并且只有在硬件证明的节点上才能解密提示,这意味着提供者在执行过程中无法读取数据。
单个用户会话的范围并不清楚;目前,AI爱好者习惯于通过推理农场(如RunPod)来获得GPU;虽然在高峰使用时期,可能需要一段时间来获得所需的GPU,但用户可以在会话过期之前独占它。
因此,单个付费用户可能最终使用单个租用的DarkBloom Mac的M系列AI能力进行非常长的会话,除非有后勤或合规优势在客户之间进行轮换。
Mac之所以被选中,是因为只有有限的技术配置可能,并且可以轻松地将适当大小的模型分配给客户。
此外,能够为DarkBloom网络做出贡献的Mac具有硬件安全隔离区,保证了用户和供应商之间的隔离。
这些都是不容易在更通用、定制的设置中合理化的因素,也不容易在过去6-7年中有数百或数千种已知的笔记本电脑和台式机Windows和Linux机器中合理化。
然而,必须清楚的是,更大的非Mac硬件池如果能够合理化其多样性,可能会容纳巨大的需求,而不是像DarkBloom一样依赖于苹果公司的有限规格,这使得商业方案容易,并且建筑方法也相对容易。
法律监督?
也许面临这种“民主”解决方案的最大问题是所提出的过程的封闭性质;世界各国政府目前正在制定新的立法,这将有效地终止互联网匿名性,并且他们在这一时期显然不具有亲隐私的思维方式。
因此,在分布式网络(如果可以称之为DarkBloom——它更像是一个推理市场)上进行随机AI推理的前景,似乎很遥远,且没有过滤、检查或平衡。
可能DarkBloom或其他随后的mesh推理方案需要同意后门,这将有效地限制主机的隐私,主机将无法看到客户端工作;相反,返回的推理数据将通过政府机构的中间人(MiTM)结构提供,使所有推理可审计。
假设,若新法律提出操作系统级别的身份检查的浪潮应该得到广泛采用,这些措施可能会变得多余。但是,没有这些措施,考虑到当前的气候,一个DarkBloom式的网络可能会被认为是一个AI“暗网”,在那里,非法的AI基础活动可以在秘密中进行。
分裂测试
到目前为止,真正尝试做“PiedPiper式”系统的事情还很少;DarkBloom本身处于一个极端,分发完整的作业到单个机器,而不是试图将其分割到网络中,而大多数生产系统则完全避免了这个问题,通过在单个主机上保留推理。
然而,有几个项目代表了更接近“共享执行”的东西。
Petals,它自称为“BitTorrent式”的网络,跨多个互联网连接的节点分发变压器块,并在它们之间传递中间状态:

Petals的典型工作流程,其中单个推理请求路由到多个远程GPU,每个GPU持有模型层的一个子集;与DarkBloom不同,执行是分割到网络中的,中间状态在独立操作的节点之间传递,增加了每个跳转的延迟和暴露,近似于真正的mesh式系统。 来源
Hivemind尝试了类似的点对点协调和专家路由,尽管它是为了训练模型而不是从已经训练好的模型中推理;而Lattica则专注于使此类系统可行所需的底层网络层:

Lattica的示意图,显示了一个低层次的点对点子层,处理NAT遍历、内容分发和DHT(分布式哈希表)协调,分片推理仅作为一个可能的应用层出现;与DarkBloom或Petals不同,Lattica本身并不定义一个推理系统,而是提供构建一个推理系统所需的网络和同步原语。 来源 –
所有这些模型都接近mesh理想,但代价是延迟、不稳定和暴露。
相反,exo将推理保持在本地集群中,使用快速的互连来将工作负载分配到GPU上,而不依赖公共互联网。在实践中,这种设置的行为更像是一个单一的扩展机器,而不是一个分布式的mesh网状结构,尽管可以清晰地看到将这种方法扩展到更广泛的网络的可能性:

来自exo的集群视图,显示了一组本地Apple Silicon机器共同托管一个模型,管道或张量分片将层分配到节点;与WAN(广域网)系统不同,exo依赖于快速的本地互连,有效地将多个设备转换为一个单一的复合推理机。 来源
最后,几个常被引用的方法根本没有解决推理问题:2016年的谷歌FedAvg;2018年麻省理工学院的SplitNN;以及2020年澳大利亚的SplitFed,都与分布式训练或隐私保护的数据交换有关,而不是提供实时的推理请求。
由于训练是一个比推理更耗资源的前景,任何能够有效地分配这种负载的网络都可能在以后拥有大量的爱好者和商业利益。
结论
由于《硅谷》中的大部分技术都是狂野的发明,我们不知道PiedPiper是否真正是哈希驱动的(即,将数据分割成块,torrent式),或者它是否在任何一个节点上“解决”了一个任务或会话,这是DarkBloom所做的。
然而,当前为数据中心级别提供训练和推理硬件的混乱表明,供应部门要么是为每个人提供服务,要么是为企业级别的提供做准备——这是一个诱人的前景,但由于AI部署中普遍缺乏护城河而被破坏。
如果mesh推理成为现实,那么可以合理地期待,最初尝试利用它的将是现有的公司,如OpenAI和Anthropic,它们可以在现有的应用安装基数中部署专用系统,或者可以合作开发易于安装的开源系统(由于公司规模和影响力,他们有足够的资金和动力来简化此类安装)。
至于是否会出现一个更民主、用户驱动的mesh网络,一个真正的AI等价物——比特流(BitTorrent),有几个因素与之相反。
首先,当前针对加密和匿名性的全球性打压可能会消除或削弱使系统如DarkBloom匿名的机制,例如端到端加密和VPN。一旦这些协议的“通用”加密流被打开,新的监督和禁止层将变得可能,这可能会破坏DarkBloom式系统的吸引力。
第二,针对AI“滥用”或开源框架匿名操作的新兴或拟议的法规意味着合规成本——在企业级别上是微不足道的——可能会将较小的玩家从市场上清除。
最后——主要行业参与者的力量可以接受、扩展和消灭(EEE,如Facebook和Twitter可以与更为临时的互联网社区一样),意味着当前的主要参与者可以将mesh模型以有利于自己的方式进行操作,在一个对采用过程中的任何摩擦几乎完全不容忍的市场中。
首次发布于2026年4月16日星期四












