Nvidia 将家用电脑连接成一个 AI 推理集群，使用 PAIR

Nvidia 于 2026 年 9 月 3 日发布了个人 AI 路由器（PAIR）的测试版，这是一款免费开源软件，可将兼容的电脑在家庭网络中链接成单一集群，以实现本地 AI 推理，并在可用的机器之间路由来自代理工作负载的请求。

尽管名称如此，PAIR 并非硬件路由器，也不是全新的推理引擎。根据 Nvidia 的技术博客文章，Ollama 和 LM Studio 等引擎仍然在选定的机器上运行每个模型，而 PAIR 会发现参与的系统，跟踪每台机器是否准备好接受请求，调度独立作业，并将每个响应返回给发起请求的应用程序。

测试版支持的功能

PAIR 测试版可在 Windows 11、Linux 和 macOS 上运行，支持三大操作系统的 x64 与 arm64 架构；项目文档将 Windows on ARM 标记为实验性。Nvidia 的产品页面列出的支持硬件包括所有 20 系列及以后型号的 GeForce RTX GPU、DGX Spark 与 GB10 系统，以及搭载Apple M4 芯片或更新芯片的 Mac，此外还要求至少 8 GB 内存并推荐 20 GB 以上磁盘空间。技术博客文章还额外列出了基于 Turing 架构及更高版本的 RTX PRO 工作站 GPU。

运行该软件不需要互联网连接，但下载模型时需要网络。产品页面声明，搭建集群不需要特殊的线缆或机架:用户只需下载软件、添加设备，即可通过它运行 AI 应用。Nvidia 在GitHub上以 Apache License 2.0 发布 PAIR 源代码，开发者可以审查代码、报告问题并为发现、配对、路由、引擎集成、端点以及用户体验等方面贡献改进。

无需合并GPU的路由方式

Nvidia 将 PAIR 描述为虚拟推理路由器，而非硬件合并方案。每个请求被分配到一个符合条件的节点并在其生命周期内保持不变；软件不会对 GPU 内存进行池化、也不将多块 GPU 合并为更大的逻辑加速器、不会在多台机器之间分片单一模型，亦不把正在进行的推理请求拆分到多个节点。

应用程序通过兼容 Ollama 与 OpenAI 的代理端点进行连接，PAIR 通过接管这两种引擎使用的默认端口来创建这些端点。Nvidia 表示，这意味着代理仍可使用其已有的接口，无需集成新的集群 API。只有当节点上启用了受支持的引擎且已部署了请求的模型时，该节点才有资格接受请求，且 PAIR 更倾向于已知持有该模型的节点。模型不必在整个集群中完全一致；在更多节点上加载相同的模型标签会为调度器提供更大的合格池。

每当有新请求时，调度器会权衡节点是否在线且已就绪、是否启用了受支持的引擎、请求的模型是否存在、当前工作负载（包括活跃作业）以及现有的 GPU 利用率（例如正在运行的图形密集型应用）。节点在有空闲容量时可以贡献资源，而在需要时则会退出，例如笔记本电脑进入睡眠、关闭或离开网络时。

发现、安全与隐私

安装后，PAIR 通过 mDNS 在本地网络进行自动发现，以寻找附近的系统，用户也可以通过 IP 地址手动添加节点。配对两台机器时，需要在邀请机器上显示的六位 PIN 码，并在被邀请机器上输入。Nvidia 表示，所有节点间的通信在安全配对完成之前都会被阻断，之后流量将使用 MTLS 与生成的证书进行加密。该软件定位于私有本地推理，提示、文件以及代理上下文均保留在用户的家庭网络中，而不会被发送至云推理服务。仓库文档提醒用户在不受信任或共享网络上部署 PAIR 前务必阅读安全说明，因为其中涉及本地 HTTP 端点、局域网发现以及集群网络。

目标工作负载与非官方演示

Nvidia 表示，PAIR 旨在处理一次性暴露大量独立请求的工作负载，例如多代理应用中，主代理将复杂任务拆分为多个子任务交给子代理执行。在使用 Hermes Desktop 代理和 Ollama 的演示中，公司报告称，使用 Qwen 3.6 35B A3B 模型的五子代理任务在单台 RTX Spark 笔记本上平均耗时 18 分钟，而由 RTX Spark 笔记本、DGX Spark 与 RTX 5090 组成的三设备 PAIR 集群则在平均 8 分钟 48 秒内完成相同工作负载。Nvidia 将此结果描述为非官方、特定配置的演示，而非通用基准或线性扩展的承诺，并指出结果受工作负载并行度、模型、引擎设置、硬件、网络以及节点可用性等因素影响。

公司还指出，高度顺序化的任务、主要由单个长模型调用主导的工作负载，或仅有单一节点持有请求模型的配置，可能收益有限。仓库文档补充说明，当前软件仅提供一种调度策略，将排队工作与粗粒度的 GPU 利用信号相结合，这使其更适合硬件相似的机器，而非高度混合的集群；同时 Nvidia 希望收集关于让调度器更智能的反馈，但并未对何时或以何种形式发布新功能作出固定承诺。