Neetu Pathak，Skymel 联合创始人兼 CEO – 采访系列

Neetu Pathak, Skymel 联合创始人兼 CEO，带领公司利用其创新性的 NeuroSplit™ 技术革新 AI 推理。与 CTO Sushant Tripathy 一起，她推动 Skymel 的使命，提高 AI 应用性能，同时降低计算成本。

NeuroSplit™ 是一种自适应推理技术，它动态地将 AI 工作负载分配到终端设备和云服务器之间。这种方法利用终端设备上的空闲计算资源，减少云基础设施成本高达 60%，加速推理速度，确保数据隐私，并实现无缝扩展。

通过优化本地计算能力，NeuroSplit™ 允许 AI 应用程序在较旧的 GPU 上高效运行，从而显著降低成本并提高用户体验。

是什么启发你联合创立 Skymel，并且你试图通过 NeuroSplit 解决 AI 基础设施的哪些关键挑战？

Skymel 的灵感来自我们互补的经验。在他任职于 Google 期间，我的联合创始人 Sushant Tripathy 部署了基于语音的 AI 模型，覆盖数十亿 Android 设备。他发现终端设备上有大量的空闲计算能力，但大多数公司由于访问这些资源而不损害用户体验的复杂工程挑战而无法有效利用它们。

同时，我在 Redis 工作的经验让我深刻了解延迟对于企业的重要性。随着 AI 应用程序变得更加普遍，很明显我们需要将处理过程移至数据生成的位置，而不是不断地在数据中心之间来回传输数据。

那时，Sushant 和我意识到，未来不再是选择本地或云处理——而是创建一种智能技术，可以根据每个特定的推理请求在本地、云或混合处理之间无缝适应。这一见解使我们创立了 Skymel，并开发了 NeuroSplit，超越了传统基础设施限制，推动 AI 创新。

你能解释如何 NeuroSplit 动态优化计算资源，同时保持用户隐私和性能吗？

本地 AI 推理的一个主要陷阱是其静态计算要求——传统上，运行 AI 模型需要相同的计算资源，无论设备条件或用户行为如何。这一通用方法忽略了设备具有不同硬件能力、从各种芯片（GPU、NPU、CPU、XPU）到不同网络带宽，以及用户具有不同行为模式（如应用程序使用和充电模式）的现实。

NeuroSplit 持续监测各种设备遥测数据——从硬件能力到当前资源利用率、电池状态和网络条件。我们还考虑用户行为模式，例如运行的应用程序数量和典型的设备使用模式。这种全面监测使 NeuroSplit 能够动态确定可以在终端设备上安全运行的推理计算量，同时优化开发人员的关键性能指标。

当数据隐私至关重要时，NeuroSplit 确保原始数据永远不会离开设备，在本地处理敏感信息，同时保持最佳性能。我们的智能拆分、修剪或解耦 AI 模型的能力使我们能够在终端设备的内存空间中放置 50-100 个 AI 模型，而传统的静态计算方法只能放置一个量化模型。这意味着用户可以同时运行更多 AI 驱动的应用程序，在本地处理敏感数据，与传统的静态计算方法相比。

NeuroSplit 的自适应推理对于 AI 公司（尤其是那些使用较旧 GPU 技术的公司）有什么主要优势？

NeuroSplit 为 AI 公司带来三个变革性的好处。首先，它显著降低了基础设施成本，通过两个机制：公司可以有效地利用更便宜的旧 GPU，我们独特的能力可以在云 GPU 上同时放置完整和.stub 模型，从而实现显著更高的 GPU 利用率。例如，一个通常需要多个 NVIDIA A100（每小时 2.74 美元）的应用程序现在可以在单个 A100 或多个 V100（每小时 0.83 美元）上运行。

第二，我们大大提高了性能，通过直接在用户设备上处理原始数据。这意味着最终传输到云的数据量大大减少，从而显著降低网络延迟，同时保持准确性。这种混合方法使公司同时获得本地处理的速度和云计算的强大功能。

第三，通过在终端设备上处理敏感的初始数据，我们帮助公司在不牺牲性能的情况下保持强大的用户隐私保护。这在隐私法规日益严格和用户日益注重隐私的今天至关重要。

Skymel 的解决方案如何在不损害模型复杂性或准确性的情况下降低 AI 推理的成本？

首先，通过拆分单个 AI 模型，我们在用户设备和云之间分配计算。第一部分在用户设备上运行，处理 5% 到 100% 的总计算量，具体取决于设备资源的可用性。仅剩余的计算需要在云 GPU 上处理。

这种拆分意味着云 GPU 处理的计算负载减少——如果一个模型最初需要一个完整的 A100 GPU，那么在拆分后，相同的工作负载可能只需要 30-40% 的 GPU 容量。这使得公司可以使用更具成本效益的 GPU 实例，例如 V100。

第二，NeuroSplit 优化了云中的 GPU 利用率。通过在同一个云 GPU 上高效地排列完整模型和.stub 模型（拆分模型的剩余部分），我们实现了比传统方法更高的利用率。这意味着更多模型可以同时在同一个云 GPU 上运行，从而进一步降低每次推理的成本。

Skymel 的混合（本地 + 云）方法与市场上的其他 AI 基础设施解决方案有什么区别？

AI 景观目前处于一个迷人的转折点。虽然 Apple、Samsung 和 Qualcomm 通过其生态系统功能展示了混合 AI 的力量，但这些仍然是封闭的花园。但 AI 不应该受到终端设备限制。

NeuroSplit 从根本上来说是设备无关、云无关和神经网络无关的。这意味着开发人员终于可以在任何设备、任何云和任何神经网络架构上提供一致的 AI 体验。想想这对开发人员意味着什么——他们可以构建一次 AI 应用程序，并知道它将在任何设备、任何云和任何神经网络架构上智能地适应。

我们正在将企业级的混合 AI 能力从封闭的花园中解放出来，使其对所有人都可用。随着 AI 成为每个应用程序的核心，这种灵活性和一致性不仅是优势——它是必不可少的。

Orchestrator Agent 如何补充 NeuroSplit，它在转变 AI 部署策略方面扮演什么角色？

Orchestrator Agent（OA）和 NeuroSplit 协同工作，创建一个自优化的 AI 部署系统：

1. 开发人员设置边界：

• 约束：允许的模型、版本、云提供商、区域、合规规则
• 目标：目标延迟、成本限制、性能要求、隐私需求

2. OA 在这些约束内工作以实现目标：

• 决定为每个请求使用哪些模型/ API
• 根据实际性能适应部署策略
• 做出权衡以优化指定的目标
• 可以根据需要更改而无需重新配置

3. NeuroSplit 执行 OA 的决定：

• 使用实时设备遥测数据优化执行
• 在有益时在设备和云之间拆分处理
• 确保每次推理在当前条件下运行得尽可能好

这就像拥有一个 AI 系统，可以在您的定义规则和目标内自行优化，而无需手动优化每种场景。

您认为 Orchestrator Agent 将如何改变 AI 在各个行业的部署方式？

它解决了三个关键挑战，这些挑战一直阻碍着 AI 的采用和创新。

首先，它使公司能够轻松跟上最新的 AI 进展。使用 Orchestrator Agent，您可以在不重新构建基础设施的情况下立即利用最新的模型和技术。这在 AI 创新发展如此迅速的世界中是一个重大竞争优势。

第二，它实现了 AI 模型选择的动态、每次请求优化。Orchestrator Agent 可以智能地混合和匹配来自大量选项的模型，以每次用户交互为基础提供最佳可能的结果。例如，客户服务 AI 可以使用专用模型处理技术问题和另一个模型处理账单查询，从而为每种交互提供更好的结果。

第三，它最大限度地提高了性能，同时最小化了成本。Agent 自动平衡在用户设备或云中运行 AI，以实现最佳效果。当隐私至关重要时，它在本地处理数据。当需要额外的计算能力时，它利用云计算。所有这些都在幕后发生，创建了用户的无缝体验，同时为企业优化资源。

但真正使 Orchestrator Agent 与众不同的是，它使企业能够创建下一代超个性化体验。拿一个在线学习平台为例——使用我们的技术，他们可以建立一个系统，根据每个学生的理解水平自动调整其教学方法。当用户搜索“机器学习”时，平台不仅显示通用结果——它可以立即评估他们当前的理解，并使用他们已经知道的概念自定义解释。

最终，Orchestrator Agent 代表了 AI 部署的未来——从静态、单一的 AI 基础设施转变为动态、自适应、自优化的 AI 编排。这不仅仅是使 AI 部署更容易——它使得完全新的 AI 应用类别成为可能。

您从参与 Orchestrator Agent 私人测试的公司那里收到了什么样的反馈？

来自我们私人测试参与者的反馈非常好！公司们对能够摆脱基础设施锁定（无论是专有模型还是托管服务）感到兴奋。能够对任何部署决策进行未来规划的能力是一个游戏规则的改变者，消除了在更改方法时需要进行数月的改造。

我们的 NeuroSplit 性能结果简直令人惊叹——我们迫不及待地想很快与公众分享这些数据。特别令人兴奋的是，自适应 AI 部署的概念已经俘获了想象力。AI 自行部署的想法听起来很像科幻小说，并不是他们预期会在现在实现的东西，所以仅仅是技术进步就让人们对可能在未来创造的可能性和新市场感到兴奋。

随着生成式 AI 的快速发展，您认为 AI 基础设施的下一个主要障碍是什么，Skymel 将如何解决这些问题？

我们正朝着一个未来前进，这个未来大多数人还没有完全理解：不会有一个单一的主导 AI 模型，而是数十亿个模型。即使我们创建了最强大的通用 AI 模型，我们仍然需要为地球上的每个人量身定制版本，每个版本都适应于独特的背景、偏好和需求。这意味着至少有 80 亿个模型，基于世界人口。

这标志着从今天的通用方法到一个革命性的转变。未来需要智能基础设施来处理数十亿个模型。在 Skymel，我们不仅解决今天的部署挑战——我们的技术路线图已经在为即将到来的未来打造基础。

您如何看待未来五年 AI 基础设施的发展，Skymel 将在这种演变中扮演什么角色？

AI 基础设施的格局即将发生根本性的转变。虽然今天的重点是扩大大型语言模型在云中的规模，但未来五年将看到 AI 变得深度个性化和上下文感知。这不仅仅是微调——这是在实时适应特定用户、设备和情况。

这种转变带来了两个主要的基础设施挑战。首先，传统的集中式数据中心方法在技术和经济上都不可持续。其次，AI 应用程序日益复杂的性质意味着我们需要基础设施来动态优化多个模型、设备和计算位置。

在 Skymel，我们正在构建专门解决这些挑战的基础设施。我们的技术使 AI 可以在最有意义的地方运行——无论是设备生成数据的位置、云中的计算能力还是智能地在两者之间拆分。更重要的是，它根据不断变化的条件和要求实时适应这些决定。

展望未来，成功的 AI 应用程序将不再由模型的大小或可访问的计算能力定义。它们将由提供个性化、响应式体验的能力定义，同时高效地管理资源。我们的目标是使这种级别的智能优化对每个 AI 应用程序都可用，无论其规模或复杂性如何。

感谢这次精彩的采访，希望了解更多的读者可以访问 Skymel。