尼图·帕塔克，Skymel联合创始人兼首席执行官 – 采访系列

尼图·帕塔克，Skymel联合创始人兼首席执行官，带领公司革新人工智能推理技术，采用创新性的NeuroSplit™技术。与首席技术官苏尚特·特里帕蒂一起，她推动Skymel的使命，提高人工智能应用性能，同时降低计算成本。

NeuroSplit™是一种自适应推理技术，动态地将人工智能工作负载分配到终端设备和云服务器之间。这种方法利用终端设备上的空闲计算资源，减少云基础设施成本高达60%，加快推理速度，确保数据隐私，并实现无缝扩展。

通过优化本地计算能力，NeuroSplit™使人工智能应用程序能够在旧的GPU上高效运行，显著降低成本，同时提高用户体验。

是什么启发你联合创立Skymel，并且你试图用NeuroSplit解决人工智能基础设施中的哪些关键挑战？

Skymel的灵感来自我们互补的经验。在谷歌工作期间，我的联合创始人苏尚特·特里帕蒂曾在数十亿台安卓设备上部署基于语音的人工智能模型。他发现终端设备上有大量的空闲计算资源，但大多数公司无法有效利用这些资源，因为访问这些资源而不损害用户体验的工程挑战太复杂。

同时，我在Redis工作期间积累了与企业和初创公司合作的经验，深刻地了解了延迟对于业务的重要性。随着人工智能应用变得更加普遍，很明显我们需要将处理过程更接近数据生成的地方，而不是不断地将数据发送回数据中心。

那时，苏尚特和我意识到，未来不是在本地处理和云处理之间做出选择，而是创建一种智能技术，可以根据每个具体的推理请求无缝地适应本地、云或混合处理。这一见解使我们创立了Skymel并开发了NeuroSplit，超越了传统基础设施限制，这些限制曾阻碍了人工智能创新。

你能解释NeuroSplit如何动态优化计算资源，同时保持用户隐私和性能吗？

本地人工智能推理的一个主要缺陷是其静态计算要求——传统上，运行人工智能模型需要相同的计算资源，无论设备条件或用户行为如何。这种一刀切的方法忽略了设备具有不同的硬件能力，从各种芯片（GPU、NPU、CPU、XPU）到不同的网络带宽，以及用户具有不同的行为模式，例如应用程序使用和充电模式。

NeuroSplit不断监测各种设备遥测数据——从硬件能力到当前资源利用率、电池状态和网络条件。我们还考虑用户行为模式，例如运行的其他应用程序和典型的设备使用模式。这种综合监测使NeuroSplit能够动态地确定可以在终端设备上安全运行的推理计算量，同时优化开发者的关键性能指标。

当数据隐私至关重要时，NeuroSplit确保原始数据永远不会离开设备，在本地处理敏感信息，同时保持最佳性能。我们能够智能地拆分、修剪或解耦人工智能模型，使我们能够在终端设备上的内存空间中容纳50-100个人工智能模型，而传统的静态计算方法只能容纳一个量化模型。这意味着用户可以同时运行更多的人工智能应用程序，处理敏感数据本地，与传统的静态计算方法相比。

NeuroSplit的自适应推理对于人工智能公司，尤其是那些使用旧的GPU技术的公司，有什么主要优势？

NeuroSplit为人工智能公司带来了三个变革性的优势。首先，它通过两种机制大幅降低了基础设施成本：公司可以有效地利用更便宜的旧GPU，我们独特的能力可以在云GPU上同时容纳完整和stub模型，从而实现显著更高的GPU利用率。例如，一个通常需要多个NVIDIA A100（每小时2.74美元）的应用程序现在可以在单个A100或多个V100（每小时0.83美元）上运行。

第二，我们通过直接在用户设备上处理原始数据来显著提高性能。这意味着最终发送到云的数据大小大大减小，从而显著降低网络延迟，同时保持准确性。这种混合方法为公司提供了两全其美的效果——本地处理的速度和云计算的力量。

第三，通过在终端设备上处理敏感的初始数据，我们帮助公司在不牺牲性能的情况下保持强大的用户隐私保护。这在隐私法规日益严格和用户日益注重隐私的时代尤为重要。

Skymel的解决方案如何降低人工智能推理的成本而不损害模型复杂性或准确性？

首先，通过拆分单个人工智能模型，我们将计算分配到用户设备和云之间。第一部分在终端设备上运行，处理5%至100%的总计算量，具体取决于可用的设备资源。只有剩余的计算需要在云GPU上处理。

这种拆分意味着云GPU处理的计算负载减少——如果一个模型最初需要一个完整的A100 GPU，那么在拆分后，相同的工作负载可能只需要GPU容量的30-40%。这使公司能够使用更经济的GPU实例，例如V100。

第二，NeuroSplit优化了云中的GPU利用率。通过在同一个云GPU上高效地排列完整模型和stub模型（拆分模型的剩余部分），我们实现了与传统方法相比显著更高的利用率。这意味着可以在同一个云GPU上同时运行更多模型，从而进一步降低每次推理的成本。

Skymel的混合（本地+云）方法与市场上的其他人工智能基础设施解决方案有什么区别？

人工智能领域正在经历一个令人着迷的转折点。虽然苹果、三星和高通正在通过其生态系统功能展示混合人工智能的力量，但这些仍然是封闭的花园。然而，人工智能不应该受到终端设备类型的限制。

NeuroSplit从根本上来说是设备无关、云无关和神经网络无关的。这意味着开发人员终于可以在任何设备上提供一致的人工智能体验，无论用户使用的是iPhone、安卓设备还是笔记本电脑——无论他们使用的是AWS、Azure还是Google Cloud。

想想这对开发人员意味着什么。他们可以构建一次人工智能应用程序，并知道它将智能地适应任何设备、任何云和任何神经网络架构。再也不需要为不同的平台构建不同的版本，也不需要根据设备能力妥协功能。

我们正在将企业级的混合人工智能能力从封闭的花园中解放出来，使其对所有人都可用。随着人工智能成为每个应用程序的核心，这种灵活性和一致性不仅是一个优势——它是创新所必需的。

Orchestrator Agent如何补充NeuroSplit，它在转变人工智能部署策略中扮演什么角色？

Orchestrator Agent（OA）和NeuroSplit共同创建了一个自优化的人工智能部署系统：

1. 开发人员设置边界：

• 约束：允许的模型、版本、云提供商、区域、合规规则
• 目标：目标延迟、成本限制、性能要求、隐私需求

2. OA在这些约束内工作以实现目标：

• 决定为每个请求使用哪些模型/ API
• 根据实际性能适应部署策略
• 根据指定的目标进行权衡
• 可以根据需要瞬间重新配置

3. NeuroSplit执行OA的决定：

• 使用实时设备遥测数据优化执行
• 在有益时在设备和云之间拆分处理
• 确保每次推理在当前条件下运行最佳

这就像拥有一个自优化的人工智能系统，在您的定义规则和目标内运行，而不是需要手动优化每种场景。

在您的看法中，Orchestrator Agent将如何改变人工智能在各个行业的部署方式？

它解决了三个关键挑战，这些挑战一直阻碍着人工智能的采用和创新。

首先，它允许公司轻松跟上最新的人工智能进步。使用Orchestrator Agent，公司可以瞬间利用最新的模型和技术，而无需重新构建基础设施。这在人工智能创新发展迅速的世界中是一个重大的竞争优势。

第二，它实现了人工智能模型选择的动态、每次请求的优化。Orchestrator Agent可以智能地混合和匹配来自生态系统的众多选项中的人工智能模型，以每次用户交互中提供最佳可能的结果。例如，客户服务人工智能可以使用专用模型处理技术问题和另一个模型处理账单查询，提供更好的结果。

第三，它最大限度地提高性能，同时最小化成本。Agent自动在设备和云之间进行平衡，根据当前情况做出最有意义的决定。当隐私至关重要时，它在本地处理数据。当需要额外的计算能力时，它利用云计算。所有这些都在幕后发生，提供了无缝的用户体验，同时为企业优化资源。

但真正使Orchestrator Agent与众不同的是，它使企业能够创建下一代超个性化体验。以电子学习平台为例——使用我们的技术，他们可以构建一个系统，该系统可以根据每个学生的理解水平自动调整其教学方法。当用户搜索“机器学习”时，平台不仅显示通用结果——它可以立即评估他们当前的理解水平，并使用他们已经知道的概念来量身定制解释。

最终，Orchestrator Agent代表了人工智能部署的未来——从静态、单一的人工智能基础设施转变为动态、自适应、自优化的人工智能编排。这不仅仅是使人工智能部署更容易——它使得全新的人工智能应用类别成为可能。

您从参与Orchestrator Agent私人测试的公司那里收到了什么样的反馈？

来自我们私人测试参与者的反馈非常好！公司对能够摆脱基础设施锁定感到兴奋，无论是专有模型还是托管服务。能够对任何部署决策进行未来规划的能力是一个游戏规则的改变者，消除了更改方法时几个月的返工时间。

我们的NeuroSplit性能结果非常令人印象深刻——我们迫不及待地想与公众分享这些数据。特别令人兴奋的是，自适应人工智能部署的概念已经俘获了想象力。人工智能自身部署的想法听起来很未来主义，人们并没有预料到它会这么快到来，因此仅仅是技术进步就让人们对未来可能创造的新市场和可能性感到兴奋。

随着生成式人工智能的快速发展，您认为人工智能基础设施的下一个主要障碍是什么？Skymel如何解决这些障碍？

我们正朝着一个大多数人尚未完全理解的未来发展：不会只有一个主导的人工智能模型，而是会有数十亿个。即使我们创造了最强大的通用人工智能模型，我们仍然需要为地球上的每个人量身定制版本，每个版本都适应其独特的背景、偏好和需求。这意味着至少有80亿个模型，基于世界人口。

这标志着从今天的一刀切方法到一个革命性的转变。未来需要能够处理数十亿个模型的智能基础设施。在Skymel，我们不仅解决今天的部署挑战——我们的技术路线图已经在为即将到来的挑战打造基础。

您如何看待人工智能基础设施在未来五年内的发展？Skymel将在这一发展中扮演什么角色？

人工智能基础设施的格局即将发生根本性的转变。虽然今天的重点是扩展云中的通用大型语言模型，但未来五年将看到人工智能变得深度个性化和上下文感知。这不仅仅是微调——这意味着人工智能能够适应特定的用户、设备和情况，实时进行调整。

这种转变带来了两个主要的基础设施挑战。首先，传统的集中式数据中心方法将变得不可持续，无论是从技术上还是经济上。其次，人工智能应用的日益复杂性意味着我们需要能够跨多个模型、设备和计算位置动态优化的基础设施。

在Skymel，我们正在构建专门解决这些挑战的基础设施。我们的技术使人工智能能够在最合适的地方运行——无论是设备上生成数据的地方、云中有更多计算能力的地方，还是在两者之间智能地拆分。更重要的是，它根据不断变化的条件和要求实时适应这些决策。

展望未来，成功的人工智能应用将不再由其模型的大小或可访问的计算能力定义。它们将由其提供个性化、响应式体验的能力定义，同时高效地管理资源。在Skymel，我们的目标是使这种级别的智能优化对每个人工智能应用程序都可用，无论其规模或复杂性如何。感谢您这次精彩的采访，希望读者可以访问Skymel网站了解更多信息。