莫谢·塔纳赫，NeuReality 首席执行官兼联合创始人 – 采访系列

莫谢·塔纳赫 是 NeuReality 的首席执行官兼联合创始人。在创立 NeuReality 之前，莫谢曾在 Marvell 和 Intel (INTC ) 担任工程总监，领导了复杂的无线和网络产品的开发。在 DesignArt Networks（后被高通收购）担任研发副总裁期间，他为 4G 基站产品的开发做出了贡献。

NeuReality 的使命是简化 AI 的采用。通过采用系统级别的 AI 方法，NeuReality 的行业专家团队提供整体的 AI 推理，找出痛点并提供专门为 AI 推理设计的解决方案，使 AI 更加经济和易于使用。

凭借您在 Marvell、Intel 和 DesignArt-Networks 领导工程项目的丰富经验，您是什么启发您联合创立了 NeuReality，您之前的角色如何影响了公司的愿景和方向？

NeuReality 从一开始就致力于解决未来 AI 推理中不可避免的成本、复杂性和气候问题。我们是一支系统工程师团队，我们从多个角度考虑 AI 推理的各个方面，包括 GPU 和所有类型的专用 AI 加速器。从 2015 年开始，我们意识到依赖 CPU 的 AI 芯片和系统——包括每个 GPU、TPU、LPU、NRU、ASIC 和 FPGA——将在 2020 年面临重大挑战。系统限制使得 AI 加速器变得更好、更快，但基础设施没有跟上。

因此，我们决定摆脱大型企业的官僚主义，通过更好的 AI 架构来颠覆行业，这种架构是开放的、与设备无关的，并专门为 AI 推理设计。重新构想理想的 AI 推理之一的结论是，我们的新 AI 计算和网络基础设施——由我们的新型 NR1 服务器芯片提供，取代了主 CPU 和 NIC。作为任何 GPU 或 AI 加速器的配套品牌，我们可以消除市场壁垒，阻止 65% 的组织创新和采用 AI——这将导致 GPU 利用率低下，导致购买不必要的 GPU（因为它们大部分时间都处于空闲状态），同时减少能耗、AI 数据中心空间挑战和运营成本。

这是一个千载难逢的机会，真正改变 AI 系统架构，利用我 30 年来的经验和实践，开启 AI 创新的大门，消除 CPU 瓶颈、复杂性和碳足迹。

NeuReality 的使命是民主化 AI。您能否详细解释“AI 为所有人”对您来说意味着什么，以及 NeuReality 如何实现这一愿景？

我们的使命是通过使 AI 更加易于获取和经济，使其能够惠及所有组织，无论大小——通过释放任何 GPU 或 AI 加速器的最大能力，使您能够从投资中获得更多；换句话说，从您购买的 GPU 中获得更多，而不是购买更多的 GPU，这些 GPU 大部分时间都处于空闲状态。我们可以将 AI 加速器提升到 100% 的全部能力，同时提供高达 15 倍的能效，并将系统成本降低高达 90%。这些是数量级的改进。我们计划通过我们的 NR1 AI 推理解决方案实现这一愿景，这是世界上第一款专为 AI 时代设计的数据中心系统架构。它可以高效、经济地运行大量、多样化的 AI 数据管道，并具有降低碳足迹的额外好处。

实现“AI 为所有人”的另一个方面是使其易于使用。在 NeuReality，我们简化了 AI 基础设施的部署、管理和扩展，增强了业务流程和盈利能力，并推进了公共卫生、安全、执法和客户服务等领域。我们的影响范围包括医疗成像、临床试验、欺诈检测、AI 内容创作等许多领域。

目前，我们的第一款商用 NR1-S AI 推理设备已与高通 Cloud AI 100 Ultra 加速器和云服务提供商 Cirrascale 一起推出。

NR1 AI 推理解决方案被誉为第一款专为 AI 时代设计的数据中心系统架构，专门为 AI 推理而设计。是什么关键的创新和突破导致了 NR1 的开发？

NR1 是我们为 AI 行业设计和交付的整个硅至软件系统架构的名称——它是一种开放的、完全兼容的 AI 计算和网络基础设施，能够与任何 AI 加速器和 GPU 完全补充。如果我必须将导致这一端到端 NR1 解决方案的最重要和最令人兴奋的创新分解出来，我会说：

• 优化的 AI 计算图： 我们的团队设计了一个可编程的图执行加速器来优化计算图的处理，这对于 AI 和其他工作负载（如媒体处理、数据库等）至关重要。计算图代表了一系列具有依赖关系的操作，这种更广泛的适用性使 NR1 有可能超越简单地提升 GPU 和其他 AI 加速器的性能。它通过根据预处理的 AI 数据和软件 API 生成优化的计算图（CG），简化了 AI 模型的部署，从而带来显著的性能改进。
• NR1 NAPU（网络可寻址处理单元）： 我们的 AI 推理架构由 NR1 NAPU 提供支持——一款 7nm 服务器芯片，实现了 AI 预处理和后处理的直接网络访问。我们在较小的 NR1 芯片上提供了 6.5 倍的处理能力，相比传统的通用主 CPU。传统上，预处理任务（如数据清理、格式化和特征提取）和后处理任务（如结果解释和格式化）由 CPU 处理。通过将这些任务卸载到 NR1 NAPU，我们取代了 CPU 和 NIC，从而减少了瓶颈，实现了更快的处理、更快的响应时间和降低的每个 AI 查询的成本。
• NR1 AI-Hypervisor 技术： NR1 的专利硬件 AI-Hypervisor 优化了 AI 任务编排和资源利用，提高了效率并降低了瓶颈。
• NR1 AI-over-Fabric 网络引擎： NR1 集成了一个独特的 AI-over-Fabric 网络引擎，确保了多个 NR1 芯片之间的无缝网络连接和 AI 资源的高效扩展——这些芯片与任何 GPU 或 AI 加速器配对，在同一个推理服务器或 NR1-S AI 推理设备中。

NeuReality 的最新性能数据凸显了显著的成本和能耗节省。您能否提供更多关于 NR1 如何实现高达 90% 的成本节省和 15 倍更好的能效的详细信息？

NeuReality 的 NR1 将 AI 推理的成本和能耗降低了高达 90% 和 15 倍。这种节省是通过以下方式实现的：

• 专用硅： 我们的专用 AI 推理基础设施由 NR1 NAPU 服务器芯片提供，吸收了 CPU 和 NIC 的功能——并消除了推理中 CPU 的需求。最终，NR1 以最有效的方式最大化任何 AI 加速器或 GPU 的输出。
• 优化的架构： 通过将 AI 数据流简化并将 AI 预处理和后处理直接集成到 NR1 NAPU 中，我们卸载和取代了 CPU。这导致了延迟降低、线性可扩展性和降低的每个 AI 查询的成本。
• 灵活的部署： 您可以通过两种主要方式购买 NR1：1）在 NR1-M 模块中，该模块是 PCIe 卡，通常包含 10 个 NR1 NAPU，设计用于与现有的 AI 加速器卡配对。2）在 NR1-S 设备中，该设备将 NR1 NAPU 与等量的 AI 加速器（GPU、ASIC、FPGA 等）配对，作为即用型 AI 推理系统。

在 2024 年 11 月的超级计算会议上，您将看到我们演示 NR1-S 设备，配备 4 个 NR1 芯片和 16 个高通 Cloud AI 100 Ultra 加速器。我们已经用 Nvidia (NVDA ) AI 推理芯片测试了相同的配置。NeuReality 正在用其开放、专用架构革新 AI 推理。

NR1-S AI 推理设备如何与传统的 CPU 为中心的推理服务器（使用 Nvidia H100 或 L40S GPU）相比，在现实世界的应用中？

NR1 与高通 Cloud AI 100 或 NVIDIA H100 或 L40S GPU 配对，在大型语言模型（如 Llama 3）、计算机视觉、自然语言处理和语音识别等现实世界 AI 应用中提供了显著的性能提升。换句话说，使用 NR1 优化您的 AI 推理系统，性能、系统成本、能效和响应时间都会得到提高——无论是图像、声音、语言还是文本——单独或组合使用。

最终结果？当与 NR1 配对时，客户从昂贵的 GPU 投资中获得更多，而不是购买更多的 GPU 来实现所需的性能。

除了最大化 GPU 利用率外，NR1 还提供了卓越的效率，结果是价格/性能提高了 50-90%，能效提高了 13-15 倍。这转化为显著的成本节省和降低环境影响的 AI 基础设施。

NR1-S 展示了线性可扩展性，没有性能下降。您能否解释实现这种无缝可扩展性的技术方面？

NR1-S 设备将我们的 NR1 芯片与任何类型或数量的 AI 加速器配对，重新定义了 AI 基础设施。我们已经超越了传统的 CPU 限制，实现了新的性能和效率水平。

与传统的 NIC 到 CPU 到加速器的瓶颈不同，NR1-S 集成了直接网络访问、AI 预处理和后处理到我们的网络可寻址处理单元（NAPU）中。通常每个系统有 10 个 NAPU，每个 NAPU 处理诸如视觉、音频和 DSP 处理等任务，我们的 AI-Hypervisor 编排工作负载，实现了 AI 数据流的简化。这转化为线性可扩展性：添加更多加速器，获得比例更大的性能。

结果？AI 加速器的利用率始终达到 100%。虽然总成本和能效会根据使用的特定 AI 芯片而有所不同，但最大化的硬件投资和改进的性能始终得到交付。随着 AI 推理需求的增长，NR1-S 提供了一个令人信服的替代传统架构的解决方案。

NeuReality 旨在解决广泛采用 AI 的障碍。企业在采用 AI 时面临的最重大挑战是什么，您的技术如何帮助克服这些挑战？

当 AI 软件和解决方案实施不当时，它们可能会变得麻烦。许多企业由于构建和扩展 AI 系统的成本和复杂性而无法采用 AI。今天的 AI 解决方案并未针对推理进行优化，训练吞吐量通常效率低下，推理服务器存在高瓶颈。为了应对这一挑战并使 AI 更加易于获取，我们开发了第一个完整的 AI 推理解决方案——一种由我们的 NAPU 提供支持的计算和网络基础设施，它充分利用了其伴随的 AI 加速器，并降低了过度成本和能耗的市场壁垒。

我们对 AI 推理的系统级方法——而不是尝试开发更好的 GPU 或 AI 加速器，因为那里已经有很多创新和竞争——意味着我们正在填补行业中的一个重大空白。我们的团队系统性和整体地解决了 AI 推理中的缺陷，通过确定痛点、架构差距和 AI 工作负载预测——以交付第一个专门为 AI 推理设计的、从硅到软件的、无 CPU 的 AI 推理架构。通过开发一个从 Python 和 Kubernetes 到 NeuReality 工具链、预配和推理 API 的顶级 AI 软件堆栈，我们的集成软件工具将所有组件组合成一个单一的高质量 UI/UX。

在竞争激烈的 AI 市场中，NeuReality 与其他 AI 推理解决方案提供商有什么区别？

简单来说，我们是开放的和加速器不可知的。我们的 NR1 推理基础设施可以增强 任何 AI 加速器——GPU、TPU、LPU、ASIC，你可以随便说——创建一个真正优化的端到端系统。AI 加速器最初被引入来 帮助 CPU 处理大型神经网络和机器学习的需求，但现在 AI 加速器已经变得如此强大，它们被它们本身的 CPU 所限制。

我们的解决方案？NR1。这是一个完全重新构想的 AI 推理架构。我们的秘密武器？NR1 NAPU 专为最大化 AI 加速器性能而设计，无需额外的能耗或昂贵的成本。我们建立了一个开放的生态系统，能够与任何 AI 推理芯片和流行的软件框架（如 Kubernetes、Python、TensorFlow 等）无缝集成。

NeuReality 的开放方法意味着我们不会与 AI 景观竞争；我们在这里通过战略伙伴关系和技术合作来补充它。我们提供了拼图中缺失的部分：一种专门为 AI 推理设计的、无 CPU 的推理架构，不仅可以解锁 AI 加速器以实现基准性能，还可以使企业和政府更容易采用 AI。想象一下释放 NVIDIA H100、Google (GOOGL ) TPUs 或 AMD MI300s 的全部力量——为它们提供应有的基础设施。

NeuReality 的开放、高效架构使 AI 更加平易近人和经济，使其惠及所有人。我热衷于看到不同行业——金融科技、生物科技、健康科技——亲身体验 NR1 的优势。将您的 AI 解决方案与传统的 CPU 为中心的系统进行比较，体验 NR1 基础设施的不同。今天，只有 35% 的企业和政府采用了 AI，这是基于非常低的资格标准。让我们使超过 50% 的企业客户能够在不损害地球或破坏银行的情况下在明年这个时候采用 AI。

展望未来，NeuReality 对 AI 在社会中的作用有何长期愿景，您如何看待公司为这一未来做出的贡献？

我设想一个未来，AI惠及所有人，促进创新，改善生活。我们不仅仅是在构建技术；我们正在构建一个更美好未来的基础。

我们的 NR1 是实现这一愿景的关键。它是一种完整的 AI 推理解决方案，开始打破大规模商业采用的成本和复杂性壁垒。我们重新构想了基础设施和架构，交付了一种革命性的系统，最大化了任何 GPU 或 AI 加速器的输出，而不会增加运营成本或能耗。

商业模式在扩大和为最终客户提供真正的选择方面至关重要，以避免集中式的 AI 独裁。因此，我们正在建立一个开放的生态系统，我们的硅与其他硅合作，而不是相互对抗。这就是为什么我们设计了 NR1，以便与所有 AI 加速器和开放模型以及软件无缝集成，使其尽可能容易安装、管理和扩展。

但我们不会就此止步。我们正在与合作伙伴合作，以验证我们的技术在各种 AI 工作负载中的有效性，并通过云服务提供商、超级大规模企业和直接与伴侣芯片制造商合作，提供“推理即服务”和“LLM 即服务”。我们希望使先进的 AI 对所有人都变得可及和经济。

想象一下，如果我们能够将 AI 推理性能、能效和经济性提高几个数量级。想象一个强大的、AI 启用的社会，更多的声音和选择成为现实。因此，我们必须共同努力，证明在日常数据中心运营中实施 AI 的商业影响和投资回报率。让我们专注于革命性的 AI 实施，而不仅仅是 AI 模型的能力。

这就是我们为一个 AI惠及所有人、利润率、人民和地球都能受益的未来做出的贡献。

感谢这次精彩的采访，希望读者了解更多信息，请访问 NeuReality。