Enfabrica推出基于以太网的内存织物，可能重新定义大规模AI推理

Enfabrica，一家位于硅谷的创业公司，得到了Nvidia的支持，推出了一个可能从根本上改变大规模AI工作负载部署和扩展方式的突破性产品。该公司的新产品Elastic Memory Fabric System（EMFASYS）是第一个专门为解决生成性AI推理的核心瓶颈——内存访问问题而设计的基于以太网的内存织物的商用产品。

在AI模型变得更加复杂、上下文感知和持久，需要每个用户会话大量内存的同时，EMFASYS提供了一种将内存与计算解耦的新方法，使AI数据中心能够显著提高性能、降低成本和提高其最昂贵资源（GPU）的利用率。

什么是内存织物——为什么它很重要？

传统上，数据中心中的内存与其所在的服务器或节点紧密绑定。每个GPU或CPU只能访问直接附加到其上的高带宽内存——通常是GPU的HBM或CPU的DRAM。当工作负载小且可预测时，这种架构效果良好。但是，生成性AI改变了游戏规则。LLM需要访问大型上下文窗口、用户历史和多代理内存——所有这些必须快速处理且无延迟。这些内存需求通常超过本地内存的可用容量，导致GPU核心停滞和基础设施成本增加。

内存织物通过将内存转化为共享的分布式资源来解决这个问题——一种可以通过高速网络由集群中的任何GPU或CPU访问的网络附加内存池。可以将其视为在数据中心机架内创建一个“内存云”。与其在服务器之间复制内存或过载昂贵的HBM，织物允许内存聚合、解聚并按需通过高速网络访问。这使得AI推理工作负载可以更高效地扩展，而不受单个节点的物理内存限制的束缚。

Enfabrica的方法：以太网和CXL，终于一起

EMFASYS通过结合两种强大的技术实现了机架级内存架构：以太网上的RDMA和计算表达链接（CXL）。前者可以在标准以太网网络上实现超低延迟、高吞吐量的数据传输。后者允许内存从CPU和GPU中分离出来，并将其汇集到可以通过高速CXL链接访问的共享资源中。

EMFASYS的核心是Enfabrica的ACF-S芯片，一种3.2 terabits-per-second（Tbps）的“SuperNIC”，它将网络和内存控制融合到一个设备中。该芯片允许服务器通过标准以太网端口与分布在机架上的大量通用DDR5 DRAM进行接口——每个节点最多可达18 terabytes。关键的是，它使用标准以太网端口实现，这使得运营商可以利用现有的数据中心基础设施，而无需投资专有的互连设备。

使EMFASYS特别引人注目的是其能够动态地将内存绑定工作负载从昂贵的GPU附加HBM转移到更便宜的DRAM，同时保持微秒级的访问延迟。EMFASYS背后的软件栈包括智能缓存和负载平衡机制，它们隐藏延迟并以LLM运行的系统透明的方式编排内存移动。

对AI行业的影响

这不仅仅是一个巧妙的硬件解决方案——它代表了AI基础设施构建和扩展方式的哲学转变。随着生成性AI从新颖转变为必需，每天处理数十亿个用户查询，其服务这些模型的成本已经成为许多公司无法承受的负担。GPU通常由于缺乏内存而被低利用，而不是缺乏计算能力。EMFASYS直接解决了这种失衡。

通过提供通过以太网可访问的池化、织物附加内存，Enfabrica为数据中心运营商提供了一种可扩展的替代方案，以避免不断购买更多的GPU或HBM。相反，他们可以使用离架DDR5 DRAM和智能网络模块化增加内存容量，降低整体占地面积，改善AI推理的经济效益。

影响不仅仅是立即的成本节约。这种去耦合的架构为内存即服务模型铺平了道路，在这种模型中，上下文、历史和代理状态可以在单个会话或服务器之外持久，开启了通往更智能和个性化的AI系统的大门。它还为更具弹性的AI云铺平了道路，在这种云中，工作负载可以在机架或整个数据中心内无缝分布，而不受内存限制的约束。

展望

Enfabrica的EMFASYS目前正在向选定的客户提供样品，虽然该公司尚未透露这些合作伙伴是谁，但路透社报道称，主要的AI云提供商已经在试用该系统。这使得Enfabrica不仅仅是一个组件供应商，也成为下一代AI基础设施的关键启用者。

通过解耦内存和计算，并使其通过高速、通用以太网网络可访问，Enfabrica为一个新的AI架构奠定了基础——在这个架构中，推理可以无限制地扩展，资源不会被浪费，部署大型语言模型的经济效益终于开始有意义。

在一个越来越被上下文丰富的多代理AI系统定义的世界中，内存不再是配角——它是舞台。Enfabrica正在赌博，谁构建了最好的舞台，将决定AI的表现数年来。