英飞凌科技与d-Matrix合作开发低延迟AI基础设施

英飞凌科技已宣布与d-Matrix合作，重点改进现代数据中心中使用的AI推理系统的性能和能效。该合作伙伴关系围绕d-Matrix的Corsair AI推理加速器平台和英飞凌的OptiMOS双相电源模块展开，这些模块旨在支持交互式AI工作负载的高密度计算环境。

该公告凸显了AI硬件行业内日益增长的转变。过去几年，基础设施的繁荣主要集中在训练越来越大的AI模型上，但现在该行业正在迅速扩展到推理——即在聊天机器人、代理AI系统、副驾驶、搜索、金融分析和医疗决策支持等实际应用中运行模型的过程。这些工作负载对硬件提出不同的要求，特别是在延迟、响应速度和功耗方面。

为什么AI推理成为硬件的主要战场

AI推理已经成为AI基础设施市场增长最快的领域之一，因为交互式AI系统需要以毫秒而非秒为单位的响应时间。d-Matrix一直将Corsair定位为这些工作负载，强调超低延迟和能效推理用于大型语言模型和AI代理。

根据d-Matrix的说法，Corsair是围绕数字内存计算架构设计的，旨在减少经常减慢生成式AI推理的内存瓶颈。该公司声称，该平台可以显著降低延迟并提高与传统GPU中心推理系统相比的吞吐量，特别是对于交互式应用程序。

与英飞凌的合作解决了另一个日益关键的挑战：电源供应。

随着AI服务器的密度不断增加，高效地向加速器供电已成为基础设施扩展的限制因素。英飞凌的OptiMOS TDM2254xx模块旨在为紧凑的服务器系统提供垂直电源交付架构，有助于降低电气损失并提高电源密度。

向实时AI系统的转变

两家公司将合作框定为“交互式AI”的兴起，即推理系统必须连续生成输出，延迟极低。包括对话式AI、AI代理、实时推理系统和需要从大型语言模型快速生成令牌的应用程序。

d-Matrix创始人兼CEO Sid Sheth表示，Corsair的架构专门为小于2毫秒的令牌延迟而设计，这一指标已变得越来越重要，因为企业正在将AI系统从实验转移到面向客户的环境中。

更广泛的AI行业也开始认识到，推理基础设施可能会与训练基础设施有所不同。虽然GPU集群在生成式AI扩张的第一阶段占据主导地位，但推理越来越多地奖励优化的架构，围绕内存带宽、延迟、网络和能效而非仅仅原始计算能力。

能效成为AI扩展的核心

面临的最大约束之一是电力需求。AI推理工作负载可以每天连续运行数百万个请求，使得操作效率对于部署成本至关重要。

英飞凌一直在通过基于硅、碳化硅（SiC）和氮化镓（GaN）的半导体技术积极扩大其在AI基础设施中的地位。该公司越来越多地专注于为AI加速器和服务器基础设施提供电源供应层。

与d-Matrix的合作反映了半导体公司如何与AI加速器初创公司更加紧密地集成，因为该行业正在寻找传统GPU重型架构的替代方案。

AI基础设施正在超越传统GPU

该合作伙伴关系也出现在AI硬件实验浪潮中。越来越多的初创公司正在开发专门针对推理、内存中心计算或AI网络的专用加速器。

d-Matrix通过其在计算内存技术和针对生成式AI量身定制的低延迟推理系统的强调而与众不同。该公司还扩大了其基础设施战略，超出了单独的加速器芯片，最近强调了网络、可组合基础设施和推理集群的全系统优化。

随着AI应用变得越来越具代理性和交互性，基础设施提供商预计将更注重降低延迟、降低能耗和提高整个数据中心堆栈的系统级效率，而不仅仅是关注原始处理能力。