Cerebras Systems 联合创始人兼首席执行官 Andrew Feldman – 采访系列

Andrew 是 Cerebras Systems (CBRS ) 的联合创始人兼首席执行官。他是一位致力于推动计算领域边界的企业家。在 Cerebras 之前，他联合创立并担任 SeaMicro 的首席执行官，SeaMicro 是一家能效高、带宽大的微服务器的先驱。SeaMicro 于 2012 年被 AMD 以 3.57 亿美元收购。在 SeaMicro 之前，Andrew 曾在 Force10 Networks 担任产品管理、营销和业务发展的副总裁，Force10 Networks 后来被 Dell Computing 以 8 亿美元收购。在 Force10 Networks 之前，Andrew 曾在 RiverStone Networks 担任营销和企业发展的副总裁，RiverStone Networks 从公司成立到 2001 年的 IPO 期间。Andrew 拥有斯坦福大学的学士和硕士学位。

Cerebras Systems 正在建设一种新型的计算机系统，旨在从头开始为加速人工智能和改变人工智能工作的未来而设计。

您能否分享 Cerebras Systems 的创立故事？

我的联合创始人和我曾在一家之前的创业公司 SeaMicro 工作，我的首席技术官 Gary 和我在 2007 年创立了这家公司（它于 2012 年被 AMD 以 3.34 亿美元收购）。我的联合创始人是业界一些领先的计算机架构师和工程师 – Gary Lauterbach、Sean Lie、JP Fricker 和 Michael James。当我们在 2015 年再次合作时，我们在白板上写了两件事 – 我们想一起工作，我们想建立一些能够改变行业并进入计算机历史博物馆的事情，这相当于计算机名人堂。我们感到荣幸，当计算机历史博物馆认可了我们的成就，并在去年将我们的 WSE-2 处理器添加到其收藏中，引用了它如何改变了人工智能的格局。

Cerebras Systems 是一支开创性的计算机架构师、计算机科学家、深度学习研究人员和各类工程师的团队，他们热爱无畏的工程。我们团结在一起的使命是建立一种新的计算机，以加速深度学习，这已经成为我们这个时代最重要的工作负载之一。

我们意识到深度学习具有独特的、巨大的和不断增长的计算需求。并且它与遗留机器（如图形处理单元（GPU））不太匹配，这些机器最初是为其他工作而设计的。因此，人工智能今天受到的限制不是应用程序或想法，而是计算的可用性。测试一个新的假设 – 训练一个新的模型 – 可能需要几天、几周甚至几个月，并且可能花费成千上万美元的计算时间。这是一个创新的大障碍。

因此，Cerebras 的起源是建立一种新的计算机，专门为深度学习而优化，从一张白纸开始。为了满足深度学习的巨大计算需求，我们设计和制造了有史以来最大的芯片 – Wafer-Scale Engine（WSE）。在创建世界上第一个晶圆级处理器的过程中，我们克服了设计、制造和封装方面的挑战，这些挑战在计算机 70 年的历史上一直被认为是不可能的。WSE 的每个元素都旨在以前所未有的速度和规模实现深度学习研究，推动业界最快的人工智能超级计算机 Cerebras CS-2。

由于每个组件都针对人工智能工作进行了优化，CS-2 在更小的空间和更低的功耗下提供了比其他任何系统都更高的计算性能。同时，它大大降低了编程复杂性、墙上时钟计算时间和解决方案时间。根据工作负载，从人工智能到高性能计算，CS-2 的性能比传统替代品高出数百倍或数千倍。CS-2 提供了与数百个 GPU 相当的深度学习计算资源，同时提供了单个设备的编程、管理和部署的便捷性。

过去几个月，Cerebras Systems似乎无处不在，新闻中充满了关于新Andromeda人工智能超级计算机的报道，您能告诉我们关于Andromeda的人工智能超级计算机吗？

我们在去年11月宣布了Andromeda，它是有史以来建造的最大的、最强大的人工智能超级计算机之一。Andromeda提供了超过1 Exaflop的人工智能计算和120 Petaflops的密集计算，拥有16个CS-2系统的13.5百万个核心，是唯一一个在大型语言模型工作负载上展示近完美线性扩展的人工智能超级计算机。它也非常容易使用。

为了提醒大家，地球上最大的超级计算机Frontier拥有870万个核心。从原始核心数量来看，Andromeda大约是Frontier的1.5倍。它当然做着不同的工作，但这让你了解到其规模：几乎100 terabits的内部带宽，几乎20,000个AMD Epyc核心供其使用，并且与那些需要几年时间才能搭建的巨型超级计算机不同，我们在三天内就搭建了Andromeda，并且立即开始提供近完美的线性扩展的人工智能计算。

阿根廷国家实验室（Argonne National Labs）是我们的第一个使用Andromeda的客户，他们将其应用于一个问题，该问题曾经在他们的2000个GPU集群Polaris上运行。该问题是运行非常大的GPT-3XL生成模型，同时将整个Covid基因组放在序列窗口中，以便可以在整个基因组的背景下分析每个基因。Andromeda在1、2、4、8和16个节点上运行了一个具有长序列长度（MSL为10K）的独特基因负载，具有近完美的线性扩展。线性扩展是大型集群中最受追求的特征之一。Andromeda在16个CS-2系统上提供了15.87倍的吞吐量，与单个CS-2系统相比，并且训练时间也相应减少。

您能告诉我们关于与Jasper的合作伙伴关系吗？该合作伙伴关系于11月下旬宣布，双方合作的意义是什么？

Jasper是一家非常有趣的公司。他们是营销领域生成人工智能内容的领导者，他们的产品被全球100,000多名客户使用，用于撰写营销、广告、书籍等方面的内容。显然，这是一个非常令人兴奋和快速增长的领域。去年，我们宣布与他们合作，以加速和提高企业和消费者应用中生成人工智能的采用和准确性。Jasper使用我们的Andromeda超级计算机以分数的时间训练其计算密集型模型。这将使生成人工智能模型的使用范围扩大到大众。

借助Cerebras Andromeda超级计算机的力量，Jasper可以显著推进人工智能工作，包括训练GPT网络以适应所有级别的最终用户复杂性和粒度。这提高了生成模型的上下文准确性，并将使Jasper能够快速、轻松地为多个客户类别提供个性化内容。

我们的合作伙伴关系使Jasper能够发明生成人工智能的未来，通过使用传统基础设施无法做到的事情，并加速生成人工智能的潜力，将其益处带给我们在全球范围内不断增长的客户群体。

在最近的一份新闻稿中，国家能源技术实验室和匹兹堡超级计算中心宣布了在Cerebras晶圆级引擎上进行的第一个计算流体动力学模拟。您能描述一下什么是晶圆级引擎以及它是如何工作的吗？

我们的晶圆级引擎（WSE）是我们深度学习计算机系统CS-2的革命性人工智能处理器。与传统的通用处理器不同，WSE从头开始构建以加速深度学习：它具有85万个用于稀疏张量运算的AI优化核心，具有大量高带宽的片上内存，并且具有远远超过传统集群可能实现的互连速度。总的来说，它提供了与传统机器集群相当的深度学习计算资源，但所有这些都在一个设备中，像单个节点一样容易编程——从而大大降低了编程复杂性、墙上时钟计算时间和解决方案时间。

我们的第二代WSE-2，它为我们的CS-2系统提供动力，可以非常快速地解决问题。快速到足以实现对工程系统的实时、高保真模型。它是成功的“强扩展”的一个罕见例子，即使用并行性来减少具有固定大小问题的求解时间。

这就是国家能源技术实验室和匹兹堡超级计算中心使用它的原因。我们刚刚宣布了一些关于计算流体动力学（CFD）模拟的令人兴奋的结果，该模拟由大约2亿个细胞组成，以几乎实时的速度运行。 该视频显示了对雷利-贝纳德对流的高分辨率模拟，这种现象发生在流体层从下部加热和从上部冷却时。这些热驱流体流无处不在——从有风的日子到湖效雪暴，再到地球核心中的岩浆流和太阳中的等离子体运动。正如旁白所说，重要的不仅是模拟的视觉美感，还有我们能够计算它的速度。使用我们的晶圆级引擎，NETL首次能够在几乎实时的速度下操纵一个近2亿个细胞的网格。

正在模拟什么类型的数据？

正在测试的工作负载是热驱流体流，也称为自然对流，这是计算流体动力学（CFD）的一个应用。流体流动自然发生在我们周围——从有风的日子到湖效雪暴，再到板块运动。这一模拟，由大约2亿个细胞组成，关注一种称为“雷利-贝纳德”对流的现象，当流体从下部加热和从上部冷却时就会发生这种现象。在自然界中，这种现象可能导致严重的天气事件，如下击暴流、微下击暴流和直线风暴。它还负责地球核心中的岩浆运动和太阳中的等离子体运动。

2022年11月，NETL推出了一个新的基于API的场模型，该API由CS-2系统提供，比NETL的Joule超级计算机快470倍。这意味着它可以提供超过CPU或GPU集群可以实现的速度。使用一个简单的Python API，允许对计算科学的大部分内容进行晶圆级处理，WFA提供了性能和可用性的增益，这些增益不能在传统计算机和超级计算机上获得——事实上，它在时间到解决方案方面比NETL的Joule 2.0超级计算机快了两个数量级，并且在OpenFOAM上超出了两个数量级。

由于WFA API的简单性，结果在几周内就实现了，并继续了NETL、PSC和Cerebras Systems之间的密切合作。

通过在我们的WSE上转变CFD的速度（它一直是一个缓慢的离线任务），我们可以为此打开一系列新的、实时的用例。我们的目标是通过使计算能力更强大，客户可以进行更多的实验并发明更好的科学。NETL实验室主任Brian Anderson告诉我们，这将大大加速和改进NETL正在开展的一些大型项目，例如减轻气候变化和实现安全的能源未来——例如碳封存和蓝色氢生产等项目。

Cerebras Systems在发布超级计算机方面一直领先于竞争对手，构建最先进的超级计算机面临的挑战是什么？

讽刺的是，大型人工智能最难的挑战之一不是人工智能本身，而是分布式计算。

为了训练今天的最先进的神经网络，研究人员经常使用数百到数千个图形处理单元（GPU）。这并不容易。在GPU集群上扩展大型语言模型训练需要在许多小设备上分配工作负载，处理设备内存大小和内存带宽约束，并仔细管理通信和同步开销。

我们采取了一种完全不同的方法来设计我们的超级计算机，通过开发Cerebras晶圆级集群和Cerebras权重流执行模式。借助这些技术，Cerebras解决了基于三个关键点的扩展新方法：

用晶圆级加速器（如Cerebras CS-2系统）替换CPU和GPU处理。这一变化减少了实现可接受的计算速度所需的计算单元的数量。

为了应对模型大小的挑战，我们采用了一种将计算与模型存储分离的系统架构。一个基于CS-2系统集群（提供足够的计算带宽）的计算服务与一个提供模型子集的内存服务（具有大内存容量）紧密耦合，并且提供给计算集群根据需要。如往常一样，数据服务根据需要为计算服务提供训练数据批次。

一种用于在CS-2集群上调度和协调训练工作的创新模型，采用数据并行、分层训练一次，稀疏权重按需流式传输，并在计算服务中保留激活。

人们已经担心摩尔定律的终结近十年了，行业还能再挤出多少年，并且需要什么样的创新？

我认为我们都在纠结的问题是，摩尔定律——正如摩尔所写的那样——是否已经死亡。它不再需要两年时间就能获得更多的晶体管。现在需要四到五年时间。而且这些晶体管的价格不再相同——它们的价格大大增加。因此，问题变成了，我们是否仍然能从移动到7纳米、5纳米、3纳米时获得相同的好处。这些好处越来越小，并且成本越来越高，因此解决方案变得比简单的芯片更复杂。

杰克·董阿拉（Jack Dongarra），一位领先的计算机架构师，最近发表了一次演讲，他说：“我们在制作FLOPs和I/O方面变得更加擅长。”这确实如此。我们移动数据的能力落后于我们增加芯片上的性能，差距很大。在Cerebras，我们很高兴他说了这句话，因为这验证了我们制作更大芯片和减少离芯片数据移动的决定。这也为未来如何使系统和芯片的性能更好提供了一些指导。还有很多工作要做，不仅仅是榨取更多的FLOPs，还包括如何移动它们，以及如何在芯片和芯片之间移动数据——甚至在非常大的芯片之间。

您是否还有其他关于Cerebras Systems的信息想要分享？

无论好坏，人们经常将Cerebras归类为“真正的大芯片公司”。我们能够为非常、非常大的神经网络提供令人信服的解决方案，消除了进行痛苦的分布式计算的需要。我认为这非常有趣，也是客户喜欢我们的核心原因。2023年的有趣领域将是如何以更高的精度进行大规模计算，使用更少的FLOPs。

我们在稀疏性方面的工作提供了一个极其有趣的方法。我们不做任何不能让我们更接近目标线的事情。将零相乘是一个坏主意。我们将发布一篇关于稀疏性的非常有趣的论文，我认为人们将更努力地寻找如何以更少的FLOPs实现这些高效点，以及如何以更少的功耗实现这些点。并且不仅仅是训练；如何在推理中最小化使用的成本和功耗？我认为稀疏性在这两个方面都有帮助。

感谢您提供的这些深入的答案，希望了解更多的读者可以访问Cerebras Systems。