Cerebras 推出世界上最快的 AI 推理解决方案：20 倍的速度，仅为传统成本的一小部分

Cerebras Systems (CBRS ) ，一家高性能 AI 计算的先驱公司，推出了一个开创性的解决方案，这将革新 AI 推理。2024 年 8 月 27 日，该公司宣布推出 Cerebras 推理，这是世界上最快的 AI 推理服务。凭借其性能指标远远超过传统的基于 GPU 的系统，Cerebras 推理提供了 20 倍的速度，仅为传统成本的一小部分，设定了新的 AI 计算基准。

无与伦比的速度和成本效率

Cerebras 推理旨在为各种 AI 模型提供卓越的性能，特别是在大型语言模型（LLM）这一快速发展的领域。例如，它可以处理 Llama 3.1 8B 模型的 1,800 个令牌每秒和 Llama 3.1 70B 模型的 450 个令牌每秒。这种性能不仅比 NVIDIA (NVDA ) 基于 GPU 的解决方案快 20 倍，而且成本也大大降低。Cerebras 提供此服务，起价为每百万令牌 10 美分（Llama 3.1 8B 模型）和 60 美分（Llama 3.1 70B 模型），这代表了与现有基于 GPU 的产品相比 100 倍的价格性能改进。

在推动速度的同时保持准确性

Cerebras 推理最令人印象深刻的方面之一是其在保持最先进的准确性的同时提供无与伦比的速度的能力。与其他牺牲精度以换取速度的方法不同，Cerebras 的解决方案在整个推理运行过程中保持在 16 位域内。这确保了性能增益不会以 AI 模型输出的质量为代价，而这对于注重精度的开发人员来说是一个关键因素。
Micah Hill-Smith，Artificial Analysis 的联合创始人和 CEO 强调了这一成就的重要性：“Cerebras 的速度比基于 GPU 的解决方案快了一个数量级，适用于 Meta 的 Llama 3.1 8B 和 70B AI 模型。我们测量的速度超过每秒 1,800 个输出令牌（Llama 3.1 8B），超过每秒 446 个输出令牌（Llama 3.1 70B）——这是这些基准测试中的新纪录。”

AI 推理的日益重要性

AI 推理是 AI 计算中增长最快的领域，占 AI 硬件市场的约 40%。像 Cerebras 提供的高速度 AI 推理的出现就像宽带互联网的引入一样——解锁新的机会，标志着 AI 应用的新时代。凭借 Cerebras 推理，开发人员现在可以构建下一代需要复杂、实时性能的 AI 应用，例如 AI 代理和智能系统。

Andrew Ng，DeepLearning.AI 的创始人强调了 AI 开发中速度的重要性：“DeepLearning.AI 有多个需要重复提示大型语言模型以获得结果的工作流。Cerebras 已经建立了令人印象深刻的快速推理能力，这将非常有助于此类工作负载。”

广泛的行业支持和战略合作伙伴关系

Cerebras 获得了行业领袖的强烈支持，并建立了战略合作伙伴关系，以加速 AI 应用的开发。GlaxoSmithKline 的 AI/ML 高级副总裁 Kim Branson，一位早期的 Cerebras 客户，强调了这一技术的变革潜力：“速度和规模改变一切。”
其他公司，如 LiveKit，Perplexity 和 Meter，也对 Cerebras 推理对其运营的影响表示了热情。这些公司利用 Cerebras 的计算能力创建更具响应性、更像人类的 AI 体验，改善搜索引擎中的用户交互，并增强网络管理系统。

Cerebras 推理：层级和可访问性

Cerebras 推理在三个具有竞争力的层级中提供：免费、开发人员和企业。免费层级提供免费的 API 访问，具有慷慨的使用限制，使其对广泛的用户来说是可访问的。开发人员层级提供了灵活的无服务器部署选项，Llama 3.1 模型的价格为每百万令牌 10 美分和 60 美分。企业层级适用于具有持续工作负载的组织，提供精细调节的模型、自定义服务级别协议和专用支持，价格可根据要求提供。

驱动 Cerebras 推理：Wafer Scale Engine 3（WSE-3）

Cerebras 推理的核心是 Cerebras CS-3 系统，采用行业领先的 Wafer Scale Engine 3（WSE-3）。此 AI 处理器在规模和速度方面无与伦比，提供的内存带宽比 NVIDIA 的 H100 快 7,000 倍。WSE-3 的大规模使其能够处理许多并发用户，确保在不损害性能的情况下提供极快的速度。这种架构使 Cerebras 能够避免通常困扰基于 GPU 的系统的权衡，提供 AI 工作负载的最佳性能。

无缝集成和开发人员友好的 API

Cerebras 推理专为开发人员设计。它具有与 OpenAI Chat Completions API 兼容的 API，使得迁移变得容易，代码更改最少。这种开发人员友好的方法确保将 Cerebras 推理集成到现有工作流程中尽可能无缝，从而实现高性能 AI 应用的快速部署。

Cerebras Systems：在各个行业推动创新

Cerebras Systems 不仅是 AI 计算的领导者，也是各个行业的关键参与者，包括医疗保健、能源、政府、科学计算和金融服务。该公司的解决方案在国家实验室、Aleph Alpha、Mayo Clinic 和 GlaxoSmithKline 等机构中发挥了关键作用。
通过提供无与伦比的速度、可扩展性和准确性，Cerebras 正在使各个行业的组织能够解决 AI 和其他领域中一些最具挑战性的问题。不论是加速医疗保健中的药物发现还是增强科学研究中的计算能力，Cerebras 都处于推动创新发展的前沿。

结论：AI 推理的新时代

Cerebras Systems 正在通过推出 Cerebras 推理为 AI 推理设定新的标准。通过提供传统基于 GPU 的系统的 20 倍速度，仅为传统成本的一小部分，Cerebras 不仅使 AI 更加便捷，而且为下一代 AI 应用的发展铺平了道路。凭借其尖端技术、战略合作伙伴关系和对创新的承诺，Cerebras 有望引领 AI 行业进入前所未有的性能和可扩展性的新时代。

有关 Cerebras Systems 和 Cerebras 推理的更多信息，请访问 www.cerebras.ai。