Cerebras 推出世界上最快的 AI 推理解决方案：20 倍速度，仅为原来的几分之一成本

Cerebras Systems，一家高性能 AI 计算的先驱公司，推出了一个开创性的解决方案，预计将会彻底改变 AI 推理领域。2024 年 8 月 27 日，该公司宣布推出 Cerebras 推理，这是世界上最快的 AI 推理服务。凭借其卓越的性能指标，Cerebras 推理相比传统的基于 GPU 的系统，提供了 20 倍的速度和更低的成本，重新定义了 AI 计算的标准。

无与伦比的速度和成本效率

Cerebras 推理旨在为各种 AI 模型提供卓越的性能，尤其是在大型语言模型（LLM）领域。例如，它可以处理 Llama 3.1 8B 模型的 1,800 个令牌每秒和 Llama 3.1 70B 模型的 450 个令牌每秒。这种性能不仅比 NVIDIA GPU 基础解决方案快 20 倍，而且成本也大大降低。Cerebras 提供此服务的起价为 Llama 3.1 8B 模型每百万令牌 10 美分和 Llama 3.1 70B 模型每百万令牌 60 美分，相比现有的 GPU 基础解决方案，价格性能比提高了 100 倍。

保持准确性同时突破速度界限

Cerebras 推理最令人印象深刻的方面之一是其在保持最先进的准确性的同时提供无与伦比的速度的能力。与其他为速度而牺牲精度的方法不同，Cerebras 的解决方案在整个推理过程中保持在 16 位域内。这确保了性能的提高不会以 AI 模型输出质量为代价，而这对于注重精度的开发人员来说是一个至关重要的因素。
Micah Hill-Smith，Artificial Analysis 的联合创始人和 CEO 强调了这一成就的重要性：“Cerebras 为 Meta 的 Llama 3.1 8B 和 70B AI 模型提供了比 GPU 基础解决方案快一个数量级的速度。我们测量到 Llama 3.1 8B 的速度超过每秒 1,800 个输出令牌，Llama 3.1 70B 的速度超过每秒 446 个输出令牌——这是一个新的记录。”

AI 推理的日益重要性

AI 推理 是 AI 计算中增长最快的领域，占据了大约 40% 的 AI 硬件市场。像 Cerebras 提供的高速 AI 推理的出现，就像宽带互联网的引入一样，开启了新的机会，并标志着 AI 应用的新时代。有了 Cerebras 推理，开发人员现在可以构建下一代需要复杂、实时性能的 AI 应用，例如 AI 代理和智能系统。
Andrew Ng，DeepLearning.AI 的创始人，强调了 AI 开发中速度的重要性：“DeepLearning.AI 有多个需要重复提示 LLM 来获取结果的代理工作流。Cerebras 已经建立了令人印象深刻的快速推理能力，这将对此类工作负载非常有帮助。”

广泛的行业支持和战略合作

Cerebras 获得了行业领袖的强烈支持，并与多家公司建立了战略合作伙伴关系，以加速 AI 应用的开发。Kim Branson，GlaxoSmithKline 的 AI/ML 高级副总裁，也是 Cerebras 的早期客户，强调了这一技术的变革潜力：“速度和规模改变一切。”
其他公司，如 LiveKit，Perplexity 和 Meter，也对 Cerebras 推理将对其业务产生的影响表示了热情。这些公司利用 Cerebras 的计算能力，创建更响应、更人性化的 AI 体验，改善搜索引擎中的用户交互，并增强网络管理系统。

Cerebras 推理：层级和可访问性

Cerebras 推理提供了三个具有竞争力的价格层级：免费、开发者和企业。免费层级提供免费的 API 访问，具有慷慨的使用限制，使其对广泛的用户开放。开发者层级提供了灵活的无服务器部署选项，Llama 3.1 模型的价格为每百万令牌 10 美分和 60 美分。企业层级面向具有持续工作负载的组织，提供精细调整的模型、自定义服务级别协议和专用支持，价格可根据要求提供。

驱动 Cerebras 推理：Wafer Scale Engine 3（WSE-3）

Cerebras 推理的核心是 Cerebras CS-3 系统，由行业领先的 Wafer Scale Engine 3（WSE-3）驱动。这个 AI 处理器在大小和速度方面无与伦比，提供的内存带宽比 NVIDIA 的 H100 多 7,000 倍。WSE-3 的巨大规模使其能够处理多个并发用户，确保在不损害性能的情况下提供极快的速度。这种架构使 Cerebras 能够避免通常困扰基于 GPU 的系统的权衡，提供最先进的性能以满足 AI 工作负载。

无缝集成和开发者友好 API

Cerebras 推理专为开发者设计。它具有与 OpenAI Chat Completions API 兼容的 API，允许进行轻松的迁移，仅需最少的代码更改。这种开发者友好的方法确保将 Cerebras 推理集成到现有的工作流中尽可能无缝，从而实现高性能 AI 应用的快速部署。

Cerebras Systems：推动各行业的创新

Cerebras Systems 不仅是 AI 计算的领袖，也是各个领域的关键参与者，包括医疗保健、能源、政府、科学计算和金融服务。该公司的解决方案已在国家实验室、Aleph Alpha、Mayo Clinic 和 GlaxoSmithKline 等机构推动了突破。
通过提供无与伦比的速度、可扩展性和准确性，Cerebras 正在使各个行业的组织能够解决 AI 和其他领域中最具挑战性的问题。不论是加速医疗保健中的药物发现还是增强科学研究中的计算能力，Cerebras 都处于创新发展的前沿。

结论：AI 推理的新时代

Cerebras Systems 正在通过推出 Cerebras 推理为 AI 推理设定新的标准。通过提供传统基于 GPU 的系统的 20 倍速度和更低的成本，Cerebras 不仅使 AI 更加普及，也为下一代 AI 应用的发展铺平了道路。凭借其尖端技术、战略合作伙伴关系和对创新的承诺，Cerebras 正在引领 AI 行业进入一个前所未有的性能和可扩展性的新时代。
有关 Cerebras Systems 和尝试 Cerebras 推理的更多信息，请访问 www.cerebras.ai。