DeepSeek-V3：中国 AI 初创公司如何在成本和性能上超越科技巨头

生成式人工智能正在迅速发展，改变着各个行业，每天都在创造新的机会。这波创新浪潮激发了科技公司之间的激烈竞争，这些公司试图成为该领域的领导者。OpenAI、Anthropic 和 Meta 等美国公司多年来一直主导着该领域。然而，一个新的竞争者——这家总部位于中国的初创公司 DeepSeek正在迅速崛起。凭借其最新型号 DeepSeek-V3，该公司不仅能够与像 OpenAI 的 GPT-4o, 人类的克劳德 3.5及 梅塔的羊驼 3.1 不仅在性能上领先，而且在成本效率上也超越了它们。除了市场优势之外，该公司还通过公开训练模型和底层技术来打破现状。这些策略曾经由公司秘密掌握，现在向所有人开放。这些发展正在重新定义游戏规则。

在本文中，我们将探讨如何 DeepSeek-V3 取得了突破，以及为什么它可以为企业和创新者塑造生成式人工智能的未来。

现有大型语言模型 (LLM) 的局限性

随着对高级大型语言模型 (LLM) 的需求不断增长，部署这些模型所面临的挑战也日益严峻。GPT-4o 和 Claude 3.5 等模型展现出了令人印象深刻的功能，但效率却显著低下：

• 资源利用效率低下：

大多数模型都依赖于添加层和参数来提高性能。虽然这种方法有效，但它需要大量的硬件资源，从而增加了成本，并且对于许多组织来说，可扩展性不切实际。

• 长序列处理瓶颈：

现有的 LLM 使用 Transformer 架构作为其基础模型设计。Transformer 的内存需求会随着输入序列的延长而呈指数级增长，这会导致推理耗费大量资源，从而限制了其在需要长上下文理解的任务中的有效性。

• 由于沟通开销导致的训练瓶颈：

大规模模型训练经常会因为 GPU 通信开销而面临效率低下的问题。节点之间的数据传输会导致大量空闲时间，从而降低整体计算与通信比率并增加成本。

这些挑战表明，提高性能往往要以牺牲效率、资源利用率和成本为代价。然而，DeepSeek 证明了在不牺牲效率或资源的情况下提高性能是可能的。以下是 DeepSeek 如何应对这些挑战以实现这一目标。

DeepSeek-V3 如何克服这些挑战

DeepSeek-V3 通过创新的设计和工程选择解决了这些限制，有效地处理了效率、可扩展性和高性能之间的权衡。具体方法如下：

• 通过混合专家 (MoE) 实现智能资源分配

与传统模型不同，DeepSeek-V3 采用 混合专家 (MoE) 该架构可以选择性地激活每个 token 的 37 亿个参数。这种方法可确保在需要的地方战略性地分配计算资源，从而实现高性能，而无需传统模型的硬件要求。

• 利用多头潜在注意力 (MHLA) 实现高效的长序列处理

与依赖于 Transformer 架构的传统 LLM 不同，后者需要内存密集型缓存来存储原始键值 (KV)，DeepSeek-V3 采用了创新的 多头潜在注意力 （MHLA）机制。MHLA 通过使用“潜在槽”将 KV 缓存压缩到动态潜在空间中，从而改变了 KV 缓存的管理方式。这些槽充当紧凑的内存单元，只提取最关键的信息，同时丢弃不必要的细节。当模型处理新标记时，这些槽会动态更新，从而保持上下文，而不会增加内存使用量。

通过减少内存使用量，MHLA 使 DeepSeek-V3 运行速度更快、效率更高。它还有助于模型专注于重要事项，提高其理解长文本的能力，而不会被不必要的细节所淹没。这种方法可确保在使用更少资源的同时获得更好的性能。

• 使用 FP8 进行混合精度训练

传统模型通常依赖 FP16 或 FP32 等高精度格式来保持准确性，但这种方法会显著增加内存使用量和计算成本。DeepSeek-V3 采用更具创新性的方法，采用 FP8 混合精度框架，使用 8 位浮点表示进行特定计算。通过智能调整精度以满足每项任务的要求，DeepSeek-V3 减少了 GPU 内存使用量并加快了训练速度，同时又不会影响数值稳定性和性能。

• 使用 DualPipe 解决通信开销问题

为了解决通信开销问题，DeepSeek-V3 采用了创新的 DualPipe 框架，在 GPU 之间重叠计算和通信。该框架允许模型同时执行这两项任务，从而减少 GPU 等待数据的空闲时间。结合先进的跨节点通信内核，通过高速技术优化数据传输，例如 InfiniBand的 和 NVLink，该框架使得模型即使扩展也能实现一致的计算与通信比率。

DeepSeek-V3 有何独特之处？

DeepSeek-V3 的创新提供了尖端性能，同时保持了极低的计算和财务占用。

• 培训效率和成本效益

DeepSeek-V3 最引人注目的成就之一是其经济高效的训练过程。该模型在 Nvidia H14.8 GPU 上训练了约 2.788 万个 GPU 小时，训练内容涉及 800 万亿个高质量 token。整个训练过程的总成本约为 5.57 万美元，仅为同类产品的一小部分。例如，据报道，OpenAI 的 GPT-4o 需要超过 100 亿美元的训练费用。这一鲜明对比凸显了 DeepSeek-V3 的效率，以显著减少的计算资源和财务投资实现了尖端性能。

• 卓越的推理能力：

MHLA 机制使 DeepSeek-V3 具有出色的处理长序列的能力，使其能够动态地优先处理相关信息。这种能力对于理解对多步推理等任务有用的长上下文尤其重要。该模型采用强化学习来训练小规模模型的 MoE。这种采用 MHLA 机制的模块化方法使模型能够在推理任务中表现出色。基准测试一致表明 DeepSeek-V3 性能优于 GPT-4o、Claude 3.5 和 Llama 3.1 在多步骤问题解决和上下文理解方面。

• 能源效率和可持续性：

凭借 FP8 精度和 DualPipe 并行性，DeepSeek-V3 在保持准确性的同时最大限度地降低了能耗。这些创新减少了 GPU 的闲置时间，降低了能耗，并有助于打造更加可持续的 AI 生态系统。

总结

DeepSeek-V3 体现了生成式 AI 创新和战略设计的力量。DeepSeek 在成本效率和推理能力方面超越了行业领先者，证明了无需过多资源需求即可实现突破性进展。

DeepSeek-V3 为组织和开发者提供了一种兼具经济性和尖端功能的实用解决方案。它的出现意味着人工智能在未来不仅会更加强大，而且会更加普及和包容。随着行业的不断发展，DeepSeek-V3 提醒我们，进步并不一定以牺牲效率为代价。