AI 模型与平台
小型推理模型的崛起:紧凑的AI能否匹配GPT级别的推理?
要点小型推理模型(如DeepSeek-R1)现已在MMLU和GSM-8K等关键基准测试中达到GPT级别的性能。
查看更多
- 小型推理模型(如DeepSeek-R1)现已在MMLU和GSM-8K等关键基准测试中达到GPT级别的性能。
- 这些紧凑型模型将运营成本降低高达96%,并能在标准硬件上运行,便于实际部署。
- 其专注于特定任务的设计以牺牲部分通用性换取高效性,在数学和编程等领域表现尤为出色。
近年来,大型语言模型(LLM)的成功吸引了整个人工智能领域的关注。这些模型最初为自然语言处理而设计,如今已发展成强大的推理工具,能够以类似人类的逐步思考过程解决复杂问题。然而,LLM 尽管推理能力出色,却也存在计算成本高、部署速度慢等明显缺点,因此难以在移动设备或边缘计算等资源受限的现实环境中使用。这推动了人们对更小、更高效模型的兴趣:它们应在降低成本和资源需求的同时提供相近的推理能力。本文探讨小型推理模型的兴起、潜力、挑战,以及它们对人工智能未来的影响。
观念的转变
在人工智能近年的大部分发展历程中,该领域一直遵循“规模定律”:随着数据量、算力和模型规模增加,模型性能会以可预测的方式提升。这种方法虽然催生了强大的模型,也带来了高昂的基础设施成本、环境影响和延迟问题。并非所有应用都需要拥有数千亿参数的超大模型的全部能力。在设备端助手、医疗保健和教育等许多实际场景中,只要能够有效推理,小型模型也能取得相近的结果。
理解人工智能中的推理
人工智能中的推理,是指模型遵循逻辑链、理解因果关系、推导结论、规划流程步骤并识别矛盾的能力。对于语言模型而言,这通常意味着模型不仅要检索信息,还要通过结构化、逐步的方式处理信息并作出推断。这一级别的推理通常通过微调 LLM 来实现,让模型在得出答案前完成多步推理。此类方法虽然有效,却需要大量计算资源,部署也可能缓慢且昂贵,从而引发对可及性和环境影响的担忧。
理解小型推理模型
小型推理模型旨在复现大型模型的推理能力,同时提高算力、内存使用和延迟方面的效率。这些模型通常采用知识蒸馏技术,让较小的“学生”模型向较大的预训练“教师”模型学习。蒸馏过程使用大型模型生成的数据训练小型模型,以转移其推理能力,随后再对学生模型进行微调以改善性能。在某些情况下,还会使用带有专门领域奖励函数的强化学习,进一步增强模型执行特定任务推理的能力。
小型推理模型的兴起与进步
小型推理模型发展的一个重要里程碑是DeepSeek-R1 的发布。尽管它只在规模相对有限的旧款 GPU 集群上训练,但在 MMLU 和 GSM-8K 等基准上取得了可与 OpenAI o1 等大型模型相比的性能。这一成果促使人们重新审视“模型越大必然越强”的传统规模化思路。
DeepSeek-R1 的成功源于创新的训练流程:它在早期阶段不依赖监督微调,而是结合大规模强化学习。这项创新催生了 DeepSeek-R1-Zero,其推理能力可与大型推理模型相较。冷启动数据等后续改进又提升了模型的连贯性和任务执行能力,尤其是在数学和编程领域。
此外,蒸馏技术对于从大型模型中开发更小、更高效的模型至关重要。DeepSeek 发布了参数规模从 15 亿到 700 亿不等的蒸馏版本。研究人员利用这些模型训练了体量小得多的 DeepSeek-R1-Distill-Qwen-32B,它在多个基准上超过了 OpenAI o1-mini。这些模型可以在标准硬件上部署,因此更适合广泛的应用场景。
小型模型能否达到 GPT 级推理能力
要判断小型推理模型(SRM)能否达到 GPT 等大型推理模型(LRM)的推理能力,需要考察它们在标准基准上的表现。例如,DeepSeek-R1 在 评测中得分约为 0.844,其 MMLU 测试成绩可与 o1 等大型模型相比。在侧重小学数学的 GSM-8K 数据集上,DeepSeek-R1 的蒸馏模型取得了顶尖表现,超过 o1 和 o1-mini。
在 LiveCodeBench 和 CodeForces 等编程任务中,DeepSeek-R1 的蒸馏模型表现与 o1-mini 和 GPT-4o 相近,展现了很强的编程推理能力。不过,在需要更广泛语言理解或处理长上下文窗口的任务上,大型模型仍然占据优势,因为小型模型往往更专注于特定任务。
尽管优势明显,小型模型在长时间推理或面对分布外数据时仍可能遇到困难。例如,在 LLM 国际象棋模拟中,DeepSeek-R1 比大型模型犯下更多错误,说明它在长时间保持专注和准确性方面仍有限制。
权衡与实际影响
比较 SRM 与 GPT 级 LRM 时,模型规模与性能之间的权衡非常关键。小型模型所需内存和算力更少,适合边缘设备、移动应用以及必须离线推理的场景。高效率也会降低运营成本,DeepSeek-R1 等模型的运行成本可比 o1 等大型模型低至多 96%。
不过,这些效率收益也伴随着妥协。小型模型通常针对具体任务微调,其通用性可能不及大型模型。例如,DeepSeek-R1 虽然擅长数学和编程,但缺少图像理解等多模态能力,而 GPT-4o 等大型模型能够处理这类任务。
即使存在这些限制,小型推理模型仍有广阔的实际应用空间。在医疗保健领域,它们可以驱动在标准医院服务器上分析医疗数据的诊断工具;在教育领域,它们可以用于开发个性化辅导系统,为学生提供逐步反馈;在科学研究中,它们可以协助数学、物理等领域的数据分析和假设检验。DeepSeek-R1 等模型的开源特性也促进了协作并扩大了人工智能的可及性,使小型组织也能受益于先进技术。
结论
语言模型向小型推理模型演进,是人工智能领域的一项重要进步。虽然这些模型尚未完全达到大型语言模型的广泛能力,但它们在效率、成本效益和可及性方面具有显著优势。通过在推理能力和资源效率之间取得平衡,小型模型将在众多应用中发挥关键作用,使人工智能在现实世界中的使用更加实用和可持续。












