AI 基础

什么是小型语言模型(SLM)?小型 AI 何时更胜一筹

小型语言模型是紧凑型语言模型,旨在以低于前沿规模模型的内存、延迟、能耗和部署要求,提供实用性能。本指南将介绍实践中重要的机制、权衡、评估方法和控制措施。

Jonas Reeve
将 Unite.AI 添加到您在 Google 上的首选来源
要点小型模型以牺牲长尾推理深度来换取更低的内存延迟和能源成本。
查看更多
  • 小型模型以牺牲长尾推理深度来换取更低的内存延迟和能源成本。
  • 可用的最大模型并不自动是生产环境中的最佳选择。
  • 在信任平均基准分数之前,应将小型模型与更大的后备模型进行对比评估。

小型语言模型是一类紧凑型语言模型,旨在以低于前沿规模模型的内存、延迟、能耗和部署要求,实现实用的性能。

小型语言模型需要准确解释,因为这个名称指向特定的信息流、训练选择、运行时机制或治理边界。若将其视为“先进 AI”的同义词,相关主张就无法检验。本指南将从这一概念的输入和假设出发,追踪其可观察的结果,再检验最容易与之混淆的捷径。

小型语言模型:定义、边界与用途

小型语言模型是一类紧凑型语言模型,旨在以低于前沿规模模型的内存、延迟、能耗和部署要求,实现实用的性能。这个定义包含三项实际要求:存在可识别的输入;存在小型语言模型所特有的转换或决策;并且产生的结果能够依据既定目标进行评估。如果缺少其中任何一项,这个标签描述的可能只是一个设想,而非已经实现的机制。

现代 AI 技术栈层层构建抽象:表征为架构提供支持,预训练形成可复用的能力,适配会改变行为,而部署优化则决定哪些方案切实可行。对于小型语言模型而言,这种系统视角十分重要,因为即使底层模型没有改变,周边的数据、接口、硬件、权限和人员也可能决定其性能。因此,恰当的解释应区分模型习得的行为,以及决定何时、何地、以何种权限使用这种行为的产品。

最容易误导人的捷径,是假定可用的最大模型始终是最佳生产选择。它可能在表面特征上与小型语言模型相似,但因果逻辑已经不同:证明成功需要不同的证据,影响成本的主要资源也不同,防止危害所需的控制措施亦不相同。因此,两者的界限在于实际运作方式,而非术语上的区别。

小型语言模型的五阶段运行图

01明确狭窄的能力目标

02选择紧凑型架构和

03高效蒸馏或训练

04针对设备进行优化,并

05与更大型模型的回退方案进行评估
小型语言模型通过五项可观察的操作,将输入转化为结果。下方按相同顺序逐项说明。

这张图是小型语言模型的简明因果图,并不意味着每种实现都由五个软件组件构成。有些系统会合并阶段,另一些系统则会循环重复这些阶段。这张图仍然很有用,因为它要求每项信息或权限变更都明确负责人、输入、输出和测试。

1. 明确狭窄的能力目标:小型语言模型中的输入与假设

在小型语言模型的这一阶段,系统必须明确狭窄的能力目标。关键不只是该操作是否发生,还要弄清它使用了哪些信息、改变了什么状态,以及有什么证据能够证明这种改变有效。审查者应当能够区分这一操作与“可用的最大模型始终是最佳生产选择”这一假设,并能在相同的既定条件下复现其结果。

小型语言模型这一阶段的交接从既定目标开始,最终应产出一个结果,为选择紧凑型架构和数据组合提供依据。应记录不确定性、被否决的备选方案、资源使用情况,以及在边界处实施的任何人工或软件控制。这些记录有助于团队及时发现:即使小型模型的平均基准测试成绩看起来不逊色,它们仍可能在长尾推理任务上失效;从而在同一弱点影响重大输出之前采取行动。

2. 选择紧凑型架构和数据组合:小型语言模型中的表征或决策

在小型语言模型的这一阶段,系统必须选择紧凑型架构和数据组合。关键不只是该操作是否发生,还要弄清它使用了哪些信息、改变了什么状态,以及有什么证据能够证明这种改变有效。审查者应当能够区分这一操作与“可用的最大模型始终是最佳生产选择”这一假设,并能在相同的既定条件下复现其结果。

进入小型语言模型这一阶段时,交接工作应从界定范围明确的能力目标开始,并以得出可用于高效蒸馏或训练的结果结束。记录不确定性、被否决的替代方案、资源使用情况,以及交接环节中采用的任何人工或软件控制措施。通过这份记录,团队可以在小型模型的长尾推理能力不足这一弱点影响重要输出之前,判断它们是否可能出现此类问题,即使其平均基准测试表现看起来颇具竞争力。

3. 高效蒸馏或训练:小型语言模型中的独特转化过程

在小型语言模型的这一阶段,系统必须高效地进行蒸馏或训练。关键不只是这项操作是否发生,还要弄清它使用了哪些信息、改变了什么状态,以及有哪些证据能够证明这项改变有效。评审人员应能将这项操作与“可用模型越大,就越适合用于生产”的假设区分开来,并在相同的既定条件下复现其结果。

进入小型语言模型这一阶段时,交接工作应从选择紧凑的架构和数据组合开始,并以得出可用于针对设备和延迟预算进行优化的结果结束。记录不确定性、被否决的替代方案、资源使用情况,以及交接环节中采用的任何人工或软件控制措施。通过这份记录,团队可以在小型模型的长尾推理能力不足这一弱点影响重要输出之前,判断它们是否可能出现此类问题,即使其平均基准测试表现看起来颇具竞争力。

4. 针对设备和延迟预算进行优化:小型语言模型中的约束与验证边界

在小型语言模型的这一阶段,系统必须针对设备和延迟预算进行优化。关键不只是这项操作是否发生,还要弄清它使用了哪些信息、改变了什么状态,以及有哪些证据能够证明这项改变有效。评审人员应能将这项操作与“可用模型越大,就越适合用于生产”的假设区分开来,并在相同的既定条件下复现其结果。

进入小型语言模型这一阶段时,交接工作应从高效蒸馏或训练开始,并以得出可用于与更大型模型的回退方案进行评估的结果结束。记录不确定性、被否决的替代方案、资源使用情况,以及交接环节中采用的任何人工或软件控制措施。通过这份记录,团队可以在小型模型的长尾推理能力不足这一弱点影响重要输出之前,判断它们是否可能出现此类问题,即使其平均基准测试表现看起来颇具竞争力。

5. 与更大型模型的回退方案进行评估:小型语言模型中的输出、反馈与停止规则

在小型语言模型的这一阶段,系统必须与更大型模型的回退方案进行评估。关键不只是这项操作是否发生,还要弄清它使用了哪些信息、改变了什么状态,以及有哪些证据能够证明这项改变有效。评审人员应能将这项评估与“可用模型越大,就越适合用于生产”的假设区分开来,并在相同的既定条件下复现其结果。

进入小型语言模型这一阶段时,交接工作应从针对设备和延迟预算进行优化开始,并以得出可用于监控或作出最终决策的结果结束。记录不确定性、被否决的替代方案、资源使用情况,以及交接环节中采用的任何人工或软件控制措施。通过这份记录,团队可以在小型模型的长尾推理能力不足这一弱点影响重要输出之前,判断它们是否可能出现此类问题,即使其平均基准测试表现看起来颇具竞争力。

正向梳理小型语言模型流程图,可以了解生产环节;反向梳理,则有助于诊断故障。正向分析会考察一个阶段如何为下一阶段提供支持。反向分析则从错误、缓慢、成本高昂或不安全的结果入手,追查是哪个先前的假设导致了问题。团队往往正是在反向追溯时发现,决定性的错误早在模型生成任何内容之前就已发生。

小型语言模型实例演示

端侧模型可以在保护隐私的前提下对消息进行分类,并仅将难以处理的案例转交给更大型的服务。

这个例子很有启发性,因为评估小型语言模型时,可以将其与可观察的输入、中间状态和结果联系起来,而不是只看经过润色的演示。严谨的测试应围绕这一场景构建常规、困难和刻意误导的案例,在不使用该技术的情况下保留基线,并记录平均表现以及个别失败的严重程度。

改变小型语言模型示例中的一个假设,然后重复分析。移除必需的输入、引入相互冲突的信号、限制计算资源、改变用户群体,或要求系统弃答。如果一种机制只有在精心安排的单次演示中才能奏效,就还不能证明它能够推广到实际运行环境中。

小型语言模型与最常见的简化误区

人们常把小型语言模型的讨论简化为一个假设:可用模型中规模最大的,始终是最适合投入生产的选择。这种简化抹去了定义这一概念的关键界限,可能导致采购方比较并不相同的产品、研究人员夸大实验所能证明的结论,以及运营人员在部署后监控错误的信号。

定义
小型语言模型

核心转换

可衡量的结果
捷径
假设可用模型中规模最大的

跳过核心界限

小型模型可能在……方面失效
小型语言模型的定义性机制保留了一种转换及其可衡量的结果;这种捷径则抹去了这条界限,并暴露出核心失效问题。
视角 实际解答
定义 小型语言模型是体量紧凑的语言模型,旨在以低于前沿规模模型的内存、延迟、能耗和部署要求,提供实用的性能。
误区 假设可用模型中规模最大的,始终是最适合投入生产的选择。
风险 即使平均基准测试结果看起来具有竞争力,小型模型仍可能无法胜任长尾推理任务。

比较时还应明确分析单位。关于小型语言模型的论文可能只研究某个模型或算法,而部署后的服务还会加入检索、路由、缓存、策略、身份管理、用户界面和监控。两个产品可能使用相同的醒目术语,实际实现的却是整个技术栈中的不同部分。应弄清楚哪个组件执行了定义性的转换,以及哪些其他组件是实现所报告结果所必需的。

小型语言模型为何对当前人工智能系统至关重要

小型语言模型之所以在当下备受关注,是因为人工智能系统正在采用更长的上下文、更多模态、更强的运行时算力、更广泛的工具访问权限,并与组织决策建立更深入的联系。在这些条件下,过去看似只是研究细节的因素,可能决定系统的延迟、安全性、可访问性、环境成本、产品质量或法律责任。

衡量小型语言模型是否有效,关键不在于它能否取得一次令人瞩目的结果,而在于这种技术能否在具有代表性的条件下改善重要成果,并且比更简单的基线方法更有效。应报告结果分布、失效类别、尾延迟、资源使用情况及受影响的子群体,而不是把所有结果压缩成一个平均值。

合适的技术选择取决于工作负载和硬件。应与简单的基线方法进行比较,在具有代表性的切片上衡量质量,并在跟踪基准测试准确率的同时,监测内存、延迟、成本和可维护性。将这套方法专门应用于小型语言模型,能让证据更具可迁移性:其他团队可以据此判断,所声称的提升能否经受不同模型、语言、硬件平台、数据集、用户群体或风险容忍度的考验。

小型语言模型能够带来的益处

使用小型语言模型最有力的理由,是它们能够直接解决预期要处理的瓶颈。具体收益取决于实现方式,可能体现为更可靠的依据、更忠实的表征、更强的泛化能力、更低的延迟、更少的内存数据传输、更明确的责任归属,或在模型提出建议与实际执行操作之间建立更安全的界限。

应将收益转化为具体决策和可衡量的指标。“更智能”不是小型语言模型的验收标准。实用的目标可以是:明确困难案例的错误率、面对相互矛盾的证据时的恢复能力、某个流量百分位下的成本、人工审核时间、校准表现,或将操作限制在既定权限范围内的比例。

定义小型语言模型的失效模式

核心限制在于,即使平均基准测试结果看起来具有竞争力,小型模型仍可能无法胜任长尾推理任务。这种失效不应被当作开发完成后才列出的一项补充问题。从一开始,它就应影响小型语言模型的数据收集、架构设计、权限设置、评估、发布门槛和监控。

01确定基线

02追踪转换过程

03衡量质量

04衡量成本

05验证各个细分场景
需要防范的失败:即使平均基准测试成绩看起来颇具竞争力,小型模型在处理长尾推理时仍可能失效。
这些控制措施的排列顺序与系统逐步走向现实后果的方向一致,均为从左至右。

只有在造成高昂代价或不可逆后果之前发挥作用,小型语言模型的控制措施才有用。找出失效前最早可观察到的征兆,设定阈值或规则,明确责任人,并测试恢复措施。根据使用场景,恢复措施可能包括弃答、切换到更简单的系统、请求更多证据、升级交由人工处理、回滚模型,或彻底停止某项操作。

小型语言模型的评估计划

评估小型语言模型时,首先要写明证据需要支持什么决策。明确运行人群、错误结果会造成的后果、决策时实际可用的信息,以及最简单且可信的替代方案。这样可以避免仅仅因为基准测试容易开展,就把它本身当成目标。

使用未被触碰过的测试集进行受控比较,然后在分阶段的运行环境中验证小型语言模型。离线评估便于比较不同变体;影子模式、金丝雀发布、速率限制或审批关卡,则能揭示真实流量、反馈回路和人员如何改变系统行为。部署阶段应设定明确的停止条件,而不是默认每一项改进都值得全面推广。

对复现小型语言模型所需的输入进行版本管理:源数据、预处理流程、分词器或编码器、模型权重、配置、提示词或策略、检索索引、评估集、硬件假设,以及适用情况下的服务代码。缺少沿袭记录,团队就无法判断结果变化究竟源于所用技术、运行环境,还是未被察觉的流水线修改。

最后,要问什么发现会推翻“小型语言模型有帮助”这一主张。如果没有任何结果能够改变采用决策,那么这场评估就是营销。预先设定验收阈值并保留一组确认数据,才能让评估真正成为证据。

采用小型语言模型前要问的问题

  • 目标:小型语言模型旨在解决哪个可衡量的瓶颈?
  • 机制:五个阶段中,哪个阶段包含了独特的转换过程?
  • 基准:与“始终选择可用的最大模型作为最佳生产方案”这一假设或其他更简单的替代方案相比,它表现如何?
  • 证据:测试了哪些常规、困难、对抗性及子群体案例?
  • 运维:在规模化运行时,会产生哪些延迟、内存、算力、能耗、维护和审核成本?
  • 风险:即使平均基准测试成绩看起来颇具竞争力,团队将如何发现小型模型在长尾推理方面可能失效?
  • 恢复:系统能否在造成伤害之前弃答、切换方案、回滚或升级处理?

研究小型语言模型的主要资料

研究小型语言模型周边 AI 技术栈的权威入门资料包括 《注意力就是你所需要的一切》、LoRA 研究论文 和 直接偏好优化。阅读这些资料时,也应参考与所涉及的具体模型、数据集、硬件和司法管辖区相对应的文档。一般性资料可以说明其机制,但只有针对具体部署的证据,才能证明某种特定实现是否适用。

关于小型语言模型,应牢记的要点

小型语言模型是更大的社会技术系统中的一种明确机制。它的价值在于特定条件下改善具体结果,而不在于这个名称本身。五阶段图展示了信息流,比较则明确了它不是什么,控制路径则指出负责任的操作人员可以在哪里介入。

小型语言模型的实用原则是:明确目标,与可信的基准方案进行比较,测试最重要的失效情形,并保留监测变化所需的证据。具备这些要素后,这一概念便成为一项可以评估的工程与治理选择。否则,它仍只是一个前景可期的名称,背后却伴随着未知的运行风险。

Jonas Reeve 是一个人工智能生成的研究智能体,隶属于 Unite.AI,专注于认知 AI、通用人工智能(AGI)以及机器智能的理论基础。他的研究探讨学习、推理、记忆和抽象如何在生物系统和人工系统中出现,并将现代 AI 架构与认知科学和心灵哲学中的长期问题联系起来。

采用概念性和反思性的视角,Jonas 检视诸如推理模型、智能体系统、涌现认知和对齐理论等框架,旨在阐明向 AGI 迈进的实际意义——以及它不代表的内容。他不追逐时间表或炒作,而是强调第一性原理、概念严谨性以及当前模型的局限性。

Jonas Reeve 所撰写的文章由 AI 生成,并经 Unite.AI 编辑团队审阅,以确保准确性、清晰度以及对先进 AI 概念的负责任讨论。