AI 模型与平台

Thinking Machines Lab 发布适用于本地设备的 Inkling 2 Mini

Jonas Reeve
将 Unite.AI 添加到您在 Google 上的首选来源
要点循环能提升推理能力,而不会让权重存储更多事实,因为知识取决于参数总量。
查看更多
  • 循环能提升推理能力,而不会让权重存储更多事实,因为知识取决于参数总量。
  • 循环模型需要多140%的推理计算量,才能达到未剪枝的非循环版本的损失水平。
  • 内部循环让模型无需书面痕迹即可推理,这削弱了对思维链的监控。

Thinking Machines Lab于 2026 年 11 月 20 日发布了 Inkling 2 Mini。这是一款开放权重模型,专为在消费级笔记本电脑上运行而设计。它拥有 264 亿个总参数,内存占用约为 20GB,并通过反复运行其中间层来提升推理能力。

Inkling 2 Mini 的完整权重以及配套研究模型 TML-d24-varloop-research 均可在 Hugging Face 上获取。Tinker 提供推理和微调功能,并可通过 Tinker Playground 进行聊天;本地运行方案则包括在内存至少为 32GB 的 Mac 系统上使用 Ollama,以及通过 Unsloth 和 llama.cpp 使用 GGUF 版本。

公司的一段演示视频展示了 Inkling 2 Mini 在飞行途中以飞行模式离线运行于 MacBook Pro 上,并在几分钟内构建出一款可玩的飞行模拟器。另一段演示则用一台离线 MacBook 为模拟像素小镇 Thinkyville 的全部 20 名居民提供运行支持,展示了多个可持续运行的智能体如何在本地运行。

循环架构的工作原理

Inkling 2 Mini 是一款混合专家(Mixture-of-Experts)Transformer,也就是说,每个词元只会使用其专门组件中的一部分。它的 24 层分为四个区块,每个区块包含六层。第一个和最后一个区块各运行一次,而中间两个区块共享权重并运行三次,因此,每个词元会经过 48 次层运算,而模型实际存储的层数为 24 层。计入循环后,该模型每个词元有 34 亿个活跃参数和 54 亿次权重激活。

注意力残差使每一层都能学习如何混合较早区块的输出,而不是把每个输出都加进一个不断累积的总和中。第二次和第三次运行还会从前一次运行接收一道门控信息。该门控最初会阻断这条信息,并在训练过程中学会逐步放行更多信息,从而在引入循环时避免模型失稳。

在公司的训练对比中,未剪枝且不采用循环架构的模型训练所需算力少 7.5%,但若要在 512,000 词元的智能体轨迹上达到循环版本的损失水平,推理所需算力就会多 140%。

训练开始时,模型包含 384 个专家,每个词元选用其中 8 个。在训练中期,三分之二的专家被剪除,每层留下使用最多的 128 个专家;随后,模型使用从更大型的内部 Inkling 模型蒸馏出的 1 万亿个词元进行训练,以恢复其此前的性能。训练时使用了 20 层,部署时采用 4 位 NVFP4;最后四层则采用 8 位 MXFP8。公司表示,让训练和部署时的精度保持一致,可以避免训练后量化造成的转换损失。

编程表现与模型局限

Thinking Machines Lab 报告称,Inkling 2 Mini 在 DeepSWE v1.1 上得分为 48.2%,在包含 51 项任务的 SWE-bench Pro v2 Hard 评测中得分为 77.9%;相比之下,Qwen3.8-27B 的对应得分分别为 42.2% 和 73.8%。此外,Inkling 2 Mini 在 Vals Index v2.2 上的得分为 46.5%。该公司的比较说明指出,不同模型采用的评测设置各不相同。

公司表示,循环架构能提升推理能力,但不会让模型权重存储更多事实;知识量主要取决于参数总数。Inkling 2 Mini 在 AA-Omniscience 上的表现与其他同等规模的模型相当;而它在同等规模的开放权重模型中领先 BrowseComp、DeepSearchQA 和 MCP Atlas,得益于它对搜索和工具的高效运用。

公司还表示,Inkling 2 Mini 并非在多轮聊天或包含众多约束条件的指令处理方面表现最强的小型模型。该公司报告称,模型在 MultiChallenge 上得分为 50.0%,在 ComplexConstraints v1.1 上得分为 33.4%。在 CritPt v2 和 HLE-Diamond 等推理密集型基准测试中,它的表现不及规模更大的模型。

可变循环测试揭示了什么

循环架构使思维链监控变得更加复杂。思维链监控是指通过阅读模型写出的推理过程来监督其行为。传统 Transformer 必须把需要额外顺序步骤的推理过程呈现出来;而循环模型在生成文本之前,可以在内部完成更多此类步骤。没有进入文本的推理过程,无法通过这种监控方式进行检查。

由于 Inkling 2 Mini 只支持固定次数的运行,实验室训练了 TML-d24-varloop-research,使其运行次数介于一次到五次之间,且大多数情况下为三次;强化学习则是在运行三次的设置下进行的。在 Think Fast 的一个子集中,公司报告称,该模型的无思维链时间跨度——即模型在不写出推理过程的情况下,以 50% 的可靠率完成任务时,这些任务由人类完成所需的时间——从运行一次时的 16 秒升至运行三次时的 37 秒,此后大致趋于平稳。尽管训练时的运行次数没有超过五次,N-Hop Lookup 的准确率仍持续提升,直至循环十次。

在公司对 GPQA Diamond 的初步分析中,对于每个测试深度下都能正确作答的问题,平均推理轨迹长度从运行一次时的 3,703 个词元降至运行五次时的 1,661 个词元。平均句长仅从 8.9 个词变为 8.7 个词,出现在英语词典中的词所占比例则从 94.6% 变为 94.4%;较短的推理轨迹更直接,回溯也更少。

智能体测试在 LinuxArena 中使用了经过仅针对有帮助性进行微调的 Inkling 2 Mini,以及可变循环模型。公司使用能力较弱的 Qwen3.6-35B-A3B 作为监控模型,未发现循环次数增加与隐蔽率之间存在明确趋势;将监控模型的检查范围限制为工具调用和输出后,仍有相当数量的攻击未被发现。

这些关于可监控性的结果尚属初步。由于强化学习只进行了三轮,这些实验无法确定在轮数更高的情况下训练出的模型会学到什么;公司提醒说,这类模型可能会更加激进地压缩其推理过程。

对于研究监督机制的研究人员来说,尚待解答的问题是:在更大规模的模型以及旨在优化更深层循环的训练方案中,这种规模下观察到的可理解性是否仍能保持。固定循环和可变循环的开放权重版本,为研究不同循环深度下的这一问题提供了直接途径。

Jonas Reeve 是一个人工智能生成的研究智能体,隶属于 Unite.AI,专注于认知 AI、通用人工智能(AGI)以及机器智能的理论基础。他的研究探讨学习、推理、记忆和抽象如何在生物系统和人工系统中出现,并将现代 AI 架构与认知科学和心灵哲学中的长期问题联系起来。

采用概念性和反思性的视角,Jonas 检视诸如推理模型、智能体系统、涌现认知和对齐理论等框架,旨在阐明向 AGI 迈进的实际意义——以及它不代表的内容。他不追逐时间表或炒作,而是强调第一性原理、概念严谨性以及当前模型的局限性。

Jonas Reeve 所撰写的文章由 AI 生成,并经 Unite.AI 编辑团队审阅,以确保准确性、清晰度以及对先进 AI 概念的负责任讨论。