为什么 AI 生成的文本比你想象的更难理解

AI 模型可能正变得越来越难以理解，因为它们的训练越来越倾向于奖励高效解决问题，而非向人类清晰地解释事物。

上面这句未经编辑的话，是 ChatGPT 应要求用一句话以“给五岁小孩讲明白”（ELI5）的方式总结一篇科学论文时写下的；其中至少包含了这项新研究*所解释的几种语言扭曲特征。新研究得出结论：这一问题影响所有前沿模型和接近前沿水平的模型，也影响了研究中测试的部分开放权重模型。

例如，片段开头的“其训练越来越奖励高效解决问题”体现了论文的观点：AI 模型有时会把人的行为赋予非生命事物（因为上述例子把“训练”描述成主动奖励某种行为）。

这会妨碍我们快速解析这句话，因为我们必须在脑海中把这种归因理解为一种说明性表达，而不是按字面意思理解（后者要简单得多）。

后半部分“越来越奖励高效解决问题”也把好几个意思挤在一起，迫使读者弄清楚：什么得到了奖励、什么正在被解决，以及什么变得越来越高效。

论文指出^†：

“[Readers]利用有生命性作为解析过程中的线索；如果没有额外语境，这种不匹配可能引发 P600 反应^††，而 P600 与重新分析有关。”

“不过，若要改写这些句子，避免使用无生命事物作主语，句子可能会变长：例如，‘bites’（咬）一词代替了‘causes an issue’（造成问题）这一说法。”

“我们推测，模型在训练过程中可能逐渐采用了这类结构，将其视为表达某种意思的高效方式，尽管这种用法并不规范；若不采用这类结构，表达同样的意思可能会占用更多词元。”

这话是什么意思？

这正是论文的核心观点：现代 AI 模型（如 ChatGPT、Claude 和 Gemini）针对多种问题解决任务进行优化，而非专门为交流而设计，因此往往会把语言压缩成信息密度极高的内容，需要读者加以解码。

这让我颇感意外，因为我一直试图劝说 ChatGPT 及其他同类模型少说一些，并且进一步压缩表达——相关研究也指出并探讨了这一问题。

相反，论文把冗长描述成一种压缩炸弹，即使句子并不算长，也会让人难以轻松理解。因此，把默认回复过长这一问题与论文所指出的过度压缩结合起来看，我们可以想象，前沿 AI 的典型默认回复风格相当独特（而且，想必这种相当简短的风格也在一定程度上被用作 AI 生成文本检测器的判定依据，不过论文并未讨论这一点）。

作者还研究了名词叠加复合词，并以有问题的短语Squad Helps Dog Bite^†为例：

“在英语中，名词可以像形容词一样自由修饰其他名词。例如，在 coffee shop（咖啡店）中，coffee修饰shop，尽管 coffee 通常用作名词。这一特点使多个名词能够层层叠加，构成含义高度具体的复合词。”

“然而，这类名词叠加可能造成切分歧义，例如标题Squad Helps Dog Bite Victim（小队帮助被狗咬伤的受害者），并妨碍阅读。”

那么，如果 LLM 通过压缩表达而显得冗长，它们是否会因为在回答问题时产生过多双重冗长的压缩文本而变本加厉？这意味着，回答你的问题时，不仅有大量文本需要读完，文本本身还可能包含许多需要解码的“隐含”含义。

一篇2023 年的论文提出，训练过程中使用 AI 评判者可能会让 LLM 变得不必要地冗长，因为这些评判者往往会奖励较长的回答——即使在该研究的测试中，人类更偏好较短的回答。

新研究的作者（见前文引文）认为，前沿模型的一些压缩倾向源于其架构本身倾向于节省词元；如今能有这种想法，倒也算是相当宽厚了。

下面来看看作者为这项研究采用的方法、数据和测试。

数据与方法

研究人员考察了不寻常的词语组合（通过n 元组，即词语序列来衡量）的可预测性；罕见组合与更大的阅读难度相关。

依存距离（语法上相连的词之间的距离）也经过测量，因为距离越长，对工作记忆的要求就越高——尤其是主语和动词之间隔着好几个词时。

研究人员考察了宾语关系从句（例如“承包商建造的房子”），尤其关注省略可选词语的情况（例如在“承包商建造的那栋房子”中省略“那”）。

研究人员也考察了前文提到的名词叠加复合结构（将三个或更多名词连在一起，例如“恐怖电影配乐生成器”），因为其中各个词之间的关系可能存在歧义。

研究人员考察了名词转用动词（将名词用作动词，例如说“用叉子叉它”，而不是“把它放到叉子上”），也考察了与通常用于描述生物的动词搭配的无生命主语（如前文所述）。这两种结构都能用更少的词压缩表达内容，但读者可能需要进行额外推断。

参评模型

研究人员收集了14个模型生成的AI对话，涉及：Kimi K2.5；GLM 5；Claude Sonnet 5、Opus 5、Opus 5.5和Fable 5；GPT-5.6 Luna、Terra和Sol；Olmo Base、Instruct和Think；以及Llama Base and Instruct。

测试包括10条用于一般对话的起始提示和5条用于编程的起始提示。每项编程任务都要求模型在沙盒环境中克隆一个真实的公开 GitHub 仓库、查找错误并修复错误。

对话轮次上限为12轮，编程环节上限为11轮，之后会发送一条固定的结束消息。另一次测试中，研究人员要求每个模型根据PERSUADE 2.0数据集中的作文题目写7篇文章。

为进行比较，研究人员从尽可能匹配三类AI输出的来源中选取人类撰写的文本：一般对话采用OpenSubtitles（一个电影和电视节目字幕合集，与那个开源字幕平台无关）；编程讨论采用StackExchange（一个由问答论坛组成的在线网络）；写作任务则采用前文提到的PERSUADE 2.0数据集中的学生作文。此外，研究人员还将维基百科作为另一项比较来源。

在有适用的人类文本数据的情况下，研究人员对人类撰写和AI生成的文本测量了相同的语言特征，并利用这些参考语料库评估词语组合的出现频率。

研究人员使用NLLB-200模型进行往返翻译（从英语译成日语，再译回英语），以区分风格偏好和语言表达的必要性。翻译过程中，文本含义大体得以保留，但句子结构发生了变化，因此可以识别出不必要的复杂措辞。

结果

实验1

如下图所示，若干复杂句式在AI生成的原始文本中出现得更频繁，前沿模型尤其如此。研究人员将此解读为模型倾向于使用不必要的复杂表达的证据：

AI生成的原始文本与译成日语后再译回英语的文本对比。绿色圆点表示在原文中更常见的语言模式；粉色圆点表示翻译后更常见的语言模式。GPT和Claude模型的差异通常更大。 来源

研究人员对14个AI模型在三种场景（聊天、编程和作文写作）中的六项语言特征进行了比较。聊天测试涉及12个模型，编程测试涉及9个模型，作文写作测试则涵盖全部14个模型：

AI模型在聊天、编程和作文写作中的六项语言特征对比。每个菱形代表某个模型汇总后的结果；水平线表示95%置信区间。竖直虚线表示人类撰写文本的基准值，分别来自OpenSubtitles（聊天）、StackExchange（编程）和PERSUADE 2.0学生作文（作文写作）。点线表示与维基百科的比较。数值越高，通常表示测量的结构使用得越频繁，或语言复杂度越高。如需查看更高分辨率的图表，请参阅论文原文。

研究还将 AI 生成的原文与其回译版本进行了比较，以便衡量句子结构上的差异：

对比 AI 生成的原文（实心菱形）与经 NLLB-200 翻译成日语后再译回英语的文本（空心圆）。粉色线表示翻译后使用频率更高的特征；绿色线表示原文中使用频率更高的特征。星号表示统计显著性（一颗、两颗或三颗星分别代表统计证据逐渐增强）。翻译后，与阅读难度相关的大多数结构都减少了，前沿模型尤为明显。更高分辨率版本请参阅源论文。

研究发现，前沿模型和接近前沿水平的模型过度使用了不常见的词语组合、名词派生动词、无生命主语，以及省略可选词的宾语关系从句（见上图）。Llama 和 Olmo Base 的这些倾向通常较弱，而 Olmo Think 则更为明显。

与聊天或编程相比，写作中的差异较小。研究者认为，这是因为作文只需响应单个提示，而聊天中的多轮往返对话可能会促使语言表达进一步压缩。

作者指出：

“与聊天和[coding]相比，PERSUADE 作文在往返翻译后，若干类别的变化较小（包括 n 元语法指标、依存长度、名词堆叠和名词派生动词）。

“我们推测，这是因为作文只涉及单个提示，不像聊天和编程那样包含多轮迭代对话。我们认为，某些模式可能会在长时间的来回对话中出现（这类对话可能需要更高程度的信息压缩）。”

翻译后变化最小的是 Llama 和 Olmo Base 与 Instruct；在词语组合和动词用法方面，它们也最接近学生作文。相比之下，Olmo Think 的表现更接近前沿模型。研究发现，在 21 项比较中，Claude Opus 5.5 有 19 项使用的困难结构少于 Opus 5，其中 8 项的 95% 置信区间不重叠。

实验 2

第二项实验旨在检验一种潜在压力是否会促使模型偏好更难以被人类理解的语言结构：这种压力可能来自生成更短、信息密度更高的回答这一要求。

研究人员使用微调方法和组相对策略优化（GRPO）训练了 Qwen2.5-1.5B-Instruct，并要求该模型将结构化的 JSON 格式事件描述转换为英语句子。

训练中调整了两个方面：一是允许模型在多大程度上改变其惯常用词选择（β）；二是对生成较长回答施加多大惩罚（λ）。每个事件都可以用两种语法正确的方式表达，而且两种表达所需的词元数量已知。

例如，“他寄给我们一张照片”需要 6 个词元，而“他寄了一张照片给我们”需要 7 个词元。研究人员还进行了另一项测试，其中两种表达相同意思的说法所需词元数量相同，以检验差异是否由句子长度造成。

研究人员使用此前未见过的句子测试了这一效应，测试内容包括训练中出现过的四种结构、涉及可选词“that”的两种未训练结构，以及涉及所有格、量词、被动语态和目的从句的无关结构。

这些测试旨在确定模型是否会习得对较短措辞的偏好，并将其迁移到训练过程中从未遇到过的结构中：

训练期间对较长回答施加惩罚所产生的影响。A 展示了较短和较长措辞的示例。B 衡量了对较简短表达的偏好，C 和 D 则展示了对训练中未出现过的表达方式进行的测试。橙色表示训练时未限制模型偏离原始模型；蓝色表示训练时施加了这一限制。虚线表示原始模型的偏好。通常，惩罚越强，对较短措辞的偏好就越明显，即使是训练中未出现过的表达方式也如此。更高分辨率的图像请参阅原论文。

随着对较长回答的惩罚加重，模型选择较短措辞的频率也随之增加（如上图所示）。如果没有 KL 惩罚项（即限制模型偏离其原始词语预测的程度），这种转变会很快发生；加入该惩罚项后，同样的效果则会逐渐显现。没有任何一种惩罚时，不同训练轮次之间的偏好差异很大；但即使只是施加轻微的长度惩罚，也会稳定地产生对较短表达的偏好。

在涉及可选词语 ‘that’ 的、此前未见过的句式中，也观察到了这种偏好。对于差异更大的语法结构，这种迁移效应要弱得多；只有在没有 KL 惩罚项时，所有格结构中才发现了这种效应。

作者总结道：

‘我们将这些结果视为概念验证：在使用 GRPO 进行强化学习时施加长度惩罚，可以直接影响语法特征。’

‘我们注意到，模型并未被直接指示使用精简或密集的语言，也没有被直接告知存在句法替换形式。’

‘相反，这种惩罚使模型自发地偏好句法替换形式中较短的表达。’

结论

长期以来，我一直关注人工智能生成文本中那些具有代表性的锚点——无论是无意的还是有意的。因此，这项新研究为一种看似矛盾的现象提供了些许解释：人们一方面指出大型语言模型（LLM）冗长啰嗦，另一方面又同样注意到它们会以某种方式压缩信息，让内容看起来“易于阅读”，仅仅因为用词不多——但显然，这并不是对这一信号的正确解读。

对于大型语言模型而言，文本输出简短，可能意味着内容复杂，而非精要提炼；这就像人工智能递给我们一道谜题，而不是词语背后的直接概念。显然，这么做是为了让同一个模型既能编程又能写作。

* 文章题为《为什么人工智能生成的语言如此难以理解？》，由纽约大学和德克萨斯大学的两位作者撰写。

^† 我将作者文中的引用转换成了超链接。

^†† https://mikeydoes.com/glossary/p600/

首次发布于2026年10月26日，星期一