值得注意的是，企业级智能体无法理解文本标注

世界上有大量重要的纸质文件尚未扫描，商业领域尤其如此。据估计，全球贸易中每年流通的40亿份纸质文件只有1%实现了数字化，其余文件仍超出机器学习的分析能力。

这只是对商业领域问题的粗略估算；政府也会产生大量纸质或印刷材料。美国国家档案馆今年报告称，其保存的模拟文档中仅有4.04%实现了数字化，仍有119.7亿份尚待处理。

因此，这仍是一个持续存在的问题，而非历史遗留问题；我承认自己也是问题的一部分：

我大多数日子里都坐在它面前。

审阅论文时，我会把它们打印出来，因为除了机器摘要之外，还需要大量人工梳理。由于时间紧迫，我会在关键章节和可能引用的内容上大幅涂画强调标记，这样到了写作时，数据的轮廓便能一目了然。我还没到会为了使用荧光笔而如此执着的程度，因此会用各种符号、放大字体以及其他非常个人化的标记来突出重要内容。

但很多人，包括许多撰写重要内容的重要人物，确实会用彩色荧光笔和不同颜色的文字来强调重点。

温斯顿·丘吉尔会用不同颜色的笔来标示不同类型的重点。在准备那场“最辉煌的时刻”演讲时，他似乎用红色作为修订标记。 来源

根据先前照片中展示的那份论文（黑色讲台上的那份），可能有数以亿计的文档带有此类强调标记，而文档摄取系统（如 Docling）目前还无法识别这些标记。

这些人工标注意义重大，它们以一种未必能从语言本身的结构中体现出来的方式，为文本赋予了分量。因此，仅通过光学字符识别（OCR）或更先进的方法（如视觉语言模型（VLM））将此类页面的内容转换成纯文本，并不能传达作者的全部意图，甚至可能误读文档的目的和意图。

重点标注

这篇新论文*发现，广泛使用的文档转换工具经常会丢弃荧光标记和文字颜色，导致 AI 智能体仍无法辨别重要指令。在研究测试考察的6,462份政策文件中，近三分之一含有红色文字或标记，约十分之一的文件用这些标记突出重要要求。

就企业文档摄取代理而言，作者^†指出^††：

“成熟的转换工具能够忠实地恢复文本、表格和结构，因此整个处理流程看起来运转良好。

“我们表明，它们全都丢失了一层信息——作者通过文本的呈现方式来传达的含义；这种信息损失会让智能体自信地得出错误结论，而不是明显地表现出信息不完整；这才是部署过程中更难发现的失误。”

在作者的测试中，当要求 AI 模型从真实政策文件中识别重要要求时，保留原始荧光标记和文字颜色后，模型的表现要好得多。这一发现经包括 GPT-5.6 Terra、Claude Opus 5 和 Claude Sonnet 5 在内的六个模型验证。

实际上，从荧光标记中可以提取两种信号：a）是否有内容被标记；b）标记所用的颜色。如果人工标注使用了多种颜色，合理的分类标准可以将红色编码为某种负面含义（正如前文所见，温斯顿·丘吉尔在修改自己的演讲稿时就使用了红色）：

在作者用于第一阶段解析的这份 JSON 输出底部，我们可以看到，处理流程已经识别并编码了红色标记；按理说，文字内容也与编码所代表的强度相符。不过，如果强调标记加在本身并不会明显加强语气的词语上，这种方法就更有用，因为此时标记能够补充原本缺失的强调。 来源

作者认为，现有流程可以相当简单地解决这个问题：在文档转换过程中保留原有的高亮和文字颜色，并添加标签，向 AI 模型说明这些格式的含义。这样无需额外进行 AI 处理，但所需的文档表示令牌数大约会翻倍：

“恢复这些线索是确定性的纯代码操作，不会调用 LLM；本文报告的全部效果都来自解析本身。它确实会消耗令牌——大约是纯文本的两倍——因此，这是有意用上下文预算换取事实准确性，而非不费代价地获益。”

粗体的无差别效应

这项研究的一个有趣发现是，现有数字文档中用于强调内容的方式，显然因使用过于频繁而失去了效用^††：

“全部效果[i.e., of the new pipeline]都来自高亮[and][colour]。粗体、斜体、等宽字体和删除线都没有贡献[measurable]，其置信区间跨过了零。”

“这并不是因为这些线索不存在：单份文档中就有一千多个粗体标记，而是因为它们太常见，不足以提供有用信息。”

“作者如果把每个标题和定义术语都加粗，并不意味着因此就突出了任何特定内容；相比之下，为某项要求添加颜色或高亮，是一种有意且克制的做法。只有当线索足够少见、能够传达意图时，对线索进行分类才有价值。”

任务与测试

为建立该系统，作者扫描了来自一个未注明名称的公共语料库、以 .docx 格式存储的 6,462 份真实政策文件，检查其中是否存在红色文字和高亮，而不根据措辞进行任何猜测。随后，研究人员要求模型找出被标记为特别重要的要求，并忽略未标记的要求。核心提示词如下：

“列出本文档中作者特别强调或赋予更高优先级的所有要求。”

主要测试选取了 84 份文档，其中包含 332 项已标记的要求和 4,192 项未标记的要求（即没有红色文字或彩色高亮的要求）。每份文档至少要包含一项已标记要求和三项未标记要求，因此 AI 不能简单地把所有内容都列出来。

研究人员直接根据文档格式确定真实标注，而非依靠人工判断或其他 AI 模型。评估采用精确率、召回率和 F1 分数，同时考量正确识别的要求和假阳性，即误将未标记要求纳入结果的情况。

评分由程序自动完成，没有使用 LLM 评审。要被计为匹配，答案必须包含原始要求中至少四个连续的实词，以避免把相似但不同的要求误判为正确。

移除高亮的消融测试

研究还进行了一项额外测试，以查看能否在不使用高亮或颜色的情况下，仅凭措辞识别重要要求。一个利用示例训练的纯文本分类器取得了 0.664 的ROC 曲线下面积分数（0.5 表示随机猜测）。

更简单的方法表现不比随机猜测好：将暗示紧迫性的词语用作线索时，得分为 0.508；以句子长度为依据时，得分为 0.492。这些结果表明，仅凭措辞几乎无法得知使用高亮的作者意图是什么。

这也合乎情理：可以推想，如果措辞本身已经足够有力，作者就不会觉得有必要再事后加以强调。

对比方法

参与比较的方法包括作者自己的解析器本文方法、加入显著性角色的本文方法、采用无类型标记的本文方法、docx2python、Docling，以及纯文本转换。

所有方法使用相同的文档和问题，唯一改变的是文档的转换方式。主要比较涵盖 76 份文档，每项测试重复三次：

比较六种方法在 Word 文档中识别标记为“重要”的要求的测试结果。上半部分展示了对 76 份文档进行三次测试的结果。下半部分展示了另一项确认测试的结果，该测试使用 79 份文档并重复六次。F1 分数越高，表现越好；假阳性率越低，表示被错误选中的未标记要求越少。统计显著的差异以粗体显示。

如上所示，作者的系统取得了最高的总体 F1 分数 0.690，高于 docx2python 的 0.586、Docling 的 0.150，以及纯文本的 0.075（F1 将精确率和召回率合并为一个准确度指标，1.0 表示满分）。

假阳性结果也表明，保留格式十分重要：使用 Docling 时，未标记的要求被错误选中的比例接近作者系统的四倍（4.3%，而作者系统为 1.1%）。

研究人员还进行了另一项测试，以考察告知 AI 模型格式所代表的含义，是否比仅向模型展示原始颜色和高亮效果更有帮助。结果发现，提供这些额外标签后，模型表现虽有小幅提升，但在统计学上具有显著性。不过，大部分收益其实已通过保留格式本身获得。

外部压力

研究人员还使用微软的Office 文档理解基准（OCB）进行了额外评估。该基准用于衡量从 Office 文档中准确提取信息的能力。

研究人员从 59 份 Word 文档中提取了 326 道题目，涉及格式、表格、超链接、批注和脚注。题目和评分标准均由微软提供，与本研究无关：

五种文档转换方法在微软 Office 文档理解基准上的对比结果，涵盖 59 份 Word 文档中的 326 道题目。分数范围为 0 至 1，分数越高表示表现越好；每个类别中的最高分以粗体显示。表格底部的行汇总了总体表现和统计显著性。在这项测试中，作者的系统总体得分最高，但在识别高亮内容方面，docx2python 表现更好。

如上所示，作者的系统取得了出色的总体得分 0.959，高于 docx2python 的良好得分 0.810、Docling 的中等得分 0.720，以及纯文本相对较差的得分 0.634。

新系统在元数据、批注和脚注方面均取得满分，而所有竞争方法的得分都是零——不过，这些提升并非仅仅来自保留高亮和文本颜色；作者的系统在从表格、文档布局、字体和超链接中恢复信息方面也表现更好。

结论

最近，我尝试用 LLM 和／或 Python 将自己手动标注 PDF 科学论文中表格和图表重点内容的做法自动化，但收效甚微，结果嘛……确实令人捧腹。如今，对科学论文进行分层、量化和解析已是文献中相当成熟的研究方向，业余爱好者几乎没有什么空间——也谈不上什么希望。

就这篇论文而言，作者的成果在于发现了一个重要的强调标记，而这一标记在转换过程中被丢失了。然而，他们的解决方案需要将 token 消耗量翻倍；考虑到 OCR 和文档摄取层必须应对的规模，这可不是小事。因此，我认为，这里的价值就在于发现了这个问题。

* 题为《作者写了什么，智能体读到了什么：企业文档摄取中的隐性线索丢失》。

^† 均来自 Amazon。

^†† 这些强调是作者加的，不是我加的，不过我确实经常把作者在正文中的引用改成超链接。

首次发表于 2026 年 10 月 30 日，星期五