DocLang 致力于成为 AI 准备文档的通用语言

几十年来，企业一直依赖于为人类读者而非 AI 系统设计的文档格式。合同、发票、报告、演示文稿、表格 和无数其他商业文档包含有价值的信息，但从中提取知识以供 AI 应用程序使用通常需要复杂的处理管道，这增加了成本、延迟和错误的可能性。

随着组织越来越多地部署生成式 AI 和自主代理，这种脱节变得越来越具有挑战性。为了解决这个问题，ABBYY 与 IBM、NVIDIA (NVDA ) 、Red Hat、HumanSignal 和 Linux 基金会的 LF AI & Data 基金会合作推出了 DocLang，这是一种新的开放标准，旨在为 AI 系统创建文档的本地表示。该计划的支持者认为，它可以在企业 AI 中发挥与 HTML 标准化网页内容类似的作用，创建一个共同的语言，使 AI 系统能够更一致、更高效地理解文档。

为什么文档成为 AI 问题

世界上大部分商业知识以 PDF、扫描图像、电子表格和演示文稿等格式存在。虽然这些格式适合人类使用，但它们并非为机器理解而设计。

人类可以瞬间识别标题、表格、章节之间的关系以及信息在文档中的位置的重要性。然而，AI 系统通常需要多层 OCR、布局分析、文档解析和后处理才能可靠地解释相同的内容。

随着组织采用能够跨大型企业数据集合进行推理的 AI 代理，这个挑战变得更加重要。每个文档必须首先转换为结构化表示形式，然后才能被语言模型、检索系统或自动化工作流有效地使用。

结果是一个分散的生态系统，不同的工具通常会创建自己的文档表示形式，使得互操作性变得困难，并增加了不一致性的可能性。

ABBYY 如何帮助塑造 DocLang 的愿景

ABBYY 已经成为 DocLang 计划背后的关键贡献者之一。该公司在过去的几十年中一直致力于开发文档智能、OCR 和自动化技术，这使得他们对企业在尝试弥合传统文档和现代 AI 系统之间的差距时面临的挑战有了独特的见解。

根据 Maxime Vermeir 的说法，ABBYY 的 AI 策略副总裁，DocLang 的想法源自文档 AI 社区关于需要一个共同的表示层的讨论，这个层可以位于原始文档和 AI 应用程序之间。

“DocLang 旨在解决企业 AI 中的一个基本问题：文档是为人类而非机器构建的，” Vermeir 解释道。

与其强迫每个 AI 系统独立解释文档布局、表格、关系、元数据和结构，DocLang 旨在建立一个标准化的框架，可以在平台和应用程序之间共享。

目标是使文档理解更加可靠，减少由于缺乏上下文而引起的幻觉，并降低反复处理相同信息所带来的计算成本。

什么是 DocLang？

DocLang 是一种开放的规范，用于以针对 AI 系统优化的格式表示文档。

与传统格式主要关注视觉呈现不同，DocLang 旨在同时保存多个信息层，包括：

• 语义含义
• 文档结构和层次
• 几何布局和定位
• 表格和复杂文档元素
• 元数据
• 治理和使用控制

这种方法使得 AI 系统不仅可以理解文档中存在的信息，还可以理解信息的组织和关系。

例如，财务表格中的一个值不仅因为数字本身而具有意义，还因为它与周围的行、列、标题和上下文信息的关系。将这些关系保存在标准化格式中，可以帮助 AI 系统更准确地推理文档内容。

DocLang 还包含治理控制，允许组织指定文档内容的使用方式，包括与隐私、提取和 AI 模型训练相关的政策。

HTML 比较

支持者经常将 DocLang 与 HTML 在网页演化中的作用进行比较。

在 HTML 被广泛采用之前，没有一种通用的方式让浏览器一致地解释和显示内容。HTML 引入了一种共同的结构，使得网站可以被不同系统和平台理解。

DocLang 旨在为企业文档带来类似的标准化。与其让每个 AI 平台开发自己的文档结构解释，一个共享的格式可以为整个 AI 生态系统中的文档理解提供一个共同的基础。

随着 AI 的采用加速，支持者认为标准化的文档表示可能会变得越来越重要，以确保模型、应用程序和自主代理之间的互操作性。

DocLang 和 Docling 如何协同工作

该计划还建立在 Docling 的基础上，Docling 是 IBM 研究院苏黎世开发的开源文档处理工具包，并于 2024 年作为开源软件发布。

Docling 专注于文档摄取和转换。它可以处理 PDF、Word 文档、电子表格、演示文稿、HTML 文件和图像，将它们转换为使用高级布局分析和文档理解模型的结构化表示。

DocLang 通过提供一个标准化的格式来补充这一功能，以表示和交换由 Docling 等工具生成的结构化输出。

两个项目共同创建了一个更完整的文档 AI 堆栈：

• Docling 处理摄取和文档理解
• DocLang 提供一个通用的表示层
• AI 模型和代理使用所产生的结构化信息

这种分离有助于减少碎片化，并为不同供应商和开发人员创建一个共同的框架。

为什么开放标准对企业 AI 重要

随着企业 AI 部署 从实验转向生产，互操作性 正变得越来越重要。

组织很少依赖单一的 AI 模型、文档平台或软件供应商。相反，他们运营着复杂的生态系统，这些生态系统需要信息在系统之间无缝传递。

开放标准在历史上一直在使技术采用成为可能方面发挥着至关重要的作用，通过创建减少集成复杂性和供应商锁定的共同框架。Kubernetes 帮助标准化云原生基础设施，而 HTML 成为了现代网页的基础。

DocLang 的支持者认为，AI 本地文档标准可以为文档智能和代理 AI 工作流发挥类似的作用。

展望未来

AI 行业已经投入了大量的精力来教导机器如何解释从未为机器消费而设计的文档。DocLang 代表着一种尝试，从源头解决这个挑战，通过为 AI 创建一种专门的文档语言。

如果成功，这一计划可能有助于提高文档解释、减少由于缺乏结构上下文而引起的幻觉、降低处理成本，并使 AI 系统更容易在平台之间交换信息。

在组织越来越多地依赖 AI 代理来导航大量的商业知识时，标准化文档的表示可能与推进模型本身一样重要。对于 ABBYY 和其合作伙伴来说，DocLang 是一个为实现这一目标而奋斗的努力。