重大なのは、エンタープライズエージェントがハイライトを理解しないことだ

世界には、重要でありながらスキャンされていない紙の文書が数多く存在し、とりわけビジネス界ではその傾向が顕著だ。世界の貿易で毎年流通する40億点の紙文書のうち、デジタル化されているのはわずか1％と推定されており、残りは機械学習の分析能力では扱えない状態にある。

これはビジネス分野の問題を大まかに捉えたものにすぎない。政府もまた、膨大な量の印刷物や紙媒体の資料を作成している。米国国立公文書館は今年、所蔵するアナログ文書のうちデジタル化されているのはわずか4.04％で、119億7,000万点が未処理だと報告した。

したがって、これは過去に残された問題ではなく、今も続いている問題だ。そして、私自身もその一端を担っていることを認めよう。

たいていの日、私が向かい合っているもの。

論文を読むとき、私は印刷する。機械による要約だけでなく、人間がかなり読み解く必要もあるからだ。時間に余裕がないため、重要な箇所や引用候補に大きく印をつけ、いざ執筆するときにデータの全体像がひと目でわかるようにしている。蛍光ペンを使うほど几帳面ではないので、さまざまな記号や大きな文字など、個人的な工夫を凝らした目印で強調を加えている。

しかし、多くの人が強調のために蛍光ペンで色をつけたり、文字色を使い分けたりしている。その中には、重要なことを書く重要な立場の人々も大勢いる。

ウィンストン・チャーチルは、強調する内容に応じて色の異なるペンを使っていた。ここでは、「最も輝かしい時」の演説を準備する中で、訂正箇所を示すために赤を使っているようだ。 出典

先ほどの写真（黒い演台に置かれたもの）に写っている論文によると、文書取り込みシステムが現時点では検出できない、こうした強調が施された文書が数億点に上る可能性がある。Doclingなどのシステムが対象となる。

こうした手作業による強調は重要な意味を持つ。言葉の組み立てだけでは必ずしも表現されない形で、テキストに重みを加えるからだ。そのため、ハイライトされたページをOCR（またはより高度な手法、たとえばVLM）で単なるテキストに変換しても、作者の意図をすべて伝えることはできず、文書の目的や意図を誤って表現してしまうことさえある。

ハイライトだけの問題

新しい論文*によると、広く使われている文書変換ツールは、ハイライトや文字色を日常的に破棄しているため、AIエージェントは重要な指示を見分けられないままだという。この研究で検証された政策文書6,462件のうち、ほぼ3分の1に赤い文字またはハイライトが含まれ、およそ10件に1件では、重要な要件に注意を向けるためにこうした印が使われていた。

企業向け文書取り込みエージェントについて、著者ら^†は次のように述べている^††：

「成熟した変換ツールは、テキスト、表、構造を忠実に復元するため、処理パイプラインに問題はないように見える。

「私たちは、すべての変換ツールで失われる層が一つあることを示す。それは、テキストの見た目に作者が込める意味であり、この喪失によってエージェントは明らかに不完全な結果を返すのではなく、自信を持って誤った判断をする。これは、実運用で検出するのがより難しい失敗である。」

著者らのテストでは、実際の政策文書から重要な要件を特定するようAIモデルに指示したところ、元のハイライトと文字色を保持した場合に、はるかに高い性能を示した。この結果は、GPT-5.6 Terra、Claude Opus 5、Claude Sonnet 5を含む6つのモデルすべてで確認された。

ハイライトからは、実質的に2つの情報を抽出できる。a）何らかの箇所がハイライトされていたという事実、b）ハイライトに使われた色だ。複数の色が手作業で使われている場合、論理的な分類基準では、赤を何らかの否定的な意味として扱うだろう（先ほど見た、ウィンストン・チャーチルが自身の演説を修正した例のように）。

著者らの第1段階パーサーが出力したこのJSONの下部を見ると、パイプラインが赤いハイライトを検出し、分類していることがわかる。そして当然ながら、言葉もその分類された強度に合致している。しかし、この手法は、それ自体では語調をさほど強めない言葉に強調が加えられ、そのハイライトによって欠けていた強調が補われる場合に、より有用である。 出典

著者らは、文書を変換する際に元のハイライトと文字色を保持し、その意味をAIモデルに説明するラベルを追加すれば、既存のパイプラインでこの問題を非常に簡単に解決できると提案している。追加のAI処理は必要ないものの、文書の表現に必要なトークン数はおよそ2倍になる。

「こうした手掛かりの復元は決定論的で、コードだけで実行でき、LLMの呼び出しも不要です。ここで報告した効果はすべて、パース処理だけによるものです。ただしトークンは必要で、プレーンテキストのおよそ2倍になります。つまり、コストなしで得られる成果ではなく、コンテキストの予算を事実性に振り向けるという意図的な選択です。」

太字の効果が薄れる理由

この研究で興味深い点の一つは、入力されたデジタル文書で従来から使われている強調方法が、使われすぎることで、どうやら効果を失っているということだ^††。

「効果のすべて[i.e., of the new pipeline]は、ハイライト[and][colour]によってもたらされます。太字、斜体、等幅フォント、取り消し線は何の効果もなく[measurable]、信頼区間もゼロをまたいでいます。」

「こうした手掛かりが存在しないわけではありません。1つの文書に、太字のマーカーが1,000個を超えて含まれることもあります。問題は、あまりに頻繁に使われるため、有益な情報にならないことです。」

「見出しや定義語をすべて太字にしても、何かを特別に目立たせたことにはなりません。一方、要件に色を付けたりハイライトしたりするのは、意図的に、限られた範囲で行うものです。手掛かりの種類を判別する方式が有効なのは、意図を示すほどまれな手掛かりに限られます。」

課題と検証

システムを構築するにあたり、著者らは出所が明らかにされていない公開コーパスから、実際のポリシー文書6,462件を.docx形式で取得し、文言から推測することなく、赤字やハイライトの有無を調べた。その後、各モデルに、特に重要なものとしてマークされた要件を抽出し、マークされていないものは除外するよう、次の基本プロンプトで指示した。

「著者が特に注意を向けさせようとした、または優先度を高く設定した、この文書内の要件をすべて列挙してください。」

本試験では、マークされた要件332件と、マークされていない要件4,192件（つまり、赤字や色付きのハイライトがない要件）を含む文書84件を選んだ。AIが要件をすべて列挙するだけで済ませられないよう、各文書には、マークされた要件を少なくとも1件、マークされていない要件を3件含める必要があった。

正解データground truthは、人の判断や別のAIモデルによるのではなく、文書の書式設定から直接確定した。性能の測定には適合率、再現率、F1スコアを用い、正しく特定された要件だけでなく、マークされていない要件を誤って含める偽陽性も考慮した。

採点はプログラムによって行い、LLMの判定者は使用しなかった。一致と見なすには、回答に元の要件から連続する内容語が少なくとも4語含まれている必要があった。これにより、似てはいるものの異なる要件が正解として扱われるのを防いだ。

ハイライトを除いた検証

ハイライトや色を使わず、文言だけから重要な要件を特定できるかどうかを確かめるため、追加の検証を行った。例を使って学習させたテキストのみの分類器は、ROC曲線下面積ROC AUCのスコア0.664を達成した（0.5はランダムな推測に相当する）。

より単純な方法は、偶然と同程度の結果にとどまった。緊急性を示す語を手掛かりにした場合のスコアは0.508、文の長さを使った場合は0.492だった。これらの結果は、ハイライトを使った著者が何を意図したのかは、文言だけからはほとんど分からないことを示唆している。

これは理にかなっている。おそらく、言葉だけで十分に強い表現ができていたなら、著者はそもそも後から強調する必要を感じなかっただろう。

比較対象

比較した手法は、著者ら独自のパーサーOURS、重要度の役割を加えたOURS、型付けされていないマークアップを使うOURS、docx2python、Docling、プレーンテキストへの変換だった。

各手法には同じ文書と質問を使い、変更したのは文書の変換方法だけだった。主な比較では、76件の文書を用い、各試験を3回ずつ繰り返した。

Word文書内で「重要」とマークされた要件を特定する6つの手法を比較した試験結果。上段は76件の文書を用いて3回ずつ試験した結果を示す。下段は79件の文書を用いて6回繰り返した、別個の確認試験の結果を示す。F1スコアが高いほど性能が高く、偽陽性率が低いほど、マークされていない要件が誤って選ばれる件数が少ない。統計的に有意な差は太字で示している。

上記のとおり、全体で最高となるF1スコア0.690を著者らのシステムが達成した。docx2pythonは0.586、Doclingは0.150、プレーンテキストはわずか0.075だった（F1は適合率と再現率を統合した単一の精度指標で、1.0が完全なスコアを表す）。

書式を保持する重要性は、偽陽性の結果からも示された。Doclingでは、マークされていない要件が誤って選択される割合が、著者らのシステムで記録された割合のほぼ4倍に達した（4.3%対1.1%）。

AIモデルに元の色やハイライトを見せるだけでなく、その書式が何を意味するかを伝えることで性能が向上するかを調べるため、別のテストも行われた。その結果、こうした追加ラベルを与えると、小さいながらも統計的に有意な改善が見られた。ただし、書式そのものを保持することで、すでに効果の大部分が得られていた。

外部からの評価

研究者らは、Office文書から情報をどれだけ正確に復元できるかを測定するMicrosoftのOffice文書理解ベンチマーク（OCB）を用いて、追加評価を実施した。

59件のWord文書から、書式、表、ハイパーリンク、コメント、脚注に関する326問を抽出した。問題と採点基準はいずれも、研究とは独立してMicrosoftが提供した。

MicrosoftのOffice文書理解ベンチマークにおいて、59件のWord文書にまたがる326問を対象に、5種類の文書変換手法を比較した結果。スコアは0から1の範囲で、数値が高いほど性能が高い。各カテゴリの最高スコアは太字で示している。下段には全体的な性能と統計的有意性をまとめた。ここでは、著者らのシステムが総合スコアで最高だった一方、ハイライトの処理ではdocx2pythonのほうが優れていた。

上記のとおり、著者らのシステムは総合スコアで0.959という優れた結果を達成した。docx2pythonは良好な0.810、Doclingは中程度の0.720、プレーンテキストは比較的低い0.634だった。

新しいシステムはメタデータ、コメント、脚注で満点を達成した一方、競合するすべての手法のスコアはゼロだった。ただし、こうした改善はハイライトや文字色の保持だけによるものではない。著者らのシステムは、表、文書レイアウト、フォント、ハイパーリンクからの情報復元でも優れていた。

結論

最近、科学論文のPDFにある表や図を自分で手作業で強調する作業を、LLMやPythonで自動化できないか試してみたが、ほとんどうまくいかなかった。結果は……まあ、笑えるほどだった。科学論文の分類、定量化、解析は、今や文献でも盛んに研究されている分野であり、気軽に取り組むアマチュアが入り込む余地も、成功の見込みもほとんどない。

この論文について言えば、著者らの功績は、翻訳の過程で失われていた重要な強調の手がかりを特定したことにある。しかし、彼らの解決策ではトークン使用量が2倍になる。OCRや文書取り込みの各層が稼働する規模を考えれば、これは軽視できない。したがって、ここで評価すべきなのは、問題を特定したことだと思う。

* 「著者が書いたこと、エージェントが読むこと：エンタープライズ文書取り込みにおける、気づかれない手がかりの喪失」というタイトル。

^† すべてAmazonのもの。

^†† 著者らによる強調であり、私によるものではない。ただし、私は普段から著者らの文中引用をハイパーリンクに変換している。

初出：2026年10月30日（金）