중요한 점은 엔터프라이즈 에이전트가 강조 표시를 이해하지 못한다는 것이다

세상에는 중요한 종이 문서가 여전히 많이 남아 있으며, 특히 기업 세계에 그렇다. 전 세계 무역에서 매년 유통되는 40억 건의 종이 문서 가운데 단 1%만 디지털화된 것으로 추산된다. 나머지는 기계 학습의 분석 능력이 미치지 못하는 영역에 남아 있다.

이는 기업 부문의 문제를 대략적으로 짚은 것에 불과하다. 정부 역시 엄청난 양의 인쇄물이나 종이 문서를 생산한다. 미국 국립문서기록관리청은 올해 보유한 아날로그 문서 가운데 단 4.04%만 디지털화됐으며, 아직 119억 7천만 건이 남아 있다고 보고했다.

따라서 이는 과거의 유물이 아니라 지금도 이어지는 문제다. 고백하자면 나 역시 문제의 일부다.

내가 대부분의 날 앞에 앉아 있는 것.

논문을 검토할 때는 출력해서 읽는다. 사람이 직접 내용을 파악하는 일도 많이 필요하고 기계 요약도 필요하기 때문이다. 시간이 촉박하므로 글을 쓸 때 데이터의 윤곽이 한눈에 들어오도록 핵심 부분과 인용할 만한 문구에 큼지막한 강조 표시를 휘갈겨 둔다. 형광펜을 쓸 만큼 강박적인 편은 아니라서, 강조할 부분은 다양한 기호와 큰 글씨, 그 밖에 중요성을 표시하는 매우 개인적인 신호들로 나타낸다.

하지만 형광펜을 사용하거나 강조를 위해 글자 색을 바꾸는 사람은 많다. 여기에는 중요한 글을 쓰는 중요한 사람들도 다수 포함된다.

윈스턴 처칠은 강조의 유형에 따라 서로 다른 색의 펜을 사용했다. 여기서는 ‘가장 빛났던 시간’ 연설을 준비하며 빨간색을 수정 표시로 쓴 것으로 보인다. 출처

앞서 사진에 나온 바로 그 논문(검은색 연설대 위에 놓인 논문)에 따르면, 문서 수집 시스템이 현재 볼 수 없는 강조 표시가 포함된 문서가 수억 건에 이를 수도 있다. Docling 같은 시스템도 마찬가지다.

이러한 수동 강조 표시는 언어의 구성 방식에 반드시 드러나지는 않는 방식으로 텍스트에 무게를 실어 준다. 따라서 OCR이나 더 발전된 방법인 VLM 등을 통해 강조 표시된 페이지의 내용을 단순한 텍스트로 바꾸면 저자의 의도가 온전히 전달되지 않으며, 문서의 목적과 취지를 잘못 나타낼 수도 있다.

강조 표시만의 문제

새 논문*은 널리 사용되는 문서 변환기가 강조 표시와 글자 색을 일상적으로 누락해 AI 에이전트가 중요한 지시를 식별하지 못하게 된다고 밝혔다. 연구에서 검토한 정책 문서 6,462건 가운데 거의 3분의 1에는 빨간색 텍스트나 강조 표시가 있었고, 약 10분의 1은 중요한 요구 사항에 주의를 끌기 위해 이러한 표시를 사용했다.

기업 문서 수집 에이전트에 관해 저자들은^† 다음과 같이 말한다^††.

“성숙한 변환기는 텍스트와 표, 구조를 충실히 복원하므로 파이프라인은 정상적으로 작동하는 것처럼 보인다.

“우리는 모든 변환기에서 한 층위, 즉 저자가 텍스트의 겉모양에 담아 표현하는 의미가 사라진다는 점을 보여준다.또한 이러한 손실은 에이전트를 겉으로 불완전해 보이게 하는 대신 확신에 차서 틀리게 만들며, 이는 배포 환경에서 더 발견하기 어려운 실패다.”

저자들의 실험에서 AI 모델에 실제 정책 문서의 중요한 요구 사항을 식별하도록 했을 때, 원래의 강조 표시와 글자 색을 보존하면 성능이 훨씬 좋아졌다. GPT-5.6 Terra, Claude Opus 5, Claude Sonnet 5를 포함한 6개 모델에서 같은 결과가 확인됐다.

실제로 강조 표시에서는 두 가지 신호를 추출할 수 있다. a) 어떤 부분이든 강조 표시가 됐다는 사실, 그리고 b) 어떤 색으로 표시했는지다. 수동 강조 표시에 여러 색을 사용한 경우, 논리적인 분류 기준에 따라 빨간색은 어떤 식으로든 부정적인 의미로 분류할 수 있다. 앞서 살펴본 윈스턴 처칠의 연설문 수정에서도 그런 사례를 볼 수 있다.

저자들의 1단계 파서가 만든 JSON 출력의 맨 아래를 보면 파이프라인이 빨간색 강조 표시를 찾아내고 분류한 것을 알 수 있다. 논리적으로 보면 단어들도 그렇게 분류된 강도와 일치한다. 그러나 강조가 그 자체로 어조를 크게 고조시키지 않는 단어에 더해지고, 그 결과 강조 표시가 빠져 있던 강조 효과를 보충하는 경우에 이 방법은 더욱 유용하다. 출처

저자들은 문서 변환 과정에서 원래의 강조 표시와 텍스트 색상을 보존하고, 그 의미를 AI 모델에 설명하는 레이블을 추가하면 기존 파이프라인으로도 이 문제를 매우 간단히 해결할 수 있다고 제안한다. 추가적인 AI 처리는 필요하지 않지만, 문서 하나를 표현하는 데 필요한 토큰 수는 대략 두 배로 늘어난다:

‘이러한 단서를 복원하는 작업은 결정론적이며 코드만으로 처리할 수 있고, LLM 호출도 필요하지 않습니다. 여기서 보고된 효과는 전적으로 파싱에서 비롯됩니다. 다만 토큰이 필요합니다. 일반 텍스트의 대략 두 배이므로, 이는 공짜로 얻는 성과가 아니라 사실성을 위해 컨텍스트 예산을 의도적으로 사용하는 선택입니다.’

무뎌진 굵은 글씨

이 연구에서 흥미로운 점은 디지털 문서에서 글로 입력할 때 사용하는 기존 강조 방식이 지나치게 자주 쓰여 사실상 효과가 없는 것으로 보인다는 것이다^††:

‘전체 효과[i.e., of the new pipeline]는 강조 표시[and][colour]에서 비롯됩니다. 굵게, 기울임꼴, 고정폭 글꼴, 취소선은 아무런 기여도 하지 않으며[measurable], 신뢰구간은 0을 포함합니다.

‘이러한 단서가 없기 때문은 아닙니다. 문서 하나에 굵은 글씨 표시가 천 개 넘게 들어 있기도 합니다. 너무 흔해서 유용한 정보를 주지 못하는 것이 문제입니다.

‘모든 제목과 정의된 용어를 굵게 표시하는 저자는 그로써 어떤 항목도 특별히 부각하지 못합니다. 반면 요구사항에 색을 입히거나 강조 표시를 하는 것은 의도적이고 제한적으로 이루어지는 행위입니다. 단서의 유형을 구분하는 방식은 의도를 나타낼 만큼 드문 단서에만 효과가 있습니다.’

과제와 검증

시스템을 구축하기 위해 저자들은 출처가 공개되지 않은 공개 코퍼스에서 실제 정책 문서 6,462개를 .docx 형식으로 수집해, 문구를 근거로 추측하지 않고 문서에 빨간색 글자와 강조 표시가 있는지 확인했다. 그런 다음 모델에 특히 중요하다고 표시된 요구사항을 찾아내고 표시되지 않은 요구사항은 제외하도록 요청했으며, 핵심 프롬프트는 다음과 같았다:

‘이 문서에서 작성자가 특별히 주의를 기울이거나 우선순위를 높여 표시한 모든 요구사항을 나열하세요.’

주요 테스트에는 표시된 요구사항 332개와 표시되지 않은 요구사항 4,192개(즉, 빨간색 글자나 색상 강조 표시가 없는 요구사항)가 포함된 문서 84개를 선정했다. 각 문서에는 표시된 요구사항이 최소 1개, 표시되지 않은 요구사항이 최소 3개씩 있어야 했으므로, AI가 모든 항목을 무작정 나열하는 방식으로 답할 수는 없었다.

정답 데이터는 사람의 판단이나 다른 AI 모델을 거치지 않고 문서의 서식을 직접 확인해 확정했다. 성능은 정밀도, 재현율 및 F1 점수로 측정했으며, 올바르게 식별한 요구사항과 표시되지 않은 요구사항을 잘못 포함한 경우인 오탐을 모두 반영했다.

점수는 LLM 평가자 없이 프로그램으로 산출했다. 두 요구사항을 일치하는 것으로 판정하려면 답변에 원래 요구사항의 연속된 내용어가 최소 4개 포함되어야 했다. 이를 통해 비슷하지만 서로 다른 요구사항을 정답으로 잘못 처리하는 일을 줄였다.

강조 표시 제거 실험

강조 표시나 색상을 사용하지 않고 문구만으로 중요한 요구사항을 식별할 수 있는지 확인하기 위해 추가 테스트를 실시했다. 예시를 학습한 텍스트 전용 분류기의 ROC 곡선 아래 면적(ROC AUC) 점수는 0.664였다(0.5는 무작위 추측에 해당한다).

더 단순한 방법은 우연 수준보다 나은 성능을 보이지 못했다. 긴급성을 나타내는 단어를 단서로 사용했을 때 점수는 0.508이었고, 문장 길이를 사용했을 때는 0.492였다. 이 결과는 형광펜을 든 작성자가 의도한 바가 무엇인지는 문구만으로 거의 파악할 수 없음을 시사한다.

이는 타당한 결과다. 문장이 충분히 강한 어조였다면 작성자는 아마 어떤 사후적 강조도 할 필요를 느끼지 않았을 것이다.

비교 대상

비교 대상에는 저자들이 직접 만든 파서인 OURS, salience 역할을 적용한 OURS, 유형을 지정하지 않은 마크업을 적용한 OURS, docx2python, Docling, 일반 텍스트 변환이 포함됐다.

각 방법에 동일한 문서와 질문을 사용하고, 문서를 변환하는 방식만 바꾸었다. 주요 비교에서는 문서 76개를 대상으로 각 테스트를 세 차례 반복했다:

Word 문서에서 ‘중요’ 표시가 된 요구사항을 식별하는 6가지 방법의 테스트 결과. 위쪽에는 문서 76개를 대상으로 세 차례 테스트한 결과가 나와 있다. 아래쪽에는 문서 79개를 사용해 여섯 차례 반복한 별도의 확인 테스트 결과가 나와 있다. F1 점수가 높을수록 성능이 우수하며, 오탐률이 낮을수록 표시되지 않은 요구사항을 잘못 선택한 경우가 적다. 통계적으로 유의한 차이는 굵은 글씨로 표시했다.

위에서 보듯이, 전체 F1 점수는 저자들의 시스템이 0.690으로 가장 높았고, docx2python은 0.586, Docling은 0.150, 일반 텍스트는 0.075에 그쳤습니다(F1은 정밀도와 재현율을 하나의 정확도 지표로 결합한 것으로, 1.0은 완벽한 점수를 나타냅니다).

서식을 보존하는 일이 중요하다는 점은 오탐 결과에서도 드러났습니다. Docling은 표시되지 않은 요구사항을 저자들의 시스템보다 거의 네 배 높은 비율로 잘못 선택했습니다(4.3% 대 1.1%).

AI 모델에 원래 색상과 강조 표시를 그대로 보여 주는 데 그치지 않고 서식의 의미까지 알려 주면 성능이 향상되는지 살펴보기 위해 별도의 테스트를 진행했습니다. 추가 레이블을 제공했을 때 작지만 통계적으로 유의미한 개선이 나타났습니다. 그러나 효과의 대부분은 서식 자체를 보존하는 것만으로 이미 얻을 수 있었습니다.

외부 압력

연구진은 Office 문서에서 정보를 얼마나 정확하게 복원할 수 있는지를 측정하는 Microsoft의 Office 문서 이해 벤치마크(OCB)를 사용해 추가 평가를 진행했습니다.

59개의 Word 문서에서 서식, 표, 하이퍼링크, 댓글, 각주를 다루는 질문 326개를 추출했습니다. 질문과 채점 기준은 모두 연구와는 별도로 Microsoft가 제공했습니다:

59개의 Word 문서에 걸친 질문 326개를 대상으로 Microsoft의 Office 문서 이해 벤치마크에서 문서 변환 방식 5가지를 비교한 결과입니다. 점수 범위는 0~1이며, 점수가 높을수록 성능이 좋습니다. 각 항목에서 가장 높은 점수는 굵게 표시했습니다. 아래쪽 행에는 전체 성능과 통계적 유의성이 요약되어 있습니다. 여기서는 저자들의 시스템이 전체 점수에서 가장 높은 성과를 거뒀지만, 강조 표시 처리에서는 docx2python의 성능이 더 좋았습니다.

위에서 보듯이, 저자들의 시스템은 전체 점수 0.959로 매우 우수한 성과를 거뒀습니다. docx2python은 0.810으로 양호했고, Docling은 0.720으로 보통이었으며, 일반 텍스트는 0.634로 상대적으로 낮았습니다.

새 시스템은 메타데이터, 댓글, 각주에서 만점을 받았고, 경쟁 방식은 모두 0점을 받았습니다. 다만 이런 개선이 강조 표시와 텍스트 색상을 보존한 덕분에만 나타난 것은 아닙니다. 저자들의 시스템은 표, 문서 레이아웃, 글꼴, 하이퍼링크에서도 정보를 더 잘 복원했습니다.

결론

최근 PDF 형식의 과학 논문에서 표와 그림에 직접 강조 표시를 한 작업을 LLM 및/또는 Python으로 자동화할 수 있는지 시도해 봤지만, 별다른 성과를 거두지 못했고 결과는… 글쎄요, 황당할 정도였습니다. 과학 논문을 분류하고 정량화하고 파싱하는 연구는 이제 문헌에서 활발히 다뤄지는 분야라서, 취미로 하는 아마추어가 끼어들 여지나 가망은 거의 없습니다.

이 논문에서 저자들의 성과는 번역 과정에서 사라지고 있던 중요한 강조 표시를 찾아냈다는 점입니다. 하지만 이 해결책에 필요한 토큰 지출이 두 배로 늘어나는 것은 결코 가볍게 볼 문제가 아닙니다. OCR 및 문서 수집 계층이 작동해야 하는 규모를 고려하면 더욱 그렇습니다. 그러므로 여기서 얻은 가장 큰 성과는 문제를 파악했다는 점이라고 생각합니다.

* 제목은 ‘저자가 쓴 내용, 에이전트가 읽는 내용: 엔터프라이즈 문서 수집 과정에서 조용히 사라지는 단서’입니다.

^† 모두 Amazon에서 가져온 것입니다.

^†† 저자의 강조 표시이며 제 것은 아닙니다. 다만 저는 저자의 본문 내 인용을 하이퍼링크로 바꾸는 작업을 자주 합니다.

최초 게재일: 2026년 10월 30일 금요일