Điều đáng lo ngại là các tác nhân doanh nghiệp không hiểu cách đánh dấu nổi bật

Trên thế giới, đặc biệt là trong giới kinh doanh, vẫn còn rất nhiều tài liệu giấy quan trọng chưa được quét số hóa. Người ta ước tính rằng chỉ 1% trong số bốn tỷ tài liệu giấy lưu thông qua hoạt động thương mại toàn cầu mỗi năm được số hóa, khiến phần còn lại nằm ngoài khả năng phân tích của học máy.

Đó chỉ là ước tính sơ bộ về vấn đề trong lĩnh vực kinh doanh; các chính phủ cũng tạo ra khối lượng khổng lồ tài liệu in hoặc đóng thành tập giấy, và Cơ quan Lưu trữ Quốc gia Hoa Kỳ cho biết trong năm nay rằng chỉ 4,04% tài liệu dạng analog mà cơ quan này lưu giữ đã được số hóa, còn 11,97 tỷ tài liệu vẫn chưa được số hóa.

Vì vậy, đây vẫn là vấn đề hiện hữu chứ không chỉ là di sản của quá khứ, và tôi thú nhận rằng mình cũng góp phần gây ra vấn đề này:

Thứ mà hầu như ngày nào tôi cũng ngồi trước mặt.

Khi đọc các bài báo, tôi in chúng ra giấy vì chúng cần được con người đọc hiểu và phân tích nhiều, bên cạnh phần tóm tắt bằng máy. Vì thời gian có hạn, tôi nguệch ngoạc những dấu nhấn thật lớn bên cạnh các phần quan trọng và những câu trích dẫn tiềm năng, để khi bắt tay vào viết, cấu trúc dữ liệu hiện lên rõ ràng trước mắt. Vì tôi không quá ám ảnh đến mức phải dùng bút đánh dấu, tôi thể hiện những điểm cần nhấn mạnh bằng nhiều loại ký hiệu, chữ viết lớn hơn và những dấu hiệu thể hiện mức độ quan trọng rất riêng.

Tuy nhiên, nhiều người, trong đó có cả những nhân vật quan trọng viết nên những điều quan trọng, quả thực dùng bút dạ quang nhiều màu và đổi màu chữ để nhấn mạnh.

Winston Churchill dùng bút mực nhiều màu khác nhau để tạo các kiểu nhấn mạnh khác nhau. Trong ảnh này, khi chuẩn bị bài diễn văn “giờ phút huy hoàng nhất”, có vẻ ông dùng màu đỏ làm ký hiệu sửa lỗi. Nguồn

Theo chính bài báo được thể hiện trong bức ảnh trước đó (tờ giấy trên bục giảng màu đen), có thể có hàng trăm triệu tài liệu chứa một lớp nhấn mạnh như vậy mà các hệ thống thu thập tài liệu như Docling hiện chưa thể nhận biết.

Những dấu nhấn thủ công này rất quan trọng, vì chúng làm nổi bật văn bản theo cách không nhất thiết thể hiện qua cấu trúc ngôn ngữ. Do đó, chỉ chuyển nội dung của một trang được đánh dấu thành văn bản thuần bằng OCR (hoặc dùng các phương pháp tiên tiến hơn, chẳng hạn như các mô hình thị giác-ngôn ngữ) sẽ không truyền tải được toàn bộ ý đồ của tác giả, thậm chí có thể khiến mục đích và chủ ý của tài liệu bị trình bày sai lệch.

Chỉ riêng phần được đánh dấu

Bài báo mới* cho thấy các công cụ chuyển đổi tài liệu được sử dụng rộng rãi thường xuyên loại bỏ phần đánh dấu nổi bật và màu chữ, khiến các tác nhân AI vẫn không thể nhận ra những chỉ dẫn quan trọng. Trong số 6.462 tài liệu chính sách được kiểm tra trong các thử nghiệm của nghiên cứu, gần một phần ba có chữ màu đỏ hoặc phần được đánh dấu, và khoảng một phần mười dùng những dấu này để thu hút sự chú ý đến các yêu cầu quan trọng.

Về các tác nhân thu thập tài liệu doanh nghiệp, các tác giả^† cho biết^††:

‘Các công cụ chuyển đổi hoàn thiện có thể khôi phục trung thực văn bản, bảng biểu và cấu trúc, nên quy trình xử lý có vẻ vẫn ổn.

‘Chúng tôi cho thấy tất cả các công cụ này đều làm mất đi một lớp thông tin—ý nghĩa mà tác giả truyền tải qua cách văn bảntrông như thế nào—và sự mất mát đó khiến các tác nhântự tin đưa ra kết luận sai thay vì thể hiện rõ rằng thông tin chưa đầy đủ; đây là dạng lỗi khó phát hiện hơn khi triển khai.’

Trong thử nghiệm của các tác giả, khi được yêu cầu xác định những yêu cầu quan trọng trong các tài liệu chính sách thực tế, các mô hình AI hoạt động tốt hơn nhiều nếu giữ nguyên phần đánh dấu nổi bật và màu chữ ban đầu. Kết quả này được xác nhận trên sáu mô hình, trong đó có GPT-5.6 Terra, Claude Opus 5 và Claude Sonnet 5.

Trên thực tế, có thể rút ra hai tín hiệu từ phần đánh dấu: a) có nội dung nào đó được đánh dấu hay không và b) màu sắc được dùng để đánh dấu. Khi có nhiều màu được dùng để đánh dấu thủ công, một quy tắc phân loại hợp lý sẽ xem màu đỏ là mang hàm ý tiêu cực theo cách nào đó (như đã thấy trước đó trong những chỗ Winston Churchill sửa bài diễn văn của chính mình):

Ở cuối đầu ra JSON này của bộ phân tích giai đoạn đầu do các tác giả xây dựng, ta thấy quy trình đã phát hiện và mã hóa phần đánh dấu màu đỏ; theo logic, ta cũng có thể thấy các từ ngữ tương ứng với mức độ nhấn mạnh đã được mã hóa đó. Tuy nhiên, phương pháp này hữu ích hơn khi phần nhấn mạnh được thêm vào những từ vốn không làm giọng điệu trở nên gay gắt hơn nhiều, và khi đó phần đánh dấu giúp bổ sung mức nhấn mạnh còn thiếu. Nguồn

Các tác giả cho rằng có thể giải quyết vấn đề khá đơn giản bằng những quy trình hiện có: giữ nguyên phần tô sáng và màu chữ ban đầu khi chuyển đổi tài liệu, đồng thời thêm nhãn giải thích ý nghĩa của chúng cho mô hình AI. Cách này không đòi hỏi xử lý AI bổ sung, nhưng khiến số token cần thiết để biểu diễn mỗi tài liệu tăng gần gấp đôi:

‘Việc khôi phục các dấu hiệu này có thể thực hiện một cách xác định chỉ bằng mã, không tốn lượt gọi LLM; toàn bộ hiệu quả được báo cáo ở đây chỉ đến từ khâu phân tích. Tuy nhiên, cách này tốn token — gần gấp đôi so với văn bản thuần — nên đây là sự đánh đổi có chủ đích giữa ngân sách ngữ cảnh và độ chính xác thực tế, chứ không phải lợi ích miễn phí.’

Sự thờ ơ trước chữ in đậm

Một khía cạnh thú vị của nghiên cứu là mức độ kém hiệu quả của các phương thức nhấn mạnh hiện có trong tài liệu số được soạn thảo bằng văn bản, dường như do chúng bị lạm dụng^††:

‘Toàn bộ hiệu quả [i.e., of the new pipeline] đều đến từ việc tô sáng [and] [colour]. Chữ đậm, chữ nghiêng, phông chữ đơn cách và chữ gạch ngang không đóng góp gì [measurable], với các khoảng tin cậy cắt qua mức 0.

‘Không phải những dấu hiệu đó không xuất hiện: chỉ một tài liệu đã có hơn một nghìn dấu chữ đậm. Vấn đề là chúng quá phổ biến nên không cung cấp thông tin hữu ích.

‘Tác giả in đậm mọi tiêu đề và thuật ngữ được định nghĩa thì cũng không vì thế mà làm nổi bật riêng điều gì, trong khi tô màu hoặc tô sáng một yêu cầu là hành động có chủ ý và được dùng có chừng mực. Việc phân loại dấu hiệu chỉ có ích khi chúng đủ hiếm để thể hiện ý định.’

Nhiệm vụ và thử nghiệm

Để xây dựng hệ thống, các tác giả quét 6.462 tài liệu chính sách thực tế ở định dạng .docx từ một kho dữ liệu công khai không được nêu rõ, kiểm tra xem tài liệu có văn bản màu đỏ và phần tô sáng hay không mà không dựa vào cách diễn đạt để phỏng đoán. Sau đó, họ yêu cầu các mô hình tìm những yêu cầu được đánh dấu là đặc biệt quan trọng và bỏ qua những yêu cầu không được đánh dấu, với câu lệnh cốt lõi sau:

‘Liệt kê mọi yêu cầu trong tài liệu này mà tác giả đã đặc biệt lưu ý hoặc đánh dấu là có mức độ ưu tiên cao hơn.’

Trong thử nghiệm chính, 84 tài liệu được chọn, gồm 332 yêu cầu được đánh dấu và 4.192 yêu cầu không được đánh dấu (tức là các yêu cầu không có văn bản màu đỏ hoặc phần tô sáng bằng màu). Mỗi tài liệu phải có ít nhất một yêu cầu được đánh dấu và ba yêu cầu không được đánh dấu, để AI không thể chỉ liệt kê tất cả.

Nhãn chuẩn được xác định trực tiếp từ định dạng của tài liệu, thay vì dựa vào đánh giá của con người hoặc một mô hình AI khác. Hiệu suất được đo bằng các điểm số độ chính xác, độ bao phủ và F1, có tính đến cả những yêu cầu được xác định đúng lẫn các trường hợp dương tính giả, tức là những yêu cầu không được đánh dấu nhưng lại bị đưa vào kết quả.

Việc chấm điểm được thực hiện bằng chương trình, không có giám khảo LLM tham gia. Để được tính là trùng khớp, câu trả lời phải chứa ít nhất bốn từ nội dung liên tiếp từ yêu cầu ban đầu, qua đó giúp tránh tính những yêu cầu tương tự nhưng khác biệt là câu trả lời đúng.

Loại bỏ phần tô sáng

Một thử nghiệm khác được tiến hành để xem liệu có thể xác định các yêu cầu quan trọng chỉ dựa trên cách diễn đạt, không cần phần tô sáng hay màu sắc hay không. Một bộ phân loại chỉ dựa trên văn bản, được huấn luyện bằng các ví dụ, đạt điểm diện tích dưới đường cong ROC (AUC ROC) là 0.664 (trong đó 0.5 tương ứng với đoán ngẫu nhiên).

Các phương pháp đơn giản hơn không đạt kết quả tốt hơn mức ngẫu nhiên: khi dùng những từ gợi ý sự khẩn cấp làm dấu hiệu, điểm số là 0.508; còn khi dùng độ dài câu, điểm số là 0.492. Những kết quả này cho thấy chỉ riêng cách diễn đạt không tiết lộ được bao nhiêu về điều mà tác giả cầm bút tô sáng định làm.

Điều này cũng hợp lý: có lẽ nếu ngôn từ đã đủ mạnh mẽ thì tác giả đã không cần nhấn mạnh thêm sau đó.

Các phương pháp được so sánh

Các phương pháp được so sánh gồm bộ phân tích cú pháp của chính các tác giả, OURS; OURS với các vai trò mức độ nổi bật; OURS với đánh dấu không phân loại; docx2python; Docling; và chuyển đổi sang văn bản thuần.

Mỗi phương pháp đều sử dụng cùng tài liệu và câu hỏi; chỉ có cách chuyển đổi tài liệu là khác nhau. Phần so sánh chính gồm 76 tài liệu, mỗi thử nghiệm được lặp lại ba lần:

Kết quả thử nghiệm so sánh sáu phương pháp xác định các yêu cầu được đánh dấu là “quan trọng” trong tài liệu Word. Phần trên trình bày kết quả từ 76 tài liệu, được thử nghiệm ba lần. Phần dưới trình bày một thử nghiệm xác nhận riêng biệt với 79 tài liệu và sáu lần lặp. Điểm F1 cao hơn cho thấy hiệu suất tốt hơn; tỷ lệ dương tính giả thấp hơn nghĩa là có ít yêu cầu không được đánh dấu bị chọn nhầm hơn. Các khác biệt có ý nghĩa thống kê được in đậm.

Như đã trình bày ở trên, hệ thống của các tác giả đạt điểm F1 tổng thể cao nhất là 0.690, so với 0.586 của docx2python, 0.150 của Docling và chỉ 0.075 khi dùng văn bản thuần (F1 kết hợp độ chính xác và độ bao phủ thành một thước đo độ chính xác duy nhất, trong đó 1.0 là điểm tuyệt đối).

Tầm quan trọng của việc giữ nguyên định dạng cũng thể hiện qua kết quả dương tính giả: với Docling, các yêu cầu không được đánh dấu bị chọn nhầm với tỷ lệ gần gấp bốn lần so với hệ thống của các tác giả (4.3% so với 1.1%).

Một thử nghiệm riêng được tiến hành để xem liệu các mô hình AI có đạt kết quả tốt hơn khi được giải thích ý nghĩa của định dạng, thay vì chỉ được xem màu sắc và phần tô sáng ban đầu hay không. Kết quả cho thấy có cải thiện nhỏ nhưng có ý nghĩa thống kê khi cung cấp thêm các nhãn này. Tuy nhiên, phần lớn lợi ích đã đạt được nhờ giữ nguyên định dạng.

Sức ép từ bên ngoài

Các nhà nghiên cứu tiến hành đánh giá bổ sung bằng Bài đánh giá khả năng hiểu tài liệu Office (OCB) của Microsoft, công cụ đo lường mức độ chính xác khi trích xuất thông tin từ tài liệu Office.

326 câu hỏi được trích xuất từ 59 tài liệu Word, bao gồm các nội dung về định dạng, bảng, siêu liên kết, bình luận và chú thích cuối trang. Microsoft cung cấp cả câu hỏi lẫn tiêu chí chấm điểm, độc lập với nghiên cứu:

Kết quả so sánh năm phương pháp chuyển đổi tài liệu trên Bài đánh giá khả năng hiểu tài liệu Office của Microsoft, gồm 326 câu hỏi từ 59 tài liệu Word. Điểm số nằm trong khoảng từ 0 đến 1; điểm càng cao cho thấy hiệu suất càng tốt. Điểm cao nhất trong mỗi hạng mục được in đậm. Các hàng cuối tóm tắt hiệu suất tổng thể và ý nghĩa thống kê. Trong trường hợp này, hệ thống của các tác giả đạt điểm tổng thể cao nhất, dù docx2python xử lý phần tô sáng tốt hơn.

Như đã trình bày ở trên, hệ thống của các tác giả đạt điểm tổng thể xuất sắc là 0.959, so với điểm tốt 0.810 của docx2python, mức khá 0.720 của Docling và mức tương đối thấp 0.634 khi dùng văn bản thuần.

Hệ thống mới đạt điểm tuyệt đối ở các hạng mục siêu dữ liệu, bình luận và chú thích cuối trang, trong khi tất cả các phương pháp cạnh tranh đều đạt điểm 0 – tuy nhiên, những cải thiện này không chỉ đến từ việc giữ nguyên phần tô sáng và màu chữ; hệ thống của các tác giả còn khôi phục thông tin từ bảng, bố cục tài liệu, phông chữ và siêu liên kết tốt hơn.

Kết luận

Gần đây, tôi đã thử tìm cách tự động hóa bằng LLM và/hoặc Python việc nhấn mạnh thủ công các bảng và hình trong một bài báo khoa học dạng PDF, nhưng hầu như không thành công; kết quả thì… quả thực rất buồn cười. Việc phân tầng, định lượng và phân tích bài báo khoa học hiện đã trở thành một hướng nghiên cứu có lượng công trình đáng kể, nên người nghiệp dư chỉ làm cho vui khó có nhiều cơ hội – hay hy vọng.

Xét riêng bài báo này, thành tựu của các tác giả là đã xác định được một dấu hiệu nhấn mạnh quan trọng vốn bị mất đi trong quá trình chuyển đổi. Tuy nhiên, việc giải pháp của họ đòi hỏi lượng token tiêu thụ tăng gấp đôi không phải chuyện nhỏ, nhất là ở quy mô mà các lớp OCR và tiếp nhận tài liệu cần vận hành. Vì vậy, theo tôi, giá trị chính ở đây là đã nhận diện được vấn đề.

* Có tiêu đề là ‘Điều tác giả viết, điều tác nhân đọc: Mất dấu hiệu âm thầm khi tiếp nhận tài liệu doanh nghiệp’.

^† Tất cả đều từ Amazon.

^†† Phần nhấn mạnh là của các tác giả, không phải của tôi, dù tôi vẫn thường chuyển các trích dẫn nội dòng của tác giả thành siêu liên kết.

Được đăng lần đầu vào thứ Sáu, ngày 30 tháng 10 năm 2026