Ngay cả các mô hình ngôn ngữ hàng đầu cũng dễ bị tổn thương bởi việc ‘phiên dịch’ chuyển录

Nghiên cứu mới từ Amazon cho thấy rằng mô hình thông minh hơn, thì càng có khả năng ‘sáng tạo’ khi được yêu cầu thực hiện Nhận dạng Ký tự Quang học.

Nhận dạng Ký tự Quang học (OCR) được coi là một vấn đề đã được giải quyết phần lớn. Nếu bạn quét một số văn bản hoặc trình bày một bức ảnh của văn bản cho hệ thống OCR, nó sẽ thực hiện việc phân biệt từng chữ cái một cách tinh vi, đưa ra ước tính tốt nhất có thể trên cơ sở từng chữ cái:

Top left, the zoning of characteristic loci in a segmented identified letter (source); main image: segmentation result for an institutional repository (Source).

OCR diễn giải các ký tự riêng biệt; những ký tự này, ở khoảng cách gần đủ, có thể hoặc không thể tạo thành các từ hoặc các cấu trúc ngôn ngữ khác. OCR không quan tâm; vào thời điểm những vấn đề này phát sinh, nó đã rời khỏi công việc và chuyển sang công việc tiếp theo, vì kiểm tra chính tả không nằm trong phạm vi của nó.

Một trong những hệ thống OCR phổ biến nhất là Tesseract, một trình diễn thuật toán nghiêm ngặt, được sử dụng rộng rãi trong nhiều ứng dụng và quy trình mã nguồn mở. Với nhiều tiện ích bổ sung OCR ‘phẳng’ có sẵn trên tất cả các hệ điều hành, khả năng chuyển đổi văn bản hình ảnh trở lại văn bản có thể chỉnh sửa đã đạt đến trạng thái của một hàng hóa miễn phí – ngay cả khi không có hệ thống nào là không có sai sót hoặc đặc điểm.

Ngoài ra, để duy trì tính liên quan, các tổ chức và sản phẩm thương mại truyền thống cạnh tranh trong không gian OCR thuật toán đã thích nghi các hệ thống di sản của họ thành hệ thống quản lý tài liệu hỗ trợ AI. Tuy nhiên, công nghệ cốt lõi – tạo ra các nhóm phân đoạn và xác định chữ cái ước tính – vẫn không thay đổi.

Word Up

Cùng với nhiều nhiệm vụ ngày càng tăng, OCR đang ngày càng được xử lý bởi thế hệ mới của các Mô hình Ngôn ngữ Hình ảnh (VLMs); khi đối mặt với văn bản không thể chỉnh sửa hoặc raster hóa, các phiên bản agentic của những hệ thống mới nhất này có thể đọc và chuyển tự một cách khéo léo khi cần thiết.

Tuy nhiên, theo một nghiên cứu mới từ Amazon.com, những người tin rằng AI sẽ sao chép chính xác cùng chức năng như OCR có thể sẽ bị bất ngờ: nghiên cứu mới này đã tìm thấy rằng mô hình LLM yêu thích của bạn có khả năng ‘làm thêm’ trong việc chuyển录, cho dù bạn muốn nó hay không; vượt qua ngữ cảnh từng chữ cái vào ngữ cảnh từng từ – và sửa bất kỳ ‘lỗi’ nào nó tìm thấy, theo những cách có thể có hậu quả không mong muốn cho các lĩnh vực như pháp lý, y tế và phiên dịch lịch sử.

Các tác giả khẳng định:

‘Các Mô hình Ngôn ngữ Hình ảnh (VLMs) ngày càng được sử dụng thay cho các đường ống OCR truyền thống để hiểu tài liệu.

‘[Chúng tôi] chỉ ra rằng chúng không luôn hành động như những người chuyển录 trung thực: khi văn bản không hoàn hảo, chúng thường có xu hướng viết lại nó thành một hình thức hợp lý hơn – một hành vi mà các chuẩn mực OCR sạch không thể phát hiện.’

Các tác giả giới thiệu một tập dữ liệu mới được biên soạn và chuẩn mực có tên FaithC4, mà họ đã thử nghiệm trên một loạt 15 mô hình mã nguồn mở và mã nguồn đóng, bao gồm các phiên bản của ChatGPT và Google Gemini.

Họ đã tìm thấy rằng các mô hình AI tổng quát có nhiều khả năng hơn các hệ thống OCR truyền thống để thay thế các từ không hoàn hảo bằng các từ ‘hợp lý’ hơn, đôi khi viết lại gần 65% từ bị xáo trộn, trong khi các lỗi nhỏ cục bộ cũng gây ra sai sót ở nơi khác trong văn bản chính xác.

Các từ ngắn đặc biệt dễ bị tổn thương, và các hướng dẫn rõ ràng không sửa lỗi làm giảm vấn đề, mặc dù nó không loại bỏ hoàn toàn.

Bài báo cho biết*:

‘Mặc dù hành vi viết lại có thể có lợi cho việc phục hồi một số lỗi thực sự, nhưng nó có thể gây vấn đề cho một số lĩnh vực có thể yêu cầu chuyển录 văn bản literal, chẳng hạn như tài liệu pháp lý, hồ sơ y tế và bản thảo lịch sử.

‘Mặc dù tầm quan trọng của nó, hành vi viết lại này đã được bỏ qua phần lớn trong nghiên cứu VLM. Các chuẩn mực OCR hiện có OCR chuẩn mực tập trung vào việc nhận dạng văn bản sạch và do đó không đủ để điều tra cách các mô hình có thể xử lý các đầu vào không hoàn hảo.’

Thông điệp trung tâm là rằng các hệ thống AI tiên tiến hơn gặp khó khăn khi không sửa lỗi mà các nền tảng OCR thuật toán có thể dễ dàng được cấu hình để cung cấp ‘nguyên bản’; trong nhiều trường hợp, sự giải thích của con người là cần thiết để giải quyết vấn đề; nhưng nếu một ‘sửa lỗi’ không chính xác đã được áp dụng, vấn đề sẽ có xu hướng trượt dưới radar của hầu hết các hệ thống kiểm tra.

Nghiên cứu mới bài báo có tên Do VLMs Read or Rewrite? On Transcription Faithfulness in Vision-Language Models, và đến từ năm nhà nghiên cứu tại Amazon.com.

Data và Method

Để tạo ra tập dữ liệu chuẩn mực của họ, các tác giả đã dựa vào Colossal Cleaned Crawled Corpus – cũng được gọi là C4 – một bộ sưu tập web được thu thập với quy mô lớn từ năm 2020. Từ bộ sưu tập này, 1.455 tài liệu đơn trang đã được chọn trên các ngôn ngữ tiếng Anh, tiếng Trung và tiếng Hàn, với mỗi đoạn văn được kích thước để phù hợp với một trang được hiển thị.

Tập dữ liệu chuẩn mực cuối cùng bao gồm 500 tài liệu tiếng Anh, 500 tài liệu tiếng Trung và 455 tài liệu tiếng Hàn, cung cấp một môi trường thử nghiệm đa ngôn ngữ để đo lường xem các hệ thống AI có sao chép trung thực hay không, hoặc dưới một hình thức nào đó.

Để kiểm tra xem các mô hình AI có sao chép trung thực những gì chúng nhìn thấy, các lỗi được kiểm soát đã được giới thiệu vào các tài liệu trước khi chúng được hiển thị dưới dạng hình ảnh, với khoảng 8% từ đủ điều kiện được thay đổi, mỗi từ chứa ít nhất bốn chữ cái. Các phiên bản không bị ảnh hưởng của những tài liệu này đã được sử dụng làm chân lý.

Ba biến thể perturbation đã được áp dụng: scramble đã xáo trộn các chữ cái bên trong của từ trong khi giữ nguyên chữ cái đầu tiên và cuối cùng; random đã thay thế mỗi chữ cái bằng một chữ cái thay thế ngẫu nhiên từ cùng một hệ thống viết; và visual đã thay thế các chữ cái tương tự về mặt hình ảnh mà vẫn còn hợp lý đối với mắt, trong khi thay đổi văn bản cơ bản.

Biến thể tiếng Trung đã bỏ qua điều kiện scramble vì hệ thống viết của nó không có từ cách, thay vào đó sử dụng cửa sổ bốn chữ cái cố định cho các perturbation khác; ngoài ra, độ dài từ trung bình ngắn hơn của tiếng Hàn có nghĩa là ít từ đủ điều kiện để sửa đổi.

Mỗi tài liệu sau đó được hiển thị dưới dạng trang PDF và được chuyển đến các hệ thống chuyển录 cạnh tranh.

Tests

Các thử nghiệm cho nghiên cứu bao gồm các mô hình tổng quát mã nguồn đóng, cụ thể là GPT-5.4-mini; Gemini-3-Flash; và Gemini-2.5-Flash; và các mô hình mã nguồn mở, bao gồm các mô hình tổng quát Qwen3.5-4B; Qwen3-VL-4B; InternVL3.5-4B; Gemma4-E4B; và Gemma4-E2B.

Ngoài ra, các mô hình OCR chuyên dụng đã được bao gồm, bao gồm olmOCR-2-7B; DeepSeek-OCR-2; MinerU2.5-Pro; PaddleOCR-VL-1.5; và LightOnOCR-2-1B. Cuối cùng, các động cơ OCR truyền thống Tesseract và docTR cũng đã được thử nghiệm.

Các nhóm này phụ thuộc vào ngôn ngữ ở các mức độ khác nhau: các mô hình AI tổng quát dựa nhiều vào kiến thức ngôn ngữ rộng được thu thập trong quá trình tiền huấn luyện; các mô hình OCR chuyên dụng đặt nhiều trọng tâm hơn vào việc chuyển录 tài liệu trung thực thông qua đào tạo nhiệm vụ cụ thể; và các hệ thống OCR truyền thống dựa vào việc nhận dạng chữ cái, chứ không phải suy luận ngôn ngữ.

Hai số liệu được áp dụng, bắt đầu với Tỷ lệ Lỗi Từ (WER), số liệu OCR tiêu chuẩn để xác định số lượng từ mà một hệ thống chuyển录 không chính xác. Thay vì chỉ đếm các chữ cái sai, WER ghi lại các thay thế, xóa và chèn tương đối với văn bản gốc, làm cho nó nhạy cảm với cả từ sai và từ bị bỏ qua hoặc thêm vào.

Đối với tiếng Trung, nơi các từ không được ngăn cách bởi khoảng trắng, cách tiếp cận tương tự đã được áp dụng ở mức độ chữ cái, dưới dạng Tỷ lệ Lỗi Chữ cái (CER).

Để bắt được các sai sót tinh vi hơn, số liệu Độ tương đồng Khoảng cách Chỉnh sửa (EDS) cũng đã được sử dụng. EDS so sánh văn bản dự đoán với văn bản gốc ở mức độ chữ cái, và – không giống như WER – có thể phân biệt giữa một từ hoàn toàn sai và một từ khác chỉ một hoặc hai chữ cái. Tự nhiên, điều này làm cho nó hữu ích để phát hiện các sai sót gần gũi, cũng như các bản viết lại một phần mà có thể không giống nhau.

Como được hiển thị trong đồ thị dưới đây, các hệ thống OCR truyền thống đã chứng minh sự kháng cự nhiều nhất đối với cả ba loại perturbation, với sự mất mát độ chính xác rất nhỏ vì chúng chủ yếu nhận dạng các chữ cái riêng biệt chứ không phải cố gắng suy luận từ ngữ cảnh:

Changes in Word Error Rate (left) and Edit Distance Similarity (right) across English, Chinese and Korean after applying the three text perturbation methods. Traditional OCR systems showed the smallest performance degradation overall, OCR-specialized models occupied the middle ground, while general-purpose AI models were typically the most affected by corrupted text. Source

Các mô hình OCR chuyên dụng chiếm vị trí trung gian; MinerU và LightOn vẫn còn tương đối vững chắc; và olmOCR và DeepSeek-OCR đã показали sự nhạy cảm cao hơn với văn bản bị hỏng, cho thấy rằng đào tạo tài liệu cụ thể đã giảm, nhưng không loại bỏ, xu hướng diễn giải lại những gì đang được đọc.

Các mô hình AI tổng quát đã thực hiện tệ nhất tổng thể, thể hiện sự gia tăng lớn nhất trong các lỗi chuyển录 khi đối mặt với văn bản bị hỏng. Hầu hết đã gặp phải sự suy giảm lớn hơn nhiều so với cả các mô hình OCR chuyên dụng và các hệ thống OCR truyền thống – mặc dù Gemini-3-Flash đã nổi bật như một ngoại lệ đáng chú ý, thực hiện nhiều hơn như một hệ thống OCR truyền thống.

Tổng thể, xếp hạng đã khớp chặt với mức độ mà mỗi mô hình dựa vào kiến thức ngôn ngữ, với các ưu tiên ngôn ngữ mạnh hơn tương ứng với xu hướng viết lại thay vì chỉ chuyển录 văn bản.

Một phân tích các loại lỗi, được hiển thị trong bảng dưới đây, cho thấy rằng các hệ thống OCR truyền thống chủ yếu tạo ra các lỗi chuyển录 thông thường, chẳng hạn như thay thế, xóa và chèn:

Results from the English ‘Scramble’ perturbation test, showing how each transcription system distributed its errors across exact rewrites, near-miss transcriptions (‘Close’), more substantial transcription errors (‘Moderate’) and outright incorrect outputs (‘Wrong’). Models are ordered by their rate of rewriting corrupted words.

Ngược lại, các mô hình AI tổng quát có nhiều khả năng hơn để thay thế các từ bị hỏng bằng các từ thay thế hợp lý trong khi giữ nguyên câu xung quanh, cung cấp bằng chứng mạnh mẽ rằng chúng không chỉ đọc sai văn bản bị hỏng, mà còn đang viết lại nó bằng cách sử dụng ngữ cảnh ngôn ngữ.

Nghiên cứu cũng cho thấy rằng các lỗi chuyển录 không chỉ giới hạn ở các từ bị hỏng:

Results from the error propagation analysis, showing per-word error rates on perturbed and unperturbed words after each perturbation type. Altering only around 4.7% of words caused transcription errors to spread into surrounding, unmodified text across many models.

Como được hiển thị trong bảng kết quả trên và đồ thị dưới đây, việc thay đổi chỉ khoảng 4,7% từ trong một tài liệu tiếng Anh đã làm tăng đáng kể tỷ lệ lỗi trong văn bản không bị hỏng xung quanh:

Further results from the error propagation analysis, showing the increase in transcription errors on both perturbed and unperturbed words after each perturbation type. General-purpose AI models exhibited the greatest error amplification, with mistakes frequently spreading beyond the originally corrupted words.

Các mô hình VLM tổng quát đã bị ảnh hưởng nhiều nhất, với tỷ lệ lỗi trên các từ không bị hỏng tăng lên đến mười lần so với mức cơ bản. Ngược lại, các hệ thống OCR truyền thống chỉ cho thấy sự tăng nhẹ. Các mô hình có tỷ lệ viết lại cao nhất cũng cho thấy sự lan truyền lỗi mạnh nhất, cho thấy rằng cả hai hành vi đều xuất phát từ sự phụ thuộc tương tự vào ngữ cảnh ngôn ngữ.

Trong thực tế, điều này có nghĩa là một lượng nhỏ văn bản bị hỏng có thể làm suy giảm độ chính xác của một tài liệu khác, khiến các điểm chuẩn OCR sạch trở nên không đáng tin cậy cho độ trung thực của chuyển录 trong thế giới thực.

Cuối cùng, các tác giả cũng đã kiểm tra xem độ dài từ có ảnh hưởng đến hành vi viết lại hay không, và họ đã tìm thấy rằng các từ ngắn hơn nhiều so với các từ dài hơn.

Bởi vì chúng chứa ít tín hiệu hình ảnh hơn, các từ ngắn dường như khuyến khích các mô hình VLM dựa nhiều hơn vào kiến thức ngôn ngữ ngữ cảnh – làm tăng khả năng rằng văn bản bị hỏng sẽ được thay thế bằng một từ thay thế hợp lý, thay vì được chuyển录 một cách chính xác (mà có thể gây ra một cảnh báo hữu ích cho sự giám sát của con người).

Các tác giả cũng đã tìm thấy rằng trong khi việc chỉ dẫn rõ ràng cho các mô hình không sửa lỗi đã giảm xu hướng này, nó không loại bỏ hoàn toàn. Điều này dường như cho thấy rằng việc chuyển录 diễn giải là một đặc điểm vốn có của các mô hình VLM hiện tại, chứ không phải là một hành vi có thể được ngăn chặn đáng tin cậy thông qua việc nhắc nhở alone.

Các tác giả kết luận:

‘Đối với các ứng dụng yêu cầu chuyển录 văn bản literal, chẳng hạn như xử lý tài liệu pháp lý, số hóa bản thảo lịch sử và pháp y, các hệ thống OCR truyền thống hoặc các mô hình VLM chuyên dụng OCR cẩn thận vẫn là lựa chọn an toàn nhất, trong khi các mô hình VLM tổng quát giới thiệu việc viết lại hệ thống mà các chuẩn mực văn bản sạch không thể bắt được.’

Kết luận

Nghiên cứu này lặp lại một chủ đề lặp lại trong văn học LLM: rằng mặc dù các mô hình VLM đã được đào tạo là rất mạnh mẽ, nhưng chúng cũng kháng lại các hướng dẫn quan trọng – trong trường hợp này Đọc và phân tích các chữ cái bạn tìm thấy trong hình ảnh.

Các mô hình tiên tiến hơn không thể làm được điều đó, dường như – như thể chúng coi đó là ‘công việc bẩn’ hoặc bị thôi thúc một cách vô lý để kết thúc một ‘nhiệm vụ nửa vời’.

* Tôi đã chuyển đổi các trích dẫn nội tuyến của tác giả thành các liên kết.

Được xuất bản lần đầu vào thứ Hai, ngày 27 tháng 7 năm 2026