Vì sao văn bản do AI tạo ra khó hiểu hơn bạn nghĩ

Các mô hình AI có thể ngày càng khó hiểu vì quá trình huấn luyện chúng ngày càng ưu tiên giải quyết vấn đề hiệu quả hơn là giải thích rõ ràng cho con người.

Câu chưa chỉnh sửa ở trên do ChatGPT viết để đáp ứng yêu cầu tóm tắt một bài báo khoa học trong một câu theo kiểu giải thích như cho trẻ 5 tuổi; câu này có ít nhất vài đặc điểm làm méo mó ngôn ngữ được nêu trong nghiên cứu mới đó*. Công trình mới kết luận rằng vấn đề này ảnh hưởng đến tất cả các mô hình tiên phong, cũng như các mô hình gần đạt trình độ tiên phong và một số mô hình có trọng số mở khác được đưa vào thử nghiệm.

Chẳng hạn, phần đầu của đoạn “quá trình huấn luyện chúng ngày càng ưu tiên giải quyết vấn đề hiệu quả” minh họa nhận định của bài báo rằng đôi khi các mô hình AI gán hành động của con người cho những vật vô tri (vì trong ví dụ trên, “quá trình huấn luyện” được mô tả là chủ động khuyến khích điều gì đó).

Điều này có thể cản trở việc nhanh chóng phân tích cụm từ, vì ta phải tự hiểu rằng cách gán này chỉ là một phép minh họa, thay vì hiểu theo nghĩa đen (vốn đơn giản hơn nhiều).

Phần sau, “ngày càng ưu tiên giải quyết vấn đề hiệu quả”, cũng dồn nhiều ý vào cùng một cụm, buộc người đọc phải tự xác định điều gì đang được ưu tiên, vấn đề nào đang được giải quyết và điều gì đang trở nên hiệu quả hơn.

Bài báo viết^†:

“[Readers] sử dụng tính hữu sinh làm dấu hiệu trong quá trình phân tích, và khi không có ngữ cảnh bổ sung, sự không tương thích có thể gợi ra phản ứng P600^†† gắn với việc phân tích lại.

“Tuy nhiên, nếu diễn đạt lại những câu này để tránh dùng chủ thể vô tri, câu có thể phải dài hơn: chẳng hạn, từ “cắn” được dùng thay cho “gây ra vấn đề”.

“Chúng tôi cho rằng trong quá trình huấn luyện, các mô hình có thể đã dần chuyển sang dùng những cấu trúc như vậy như một cách diễn đạt ý nghĩa hiệu quả, dù không theo chuẩn thông thường; nếu không, ý nghĩa đó sẽ cần nhiều token hơn.”

Nói gì cơ?

Đây là trọng tâm của bài báo: vì các mô hình AI hiện đại như ChatGPT, Claude và Gemini được tối ưu hóa để giải quyết nhiều dạng vấn đề khác nhau chứ không chuyên biệt cho việc giao tiếp, chúng thường tạo ra ngôn ngữ dưới dạng những gói thông tin được nén chặt, cần được giải mã phần nào.

Điều này khiến tôi ngạc nhiên, vì tôi luôn cố thuyết phục ChatGPT và các mô hình tương tự ít dài dòng hơn và cô đọng hơn — một vấn đề đã được ghi nhận và giải quyết trong các công trình nghiên cứu.

Thay vào đó, bài báo mô tả sự dài dòng như một dạng bom ZIP, khiến ngay cả một câu không quá dài cũng khó hiểu. Vì vậy, nếu kết hợp hai vấn đề — độ dài quá mức của câu trả lời mặc định và nhận xét của bài báo về việc nén quá mức — ta có thể hình dung rằng kiểu trả lời mặc định đặc trưng của các mô hình AI tiên phong khá khác biệt (và có lẽ, phần nào phong cách súc tích này được dùng làm tiêu chí trong các công cụ phát hiện văn bản do AI tạo ra, dù bài báo không đề cập đến vấn đề đó).

Các tác giả cũng xem xét các cụm danh từ chồng lớp, được minh họa qua cụm từ gây khó hiểu Đội cứu trợ giúp chó cắn^†:

“Trong tiếng Anh, danh từ có thể tự do bổ nghĩa cho danh từ khác theo cách của tính từ: trong cụm từ quán cà phê, “cà phê” bổ nghĩa cho “quán”, mặc dù từ này thường được dùng như một danh từ. Đặc điểm này cho phép ghép nhiều danh từ thành những từ phức phong phú, biểu đạt những ý nghĩa rất cụ thể.

Tuy nhiên, những chuỗi danh từ như vậy có thể tạo ra sự mơ hồ về cách phân nhóm, như trong dòng tít Đội cứu trợ giúp nạn nhân bị chó cắn, đồng thời làm gián đoạn việc đọc.”

Vậy nếu các mô hình ngôn ngữ lớn (LLM) trở nên dài dòng do nén thông tin, liệu chúng có đang dài dòng gấp đôi khi tạo ra khối lượng văn bản nén quá lớn để trả lời một truy vấn không? Điều đó có nghĩa là không chỉ có rất nhiều văn bản cần đọc để tìm câu trả lời, mà bản thân văn bản còn có thể chứa nhiều ý nghĩa “ẩn” cần được giải mã.

Một bài báo năm 2023 cho rằng các mô hình ngôn ngữ lớn có thể trở nên dài dòng không cần thiết vì trong quá trình huấn luyện có sử dụng giám khảo AI, vốn thường đánh giá cao những câu trả lời dài hơn — ngay cả khi trong các thử nghiệm của nghiên cứu, con người thích câu trả lời ngắn hơn.

Các tác giả của công trình mới cho rằng (như đã dẫn ở trên) một phần xu hướng nén thông tin của các mô hình tiên phong bắt nguồn từ thiết kế kiến trúc ưu tiên tiết kiệm token — một suy nghĩ khá rộng lượng trong thời buổi này.

Hãy cùng xem xét phương pháp, dữ liệu và các thử nghiệm mà nhóm tác giả thực hiện cho nghiên cứu.

Dữ liệu và phương pháp

Các tổ hợp từ bất thường (được đo bằng chuỗi n từ, tức các chuỗi từ) được xem xét về mức độ khó đoán; những tổ hợp hiếm gặp thường gắn với việc đọc khó hơn.

Độ dài phụ thuộc (khoảng cách giữa các từ có liên hệ ngữ pháp) cũng được đo lường, vì khoảng cách càng dài càng đòi hỏi trí nhớ làm việc nhiều hơn – đặc biệt khi chủ ngữ và động từ bị ngăn cách bởi một số từ xen giữa.

Mệnh đề quan hệ tân ngữ (cấu trúc như “ngôi nhà các nhà thầu đã xây”) cũng được khảo sát, đặc biệt là khi lược bỏ các từ không bắt buộc (chẳng hạn như “mà” trong “ngôi nhà mà các nhà thầu đã xây”).

Các cụm danh từ xếp chồng đã nêu ở trên (gồm từ ba danh từ trở lên ghép lại, như “công cụ tạo nhạc phim kinh dị”) cũng được nghiên cứu, vì mối quan hệ giữa các từ cấu thành chúng có thể không rõ ràng.

Động từ có nguồn gốc từ danh từ (danh từ được dùng như động từ, chẳng hạn “dùng nĩa để xiên nó” thay vì “đặt nó lên nĩa”) cũng được khảo sát, cùng với các chủ ngữ vô tri đi với những động từ thường gắn với sinh vật sống (như đã thảo luận ở trên). Cả hai cấu trúc đều giúp diễn đạt ý nghĩa bằng ít từ hơn, nhưng có thể đòi hỏi người đọc phải suy luận thêm.

Các mô hình tham gia

Các nhà nghiên cứu thu thập những cuộc hội thoại do AI tạo ra từ 14 mô hình: Kimi K2.5; GLM 5; Claude Sonnet 5, Opus 5, Opus 5.5 và Fable 5; GPT-5.6 Luna, Terra và Sol; Olmo Base, Instruct và Think; cùng Llama Base and Instruct.

Các bài kiểm tra gồm mười lời nhắc mở đầu cho hội thoại thông thường và năm lời nhắc cho lập trình. Mỗi nhiệm vụ yêu cầu mô hình sao chép một kho lưu trữ GitHub công khai có thật, tìm lỗi và sửa chúng trong môi trường hộp cát.

Các cuộc hội thoại được giới hạn ở 12 lượt trao đổi, còn các phiên lập trình được giới hạn ở 11 lượt, sau đó là một thông điệp kết thúc cố định. Trong một bài kiểm tra riêng, mỗi mô hình được yêu cầu viết bảy bài luận dựa trên đề bài trong bộ dữ liệu PERSUADE 2.0.

Để đối chiếu, các văn bản do con người viết được lấy từ những nguồn gần nhất có thể với ba loại đầu ra của AI: OpenSubtitles (một tuyển tập phụ đề phim và truyền hình, không liên quan đến nền tảng phụ đề mã nguồn mở) được dùng cho hội thoại thông thường; StackExchange (mạng lưới trực tuyến gồm các diễn đàn hỏi đáp) được dùng cho thảo luận về lập trình; còn bài luận của học sinh, sinh viên từ bộ dữ liệu PERSUADE 2.0 đã nêu ở trên được dùng cho các nhiệm vụ viết. Wikipedia cũng được sử dụng làm nguồn đối chiếu bổ sung.

Khi có dữ liệu phù hợp do con người viết, các đặc điểm ngôn ngữ tương tự được đo lường trên cả văn bản của con người lẫn văn bản do AI tạo ra; những tập dữ liệu tham chiếu này cũng được dùng để đánh giá tần suất xuất hiện của các tổ hợp từ.

Phương pháp dịch vòng (từ tiếng Anh sang tiếng Nhật rồi dịch ngược lại bằng mô hình NLLB-200) được sử dụng để phân biệt sở thích về phong cách với yêu cầu tất yếu của ngôn ngữ. Ý nghĩa phần lớn được giữ nguyên trong khi cấu trúc câu thay đổi, nhờ đó có thể nhận diện cách diễn đạt phức tạp không cần thiết.

Kết quả

Thí nghiệm 1

Như trình bày bên dưới, một số cấu trúc khó xuất hiện thường xuyên hơn trong văn bản AI nguyên bản, đặc biệt ở các mô hình tiên phong. Điều này được xem là bằng chứng cho thấy các mô hình ưu tiên cách diễn đạt phức tạp không cần thiết:

So sánh văn bản do AI tạo ra ở dạng nguyên bản với các phiên bản được dịch sang tiếng Nhật rồi dịch ngược lại sang tiếng Anh. Các chấm màu xanh lá biểu thị những kiểu ngôn ngữ được dùng thường xuyên hơn trong bản gốc; các chấm màu hồng biểu thị những kiểu được dùng thường xuyên hơn sau khi dịch. Nhìn chung, sự khác biệt lớn hơn ở các mô hình GPT và Claude. Nguồn

Sáu đặc điểm ngôn ngữ được so sánh trên 14 mô hình AI trong ba bối cảnh (hội thoại, lập trình và viết luận). Có 12 mô hình được kiểm tra về hội thoại, chín mô hình về lập trình và cả 14 mô hình về viết luận:

So sánh sáu đặc điểm ngôn ngữ giữa các mô hình AI trong hội thoại, lập trình và viết luận. Mỗi hình thoi biểu thị kết quả tổng hợp của một mô hình; các thanh ngang thể hiện khoảng tin cậy 95%. Các đường thẳng đứng nét đứt biểu thị mức cơ sở từ văn bản do con người viết: OpenSubtitles (hội thoại), StackExchange (lập trình) và bài luận của học sinh, sinh viên trong PERSUADE 2.0 (viết luận). Các đường chấm biểu thị kết quả đối chiếu với Wikipedia. Giá trị cao hơn nhìn chung cho thấy cấu trúc được đo lường xuất hiện thường xuyên hơn hoặc độ phức tạp ngôn ngữ cao hơn. Vui lòng tham khảo bài báo gốc để xem hình ảnh rõ hơn.

Văn bản do AI tạo ban đầu cũng được so sánh với các phiên bản dịch ngược, qua đó có thể đo lường sự khác biệt về cấu trúc câu:

So sánh văn bản do AI tạo ban đầu (hình thoi đặc) với các phiên bản được dịch sang tiếng Nhật rồi dịch ngược sang tiếng Anh bằng NLLB-200 (hình tròn rỗng). Các đường màu hồng biểu thị những đặc điểm được dùng thường xuyên hơn sau khi dịch; các đường màu xanh lá biểu thị những đặc điểm được dùng thường xuyên hơn trong văn bản gốc. Dấu hoa thị biểu thị ý nghĩa thống kê (một, hai hoặc ba dấu hoa thị thể hiện bằng chứng thống kê ngày càng mạnh). Việc dịch làm giảm hầu hết các cấu trúc liên quan đến độ khó khi đọc, đặc biệt ở các mô hình tiên tiến nhất. Vui lòng tham khảo bài báo gốc để xem hình ảnh rõ hơn.

Các mô hình tiên tiến và gần tiên tiến nhất có xu hướng sử dụng quá mức những cách kết hợp từ ít gặp, động từ phái sinh từ danh từ, chủ ngữ vô tri và mệnh đề quan hệ bổ ngữ có lược bỏ từ tùy chọn (xem biểu đồ ở trên). Những xu hướng này nhìn chung ít rõ rệt hơn ở Llama và Olmo Base, nhưng lại nổi bật hơn ở Olmo Think.

Sự khác biệt trong bài luận nhỏ hơn so với hội thoại hoặc lập trình. Điều này được cho là do bài luận chỉ có một lời nhắc, trong khi các cuộc hội thoại qua lại kéo dài có thể khuyến khích việc cô đọng ngôn ngữ nhiều hơn.

Các tác giả lưu ý:

‘So với hội thoại và [coding], các bài luận PERSUADE ít thay đổi hơn khi dịch vòng qua lại ở một số hạng mục (các phép đo n-gram, độ dài phụ thuộc, danh từ xếp chồng và động từ phái sinh từ danh từ).

‘Chúng tôi giả thuyết rằng điều này là do bài luận chỉ có một lời nhắc, khác với nhiều lượt trao đổi lặp đi lặp lại trong hội thoại và lập trình. Chúng tôi cho rằng một số khuôn mẫu có thể xuất hiện trong các cuộc trò chuyện qua lại kéo dài (vốn có thể đòi hỏi phải cô đọng thông tin nhiều hơn).’

Llama và Olmo Base và Instruct có mức thay đổi ít nhất sau khi dịch, đồng thời có cách kết hợp từ và sử dụng động từ gần với bài luận của sinh viên nhất. Ngược lại, Olmo Think được nhận thấy có cách vận hành giống các mô hình tiên tiến hơn. Claude Opus 5.5 được ghi nhận là sử dụng ít cấu trúc khó hơn Opus 5 trong 19 trên 21 phép so sánh; khoảng tin cậy 95% không chồng lấp trong tám phép so sánh đó.

Thí nghiệm 2

Thí nghiệm thứ hai được thiết kế để kiểm tra liệu áp lực tiềm ẩn buộc mô hình tạo ra câu trả lời ngắn gọn, giàu thông tin hơn có thể khiến chúng ưu tiên những cấu trúc ngôn ngữ khó hiểu đối với con người hay không.

Trong thí nghiệm này, Qwen2.5-1.5B-Instruct được tinh chỉnh bằng Tối ưu hóa chính sách tương đối theo nhóm (GRPO), và mô hình được giao nhiệm vụ chuyển các mô tả sự kiện có cấu trúc, định dạng JSON thành câu tiếng Anh.

Hai khía cạnh của quá trình huấn luyện được điều chỉnh là mức độ mô hình được phép thay đổi cách dùng từ thường lệ của mình (β) và mức độ mô hình bị phạt khi tạo câu trả lời dài hơn (λ). Mỗi sự kiện có thể được diễn đạt theo hai cách đúng ngữ pháp, với số lượng token khác nhau đã được xác định.

Ví dụ, ‘Anh ấy gửi cho chúng tôi một bức ảnh’ cần sáu token, trong khi ‘Anh ấy gửi một bức ảnh cho chúng tôi’ cần bảy token. Một phép thử riêng cũng được tiến hành, trong đó hai cách diễn đạt cùng một ý cần số token bằng nhau, nhằm kiểm tra xem sự khác biệt có phải do độ dài câu gây ra hay không.

Tác động này được kiểm tra trên những câu chưa từng xuất hiện trước đó, bằng cách sử dụng bốn cấu trúc đã gặp trong quá trình huấn luyện; hai cấu trúc chưa được huấn luyện có từ ‘that’ tùy chọn; và các cấu trúc không liên quan, bao gồm sở hữu, từ chỉ số lượng, câu bị động và mệnh đề chỉ mục đích.

Các phép thử được thiết kế để xác định liệu mô hình có học được sở thích dùng cách diễn đạt ngắn gọn hơn và áp dụng sở thích đó cho những cấu trúc chưa từng gặp trong quá trình huấn luyện hay không:

Tác động của việc phạt những câu trả lời dài hơn trong quá trình huấn luyện. Ví dụ về cách diễn đạt ngắn hơn và dài hơn được trình bày ở A. Mức độ ưa chuộng các cấu trúc ngắn hơn được đo ở B, còn các thử nghiệm với những cấu trúc chưa từng được huấn luyện được trình bày ở C và D. Màu cam biểu thị quá trình huấn luyện không hạn chế mức độ thay đổi so với mô hình gốc; màu xanh lam biểu thị quá trình huấn luyện có áp dụng hạn chế đó. Các đường nét đứt thể hiện lựa chọn của mô hình gốc. Nhìn chung, mức phạt càng cao thì mô hình càng ưa chuộng cách diễn đạt ngắn gọn, kể cả với những cấu trúc không có trong dữ liệu huấn luyện. Vui lòng tham khảo bài báo gốc để xem hình ảnh rõ hơn.

Khi mức phạt dành cho câu trả lời dài tăng lên, mô hình thường chọn cách diễn đạt ngắn hơn (như minh họa ngay phía trên). Nếu không có mức phạt KL (một hạn chế về mức độ mô hình có thể đi chệch khỏi các dự đoán từ ban đầu của mình), sự chuyển dịch diễn ra nhanh chóng; khi có mức phạt này, hiệu ứng tương tự xuất hiện từ từ hơn. Khi không áp dụng cả hai mức phạt, lựa chọn thay đổi đáng kể giữa các lần huấn luyện, nhưng ngay cả mức phạt độ dài nhỏ cũng tạo ra xu hướng nhất quán là ưa chuộng các cách diễn đạt ngắn hơn.

Xu hướng này cũng xuất hiện ở những cấu trúc câu chưa từng gặp trước đó, có chứa từ tùy chọn ‘that’. Khả năng chuyển giao sang các cấu trúc ngữ pháp khác biệt hơn yếu hơn nhiều; chỉ ghi nhận được hiệu ứng với dạng sở hữu khi không có mức phạt KL.

Các tác giả kết luận:

‘Chúng tôi xem những kết quả này là bằng chứng ban đầu cho thấy mức phạt độ dài được sử dụng trong quá trình học tăng cường với GRPO có thể tác động trực tiếp đến các đặc điểm ngữ pháp.

‘Chúng tôi lưu ý rằng mô hình không được chỉ dẫn trực tiếp phải sử dụng ngôn ngữ cô đọng hoặc súc tích, cũng không được cung cấp trực tiếp thông tin về sự tồn tại của các cách diễn đạt thay thế về mặt cú pháp.

‘Thay vào đó, mức phạt đã tạo ra xu hướng tự phát, khiến mô hình ưa chuộng những cách diễn đạt ngắn hơn trong các lựa chọn thay thế về mặt cú pháp.’

Kết luận

Từ lâu, tôi đã quan tâm đến những điểm neo – cả vô tình lẫn có chủ ý – đặc trưng cho văn bản do AI tạo ra. Vì vậy, phát hiện mới này phần nào làm sáng tỏ mâu thuẫn có vẻ tồn tại giữa sự dài dòng thường được ghi nhận ở các mô hình ngôn ngữ lớn (LLM) và xu hướng cũng được ghi nhận không kém của chúng là nén thông tin theo cách có vẻ “dễ đọc”, chỉ vì cách diễn đạt dùng không nhiều từ – nhưng rõ ràng, đó là cách hiểu sai về dấu hiệu này.

Ở LLM, câu chữ ngắn gọn có thể là dấu hiệu của sự phức tạp chứ không phải sự cô đọng những ý chính, như thể AI đang đưa cho chúng ta một câu đố thay vì trình bày trực tiếp những khái niệm nằm sau câu chữ. Dường như tất cả chỉ nhằm giúp một mô hình duy nhất vừa lập trình vừa viết.

* Có tựa đề “Vì sao ngôn ngữ do AI tạo ra lại khó hiểu đến vậy?”, bài viết do hai tác giả đến từ New York University và The University of Texas thực hiện.

^† Phần tôi chuyển các trích dẫn trong bài của tác giả thành siêu liên kết.

^†† https://mikeydoes.com/glossary/p600/

Được đăng lần đầu vào thứ Hai, ngày 26 tháng 10 năm 2026