Góc nhìn Anderson
Tiến bộ khoa học nhờ AI bị đe dọa bởi một nỗi ám ảnh kỳ lạ

Điểm chínhCác mô hình đánh giá AI mới hơn tập trung quá mức vào phần phụ lục trong khi người đánh…
Xem thêm
- Các mô hình đánh giá AI mới hơn tập trung quá mức vào phần phụ lục trong khi người đánh giá tập trung vào những phát hiện chính của bài báo.
- Các mô hình ngôn ngữ coi mọi đoạn văn đều quan trọng như nhau nên chúng bỏ qua việc xác định phần nào thực sự quan trọng.
- Thiên lệch về phụ lục vẫn tồn tại qua các phương thức truy cập và tạo ra phản hồi hời hợt, hầu như không giúp tác giả cải thiện.
Một nghiên cứu mới của Mỹ cho thấy các mô hình AI đánh giá bài báo khoa học đang phát triển một nỗi ám ảnh kỳ lạ với phụ lục thay vì phần nội dung chính, thường chú ý đến những chi tiết hỗ trợ nhỏ nhặt nhiều hơn các phát hiện cốt lõi. Khi các mô hình ngôn ngữ ngày càng được sử dụng để hỗ trợ, thậm chí thay thế, người phản biện là con người, xu hướng mới được xác định này dường như đang lan sang hoạt động phản biện khoa học, có khả năng cản trở tiến bộ trong nghiên cứu AI:

Theo nghiên cứu mới, những lời phê bình liên quan đến phụ lục trong các bài phản biện khoa học của con người đang gia tăng. Sau nhiều năm duy trì dưới mức 11%, tỷ lệ này đã lên tới 27,6% trong các bài phản biện gần đây nhất, sau khi những mô hình AI được phát hiện là lấy hơn một nửa số lời phê bình từ phụ lục ra mắt. Các đường nét đứt đánh dấu thời điểm phát hành những mô hình lớn. Nguồn
Khi thử nghiệm trên 2000 bài báo khoa học được lấy từ bốn hội nghị phổ biến, các nhà nghiên cứu trong công trình mới nhận thấy những mô hình mới hơn đưa ra khoảng 50-70% lời phê bình dựa trên phụ lục, trong khi tỷ lệ này ở GPT-5 đời cũ chưa đến 30%.
Hai mô hình AI mới hơn nổi bật nhất, dường như đang khiến cả người phản biện là con người cũng hướng sự chú ý vào phụ lục thay vì các kết quả chính quan trọng hơn, là GPT-6.1-Sol của OpenAI và GPT-6-Astra; cả hai đều ra mắt năm 2026.
Bài báo viết*:
‘Sự khác biệt giữa các thế hệ là rất lớn. Với GPT-5, chỉ một phần nhỏ các điểm yếu liên quan đến phụ lục. Hai mô hình mới hơn, GPT-6.1-Sol và GPT-6-Astra, phụ thuộc vào tài liệu này nhiều hơn hẳn, và điều đó đúng với mọi hội nghị.
‘Điều này cho thấy xu hướng thiên về phụ lục chủ yếu là đặc tính của các mô hình mới hơn. Dù các mô hình mới đã được cải thiện, xu hướng thiên về phụ lục của chúng vẫn tăng lên. Khả năng đọc kỹ một bài báo vẫn chưa giúp chúng nhận ra phần nào là quan trọng nhất.’
Nghiên cứu cũng phát hiện rằng mức độ tập trung vào phụ lục khác nhau tùy theo phương thức AI tiếp nhận bài báo, bởi các giao diện API, codex và web không xử lý tệp PDF theo cùng một cách – còn Codex hoàn toàn không đọc phần giữa của các tệp PDF có độ dài trung bình, mà chỉ lấy mẫu từng “đoạn” sau đó nếu cần. Tuy nhiên, tất cả các phương thức đều được phát hiện là ưu tiên nội dung phụ lục.
Cho đến gần đây, các bài phản biện của con người và AI chưa có chung nỗi ám ảnh này:
‘Các nhà phản biện[Human] nhìn nhận phần nội dung chính và tài liệu bổ sung rất khác so với các mô hình ngôn ngữ lớn (LLM). LLM quy hơn 50% điểm yếu cho nội dung liên quan đến phụ lục, trong khi con người quy chưa đến 10%.
‘Sự khác biệt cũng thể hiện ở cấp độ từng bài phản biện. Trong số 200 bài báo được lấy mẫu mỗi năm từ 2021 đến 2024, tổng cộng chỉ có 159 bài nhận được phản biện của con người nêu ra bất kỳ điểm yếu nào liên quan đến phụ lục. Ngược lại, cả 200 bài phản biện do LLM tạo ra cho ICLR 2027 đều có ít nhất một lời phê bình về phụ lục.’

So sánh những lời phê bình liên quan đến phụ lục trong các bài phản biện khoa học do con người và AI tạo ra. Người phản biện quy chỉ 8,4% số điểm yếu được xác định cho nội dung phụ lục, so với 62% ở các mô hình AI. Cột thứ hai thể hiện những lời phê bình chỉ liên quan đến phụ lục, không có vấn đề tương ứng trong bài báo chính.
Như thể hiện trong bảng thử nghiệm ở trên, các nhà phản biện AI có khả năng xác định điểm yếu trong phụ lục cao hơn con người hơn bảy lần, và có khả năng đưa ra lời phê bình chỉ liên quan đến tài liệu bổ sung cao hơn hơn ba lần – cho thấy một số mô hình AI tiên tiến mới nhất hiện đang ưu tiên những chi tiết mà theo truyền thống, người phản biện xem là thứ yếu so với đóng góp khoa học chính của bài báo.
Vì sao?
Theo những gì có thể xác định (đây là nghiên cứu đầu tiên nhận diện hội chứng này), một phần vấn đề nằm ở chỗ AI không nhận ra, hoặc chưa rút ra được từ kho tài liệu huấn luyện đồ sộ, rằng phần phụ lục không phải là nơi người ta thường trình bày nội dung cốt lõi; xu hướng chung của chúng là xem mọi văn bản có tầm quan trọng như nhau, khiến chúng bỏ qua bối cảnh của nội dung phụ lục, vốn thường chưa được biên tập và được trình bày sơ sài hơn nhiều so với phần nội dung chính:
‘LLM hầu như không bao giờ phê bình những trang mở đầu, nơi bài báo nêu vấn đề và giải thích vì sao vấn đề đó quan trọng. Con người thường phản biện chính cách đặt vấn đề này, trong khi LLM dường như chấp nhận nó rồi chuyển sang xem các số liệu.
‘[Humans and LLMs] đọc phần phụ lục rất khác. Những lời phê bình của con người giảm nhanh khi đọc tiếp phần phụ lục và gần như biến mất ở những trang cuối. Những điểm yếu của LLM thì hoàn toàn không giảm. Trên thực tế, các điểm yếu của LLM đạt mức cao nhất ở sâu trong phần phụ lục chứ không phải ở phần đầu, và còn tiếp diễn sau trang 30, nơi những người đánh giá là con người hầu như không nêu quan ngại nào.
‘Đối với LLM, một chi tiết ở trang 25 cũng là mục tiêu phê bình chính đáng như bảng kết quả chính.’
Các tác giả lưu ý rằng cách tiếp cận văn bản bình đẳng của LLM có thể khiến chúng tự nhiên tập trung nhiều hơn vào nội dung phụ lục, bởi như đã nêu ở trên, phần này thường có nhiều lỗi hơn.
Vì vậy, nhìn chung, điều tôi rút ra từ nghiên cứu mới này là theo thời gian, LLM đã tập trung vào một phần trong các bài báo khoa học mới, nơi thường xuất hiện nhiều lỗi hoặc sự nhập nhằng, đơn giản vì khu vực đó thường bị các tác giả con người xem như nơi chứa lộn xộn các chứng minh và bằng chứng thứ yếu.
Vì lý do này, AI ngày càng thấy phần phụ lục thú vị hơn phần nội dung chính được biên tập kỹ lưỡng, vì ở đó có nhiều thứ để phân tích và sửa chữa hơn; do đó, bài báo nhận định rằng LLM có xu hướng xem phần đầu bài báo là nội dung trình bày sự kiện, mặc nhiên chấp nhận thông tin trong đó:
‘Con người kỳ vọng phần nội dung chính có thể tự đứng vững, nên họ phản đối khi những phần thiết yếu bị đẩy vào phụ lục. LLM hầu như không bao giờ nêu quan ngại này.
‘Điều này làm nổi bật một khác biệt then chốt: con người nhận ra rằng phần nội dung chính có trọng lượng lớn hơn phần phụ lục, còn LLM thì không. ‘
Hệ quả và biện pháp khắc phục
Việc bất ngờ tập trung vào những chi tiết nhỏ nhặt này có thể gây ra hệ quả nghiêm trọng đối với nghiên cứu khoa học có AI hỗ trợ, đặc biệt nếu tầm quan trọng của những phát hiện chính trong bài báo bị bỏ qua. Vì xu hướng này dường như chỉ xuất hiện ở các mô hình mới nhất, nên chưa thể biết được những tác động lâu dài của nó.
Bài báo thừa nhận rằng người đánh giá bằng AI có thể phát hiện những lỗi hữu ích, ngay cả khi chúng bị chôn sâu trong phần phụ lục. Tuy nhiên, bài báo cảnh báo rằng việc quá chú ý đến các chi tiết nhỏ có thể khiến những phát hiện chính của bài báo bị xem nhẹ, dẫn đến các bài đánh giá dài dòng nhưng ít giá trị thực tiễn:
‘Người đánh giá bằng LLM nâng cao tiêu chuẩn vì họ không bỏ sót phần nào của bài báo. Tuy nhiên, đánh giá hiệu quả cũng đòi hỏi khả năng phán đoán điều gì quan trọng nhất. Khi phần lớn điểm yếu của một bài đánh giá bắt nguồn từ nội dung phụ lục không liên quan đến đóng góp chính, phản hồi chỉ dừng lại ở bề mặt. Phản hồi không đi vào cốt lõi của bài báo và cũng chẳng giúp ích nhiều cho tác giả trong việc cải thiện bài viết. ‘
Các tác giả của nghiên cứu mới mang tên Đánh giá bằng AI thiên lệch về phần phụ lục bắt đầu theo đuổi hướng nghiên cứu này sau khi nhận thấy một số khuôn mẫu bất thường trong cách các bài đánh giá có sự hỗ trợ hoặc được tạo ra bằng LLM đánh giá chính những bài nộp của họ. Mã nguồn của nghiên cứu được đăng trên GitHub.
Phương pháp và thử nghiệm
Trong các thử nghiệm, nhóm nghiên cứu chọn bốn mô hình AI hàng đầu của OpenAI và Anthropic: GPT-6-Astra; GPT-6.1-Sol; Claude-Opus-5.5; và Claude-Sonnet-5.5. Các mô hình được sử dụng thông qua Codex và Claude Code, đồng thời hành vi đánh giá của chúng được so sánh với kết quả khi truy cập qua API và giao diện web.
Các bài nghiên cứu được thu thập từ bốn hội nghị lớn về AI và xử lý ngôn ngữ tự nhiên: ACL 2026; EMNLP 2026; COLM 2026; và ICLR 2027 – tất cả đều được chọn vì có định dạng nộp bài và đánh giá tương tự nhau, với giới hạn số trang nghiêm ngặt đối với bài báo chính nhưng nhìn chung không giới hạn phần phụ lục đặt sau danh mục tài liệu tham khảo.
Tổng cộng có 2.000 bài báo được xem xét, gồm 1.200 bài từ ICLR giai đoạn 2021–2026 và 800 bài từ bốn hội nghị gần đây (mỗi hội nghị chọn 200 bài). Cả 800 bài báo gần đây đều có phần phụ lục dài ít nhất 15 trang. Các bài nộp cho ICLR 2027 vốn đã được ẩn danh, còn tên tác giả, đơn vị công tác, địa chỉ email và các liên kết có thể nhận diện tác giả đã bị xóa khỏi các bài báo của ACL, EMNLP và COLM để người đánh giá bằng AI không thể biết ai là tác giả.
Các mô hình bị tắt quyền truy cập Internet, bảo đảm rằng các bài đánh giá hoàn toàn dựa trên những tệp PDF được cung cấp.
Trước tiên, AI được yêu cầu viết một bài đánh giá theo phong cách của hội nghị tương ứng, nêu điểm mạnh, điểm yếu và điểm tổng thể của bài báo. Hướng dẫn được cố ý giữ đơn giản để phản ánh cách một người đánh giá thực tế có thể sử dụng AI. Sau đó, bài báo cùng bản đánh giá hoàn chỉnh được đưa lại cho chính mô hình AI đó, và mô hình được yêu cầu xác định mỗi lời phê bình đề cập đến phần nào của bài báo. Việc này được thực hiện bằng cách đối chiếu lời phê bình với bài báo gốc:

Quy trình đánh giá ba giai đoạn được sử dụng trong nghiên cứu. Các bài báo có phần phụ lục dài ít nhất 15 trang được chọn từ bốn hội nghị và ẩn danh trước khi được các mô hình AI đánh giá. Sau đó, từng bản đánh giá được xem xét cùng với bài báo gốc, và mỗi lời phê bình riêng lẻ được gắn với phần mà nó đề cập.
Việc tách riêng các nhiệm vụ này giúp xem xét những phần của bài báo bị phê bình mà không khiến các bản đánh giá ban đầu bị ảnh hưởng bởi những chỉ dẫn bổ sung.
Một trong những kết quả chưa được chúng tôi đề cập đến là thử nghiệm của các tác giả nhằm xác định vị trí bắt nguồn của những điểm yếu trong các bản đánh giá do LLM tạo ra:

So sánh vị trí những điểm yếu được các bản đánh giá do AI tạo ra chỉ ra trong bốn hội nghị. Màu xanh lá biểu thị những lời phê bình nhắm vào bài báo chính, màu đỏ biểu thị những lời phê bình liên quan đến phụ lục, còn các vùng gạch chéo biểu thị những lời phê bình chỉ nhắm vào phụ lục. Trong gần như mọi thử nghiệm, hơn một nửa số lời phê bình được quy cho nội dung phụ lục; GPT-6-Astra có độ thiên lệch mạnh nhất.
Như thể hiện ở trên, khoảng một nửa hoặc nhiều hơn số lời phê bình của cả bốn mô hình AI đều dựa trên nội dung trong phụ lục — một xu hướng xuất hiện ở cả bốn hội nghị. Một số lời phê bình chỉ nhắm hoàn toàn vào phụ lục, không liên quan đến bài báo chính; những lời phê bình này chiếm 17.33% số điểm yếu mà các mô hình GPT xác định, so với 10.16% ở Claude.
Theo bài báo, các kết quả cho thấy nội dung phụ lục được chú ý nhiều hơn mức tương xứng, đến nỗi đôi khi những chi tiết tương đối nhỏ cũng bị xem là căn cứ để phê bình bài báo nói chung.
Các nhà nghiên cứu so sánh nhiều phương thức để xác định liệu độ thiên lệch về phụ lục có bị ảnh hưởng bởi cách thức truy cập AI hay không. Họ dùng GPT-6-Astra để đánh giá 100 bài nộp ICLR 2027 qua Codex, giao diện web ChatGPT và một API được cung cấp bản PDF gốc hoặc văn bản trích xuất từ PDF.
Với Codex, văn bản được trích xuất rồi xem xét bằng các lệnh; qua API, toàn bộ tệp PDF hoặc văn bản trích xuất được cung cấp trực tiếp; còn tài liệu tải lên được xử lý bằng hệ thống riêng (không minh bạch) của giao diện web:

So sánh các lời phê bình liên quan đến phụ lục giữa những mô hình AI và phương thức truy cập. Ở bên trái, GPT-5 được phát hiện trích dẫn nội dung phụ lục ít hơn nhiều so với các mô hình GPT mới hơn trong bốn hội nghị. Ở bên phải, độ thiên lệch vẫn tồn tại qua bốn cách truy cập GPT-6-Astra; các lời phê bình liên quan đến phụ lục chiếm từ 62.2% đến 73.7% tổng số lời phê bình. Các vùng gạch chéo biểu thị những lời phê bình chỉ nhắm vào phụ lục.
Như thể hiện ở trên, nội dung liên quan đến phụ lục được trích dẫn trong 62.2% đến 73.7% số lời phê bình qua cả bốn phương thức; tỷ lệ cao nhất được ghi nhận khi văn bản trích xuất được cung cấp trực tiếp qua API. Vì vậy, độ thiên lệch vẫn tồn tại bất kể cách truy cập mô hình.
Phần lớn các thử nghiệm khác đã được trình bày ở phần trước của bài viết; để biết thêm thông tin, chúng tôi xin dẫn độc giả đến tài liệu nguồn.
Mánh khóe khi nộp bài
Cũng như chủ đề này có ý nghĩa cá nhân với các tác giả của công trình mới, nó cũng có ý nghĩa với tôi, bởi tôi thường xuyên đọc các bài báo khoa học và đã phải trả giá để hiểu những quy tắc ngầm, cũng như cách người ta lách luật, chi phối việc soạn thảo và trình bày bài báo.
AI không hẳn có lỗi khi chú ý đến phụ lục, dù lý do khiến nó làm vậy có thể không đúng, bởi các tác giả thường giấu những “điểm khuất” của bài báo ở đó — những yếu tố hoặc kết quả có thể gần như vô hiệu hóa, hoặc làm suy giảm nghiêm trọng mức độ xác đáng của các tuyên bố trong phần chính của bài báo.
Các tác giả cũng không nhất thiết có lỗi khi chuyển những nội dung quan trọng sang phụ lục, bởi mẫu bài của các ấn phẩm phổ biến, chẳng hạn những ấn phẩm được dùng làm nguồn dữ liệu trong nghiên cứu mới, quy định giới hạn số trang hoặc số từ tối đa cho phần chính của bài báo.
Khi trình bày kết quả nghiên cứu phức tạp, nhiều tác giả rõ ràng xem đây là một hạn chế nghiêm trọng; trong những trường hợp mà tôi cho là “tệ nhất”†, phần chính của bài báo đơn thuần trở thành mục lục dẫn đến nội dung bị đẩy ra cuối bài để né tránh các hướng dẫn (dù các hướng dẫn này đang bắt kịp và cấm “mánh” đó).
Trong tình huống này, căng thẳng ngày càng gia tăng giữa nhu cầu của các tổ chức trong việc yêu cầu tác giả kiểm soát và tiết chế cách trình bày—điều ngày càng quan trọng khi số lượng bài báo được gửi tăng lên—và sự thất vọng rõ rệt của các nhà nghiên cứu, những người mong muốn trình bày thành quả lao động khó nhọc mới đạt được trong một bối cảnh đầy đủ và toàn diện như họ cho rằng công sức bỏ ra xứng đáng.
* Phần nhấn mạnh là của các tác giả, không phải của tôi.
†Bởi vì, khi sàng lọc các bài báo để đưa tin, ngay cả AI cũng có thể khó nhận ra việc chuyển nội dung sang phụ lục; nhưng điều này có thể gây trở ngại đáng kể cho người phản biện nếu họ đã dành thời gian để đánh giá một tài liệu dài 10 trang, rồi phát hiện ra rằng trong cùng khoảng thời gian được phân bổ, họ phải xem xét 30 trang tài liệu.
Đăng lần đầu vào thứ Hai, ngày 16 tháng 11 năm 2026












