Bài báo khoa học viết đầy tự tin khiến AI thiên vị khi đánh giá – bất kể giá trị khoa học

Sự tự tin là một lợi thế riêng biệt trong tiến hóa – và theo một bài nghiên cứu mới từ Đức, đây cũng là lợi thế khi bài báo khoa học được các Mô hình Ngôn ngữ Lớn (LLM) phản biện thay vì các đồng nghiệp của tác giả (điều ngày càng thường xuyên trở thành cần thiết, khi số lượng bài báo khoa học tăng vọt nhờ năng suất gia tăng trong thời đại AI).

Nghiên cứu mới cho thấy những người phản biện AI (tức là không phải con người) nhất quán cho điểm cao hơn đối với các bài báo khoa học sử dụng ngôn ngữ tự tin, quả quyết – ngay cả khi nghiên cứu nền tảng hoàn toàn giống với nghiên cứu trong các bài báo có giọng văn kém tự tin hơn. Trong một số trường hợp, chỉ cần thay đổi cách diễn đạt cũng đủ biến một quyết định từ chối thành chấp nhận.

Các tác giả cho biết:

‘Các thí nghiệm của chúng tôi cho thấy những người phản biện LLM có xu hướng ưu ái đáng kể [papers] việc sử dụng ngôn ngữ thể hiện độ tự tin cao. Điều quan trọng là những xu hướng này thường dẫn đến việc đảo ngược quyết định ở ranh giới giữa chấp nhận<>từ chối, trực tiếp ảnh hưởng đến kết quả phản biện. ‘

‘Ngoài điểm số, chúng tôi nhận thấy các khía cạnh được nêu trong bài phản biện có tần suất xuất hiện và sắc thái khác nhau tùy thuộc vào đặc điểm ngôn ngữ của bài báo, qua đó có thể ảnh hưởng đến quyết định cuối cùng.’

Điều trớ trêu là hội chứng mà các tác giả xác định rất giống với cách AI thường có thể ‘tự tin khẳng định điều sai’ khi trả lời câu lệnh và câu hỏi của chúng ta; chỉ khác ở chỗ trong trường hợp này, quyết định do con người đưa ra, còn trách nhiệm của mỗi cá nhân và của cả tập thể là có thật, bất kể các nhà khoa học đứng sau những bài báo này có thực sự tin vào những tuyên bố của chính họ hay không.

Nếu AI ngày càng quyết định bài báo khoa học nào được xuất bản, các nhà khoa học có thể học cách “tỏ ra tự tin hơn” như một chiến thuật cạnh tranh, có lẽ đặc biệt là khi bài nộp của họ có sai sót; điều này có thể giúp những nghiên cứu khoa học kém chất lượng chiếm được chỗ đứng không xứng đáng trong nguồn chú ý ngày càng cạn kiệt.

Tự tin thái quá để giành chiến thắng

Theo nghiên cứu*, những người phản biện AI có xu hướng ca ngợi phương pháp, lý thuyết và đóng góp khoa học của các bài báo được viết với giọng điệu tự tin cao hơn, ngay cả khi những nội dung này giống hệt với các phiên bản ít quả quyết hơn. Trong các thử nghiệm của nhóm tác giả, 504 bài báo khoa học được viết lại theo nhiều phong cách khác nhau rồi được sáu mô hình AI đánh giá, trong đó có GPT-5.5, Claude Sonnet 4.6 và Gemini 3.5 Flash. Cần tạo ra các phiên bản giả lập/đã chỉnh sửa của bài báo để những đặc điểm khác thường và nét riêng của các bài nộp thực tế không làm sai lệch kết quả:

Ví dụ về cùng một đoạn văn khoa học được viết lại theo bốn phong cách khác nhau. Các phần tô màu làm nổi bật những thay đổi nhằm khiến văn bản có vẻ tự tin hơn hoặc kém tự tin hơn, hoặc giống văn phong học thuật tiếng Anh của người bản ngữ hay người không phải bản ngữ hơn. Tuy nhiên, các phát hiện và số liệu nền tảng vẫn không thay đổi. Nguồn

Các bài báo được lấy từ những bài nộp cho hội nghị ICLR 2026, với số lượng bài được chấp nhận và bị từ chối bằng nhau. Sau đó, Claude Opus 5 viết lại từng bài nộp theo hướng tự tin hơn hoặc kém tự tin hơn^†, giữ nguyên nội dung khoa học, nhờ đó có thể quy sự khác biệt trong các bài phản biện của AI cho phong cách viết, tức mức độ tự tin được thể hiện khác nhau.

Kết quả cho thấy những người phản biện AI cho điểm cao hơn đối với các bài báo khoa học sử dụng ngôn ngữ tự tin, ngay cả khi bằng chứng hoàn toàn giống nhau. Claude Sonnet 4.6 thể hiện thiên kiến mạnh nhất, ưu tiên các phiên bản viết với giọng điệu tự tin thường xuyên hơn gấp bảy lần so với các phiên bản thận trọng. Trong 21% trường hợp, mô hình đề xuất chấp nhận bài báo được viết với giọng điệu tự tin, đồng thời từ chối phiên bản diễn đạt thận trọng hơn của chính bài báo đó.

Nghiên cứu mới nêu rõ:

‘Những phát hiện của chúng tôi làm dấy lên những quan ngại đáng kể về việc sử dụng LLM trong phản biện đồng cấp. Nếu các bài báo có nội dung tương đương nhận được điểm số và lập luận phản biện khác nhau chỉ vì đặc điểm ngôn ngữ, thì đánh giá của người phản biện không chỉ phản ánh chất lượng khoa học. ‘

‘Vì vậy, cần kiểm tra sức chịu đựng của các hệ thống phản biện LLM bằng những bản viết lại giữ nguyên nội dung, để xác định liệu những thay đổi về ngôn ngữ có ảnh hưởng một cách có hệ thống đến đánh giá của chúng hay không.’

Các tác giả còn đề xuất rằng những cuộc kiểm tra này cần xem xét rõ ràng cả điểm số của bài báo lẫn nội dung các bài phản biện, nhằm xác định liệu ngôn ngữ tự tin có bị nhầm lẫn với bằng chứng khoa học vững chắc hơn hay không.

Phương pháp

Tổng cộng 504 bài báo khoa học được chọn từ các bài nộp cho Hội nghị Quốc tế về Học biểu diễn (ICLR) năm 2026. Mẫu nghiên cứu được chia đều thành các bài được chấp nhận và bị từ chối, với 24 bài nộp được chọn từ mỗi trong số 21 lĩnh vực nghiên cứu của hội nghị:

Phương pháp thử nghiệm gồm ba giai đoạn. Các bài báo khoa học được viết lại để thay đổi mức độ thành thạo tiếng Anh hoặc sự tự tin thể hiện qua câu chữ, đồng thời vẫn giữ nguyên các phát hiện; các bản viết lại được kiểm tra về những thay đổi trong văn phong và ý nghĩa trước khi được các hệ thống AI đánh giá trong cùng điều kiện; sau đó, điểm đánh giá được đem ra so sánh.

Mỗi bài báo được ẩn danh và viết lại bằng Claude Opus 5 để tạo ra các phiên bản khác nhau, nhằm kiểm tra cả mức độ tự tin khi trình bày các nhận định lẫn trình độ tiếng Anh có vẻ thể hiện qua bài viết. Trong các thử nghiệm về sự tự tin, câu chữ được điều chỉnh theo hướng quả quyết hơn hoặc dè dặt hơn. Những từ ngữ biểu thị sự chắc chắn, chẳng hạn như “rõ ràng” và “chắc chắn”, xuất hiện thường xuyên hơn trong các phiên bản “tự tin”, trong khi những cách diễn đạt mang tính dè dặt như “có thể” và “cho thấy” được ưu tiên trong các bản thảo thận trọng hơn.

Trong mọi trường hợp, các nhận định khoa học, bằng chứng, kết quả, thuật ngữ chuyên môn và cấu trúc tổng thể đều được giữ nguyên. Các tác giả lưu ý rằng hướng dẫn viết lại dựa trên những nghiên cứu ngôn ngữ học đã được công nhận, chứ không phải những yêu cầu chung chung nhằm bắt chước một phong cách viết cụ thể.

Kiểm tra các bản viết lại

Để kiểm tra, mỗi bản viết lại được đối chiếu với bản gốc bằng thước đo độ tương đồng ngữ nghĩa, nhằm đánh giá xem các đoạn văn có giữ nguyên ý nghĩa hay không, và mức độ tương đồng TF-IDF (đo lường mức độ bảo toàn từ vựng và thuật ngữ). Cả hai điểm số đều gần bằng 1, xác nhận mức độ tương đồng cao với bản gốc:

Kiểm tra các bài báo đã được viết lại. Các phiên bản tự tin sử dụng ngôn ngữ quả quyết hơn, trong khi các phiên bản thận trọng thể hiện nhiều sự không chắc chắn hơn. Điểm số gần bằng 1 xác nhận mức độ tương đồng cao với bản gốc; các phần được tô màu đánh dấu giá trị cao hơn ở từng thước đo được nhắm đến.

Sáu hệ thống AI đánh giá được đưa vào thử nghiệm: các mô hình độc quyền GPT-5.5, Claude Sonnet 4.6 và Gemini 3.5 Flash; cùng các mô hình có trọng số mở Gemma 3, Qwen3 VL và GLM 4.7. Các mô hình này được chọn một phần vì tất cả đều có ngày giới hạn kiến thức trước năm 2026, giúp giảm nguy cơ chúng đã biết trước kết quả chấp nhận bài báo.

Mỗi bài báo được viết lại đều được đánh giá độc lập theo hướng dẫn dành cho hội nghị. Để xác định mức độ dao động của điểm số giữa các lần đánh giá lặp lại, mười bài báo được chọn ngẫu nhiên đã được mỗi mô hình đánh giá mười lần.

Kết quả

Các thử nghiệm được tiến hành nhằm xác định liệu sáu hệ thống AI đánh giá được chọn có nhất quán ưu tiên một số phong cách viết nhất định hay không, đồng thời so sánh các bài báo sử dụng ngôn ngữ “tự tin” hoặc “thận trọng”, cũng như các bài báo có văn phong tiếng Anh học thuật giống với cách viết của người bản ngữ hoặc người không phải bản ngữ^†.

Kết quả so sánh điểm đánh giá của AI đối với 504 bài báo khoa học được viết lại theo các phong cách khác nhau. Tỷ lệ phần trăm thể hiện phiên bản nào đạt điểm cao hơn, còn các trường hợp hòa được ghi trong ngoặc đơn; tỷ số cho biết một phiên bản được ưu tiên thường xuyên hơn bao nhiêu lần; số lần đảo ngược quyết định cho biết tần suất thay đổi câu chữ khiến kết quả chấp nhận hoặc từ chối bị đảo ngược. Các giá trị thống kê in đậm biểu thị những khác biệt có ý nghĩa thống kê. Phần cần chú ý là phần bên dưới, vì giả thuyết ở phần trên không được đề cập trong bài viết này (xem chú thích cuối trang).

Cả sáu hệ thống AI đánh giá đều nhất quán ưu tiên lối viết tự tin. Mức độ ưu tiên cao nhất được ghi nhận ở Claude Sonnet 4.6, hệ thống này, như đã đề cập trước đó, chấm điểm các bản thảo “tự tin” cao hơn các bản “thận trọng” với tần suất cao gấp bảy lần.

Một bài báo được xem là được chấp nhận nếu đạt ít nhất 4.5 trên 10 điểm, mặc dù thay đổi phong cách viết đôi khi khiến cùng một bài báo vượt lên trên hoặc tụt xuống dưới ngưỡng này, làm đảo ngược quyết định; những lần đảo ngược như vậy nhìn chung có lợi cho lối viết tự tin.

Claude Sonnet 4.6 thể hiện kết quả đặc biệt kém: trong 21% trường hợp, hệ thống chấp nhận phiên bản “tự tin” nhưng từ chối phiên bản “thận trọng”. Tình huống ngược lại chỉ xảy ra trong 2.8% trường hợp.

Hiệu ứng này cũng thể hiện rõ trong các bài đánh giá bằng văn bản: các hệ thống AI có xu hướng khen ngợi phương pháp, lý thuyết và đóng góp khoa học của một bài báo nhiều hơn nếu các nhận định được trình bày một cách tự tin. Vì bản thân nghiên cứu không hề thay đổi, những đánh giá tích cực hơn này chỉ có thể bắt nguồn từ khác biệt trong cách trình bày và giọng điệu.

Kết luận

Mỗi khi con người dùng AI để (dù vô tình) cải thiện tỷ lệ tín hiệu trên nhiễu, AI lại được thử nghiệm như một giải pháp – trong trường hợp này là để ứng phó với số lượng bài nghiên cứu về Trí tuệ nhân tạo được gửi đến tăng mạnh; làn sóng này gần đây đã làm gia tăng quyền lực sàng lọc và các tiêu chí kiểm soát của Arxiv. Tuy nhiên, đến nay hẳn đã rõ rằng các LLM tiên tiến nhất, cũng như mọi cấp độ bên dưới, vẫn còn quá nhiều đặc tính bất thường để có thể tin tưởng giao cho chúng vai trò giám khảo trong mọi trường hợp, trừ những tình huống có tham số được quy định cực kỳ chặt chẽ.

Trong những trường hợp như vậy, có lẽ sẽ tốt hơn nếu biến các LLM quy mô nhỏ thành công cụ đánh giá chuyên biệt thông qua tinh chỉnh hoặc LoRA. Tuy nhiên, cách này đòi hỏi thêm ít nhất một chút công sức, nếu không muốn nói là một khoản đầu tư nhỏ, trong khi cài đặt cục bộ “nguyên bản” hoặc gọi API thì nhanh hơn và tương đối rẻ.

Dù được viết khá súc tích, bài báo này vẫn có thể thu hút người dùng LLM hơn mức trung bình, bởi họ vốn đã quen với “sự nhiệt tình” như một trở ngại mà mình phải tìm cách ứng phó để làm việc hiệu quả với AI; và nếu hiện vẫn chưa thể khắc phục vấn đề này cũng như những vấn đề tương tự của LLM, ít nhất chúng ta có thể tính đến chúng.

Trước khi quá mỉa mai kiểu đánh đồng hời hợt này trong cách đánh giá AI, cần nhớ rằng khi bàn đến nhận thức luận – hành trình tìm kiếm thẩm quyền tối hậu – các hệ thống này cũng lạc lối chẳng kém gì chúng ta; xét về mặt lịch sử, chính chúng ta cũng rất dễ nhầm lẫn tín hiệu với bản thân sự vật.

* Có tựa đề “Phong cách lấn át nội dung? Thiên kiến ngôn ngữ trong phản biện học thuật dựa trên LLM”

^† Hoặc giống với tiếng Anh học thuật do người bản ngữ hoặc người không phải bản ngữ viết – một giả thuyết song song mà bài báo chưa chứng minh được thuyết phục bằng, và không được đề cập trong bài viết này.

Đăng lần đầu vào thứ Ba, ngày 27 tháng 10 năm 2026