AI Trích Dẫn Các Bài Báo Cùng Một Lần Nhiều Lần – Giống Như Con Người

ChatGPT và các công cụ viết AI khác có thể đang âm thầm biến khoa học thành một cuộc thi độ phổ biến, liên tục đưa các nhà nghiên cứu đến cùng những bài báo cũ mà lại bỏ qua những công trình mới và độc đáo có thể thực sự thúc đẩy lĩnh vực.

Độc quyền, về tần suất và thống kê, là hiện tượng cùng một tập hợp hạn chế các nguồn hoặc tài sản xuất hiện lặp đi lặp lại, làm lu mờ các tiếng nói mới và góc nhìn tươi mới: cùng bộ sưu tập hạn chế các bài hát trong lịch phát thanh; cùng cùng một dải tác giả và sách trong các kệ sân bay; và cùng bộ lựa chọn hạn chế các loại trái cây và rau củ trong siêu thị:

Có, chúng ta chỉ có những quả chuối này – và chỉ những quả chuối này. Sự đồng nhất của trái cây và rau củ trong chuỗi cung ứng phương Tây bỏ qua hàng trăm loài khác có thể có, vì các chuỗi sản xuất và vận chuyển đa dạng quá tốn kém để công nghiệp hoá. Source

Điều này cũng xảy ra trong các trích dẫn xuất hiện trong các nghiên cứu khoa học mới, khi các nhà nghiên cứu, có thể một cách lười biếng, mặc định sử dụng một “bộ nguồn đáng tin cậy” và dần dần chiếm ưu thế trong các nhánh nghiên cứu.

Hiện tượng này được gọi là Hiệu ứng Matthew – một lý thuyết xã hội học cho rằng các có lợi sẽ luôn được hưởng lợi; hội chứng này đã được so sánh với lời hứa trong Ma-thi-ơ 13:12, trong đó nói “Ai có sẽ được cho thêm, và họ sẽ có dư dả. Ai không có, ngay cả những gì họ có cũng sẽ bị lấy đi.”.

The In Crowd

Một trong những hi vọng lớn của nghiên cứu được hỗ trợ bởi AI là các phương pháp học máy mới có thể phá vỡ Hiệu ứng Matthew – còn được gọi là độ lệch phổ biến – và bắt đầu trích dẫn những công trình ít được biết đến có thể sắc bén hơn, hoặc phù hợp hơn với luận điểm của bài báo.

Tuy nhiên, dựa trên cách các quy trình đào tạo AI diễn giải bộ dữ liệu, không bao giờ có lý do tốt để lạc quan như vậy; và đã được chứng minh nhiều lần rằng khi AI không tự sáng tạo trích dẫn một cách thô thiển – một vấn đề mãn tính đến nay – nó thực sự tiếp tục Hiệu ứng Matthew, giống như con người – dù có thể không vì cùng một lý do.

Trong quá trình đào tạo, một mô hình sẽ học cách xếp hạng cao những bài báo được trích dẫn nhiều nhất (hoặc “được lặp lại thường xuyên”) trong tập huấn luyện, vì các quy trình đào tạo được thiết kế để khai thác các mẫu có ý nghĩa, và để loại bỏ các ngoại lệ như “tiếng ồn”, hay các bất thường thống kê.

Dưới chế độ này, thậm chí lý thuyết tương đối của Einstein cũng sẽ không nhận được sự chú ý từ máy, vì sau khi được đào tạo, nó cảm thấy mình đã tìm được các nguyên tắc và tham chiếu, và chỉ có thể điều chỉnh nhẹ bằng cách tiếp cận các ấn phẩm mới thông qua RAG, hoặc các phương pháp khác mở rộng phạm vi của mô hình vượt ra ngoài ma trận đã học.

Vấn đề là, nó sẽ không công nhận những công trình mới này theo cùng cách như “những tác phẩm yêu thích cũ” mà nó đã biết, hoặc thậm chí không công nhận chúng, vì các thiên lệch thống kê đã ăn sâu vào mô hình.

Do đó AI không thực sự quan sát và bắt chước hành vi con người khi nó duy trì Hiệu ứng Matthew – nó chỉ đếm số lần các nhà nghiên cứu lười biếng mặc định vào cùng những bài báo cũ, và xếp hạng cao chúng. Ở khía cạnh này, vấn đề lặp lại trích dẫn liên quan tới thách thức lựa chọn một bài báo khoa học thực sự thú vị trong cơn bão ngày càng tăng các ấn phẩm nghiên cứu AI, vì công trình mạnh nhất thường lại có tín hiệu yếu nhất.

Diagnosing Mono

Vấn đề này được đề cập trong một bài báo mới thú vị đến từ Mỹ mang tựa đề When AI Writes, Who Gets Cited? Evidence of Citation Monoculture Across Language Models. Công trình mới – hợp tác giữa University of Texas at Austin, Stevens Institute of Technology, Washington University at St Louis, Rice University và University of Notre Dame – nhằm chứng minh một cách chắc chắn sự tồn tại của “độc quyền trích dẫn” trong học máy, để các biến số liên quan có thể được giải quyết trực tiếp trong tương lai, cùng với vấn đề cốt lõi.

Trong các thí nghiệm, các tác giả phát hiện mười một mô hình từ OpenAI, Google và Anthropic liên tục ưa thích cùng một nhóm nhỏ các bài báo – ngay cả sau khi các tín hiệu phổ biến rõ ràng đã bị loại bỏ.

Để kiểm tra, 120 bài báo thực tế đã được gỡ bỏ số lần trích dẫn và nơi xuất bản, tên tác giả được thay thế, và năm xuất bản được gán ngẫu nhiên. Các tập ngẫu nhiên gồm ba mươi bài báo sau đó được đưa cho mỗi mô hình, và mỗi mô hình chỉ được phép trích dẫn không quá mười bài.

Tám chuyên gia nhân lực trong các lĩnh vực liên quan đã nhận cùng các bài báo ẩn danh, nhưng không đồng nhất với cùng những “yêu thích” của AI, chứng tỏ sự thiên lệch cụ thể đối với các mô hình AI chứ không phải do các bài báo tự chúng.

Từ bài báo mới, kết quả thử nghiệm so sánh lựa chọn trích dẫn của các mô hình AI và các chuyên gia nhân lực. Trong tất cả mười một mô hình, các trích dẫn tập trung vào một nhóm nhỏ các bài báo, trong khi một số bài báo bị bỏ qua hoàn toàn. Các chuyên gia nhân lực không cho thấy xu hướng này. Source

Các bài báo vẫn được ưa chuộng ngay cả khi các mô hình chỉ được yêu cầu chọn các tài liệu tham khảo, cho thấy việc viết bản đánh giá không phải là nguyên nhân gây ra thiên lệch.

Thí nghiệm sau đó được mở rộng trong mười một vòng, mỗi vòng thêm 120 bài báo do AI viết, để kiểm tra điều gì xảy ra khi những sở thích chung này hoạt động trong một bể dữ liệu nghiên cứu ngày càng tăng.

Khi số lượng bài báo do AI viết tăng lên, các mô hình ngày càng tập trung trích dẫn vào một số ít các bài báo của con người ban đầu.

Tác giả cho biết:

“Khi các mô hình ngôn ngữ chuyển từ việc soạn thảo văn bản sang chạy các tác nhân tìm kiếm tài liệu với các lệnh công cụ, các tham chiếu giả mạo sẽ trở nên dễ dàng phát hiện và kiểm soát hơn.”

“Sự cố gắng khó khăn bắt đầu sau khi mỗi đề xuất là thực tế: các mô hình khác nhau vẫn có thể chọn cùng một tập con hẹp, tạo ra độc quyền trích dẫn mà không có một trích dẫn nào sai.”

Để khắc phục vấn đề, bài báo cho rằng chỉ đơn giản trộn lẫn các mô hình từ các nhà cung cấp khác nhau hoặc cho các bài báo cùng mức độ tiếp cận sẽ không đủ, vì phần lớn sở thích đã được chia sẻ giữa các mô hình. Thay vào đó, sở thích tiềm tàng đối với các bài báo cụ thể cần phải thay đổi – có thể bằng cách cố ý tăng độ nổi bật cho những bài báo bị bỏ quên. Tuy nhiên, các tác giả nhấn mạnh rằng cách tiếp cận này vẫn chưa được thử nghiệm.

Testing Approaches

Bộ chuẩn được xây dựng từ 120 bài báo thực tế về tóm tắt kiến thức, thu thập từ arXiv và được công bố trong giai đoạn 2015‑2022. Mỗi bài có từ 50‑500 trích dẫn tại thời điểm thu thập, nhằm loại trừ cả những công trình ít người biết và những công trình có ảnh hưởng quá lớn.

Thí nghiệm bắt đầu bằng cách chọn ngẫu nhiên ba mươi bài báo từ bộ sưu tập, ẩn tên tác giả, năm xuất bản và số lần trích dẫn. Mỗi mô hình tạo ra một bản đánh giá ngắn hoặc một đoạn vị trí, trích dẫn không quá mười bài, và các lựa chọn này được so sánh với các lựa chọn ngẫu nhiên từ cùng tài liệu.

Sơ đồ phương pháp dùng để kiểm tra sở thích trích dẫn. Ba mươi bài báo được chọn ngẫu nhiên, ẩn thông tin nhận dạng, sau đó mô hình có thể trích dẫn tối đa mười bài. Các lựa chọn được so sánh với lựa chọn ngẫu nhiên, trong khi mỗi vòng thêm 120 bài báo do AI viết vào bộ sưu tập của vòng tiếp theo.

Trong thí nghiệm mở rộng, 120 bài báo mới được tạo ra sẽ vào bộ sưu tập sau mỗi vòng, dần dần tăng tỷ lệ nghiên cứu do AI viết.

Trong các thử nghiệm sơ bộ, các mô hình có xu hướng trích dẫn hầu hết các bài báo được đưa ra, thường chọn 22‑27 trong số 30. Do đó các nhà nghiên cứu đã đặt giới hạn tối đa mười trích dẫn cho thí nghiệm chính, buộc các mô hình phải lựa chọn một cách có chọn lọc hơn.

Dưới đây là tóm tắt thiết kế thí nghiệm:

Cấu hình thí nghiệm dùng để kiểm tra sở thích trích dẫn. Nghiên cứu bắt đầu với 120 bài báo thực tế và kiểm tra mười một mô hình từ ba nhà cung cấp, sử dụng các tập ngẫu nhiên gồm 30 bài và tối đa mười trích dẫn. Các vòng sau thêm các bài báo do AI tạo, mở rộng bộ sưu tập lên 1.440 bài.

Thí nghiệm ban đầu sử dụng mười một mô hình từ ba nhà cung cấp lớn: OpenAI bao gồm GPT-5, GPT-5 mini, GPT-4.1 và GPT-4.1 mini; Google bao gồm Gemini 2.5 Pro, Gemini 2.5 Flash, Gemini 3.1 Pro và Gemini 3.1 Flash‑Lite; và Anthropic bao gồm Claude Opus 4.8, Claude Sonnet 4.6 và Claude Haiku 4.5.

Trong kết quả thử nghiệm dưới đây, chúng ta thấy mức độ mỗi mô hình tập trung trích dẫn vào một nhóm nhỏ các bài báo; số lượng bài báo bị bỏ qua hoàn toàn; và mức độ nhất quán trong việc lựa chọn khi thí nghiệm được lặp lại:

Kết quả thử nghiệm cho thấy mức độ mỗi mô hình tập trung trích dẫn vào các bài báo cụ thể và số lượng bài báo bị bỏ qua hoàn toàn. “Top‑10% share” cho biết bao nhiêu trích dẫn hướng tới 12 bài báo được ưa thích nhất, trong khi “HHI” đo mức độ tập trung chung của các trích dẫn. “Reliability” cho thấy mức độ nhất quán mỗi mô hình ưu tiên cùng các bài báo qua các lần thử, và ρ cho biết mức độ tương đồng của các sở thích giữa các mô hình. Hàng “Matched null” chỉ ra kết quả mong đợi nếu các bài báo được chọn ngẫu nhiên.

What Are The Models Actually Favoring?

Sở thích được phát hiện phần lớn do nội dung của các bài báo quyết định. Ví dụ, đối với GPT‑5 mini, khoảng 90 % sự biến thiên trong việc ưu tiên các bài báo là do nội dung, chứ không phải do thứ tự danh sách, tiếng ồn sinh ra hay siêu dữ liệu giả tạo gắn vào mỗi bài. Hiệu ứng “nội dung chi phối” tương tự cũng được tái tạo với GPT‑4.1 mini.

Bản đồ sở thích (xem bên dưới) hầu như không thay đổi khi tiêu đề và tóm tắt được viết lại đáng kể trong khi vẫn giữ nguyên ý nghĩa. Trong bốn thử nghiệm diễn đạt lại thành công, các hệ số tương quan đạt 0.95‑0.99, mặc dù các mô hình của ba nhà cung cấp khác nhau đã được dùng để viết lại.

Những thay đổi trong bản đồ sở thích chỉ xuất hiện khi ý nghĩa nền tảng bị thay đổi đáng kể:

Kết quả thử nghiệm so sánh sở thích trích dẫn giữa mười một mô hình. Các số liệu cho thấy mức độ các cặp mô hình ưu tiên cùng các bài báo, giá trị cao hơn chỉ mức độ đồng thuận lớn hơn. Mặc dù có sự khác biệt giữa các mô hình và nhà cung cấp, nhưng xu hướng sở thích chung vẫn được quan sát.

Do đó các mô hình dường như phản hồi chủ yếu dựa trên nội dung ngữ nghĩa hơn là cách diễn đạt cụ thể. Tuy nhiên, nguyên nhân khiến chúng đồng thuận mạnh mẽ vẫn chưa được xác định chắc chắn.

Các tác giả cho rằng có thể một “đồng thuận trích dẫn” chung đã được hấp thụ trong quá trình đào tạo. Hoặc có khả năng các đánh giá độc lập về những gì được coi là “có thể trích dẫn” đã dẫn đến kết quả tương tự.

Vì vậy, sự tồn tại của sở thích chung đã được chứng minh, nhưng nguồn gốc cuối cùng vẫn chưa được làm sáng tỏ.

Các tác giả đề xuất việc sử dụng AI rộng rãi trong nghiên cứu có thể thu hẹp phạm vi các công trình nhận được sự chú ý, vì các mô hình khác nhau có xu hướng ưu tiên nhiều bài báo giống nhau; và khi văn học do AI tạo ra tích lũy, những sở thích chung này có thể được củng cố thêm qua các trích dẫn lặp lại, khiến các nghiên cứu ít được ưa chuộng ngày càng khó được phát hiện. Do đó, đa dạng trích dẫn và giám sát mức độ tập trung của trích dẫn được đề xuất như các biện pháp bảo vệ tiềm năng.

Tiêu chuẩn benchmark cho hiện tượng “độc quyền trích dẫn lặp lại” hiện đã có trên GitHub.

Conclusion

Ý kiến Là người đọc một số lượng lớn các bài báo nghiên cứu AI mỗi tuần, tôi đã chứng kiến “sóng trích dẫn” xuất hiện và biến mất. Một hiện tượng lâu dài là Attention Is All You Need, bài báo gốc về Transformers của Google, hiện đã được nhúng sẵn trong các mẫu nộp bài.

Một “kẻ tái phạm” khác, trong thời gian dài, là bài 2014 Generative Adversarial Networks, dù cuối cùng đã bị thay thế về tần suất bởi Denoising Diffusion Probabilistic Models và các nghiên cứu dựa trên diffusion khác.

Trong hầu hết các trường hợp, những trích dẫn “lặp lại” này không sai về mặt nội dung; nhưng chúng thường quá rộng rãi để là một bằng chứng hữu ích cho bài báo mà chúng được trích dẫn; và theo cách đó, chúng giống như “rửa trích dẫn” – việc đưa vào các trích dẫn “đáng tin cậy” nhưng chủ yếu mang tính trang trí, nhằm tạo ra một vẻ ngoài uy tín mà không tốn nhiều công sức.

First published Monday, 24 tháng 8, 2026