AI thường trích dẫn các trang web mà thậm chí chưa từng đọc

Đôi khi, giữa dòng chảy các nghiên cứu trong ngày, xuất hiện một bài báo thực sự khiến tôi bức xúc — không phải vì bài viết thiếu chính xác hay xúc phạm ai, mà vì nó nhận ra và nghiên cứu một vấn đề đã âm ỉ làm tôi khó chịu từ lâu, dù chỉ lờ mờ và không rõ ràng (có lẽ vì tôi quá bận để làm gì khác ngoài phớt lờ nó).

Một bài báo như vậy được công bố hôm nay, do ba tác giả thuộc Khoa Máy tính của Imperial College London thực hiện. Nghiên cứu mới, có tiêu đề Được truy xuất nhưng không được đọc: Tìm hiểu lý do các mô hình ngôn ngữ lớn được tăng cường bằng tìm kiếm không sử dụng bằng chứng sẵn có, tìm hiểu vì sao các mô hình ngôn ngữ lớn (LLM) thường đưa cho bạn những URL có vẻ như để hỗ trợ lập luận (trích dẫn các bài báo không liên quan, liên kết đến những bài viết vô căn cứ trên web, v.v.) mà thậm chí còn không đọc chúng.

Các tác giả cho biết:

“Chúng tôi nhận thấy các mô hình thường trả lời dựa trên đoạn trích tìm kiếm mà không mở trang nguồn; điều này đi kèm với tỷ lệ câu trả lời lỗi thời và trích dẫn không trung thực cao hơn. Các thí nghiệm có kiểm soát và phân tích theo từng lớp của chúng tôi cho thấy có khoảng cách giữa việc bằng chứng sẵn có và việc sử dụng bằng chứng đó một cách hiệu quả.

“Ngay cả khi bằng chứng được truy xuất ảnh hưởng đến các dự đoán nội bộ, mô hình vẫn có thể ưu tiên thông tin lỗi thời trong câu trả lời cuối cùng.”

Các tác giả đã thử nghiệm một mô hình ngôn ngữ lớn độc quyền (LLM) (OpenAI GPT-5.6 Luna) và sáu cấu hình mô hình có trọng số mở, đối chiếu với hàng trăm dữ kiện đã thay đổi kể từ mốc chốt dữ liệu huấn luyện của các mô hình.

Sau đó, họ khảo sát tần suất các hệ thống dựa vào đoạn trích tìm kiếm thay vì mở trang nguồn; việc này ảnh hưởng thế nào đến độ chính xác của câu trả lời và trích dẫn; và vì sao thông tin lỗi thời đôi khi vẫn chiếm ưu thế ngay cả khi bằng chứng mới hơn được cung cấp trực tiếp.

Các thử nghiệm cho thấy mô hình thường trả lời câu hỏi mà không mở bất kỳ trang nào trong số các trang được trả về từ kết quả tìm kiếm trên web, và hành vi này đi kèm với tỷ lệ câu trả lời lỗi thời và trích dẫn gây hiểu lầm cao hơn đáng kể:

Kết quả thử nghiệm cho thấy các mô hình AI thường xuyên trích dẫn nguồn web mà không thực sự đọc chúng đến mức nào. Với tám cấu hình, các nhà nghiên cứu đo độ chính xác của câu trả lời, mức độ dựa vào đoạn trích tìm kiếm mà không mở trang nguồn, và những trích dẫn mâu thuẫn với nhận định của mô hình. Trong một số trường hợp, hơn một nửa số lượt tìm kiếm kết thúc mà không có trang nào được mở. Tất cả số liệu đều tính theo phần trăm; hàng đầu tiên sử dụng tìm kiếm web trực tiếp, còn các hàng khác sử dụng kết quả tìm kiếm được chuẩn hóa. Nguồn

Các nhà nghiên cứu cũng phát hiện rằng việc cung cấp trực tiếp bằng chứng chính xác có thể giảm đáng kể những lỗi này, dù một số mô hình vẫn tiếp tục ưu tiên thông tin lỗi thời ngay cả khi các dữ kiện mới hơn được đưa ra ngay trước mắt chúng.

Động cơ ẩn giấu?

Hai lý do hiển nhiên nhất khiến các mô hình ngôn ngữ lớn thường tung ra trước mặt chúng ta những tài liệu hỗ trợ nghe có vẻ “đúng” nhưng lại không phù hợp là: a) cách này tiết kiệm chi phí, vì cần băng thông và thời gian để tải xuống và đọc ngay cả bản tóm lược từ tài liệu gốc, vốn có thể còn không truy cập được; và b) cách này giảm độ trễ, như thể đưa cho bạn một câu trả lời sai hoặc gần đúng thật nhanh thì tốt hơn là chậm lại một chút để đưa ra câu trả lời tốt hơn.

Tuy nhiên, các tác giả của nghiên cứu mới quan tâm hơn đến việc xác định cơ chế nền tảng gây ra sự suy giảm chất lượng này, thay vì tìm hiểu ban đầu hiện tượng đó được thiết kế hay dự liệu như thế nào.

Không có gì ngạc nhiên khi những trao đổi cho đến nay của tôi với các mô hình tiên phong về tính kinh tế theo quy mô của LLM đã dẫn đến điều mà tôi chỉ có thể cho là một phản ứng phòng thủ được định sẵn từ trước.

Ít nhất là theo tôi, tính toán kinh tế đằng sau việc thao túng hành vi trích dẫn của LLM theo cách này là hợp lý; nhưng các công nghệ thực tế vẫn còn chưa được khám phá đầy đủ, biến động liên tục và dễ tạo ra những kết quả khác thường, nên hiện giờ rất khó chứng minh những động cơ như vậy.

Phương pháp

Để kiểm tra mức độ thực sự sử dụng bằng chứng trên web của các mô hình, các nhà nghiên cứu tập hợp 225 dữ kiện đã thay đổi kể từ ngày 16 tháng 2 năm 2026 — mốc dữ liệu huấn luyện cuối cùng gần đây nhất được báo cáo trong số các mô hình được thử nghiệm.

Các dữ kiện được lấy từ thông tin thuốc của FDA (62 dữ kiện); lĩnh vực tài chính (52); thể thao (47); con người (43); hồ sơ công bố của SEC (13); và phân loại hóa chất (8). Những thay đổi đã có hiệu lực trước mốc dữ liệu huấn luyện hoặc được công bố trước ngày 1 tháng 2 đều bị loại trừ — cũng như các nhận định y tế có thể được giải đáp bằng kiến thức phổ thông. Các dữ kiện không thay đổi cũng được dùng làm đối chứng, giúp các nhà nghiên cứu phân biệt lỗi liên quan đến thông tin mới với những lỗi mang tính khái quát hơn.

Để thiết lập mốc cơ sở, GPT-5.6 Luna được thử nghiệm mà không có quyền truy cập vào tính năng tìm kiếm trên web, và chỉ trả lời đúng 23,3% trong số 103 câu hỏi về các dữ kiện đã thay đổi.

Một mô hình AI không được nêu tên đã được dùng để viết lại các điều khoản trong nhãn thuốc của FDA thuộc bộ dữ liệu nói trên thành những phát biểu thực tế có thể kiểm tra riêng lẻ; sau đó, từng phát biểu được rà soát thủ công*.

Các cấu hình mô hình có trọng số mở được thử nghiệm gồm GLM-5.3-Flash của Z.ai; gpt-oss-120b và gpt-oss-20b của OpenAI; gemma-4-31b của Google DeepMind, được thử nghiệm cả khi bật lẫn tắt khả năng suy luận; và qwen3-8b của Qwen.

Các mô hình có trọng số mở và GPT-5.6 Luna được cung cấp cùng một kết quả tìm kiếm trên web để có thể so sánh công bằng các câu trả lời. Luna cũng được thử nghiệm riêng bằng tính năng tìm kiếm trên web tích hợp sẵn của chính nó.

Với 223 trong số 225 dữ kiện, mười kết quả tìm kiếm đã được thu thập trước bằng Brave Search. Mọi mô hình đều nhận được cùng các kết quả và có thể mở trang hoặc tìm kiếm trong đó bằng những công cụ giống nhau.

Trang chứa câu trả lời “đúng” luôn được cung cấp: nếu trang xuất hiện tự nhiên trong mười kết quả đầu tiên thì vị trí của trang được giữ nguyên; nếu không, trang sẽ được chèn vào kết quả ở một vị trí đã xác định trước, nhờ đó các nhà nghiên cứu có thể khảo sát cách các mô hình sử dụng bằng chứng sẵn có trong những điều kiện có thể so sánh.

Để các thử nghiệm nhất quán hơn, nhiệt độ được đặt bằng 0 đối với những mô hình hỗ trợ thiết lập này, và trong suốt các thử nghiệm, mỗi mô hình đều được chạy thông qua cùng một nhà cung cấp.

Hình thức lời nhắc

Trong hai lời nhắc được dùng để kiểm tra dữ kiện, lời nhắc thứ nhất đặt một câu hỏi mở, chẳng hạn “Bernardo Silva đang thi đấu cho câu lạc bộ nào?”—có hoặc không kèm yêu cầu nêu nguồn; lời nhắc thứ hai yêu cầu mô hình xác minh một phát biểu chứa thông tin hiện tại hoặc đã lỗi thời, qua đó giúp các nhà nghiên cứu so sánh cách mô hình xử lý từng phiên bản.

Các kết quả tổng hợp còn bao gồm bốn loại lời nhắc bổ sung: câu hỏi mở có gợi ý; yêu cầu trích dẫn nguyên văn; yêu cầu cung cấp trích dẫn để chứng minh một nhận định được đưa ra; và kiểm tra bảng dữ kiện, trong đó mô hình được giao nhiệm vụ xác định một phát biểu đã lỗi thời giữa nhiều phát biểu đúng.

Ví dụ về các lời nhắc thực tế dùng để kiểm tra mô hình, dựa trên những câu hỏi và nhận định về cầu thủ bóng đá Bernardo Silva. Bảng cho thấy cùng một vấn đề thực tế được trình bày qua nhiều yêu cầu khác nhau về trả lời, xác minh, trích dẫn nguyên văn và dẫn nguồn. Tất cả lời nhắc đều bắt đầu bằng ngày 8 tháng 8 năm 2026, và phần lớn yêu cầu câu trả lời cuối cùng theo một định dạng chuẩn, được quy định trong các chỉ dẫn đánh dấu bằng chữ cái bên dưới bảng.

Mỗi lời nhắc đều nêu một ngày cụ thể, và phần lớn yêu cầu câu trả lời theo định dạng cố định, cho phép đưa ra phản hồi ‘KHÔNG THỂ XÁC MINH‘, nhờ đó có thể chấm điểm kết quả mà không cần đến người đánh giá hoặc quy trình phân xử bằng mô hình ngôn ngữ lớn (LLM).

Các chỉ số được sử dụng gồm độ sâu đọc (liệu các trang nguồn có được mở và trích dẫn hay không); độ chính xác của câu trả lời (tỷ lệ câu trả lời đúng, không tính các trường hợp từ chối trả lời); và mức độ trung thực của trích dẫn (liệu các trang được trích dẫn có mâu thuẫn với nhận định của mô hình hay không).

Việc chấm điểm được tự động hóa khi có thể; một mô hình ngôn ngữ lớn (LLM) không được nêu tên chỉ được phép xác nhận trích dẫn khi trích dẫn đó được hỗ trợ bằng một đoạn trích chính xác từ trang đã lưu trữ; các đánh giá tiêu cực đòi hỏi phải diễn giải được giao cho người rà soát; còn những dữ kiện đối chứng không thay đổi được dùng để xác định tỷ lệ lỗi trích dẫn cơ sở của từng mô hình.

Kết quả

Trong các thử nghiệm ban đầu (được trình bày ở phần đầu bài viết này), khả năng truy cập tính năng tìm kiếm trên web giúp các mô hình trả lời câu hỏi chính xác hơn. Khi kiểm tra độ chính xác của các phát biểu thực tế, điểm số của chúng tăng từ 27 đến 42 điểm phần trăm. Khi trả lời trực tiếp các câu hỏi, chúng đưa ra câu trả lời đúng trong 85,8–95,4% số trường hợp.

Tuy nhiên, nhiều câu trả lời được tạo ra mà các mô hình thực sự không truy cập những trang web được trả về trong kết quả tìm kiếm. Thay vào đó, chúng dựa vào các đoạn trích văn bản ngắn hiển thị bên cạnh kết quả tìm kiếm. Ngay cả khi được cung cấp cùng một kết quả tìm kiếm, tỷ lệ lượt tìm kiếm mà không trang nào được mở vẫn dao động từ 2,6% đến 76%, tùy theo mô hình.

Trong bối cảnh này, GPT-5.6 Luna thể hiện đặc biệt ít nỗ lực:

“Khi được cung cấp cùng một kết quả tìm kiếm, các mô hình trả lời 2,6–76,0% số lượt mà không mở trang nào. Với tính năng tìm kiếm tích hợp sẵn, Luna trả lời 53,6% số lượt chỉ dựa trên các đoạn trích.”

Kết quả kiểm tra so sánh các câu trả lời lỗi thời và trích dẫn gây hiểu lầm, dựa trên mức độ kỹ lưỡng khi các mô hình xem xét kết quả tìm kiếm. “Đoạn trích” nghĩa là không có trang web nào được mở; “Đã mở” nghĩa là một trang đã được mở nhưng không được trích dẫn; “Được trích dẫn” nghĩa là một trang đã mở được trích dẫn. Tất cả số liệu là tỷ lệ phần trăm, gộp từ bảy cấu hình mô hình và mọi loại lời nhắc. Lỗi thường xảy ra nhiều hơn khi các mô hình chỉ dựa vào đoạn trích trong kết quả tìm kiếm.

Trong bảy cấu hình mô hình, 6,4% câu trả lời chỉ dựa trên đoạn trích đã lỗi thời, so với 1,3% khi các trang được mở và trích dẫn. Như thể hiện ở trên, trích dẫn gây hiểu lầm cũng phổ biến hơn: 6,4% so với 2,3%. Với các câu hỏi về thể thao, tỷ lệ câu trả lời lỗi thời ở các mô hình có trọng số mở lên tới 20,2%, so với 2,1%. Khi câu trả lời đã lỗi thời, 81,8% trích dẫn dùng để củng cố những khẳng định đó lại mâu thuẫn với chúng, so với chỉ 0,9% ở các câu trả lời cập nhật. Các bài kiểm tra theo dạng phiếu thông tin cũng cho thấy xu hướng tương tự.

Nói một cách thực tế, điều này có nghĩa là các mô hình AI được nghiên cứu có nhiều khả năng đưa ra câu trả lời sai hơn khi dựa vào những mô tả ngắn trong kết quả tìm kiếm, thay vì đọc các trang web thực tế. Tệ hơn, đôi khi chúng còn liên kết đến những trang chứng minh rằng câu trả lời của chúng là sai.

Thất bại chung

Nếu các mẫu được dùng trong những bài kiểm tra này không phải là những trường hợp ngoại lệ mang tính tập thể, thì có thể hợp lý khi cho rằng các mô hình khác, dù đóng hay nguồn mở, cũng mắc phải hội chứng này. Thực tế, trong chín dạng thất bại được ghi nhận khi GPT-5.6 Luna tìm kiếm trên web trực tiếp, có bảy dạng liên quan đáng kể đến những thất bại của các mô hình khác khi được kiểm tra bằng cùng một bộ kết quả tìm kiếm cố định; điều này cho thấy vấn đề không chỉ giới hạn ở Luna.

Cung cấp trực tiếp trang Wikipedia chính xác đã giúp giảm số câu trả lời lỗi thời: số trường hợp thất bại giảm từ 14 xuống 0 với gemma-4-31b; từ 11 xuống 1 với gpt-oss-20b; và từ 16 xuống 8 với qwen3-8b. Việc lặp lại câu hỏi ban đầu sau mỗi lần mở một trang cũng sửa được 26.1% số lượt kiểm tra phiếu thông tin từng thất bại.

Kết quả cho thấy tần suất gemma-4-31b, gpt-oss-20b và qwen3-8b chấp nhận các khẳng định lỗi thời trong những điều kiện khác nhau. Cùng một bằng chứng được giữ lại, đưa trực tiếp vào lời nhắc hoặc cung cấp thông qua kết quả tìm kiếm; trong các bài kiểm tra riêng, mô hình được yêu cầu nêu nguồn hỗ trợ. Cung cấp trực tiếp trang chính xác hiệu quả hơn đáng kể so với yêu cầu các mô hình tự tìm trang đó. Số liệu thể hiện số trường hợp thất bại trên tổng số bài kiểm tra.

Quy tắc câu lạc bộ

Cuối cùng, để hiểu rõ hơn vì sao AI đôi khi bỏ qua thông tin chính xác, các nhà nghiên cứu đã kiểm tra ba mô hình có trọng số mở về những cầu thủ bóng đá từng chuyển câu lạc bộ: gpt-oss-20b; gemma-4-31b; và qwen3-8b.

Mỗi mô hình được cung cấp thông tin lỗi thời về câu lạc bộ của một cầu thủ, đôi khi kèm theo trang Wikipedia chính xác; sau đó, các nhà nghiên cứu xem xét mô hình ưu tiên câu trả lời nào trong quá trình xử lý.

Kết quả cho thấy các mô hình có thể nhận ra câu lạc bộ chính xác, nhưng vẫn đưa ra câu trả lời sai:

Kết quả kiểm tra cho thấy qwen3-8b cân nhắc câu lạc bộ đúng và câu lạc bộ lỗi thời như thế nào trong quá trình hình thành câu trả lời. Biểu đồ bên trái thể hiện các câu trả lời đúng, trong đó câu lạc bộ chính xác vẫn dẫn trước; biểu đồ bên phải thể hiện các trường hợp thất bại, trong đó câu lạc bộ lỗi thời vượt lên dẫn trước câu lạc bộ chính xác ở những giai đoạn cuối của quá trình xử lý. Các vùng tô màu biểu thị mức độ biến thiên giữa các bài kiểm tra.

Ở qwen3-8b, đôi khi câu lạc bộ chính xác tạm thời dẫn trước trong quá trình xử lý, trước khi câu lạc bộ lỗi thời vượt lên ngay trước lúc câu trả lời được đưa ra (xem ở trên). gpt-oss-20b cũng cho thấy xu hướng tương tự, trong khi gemma-4-31b nhìn chung ưu tiên câu lạc bộ “lỗi thời” trong suốt quá trình.

Vì vậy, có vẻ như ngay cả khi bằng chứng chính xác có sẵn và được nhận ra, thông tin lỗi thời vẫn có thể chi phối câu trả lời cuối cùng.

Tóm lại, các tác giả cho rằng các mô hình cần khai thác tốt hơn những trang web mà chúng truy xuất, thay vì dựa vào các đoạn trích từ kết quả tìm kiếm. Họ cũng hy vọng tìm ra lý do vì sao đôi khi các mô hình vẫn bám vào thông tin lỗi thời dù đã có câu trả lời chính xác; đồng thời tìm hiểu liệu những thay đổi trong cách các mô hình xử lý thông tin có thể giúp ích hay không. Tuy nhiên, bài viết không đề xuất giải pháp dứt điểm nào.

Kết luận

Dù đưa ra một số nhận định có giá trị, bài nghiên cứu mới không giải thích vì sao các mô hình ngôn ngữ lớn (LLM) lại tùy tiện sử dụng trích dẫn và tài liệu tham khảo đến vậy. Với tư cách là một người dùng, đồng thời cũng là người có khả năng phân tích những khuôn mẫu theo cách riêng, tôi có cảm giác rằng các LLM mình sử dụng đề xuất bài nghiên cứu hoặc URL vì những trang khác cũng đề xuất chúng… rồi những trang đó lại được các trang khác đề xuất…? Vậy cảm giác về độ tin cậy thực sự bắt nguồn từ đâu?

Thực ra, ngay cả trong thời kỳ trước AI, đây cũng là vấn đề mà chúng ta không thể giải quyết, nên có lẽ cũng chẳng có gì đáng ngạc nhiên nếu cuối cùng LLM không giúp tiết kiệm tiền bạc hay giảm độ trễ, mà chỉ tiếp tục lan truyền những tin đồn tương tự từ Trung Quốc mà chúng ta tự thuyết phục mình là “sự thật”.

* Bài nghiên cứu không nêu ai là người thực hiện các đánh giá này.

Được đăng lần đầu vào thứ Sáu, ngày 16 tháng 10 năm 2026