Khi các chuẩn mực AI dạy cho các mô hình nói dối

Ảo giác AI — khi một hệ thống tạo ra các câu trả lời nghe có vẻ đúng nhưng thực tế sai — vẫn là một trong những thách thức khó khăn nhất trong trí tuệ nhân tạo. Ngay cả những mô hình tiên tiến nhất ngày nay, chẳng hạn như DeepSeek-V3, Llama và phiên bản mới nhất của OpenAI, vẫn tạo ra thông tin không chính xác với độ tự tin cao. Trong các lĩnh vực như chăm sóc sức khỏe hoặc luật pháp, những sai lầm như vậy có thể dẫn đến hậu quả nghiêm trọng.

Truyền thống, ảo giác đã được coi là một sản phẩm phụ của cách các mô hình ngôn ngữ lớn được đào tạo: chúng học cách dự đoán từ tiếp theo có khả năng nhất mà không kiểm tra xem thông tin có chính xác hay không. Nhưng nghiên cứu mới cho thấy vấn đề có thể không dừng lại ở đào tạo. Các chuẩn mực được sử dụng để kiểm tra và so sánh hiệu suất AI thực sự có thể đang củng cố hành vi đánh lừa, thưởng cho các câu trả lời nghe có vẻ thuyết phục hơn là những câu trả lời chính xác.

Sự thay đổi này trong quan điểm lại vấn đề. Nếu các mô hình được đào tạo để làm hài lòng bài kiểm tra thay vì nói sự thật, thì ảo giác không phải là những khiếm khuyết vô tình, chúng là những chiến lược đã được học. Để hiểu tại sao điều này xảy ra, chúng ta cần xem tại sao các mô hình AI chọn đoán thay vì thừa nhận sự thiếu hiểu biết của chúng?

Tại sao các mô hình AI đoán

Để hiểu tại sao các mô hình AI thường đoán thay vì thừa nhận rằng chúng không biết, hãy xem xét một sinh viên đối mặt với một câu hỏi khó trong kỳ thi. Sinh viên có hai lựa chọn: để lại câu trả lời trống và nhận được điểm không, hoặc đưa ra một ước đoán có giáo dục có thể kiếm được một số điểm. Một cách hợp lý, việc đoán có vẻ như là lựa chọn tốt hơn vì có ít nhất một cơ hội đúng.

Các mô hình AI đối mặt với một tình huống tương tự trong quá trình đánh giá. Hầu hết các chuẩn mực sử dụng hệ thống điểm số nhị phân: các câu trả lời chính xác kiếm được điểm, trong khi các phản hồi không chính xác hoặc không chắc chắn không kiếm được điểm. Nếu một mô hình được hỏi, “Ngày sinh của một nhà nghiên cứu là gì?” và nó thực sự không biết, việc trả lời “Tôi không biết” được coi là thất bại. Việc tạo ra một ngày, tuy nhiên, mang lại một số cơ hội đúng — và ngay cả khi nó sai, hệ thống không phạt đoán tự tin nhiều hơn sự im lặng.

Động lực này giải thích tại sao ảo giác vẫn tồn tại mặc dù đã có nhiều nghiên cứu để loại bỏ chúng. Các mô hình không hoạt động sai; chúng đang tuân theo các khuyến khích được tích hợp vào đánh giá. Chúng học rằng việc nghe có vẻ tự tin là cách tốt nhất để tối đa hóa điểm số của chúng, ngay cả khi câu trả lời là sai. Kết quả là, thay vì thể hiện sự không chắc chắn, các mô hình được đẩy để đưa ra các tuyên bố có thẩm quyền — đúng hoặc sai.

Cơ sở toán học của sự không trung thực AI

Nghiên cứu cho thấy rằng ảo giác xuất phát từ cơ sở toán học của cách các mô hình ngôn ngữ học. Ngay cả khi một mô hình được đào tạo chỉ trên thông tin chính xác, các mục tiêu thống kê của nó vẫn sẽ dẫn đến lỗi. Đó là vì việc tạo ra câu trả lời đúng cơ bản khó hơn việc nhận ra liệu một câu trả lời có hợp lệ hay không.

Điều này giúp giải thích tại sao các mô hình thường thất bại trong các事 thực thiếu mẫu rõ ràng, chẳng hạn như ngày sinh hoặc các chi tiết duy nhất khác. Phân tích toán học cho thấy rằng tỷ lệ ảo giác trong những trường hợp này sẽ ít nhất là tỷ lệ các事 thực chỉ xuất hiện một lần trong dữ liệu đào tạo. Nói cách khác, thông tin càng hiếm trong dữ liệu, mô hình càng có khả năng gặp khó khăn với nó.

Vấn đề không chỉ giới hạn ở các事 thực hiếm. Các ràng buộc cấu trúc như khả năng của mô hình hoặc thiết kế kiến trúc cũng tạo ra các lỗi hệ thống. Ví dụ, các mô hình trước đó có cửa sổ ngữ cảnh rất ngắn thường thất bại trong các nhiệm vụ yêu cầu lý luận dài hạn. Những sai lầm này không phải là lỗi ngẫu nhiên mà là kết quả có thể dự đoán của khuôn khổ toán học của mô hình.

Tại sao đào tạo sau không giải quyết được vấn đề

Một khi mô hình AI được đào tạo trên các tập dữ liệu văn bản lớn, nó thường trải qua quá trình tinh chỉnh để làm cho đầu ra của nó hữu ích và ít gây hại hơn. Nhưng quá trình này đối mặt với cùng một vấn đề cốt lõi gây ra ảo giác: cách chúng ta đánh giá các mô hình.

Phương pháp đào tạo tinh chỉnh phổ biến nhất, chẳng hạn như học tăng cường từ phản hồi của con người, vẫn dựa trên các chuẩn mực sử dụng điểm số nhị phân. Những chuẩn mực này thưởng cho các mô hình vì đưa ra các câu trả lời tự tin trong khi không cung cấp điểm cho việc mô hình thừa nhận rằng nó không biết. Kết quả là, một hệ thống luôn trả lời với sự tự tin, ngay cả khi nó sai, có thể vượt qua một hệ thống thành thật thể hiện sự không chắc chắn.

Các nhà nghiên cứu gọi đây là vấn đề phạt sự không chắc chắn. Ngay cả các kỹ thuật tiên tiến để phát hiện hoặc giảm ảo giác cũng gặp khó khăn khi các chuẩn mực cơ bản tiếp tục ủng hộ sự tự tin quá mức. Nói cách khác, không matter how sophisticated các bản sửa lỗi, miễn là các hệ thống đánh giá tiếp tục thưởng cho các đoán tự tin, các mô hình sẽ bị thiên vị toward các câu trả lời sai nhưng tự tin thay vì các thừa nhận trung thực về sự nghi ngờ.

Ảo giác về tiến bộ

Các bảng xếp hạng, được chia sẻ rộng rãi trong cộng đồng AI, khuếch đại vấn đề này. Các chuẩn mực như MMLU, GPQA và SWE-bench thống trị các bài báo nghiên cứu và thông báo sản phẩm. Các công ty nhấn mạnh điểm số của họ để thể hiện tiến bộ nhanh. Tuy nhiên, như báo cáo lưu ý, chính các chuẩn mực này khuyến khích ảo giác.

Một mô hình thành thật nói “Tôi không biết” có thể an toàn hơn trong các môi trường thực tế nhưng sẽ xếp hạng thấp hơn trên bảng xếp hạng. Ngược lại, một mô hình tạo ra các câu trả lời giả mạo nhưng thuyết phục sẽ đạt điểm cao hơn. Khi việc áp dụng, tài trợ và uy tín phụ thuộc vào xếp hạng bảng xếp hạng, hướng của tiến bộ trở nên méo mó. Công chúng nhìn thấy một câu chuyện về sự cải tiến liên tục, nhưng bên dưới, các mô hình đang được đào tạo để lừa dối.

Tại sao sự không chắc chắn trung thực quan trọng trong AI

Ảo giác không chỉ là một thách thức nghiên cứu; chúng có hậu quả thực tế. Trong chăm sóc sức khỏe, một mô hình tạo ra các tương tác thuốc giả có thể lừa dối các bác sĩ. Trong giáo dục, một mô hình tạo ra các sự kiện lịch sử giả có thể lừa dối các sinh viên. Trong báo chí, một trình tạo chatbot tạo ra các trích dẫn giả nhưng thuyết phục có thể lan truyền thông tin sai lệch. Những rủi ro này đã rõ ràng. Chỉ số AI Stanford 2025 báo cáo rằng các chuẩn mực được thiết kế để đo lường ảo giác đã “gặp khó khăn trong việc thu hút sự chú ý,” ngay cả khi việc áp dụng AI tăng tốc. Trong khi đó, các chuẩn mực thống trị bảng xếp hạng và thưởng cho các câu trả lời tự tin nhưng không đáng tin cậy tiếp tục đặt hướng cho tiến bộ.

Những phát hiện này nhấn mạnh cả một thách thức và một cơ hội. Bằng cách kiểm tra các gốc rễ toán học của ảo giác, các nhà nghiên cứu đã xác định rõ các hướng để xây dựng các hệ thống AI đáng tin cậy hơn. Khóa là ngừng coi sự không chắc chắn là một khiếm khuyết và thay vào đó công nhận nó là một khả năng thiết yếu nên được đo lường và thưởng.

Sự thay đổi này trong quan điểm có ý nghĩa vượt ra ngoài việc giảm ảo giác. Các hệ thống AI có thể đánh giá và truyền đạt chính xác các hạn chế kiến thức của chúng sẽ phù hợp hơn với các ứng dụng quan trọng cao nơi sự tự tin quá mức mang lại rủi ro nghiêm trọng. Chẩn đoán y tế, phân tích pháp lý và nghiên cứu khoa học đều yêu cầu khả năng phân biệt giữa kiến thức tự tin và suy đoán thông tin.

Đánh giá lại việc đánh giá cho AI trung thực

Những phát hiện này nhấn mạnh rằng xây dựng AI đáng tin cậy hơn đòi hỏi phải đánh giá lại cách chúng ta đo lường khả năng AI. Thay vì dựa vào việc điểm số đúng hoặc sai đơn giản, các khuôn khổ đánh giá nên thưởng cho các mô hình vì thể hiện sự không chắc chắn một cách phù hợp. Điều này có nghĩa là cung cấp hướng dẫn rõ ràng về ngưỡng tự tin và các sơ đồ điểm số tương ứng trong hướng dẫn chuẩn mực.

Một cách tiếp cận đầy hứa hẹn liên quan đến việc tạo ra các mục tiêu tự tin rõ ràng chỉ định khi nào các mô hình nên trả lời và khi nào nên từ chối. Ví dụ, hướng dẫn có thể nêu rằng các câu trả lời chỉ nên được cung cấp khi độ tự tin vượt quá một ngưỡng cụ thể, với việc điểm số được điều chỉnh tương ứng. Trong thiết lập này, sự không chắc chắn không còn là một điểm yếu mà là một phần có giá trị của hành vi có trách nhiệm.

Khóa là làm cho các yêu cầu tự tin trở nên minh bạch chứ không phải ngầm định. Các chuẩn mực hiện tại tạo ra các hình phạt ẩn cho sự không chắc chắn mà các mô hình học cách tránh. Các mục tiêu tự tin rõ ràng sẽ cho phép các mô hình tối ưu hóa hành vi thực sự mong muốn: câu trả lời chính xác khi tự tin, và thừa nhận trung thực về sự không chắc chắn khi kiến thức thiếu.

Kết luận

Ảo giác AI không phải là những khiếm khuyết ngẫu nhiên — chúng được củng cố bởi chính các chuẩn mực được sử dụng để đo lường tiến bộ. Bằng cách thưởng cho các đoán tự tin hơn sự không chắc chắn trung thực, các hệ thống đánh giá hiện tại đẩy các mô hình toward sự lừa dối thay vì độ tin cậy. Nếu chúng ta muốn AI có thể được tin cậy trong các lĩnh vực quan trọng cao như chăm sóc sức khỏe, luật pháp và khoa học, chúng ta cần phải đánh giá lại cách chúng ta kiểm tra và thưởng cho chúng. Tiến bộ nên được đo lường không chỉ bằng độ chính xác, mà bằng khả năng nhận ra và thừa nhận những gì mô hình không biết.