Mô hình AI ưu tiên câu trả lời sai của con người hơn câu trả lời đúng của AI

Các mô hình ngôn ngữ AI có khả năng cao hơn nhiều trong việc ủng hộ các chuyên gia con người so với các mô hình AI khác, ngay cả khi các chuyên gia đó sai, tiết lộ một sự thiên vị có sẵn đối với thẩm quyền con người.

Nghiên cứu mới từ Hoa Kỳ đã phát hiện ra rằng một số mô hình ngôn ngữ lớn (LLM) mã nguồn mở và độc quyền hàng đầu có xu hướng gán thẩm quyền cho các nguồn thông tin mà chúng nhận ra là “con người”, chứ không phải là nguồn “AI” – ngay cả khi câu trả lời của con người là sai và câu trả lời do AI cung cấp là đúng.

Các tác giả tuyên bố:

‘Trên các nhiệm vụ, các mô hình tuân thủ đáng kể hơn đối với các phản hồi được dán nhãn là đến từ các chuyên gia con người, bao gồm cả khi tín hiệu đó là không chính xác, và sửa đổi các câu trả lời của chúng theo hướng các chuyên gia nhiều hơn so với các LLM khác. ‘

Các mô hình được thử nghiệm bao gồm LLM từ các nhóm Grok 3 và Gemini Flash.

Trong các thử nghiệm, các mô hình ngôn ngữ được yêu cầu trả lời các câu hỏi nhị phân (có hoặc không) và sau đó được hiển thị các câu trả lời trước đó được mô tả là đến từ chuyên gia con người, bạn bè hoặc các mô hình ngôn ngữ lớn khác – với sự thay đổi duy nhất là nhãn nguồn của lời khuyên, chứ không phải nội dung chính.

Trong cấu hình đầu tiên của ba cấu hình cho các thử nghiệm, các mô hình được phép dựa vào các ma trận đã được đào tạo của chúng. Nguồn

Trên các nhiệm vụ, các câu trả lời được dán nhãn là đến từ các chuyên gia con người được đánh giá cao hơn, với các mô hình có nhiều khả năng sửa đổi các phản hồi ban đầu của chúng để phù hợp với các câu trả lời đó, ngay cả trong trường hợp câu trả lời được dán nhãn là chuyên gia là không chính xác và câu trả lời ban đầu của mô hình là chính xác.

Ở đây, mô hình ngôn ngữ có thể truy cập vào một hỗn hợp của bạn bè, chuyên gia và các mô hình ngôn ngữ khác, bao gồm cả ma trận đã được đào tạo của nó. Vì chín chuyên gia trong lĩnh vực này đã trả lời ‘Không’, mô hình ngôn ngữ đồng ý và thay đổi ý định của nó từ câu trả lời trước đó.

Khi các câu trả lời相同 được quy cho khác mô hình ngôn ngữ, hiệu ứng này ít rõ ràng hơn. Xu hướng tương tự xuất hiện khi một nguồn con người duy nhất và một nguồn AI duy nhất được trình bày trong sự không đồng意, vì các mô hình cho thấy sự sẵn sàng lớn hơn để ủng hộ vị trí được dán nhãn là con người, không phụ thuộc vào việc bên nào chính xác:

Cho một lựa chọn giữa ý kiến của một chuyên gia con người và ý kiến của một mô hình ngôn ngữ, mô hình ngôn ngữ chủ yếu ủng hộ câu trả lời của con người, trong trường hợp này là sai, và từ chối câu trả lời chính xác do mô hình ngôn ngữ cung cấp.

Thuật ngữ ‘chuyên gia con người’ hoạt động như một tín hiệu uy tín ở đây, thay đổi hành vi của mô hình, độc lập với việc thông tin thực sự chính xác hay không; và các tác giả lưu ý rằng uy tín của nguồn là một yếu tố quan trọng trong việc chấp nhận lời khuyên và tuân thủ: một xu hướng của con người để ủng hộ các nguồn chuyên gia đã được quan sát từ năm 1959, mặc dù một nghiên cứu năm 2007 cho thấy rằng việc đánh giá quá cao hoặc quá thấp các nguồn uy tín có thể xảy ra trong một số hệ thống đánh giá. Các nhà nghiên cứu của bài báo mới tuyên bố:

‘Cùng nhau, các tài liệu này gợi ý hai tín hiệu nên quan trọng nếu các mô hình ngôn ngữ lớn coi các câu trả lời trước đó là bằng chứng: ai tạo ra các câu trả lời (uy tín) và mức độ nhất quán của chúng (độ mạnh của tín hiệu). ‘

‘Đồng thời, các mô hình ngôn ngữ lớn không trải qua sự chấp thuận hoặc xấu hổ của con người theo nghĩa đen, vì vậy bất kỳ hành vi giống như tuân thủ nào cũng phải xuất phát từ các quy tắc học được, các mục tiêu tuân theo hướng dẫn hoặc mô hình hóa sự tin cậy ngầm.’

Xu hướng của các mô hình ngôn ngữ lớn để đồng ý sycophantic là một phần của bối cảnh cho nghiên cứu mới; sau tất cả, nếu các mô hình ngôn ngữ lớn có thể hiện ‘làm hài lòng con người’, thậm chí với chi phí của sự thật và tiện ích, tại sao chúng lại không ủng hộ các nguồn con người khác ngoài người hỏi trực tiếp?

Bài báo mới được đặt tên là Người mà các mô hình ngôn ngữ lớn tin tưởng? Chuyên gia con người quan trọng hơn các mô hình ngôn ngữ lớn khác, và đến từ hai nhà nghiên cứu tại Đại học Indiana Bloomington.

Phương pháp và Dữ liệu

Để thực hiện công việc này, bốn mô hình ngôn ngữ lớn được điều chỉnh theo hướng dẫn đã được đánh giá: Grok-3 Mini; Llama 3.3 70B Instruct; Gemini 2.5 Flash-Lite; và DeepSeek V3.1, tất cả đều chạy dưới cùng một cấu trúc lời nhắc, với giải mã xác định tại nhiệt độ không, để chỉ có nhãn nguồn (tức là bạn bè, chuyên gia con người hoặc các mô hình ngôn ngữ lớn khác) thay đổi giữa các điều kiện, chứ không phải nội dung chính.

Bốn tập dữ liệu yêu cầu phản hồi nhị phân đã được chọn: BoolQ; StrategyQA; và ETHICS. Các nhà nghiên cứu đã chọn từ mỗi tập dữ liệu một tập hợp cố định gồm 300 truy vấn và phản hồi, với mỗi lời nhắc yêu cầu chỉ một câu trả lời nhị phân có hoặc không. Mỗi lời nhắc được thêm một lưu ý ngắn gọn cho biết nhóm khác đã (giả định) trả lời câu hỏi đó như thế nào.

Đo lường

Các đo lường được sử dụng là độ chính xác; tuân thủ; tuân thủ có hại; tỷ lệ chuyển đổi; và hướng chuyển đổi.

Độ chính xác trong trường hợp này đo lường xem phản hồi của mô hình khớp với nhãn của tập dữ liệu bao nhiêu lần; tuân thủ, xem phản hồi khớp với lựa chọn của nhóm bao nhiêu lần; tuân thủ có hại cô lập hiệu ứng tương tự khi nhóm là sai; tỷ lệ chuyển đổi đo lường xem mô hình từ bỏ phản hồi cơ bản của nó bao nhiêu lần khi thông tin xã hội được thêm vào; và hướng chuyển đổi, xem những thay đổi đó có chuyển hướng về phía con người hay phía mô hình ngôn ngữ lớn khác không.

Một phân tích ở mức token cho Llama-3.3 70B sau đó đo lường xem các xác suất nội bộ của mô hình cho Có và Không thay đổi như thế nào khi một tín hiệu xã hội được thêm vào, so sánh những thay đổi đó với baseline không có trước của nó để chỉ ra sức mạnh của sự kéo đó.

Thử nghiệm

Thử nghiệm 1

Thử nghiệm đầu tiên trong hai thử nghiệm chính đánh giá xem các mô hình có lắng nghe con người hay các mô hình khác nhiều hơn. Mỗi câu hỏi đi kèm với một ‘câu trả lời của nhóm’ (bạn bè, chuyên gia con người hoặc các mô hình ngôn ngữ lớn khác).

Nhóm có thể nhỏ hoặc lớn, và mỗi câu hỏi cũng xuất hiện một lần mà không có nhóm nào. Các câu trả lời của nhóm được thiết lập để đúng một nửa thời gian và sai một nửa thời gian, với mục tiêu chung là xác định xem mô hình có chuyển hướng về phía lựa chọn của nhóm mạnh đến mức nào:

Kết quả từ thử nghiệm ban đầu: các priors xã hội đồng nhất trên BoolQ, StrategyQA và ETHICS được hiển thị cho Grok-3 Mini, Llama-3.3 70B, Gemini-2.5 Flash Lite và DeepSeek V3.1.

Trên BoolQ, StrategyQA và ETHICS, các câu trả lời được dán nhãn là đến từ chuyên gia con người ảnh hưởng đến các mô hình mạnh mẽ hơn nhiều so với các câu trả lời được dán nhãn là đến từ bạn bè hoặc các mô hình ngôn ngữ lớn khác – và sự kéo này tăng lên khi nhiều chuyên gia được cho là đồng ý.

Để đo lường khi nào ảnh hưởng này thu được kết quả không mong muốn, tuân thủ có hại được định nghĩa là khả năng mô hình theo một prior không chính xác.

Khi chín chuyên gia đồng ý về câu trả lời sai, mô hình theo họ 36,5% thời gian trên BoolQ, so với 16,0% khi cùng câu trả lời đó được quy cho các mô hình ngôn ngữ lớn; trên StrategyQA, khoảng cách là 39,0%, so với 15,5%; và trên ETHICS, nó là 63,9% so với 38,7%:

Thay đổi niềm tin ở mức token trong Llama-3.3 70B trên BoolQ.

Ngược lại, các prior được quy cho bạn bè hành xử gần như giống hệt với các prior được quy cho các mô hình ngôn ngữ lớn khác, cho thấy rằng hiệu ứng này được thúc đẩy cụ thể bởi từ chuyên gia, chứ không phải bởi các chỉ báo ‘xã hội’.

Thử nghiệm 2

Thử nghiệm thứ hai trình bày hai prior không đồng ý cho mô hình thử nghiệm – một được quy cho con người và một cho mô hình ngôn ngữ lớn khác. Con người được mô tả là một nhóm bạn bè hoặc chuyên gia trong lĩnh vực, trong khi câu trả lời đối lập được dán nhãn là đến từ các mô hình ngôn ngữ lớn khác. Hai câu trả lời luôn không đồng ý, với một câu trả lời Có và câu trả lời kia Không.

Đối với mỗi mục, thiết lập được cân bằng để đôi khi con người là chính xác, và đôi khi mô hình ngôn ngữ lớn là chính xác, để kiểm tra xem mô hình có thay đổi câu trả lời ban đầu của nó khi đối mặt với sự xung đột này – và, nếu có, nó sẽ chuyển hướng về phía nào.

Để xem mô hình có thay đổi ý định hay không, câu trả lời của nó trong điều kiện xung đột được so sánh với câu trả lời của nó cho cùng một câu hỏi khi không có prior nào được hiển thị, để bất kỳ sự khác biệt nào có thể được quy cho sự hiện diện của các câu trả lời con người và mô hình ngôn ngữ lớn đối lập.

Phân tích tập trung vào hai kết quả: xem mô hình có thay đổi câu trả lời hay không; và, nếu có, xem thay đổi đó có chuyển hướng về phía con người hay mô hình ngôn ngữ lớn không.

Các kiểm tra thống kê được sử dụng để đánh giá xem việc dán nhãn con người là chuyên gia thay vì bạn bè có làm tăng khả năng chuyển hướng về phía câu trả lời của con người hay không, đồng thời tính đến các sự khác biệt trên các tập dữ liệu và mô hình:

Sự thay đổi niềm tin dưới sự xung đột trực tiếp giữa con người và mô hình ngôn ngữ trên BoolQ, StrategyQA và ETHICS cho Grok-3 Mini, Llama-3.3 70B, Gemini-2.5 Flash Lite và DeepSeek V3.1.

Trong thử nghiệm thứ hai, mô hình đầu tiên trả lời mỗi câu hỏi một mình, sau đó được hiển thị hai câu trả lời không đồng ý, một được quy cho con người và một cho mô hình ngôn ngữ lớn khác. Phân tích chỉ xem xét các trường hợp mô hình sửa đổi câu trả lời ban đầu của nó.

Khi con người được dán nhãn là chuyên gia, mô hình chuyển hướng về phía con người 91,2% thời gian trên BoolQ, 94,7% trên StrategyQA và 81,3% trên ETHICS. Khi con người được dán nhãn là bạn bè, mô hình chuyển hướng về phía con người chỉ 39,8%, 37,9% và 27,9% thời gian, thường ủng hộ mô hình ngôn ngữ lớn thay thế.

Chuyển hướng là hiếm nhưng phổ biến hơn với các chuyên gia, và khung chuyên gia làm cho chuyển hướng về phía con người khoảng mười bốn lần có khả năng hơn so với khung bạn bè.

Khi tìm cách giải thích các xu hướng chung được phát hiện trong các thử nghiệm của họ, các tác giả đưa ra giả thuyết*:

‘Một cơ chế hợp lý là rằng việc điều chỉnh hướng dẫn và tối ưu hóa ưu tiên hành vi hợp tác, bao gồm cả việc tuân thủ thông tin ngữ cảnh, có thể泛 hóa thành việc tuân thủ các prior được định khung xã hội.’

‘Các công việc liên quan về sự nịnh bợ cho thấy rằng các trợ lý theo phong cách RLHF đôi khi ưu tiên việc đồng ý với niềm tin được tuyên bố của người dùng hơn là sự trung thực.’

Ý kiến: Những cạm bẫy tiềm tàng của sự tin tưởng của AI vào các nguồn con người

Khi các tài liệu trực tuyến phản ánh sự hoài nghi ngày càng tăng của con người về các khiếm khuyết của AI (đặc biệt là ảo giác) được thu thập vào các tập dữ liệu đào tạo cho các mô hình mới, xu hướng hiện có của các mô hình ngôn ngữ lớn để ủng hộ các nguồn con người dường như sẽ tăng cường. Nếu chúng ta coi hai năm qua (2024-2025 bao gồm) là một điểm đột phá văn hóa cho AI, điều này dường như được chứng thực theo một số thống kê, chúng ta có thể hợp lý mong đợi một số lượng lớn hơn các quan điểm tiêu cực về ‘các nguồn AI’ sẽ được tích hợp vào các khuôn khổ mô hình ngôn ngữ lớn quy mô lớn, tốn kém để đào tạo trong năm tới hoặc lâu hơn.

Chúng ta cũng có thể mong đợi rằng các mô hình ngôn ngữ phổ biến sẽ ngày càng dựa vào các cơ quan có thẩm quyền được chọn lọc, chẳng hạn như các cổng thông tin truyền thông di sản có uy tín – mặc dù động lực cho các thỏa thuận như vậy có thể là để xoa dịu sự phẫn nộ của nhà xuất bản về dữ liệu được thu thập, chứ không phải là một mong muốn chân thành để nhường thẩm quyền hoặc chia sẻ.

Vì ngay cả các nguồn có thẩm quyền cao như Ars Technica cũng phụ thuộc vào lỗi do AI, và vì một sự thu hẹp lại chống lại các bot thu thập dữ liệu AI đe dọa sẽ làm giảm chất lượng của đầu ra AI, một xu hướng chung để ủng hộ ‘các nguồn chuyên gia’ có thể mâu thuẫn với khả năng hiện tại của chúng ta để định lượng và dán nhãn ‘đầu ra của con người’ một cách hiệu quả – không kể đến việc phân biệt liệu một nguồn có phải là ‘chuyên gia’ hay không (một quy ước báo chí cũng đang bị tấn công bởi AI).

Điều tối đa mà chúng ta hiện có là một loạt các đổi mới phân mảnh được chấp nhận một phần nhằm dán nhãn rõ ràng nội dung là được tạo ra bởi AI, chẳng hạn như Sáng kiến Xác thực Nội dung do Adobe dẫn đầu, và sự sẵn sàng tự nguyện của một số nhà xuất bản để bao gồm các chú thích về việc sử dụng AI trong đầu ra của họ.

Vì vậy, trong khi nó có thể có vẻ khuyến khích đối với những người muốn giữ và thực thi các nguồn con người làm ‘sự thật cơ bản’ về tính hợp lệ cho sự đồng thuận về thực tế đang nổi lên được truyền đạt bởi các hệ thống AI, sự tự tin ngày càng tăng của các mô hình ngôn ngữ lớn về thẩm quyền con người có thể khiến ‘thẩm quyền giả’ của con người trở nên nguy hiểm hơn.

Vấn đề này vừa là lý thuyết vừa là thực tiễn: chúng ta chưa giải quyết được vấn đề xác định hoặc chứng thực nguồn gốc; do đó, một mô hình AI ‘tin tưởng các nguồn con người’ có thể gán nhãn cho con người đầu ra của chính AI, đơn giản vì chúng ta chưa cung cấp và không thể dễ dàng cung cấp các cơ chế xác thực nguồn gốc có ý nghĩa.

* Sự chuyển đổi của tôi từ các trích dẫn nội tuyến của tác giả thành các liên kết.

Được xuất bản lần đầu vào thứ Sáu, ngày 20 tháng 2 năm 2026