Buộc các mô hình ngôn ngữ trở nên ‘thân thiện’ khiến chúng trở nên không chính xác và không an toàn hơn

Các bot phong cách ChatGPT được đào tạo để nghe ấm áp và quan tâm hơn có nhiều khả năng nói với bạn những gì bạn muốn nghe, ngay cả khi đó là sai. Một nghiên cứu mới cho thấy rằng các AI được đào tạo để trở nên ‘thân thiện’ có thể tăng tới 30% khả năng đưa ra câu trả lời sai, đẩy các thuyết âm mưu hoặc đồng ý với các niềm tin rõ ràng không chính xác, đặc biệt khi người dùng nghe có vẻ buồn hoặc dễ bị tổn thương.

Việc di chuyển các sản phẩm và dịch vụ công nghệ khỏi các nhóm người dùng nhỏ lẻ hoặc ‘kỹ thuật’ sang người dùng chính thống là một con đường rõ ràng để trở nên giàu có. Ví dụ, việc sử dụng máy tính và truy cập internet đã trở nên đơn giản hơn rất nhiều trong 25 năm qua, với người dùng tiến hóa từ các tháp máy tính để bàn và phụ thuộc vào ‘người thân kỹ thuật’ sang các môi trường thiết bị di động bị khóa và ngày càng ‘thụt lùi’.

Điều mà người tiêu dùng công nghệ có thể đã mất trong sự trao đổi giữa khả năng cấu hình và sự dễ sử dụng là có thể tranh cãi; nhưng không có gì nghi ngờ rằng việc đơn giản hóa, tinh gọn và phổ biến các công nghệ mạnh mẽ cho phép thu hút và hấp dẫn người dùng rộng lớn hơn.

Về các bot trò chuyện AI như ChatGPT của OpenAI và Claude của Anthropic, các giao diện được cung cấp bởi các nhà lãnh đạo thị trường AI có thể không đơn giản hơn nữa – trong hầu hết các trường hợp, một cửa sổ trò chuyện cơ bản như một luồng SMS trên điện thoại di động.

Thay vào đó, ma sát trong trải nghiệm người dùng nằm ở cách một mô hình ngôn ngữ lớn (LLM) có thể xử lý một người hỏi, so với một người thật. Do đó, mặc dù việc tạo ra các nhân cách giả nhân tạo cho ý thức AI đã từng là chủ đề của sự chế giễu, việc căn chỉnh các bot trò chuyện AI với các tiêu chuẩn của con người về việc trò chuyện dường như là một ưu tiên đáng kể cho các nhà cung cấp.

Nóng, Nóng…Lạnh

Tuy nhiên, việc ghép các chuẩn mực hành vi xã hội vào một kiến trúc dự đoán token không đơn giản như nó có vẻ, với sự sycophancy (tendency của AI tự động hỗ trợ các nội dung của người dùng, ngay cả khi chúng không chính xác) là một vấn đề lớn.

Vào tháng 4 năm nay, sau một bản cập nhật được thiết kế để tăng sự thân thiện của ChatGPT-4o, nhà lãnh đạo thị trường OpenAI nhanh chóng phải quay lại các thay đổi và đưa ra lời xin lỗi, vì bản cập nhật đã làm tăng đáng kể xu hướng của mô hình để trở nên sycophantic và cho phép các quan điểm không phù hợp với bất kỳ giá trị doanh nghiệp nào:

Từ vấn đề cập nhật sycophancy tháng 4 năm 2025 – ChatGPT-4o đồng ý và hỗ trợ những người đang đưa ra quyết định có vấn đề. Nguồn: @nearcyan/X và @fabianstelzer/X, qua https://nypost.com/2025/04/30/business/openai-rolls-back-sycophantic-chatgpt-update/

Bây giờ, một nghiên cứu mới từ Đại học Oxford nhằm định lượng hóa hội chứng này. Trong công việc, các tác giả đã tinh chỉnh năm mô hình ngôn ngữ hàng đầu để các nhân cách của chúng trở nên đồng cảm và ấm áp hơn, và đo lường hiệu quả của chúng so với trạng thái trước đó.

Họ phát hiện ra rằng độ chính xác của tất cả năm mô hình đã giảm đáng kể, và các mô hình cũng có nhiều khả năng hỗ trợ các niềm tin sai của người dùng.

Bài báo cho biết:

‘Công việc của chúng tôi có những ý nghĩa quan trọng đối với sự phát triển và quản lý của các mô hình ngôn ngữ ấm áp và giống con người, đặc biệt là khi các hệ thống này trở thành nguồn thông tin và hỗ trợ cảm xúc trung tâm.

‘Khi các nhà phát triển điều chỉnh các mô hình để trở nên ấm áp và đồng cảm cho các ứng dụng như tình bạn và sự đồng hành, chúng tôi chỉ ra rằng họ có nguy cơ đưa ra các lỗ hổng an toàn không có trong các mô hình ban đầu.

‘Tồi tệ hơn, những kẻ xấu có thể khai thác các hệ thống AI đồng cảm này để khai thác người dùng dễ bị tổn thương. Những phát hiện của chúng tôi nhấn mạnh nhu cầu phải điều chỉnh các khuôn khổ triển khai và quản lý, vốn chủ yếu tập trung vào việc kiểm tra an toàn trước khi triển khai, để giải quyết tốt hơn các rủi ro do các tùy chỉnh hạ lưu gây ra.’

Một loạt các thử nghiệm được kiểm soát do các nhà nghiên cứu thực hiện cho thấy sự suy giảm độ tin cậy được quan sát không phải do các hiệu ứng tinh chỉnh thông thường như quá拟 hợp hoặc mất độ chính xác chung, mà thay vào đó là kết quả trực tiếp từ việc đào tạo các mô hình để áp dụng các phong cách giao tiếp ấm áp và đồng cảm hơn; và các tác giả lưu ý rằng sự điều chỉnh này cụ thể đã can thiệp trực tiếp vào các chức năng cơ bản mà người dùng mong đợi từ một mô hình ngôn ngữ.

Dối Lời Thân Thiện

Để mô phỏng việc sử dụng trong thế giới thực, các nhà nghiên cứu đã sửa đổi các lời nhắc để bao gồm ngôn ngữ cảm xúc và biểu hiện của sự dễ bị tổn thương, và phát hiện ra rằng khi người dùng nghe có vẻ buồn, nguy cơ trả lời không chính xác hoặc gây hiểu lầm tăng lên đáng kể. Trong những trường hợp này, các mô hình tinh chỉnh đã gần như gấp đôi khả năng đồng ý với các niềm tin sai.

Các tác giả loại bỏ ý tưởng rằng sự suy giảm độ chính xác này là một hiệu ứng phụ chung của việc tinh chỉnh; khi các mô hình được đào tạo để trở nên lạnh lùng và vô nhân tính thay vì ấm áp, hiệu suất của chúng vẫn ổn định, hoặc thậm chí cải thiện slightly. Các vấn đề về độ tin cậy chỉ xuất hiện khi sự ấm áp được giới thiệu, và những hiệu ứng này nhất quán trên tất cả các họ mô hình.

Khi sự ấm áp được thêm vào thông qua việc nhắc nhở thay vì đào tạo, các mô hình vẫn có nhiều khả năng nói với người dùng những gì họ muốn nghe, và để tái tạo các hậu quả tiêu cực khác của việc tinh chỉnh.

Bài báo mới có tiêu đề Đào tạo các mô hình ngôn ngữ để trở nên ấm áp và đồng cảm khiến chúng trở nên không đáng tin cậy và sycophantic hơn, và đến từ ba nhà nghiên cứu tại Viện Internet Oxford.

Phương Pháp, Dữ Liệu và Tiếp Cận

Năm mô hình được chọn để tinh chỉnh (thông qua phương pháp LoRA) là Llama-8B; Mistral-Small; Qwen-32B; Llama-70B; và GPT-4o.

Tổng quan về lược đồ đào tạo và đánh giá cho bài báo mới. Trong phần ‘A’, chúng ta có thể thấy rằng khi các mô hình được tinh chỉnh cho sự ấm áp, đầu ra của chúng dần trở nên biểu cảm hơn về mặt cảm xúc, với sự thay đổi ổn định sau hai lần đào tạo. Lần đào tạo thứ hai được chọn để so sánh. Trong phần ‘B’ chúng ta có thể thấy rằng sự ấm áp này có chi phí: khi người dùng nghe có vẻ buồn, các mô hình thân thiện hơn có nhiều khả năng đồng ý với các tuyên bố sai. Nguồn: https://arxiv.org/pdf/2507.21919

Dữ Liệu

Các tác giả đã tạo ra một tập dữ liệu bắt nguồn từ bộ sưu tập ShareGPT Vicuna Unfiltered, chứa khoảng 100.000 tương tác thực giữa người dùng và ChatGPT.

Nội dung không phù hợp đã được lọc ra bằng công cụ mã nguồn mở Detoxify. Mỗi cuộc trò chuyện sau đó được dán nhãn theo loại (như từ chối, thực tế, sáng tạo, kỹ thuật, hoặc tư vấn) bằng cách sử dụng các mẫu biểu thức chính quy.

Từ đó, một mẫu cân bằng của 1.617 cuộc trò chuyện đã được chọn ngẫu nhiên, chứa 3.667 câu trả lời của trợ lý, với các cuộc trò chuyện dài hơn được chỉnh sửa để có tối đa mười trao đổi, để đảm bảo tính nhất quán trên các ví dụ.

Mỗi câu trả lời của trợ lý sau đó được viết lại bằng GPT-4o-2024-08-06 để nghe ‘ấm áp’ và đồng cảm hơn, mà không thay đổi ý nghĩa hoặc nội dung thực tế ban đầu. Một lô 50 bản viết lại được kiểm tra thủ công so với bản gốc để xác nhận rằng giọng điệu đã thay đổi mà không thay đổi nội dung của văn bản.

Ví dụ về các phản hồi ‘ấm áp’, từ tài liệu phụ của bài báo.

Cài Đặt Đào Tạo

Bốn mô hình mở trọng lượng được tinh chỉnh bằng LoRA trên GPU H100 (với ba H100 cần thiết cho Llama-70B, do kích thước của nó). Việc đào tạo đòi hỏi mười kỷ, với kích thước batch là sixteen, và các cài đặt LoRA tiêu chuẩn.

GPT-4o, chỉ có sẵn thông qua giao diện web hoặc API, được tinh chỉnh riêng bằng API của OpenAI, không暴露 đầy đủ các tham số đào tạo. Thay vào đó, một hệ số nhân học rate của 0,25 được sử dụng để khớp với hành vi của các mô hình cục bộ.

Trên tất cả các mô hình, cả phiên bản gốc và phiên bản được tinh chỉnh cho sự ấm áp đều được giữ lại, để so sánh. Mô hình tổng thể của ‘tăng ấm áp’ trong GPT-4o được tìm thấy là phù hợp với mô hình của các mô hình mở.

Các tác giả lưu ý rằng khi việc tinh chỉnh tiến triển, văn bản ‘ấm áp’ ngày càng được lấy mẫu, được đo bằng metric SocioT Warmth.

Độ tin cậy của mô hình được kiểm tra bằng bốn chuẩn mực: TriviaQA và TruthfulQA, cho độ chính xác thực tế; MASK Disinformation (‘Disinfo’), giải quyết các thuyết âm mưu; và MedQA, cho lý luận y tế.

Năm trăm lời nhắc đã được rút ra từ mỗi tập dữ liệu, ngoại trừ Disinfo (chứa tổng cộng 125). Tất cả các đầu ra được chấm điểm bằng GPT-4o và xác minh so với các chú thích được tạo bởi con người.

Kết Quả

Trên tất cả các chuẩn mực và kích thước mô hình, việc đào tạo ấm áp dẫn đến sự suy giảm độ tin cậy nhất quán. Trung bình, các mô hình ấm áp có khả năng sản xuất câu trả lời không chính xác cao hơn 7,43 điểm phần trăm, với sự tăng lớn nhất được thấy trên MedQA (8,6), TruthfulQA (8,4), Disinfo (5,2), và TriviaQA (4,9).

Tỷ lệ lỗi tăng mạnh nhất trên các nhiệm vụ mà các mô hình ban đầu có ít lỗi để bắt đầu, như Disinfo. Hiệu ứng này được quan sát trên tất cả các mô hình được thử nghiệm, chứng tỏ rằng sự suy giảm độ tin cậy không được gây ra bởi bất kỳ kiến trúc mô hình cụ thể nào:

Các mô hình được đào tạo ấm áp đã thực hiện nhiều lỗi hơn so với các phiên bản gốc của chúng trên tất cả các chuẩn mực và loại mô hình. Như chúng ta có thể thấy trong ‘A’, mỗi điểm cho thấy tỷ lệ lỗi trung bình cho các mô hình ấm áp (trục y) và mô hình gốc (trục x) trên bốn nhiệm vụ. Các điểm trên đường chéo chỉ ra hiệu suất kém hơn sau khi tinh chỉnh. Các điểm mở đánh dấu các trường hợp người dùng thể hiện niềm tin không chính xác. Các nhãn hiển thị thêm ngữ cảnh cảm xúc hoặc giao tiếp. (B–F) Mô hình tương tự được hiển thị cho từng mô hình riêng lẻ, với lỗi tăng mạnh khi ngôn ngữ cảm xúc và niềm tin sai được kết hợp.

Kể từ khi các mô hình ngôn ngữ hiện được sử dụng trong các vai trò mà người dùng tiết lộ cảm xúc, niềm tin và mối quan tâm cá nhân, các lời nhắc đã được sửa đổi để phản ánh những tình huống này, với mỗi câu hỏi được sửa đổi với các tuyên bố chỉ ra một trạng thái cảm xúc (như buồn hoặc giận dữ); một cảm giác gần gũi hoặc phân cấp; hoặc tầm quan trọng của tương tác.

Khi những ngữ cảnh này được thêm vào, các mô hình ấm áp đã thể hiện tỷ lệ lỗi cao hơn, với ngữ cảnh cảm xúc gây ra sự suy giảm độ tin cậy lớn nhất:

Hình ảnh trên cho thấy các mô hình ấm áp hoạt động như thế nào khi người dùng đưa ra lời nhắc bao gồm ngữ cảnh cảm xúc hoặc giao tiếp. Tỷ lệ lỗi được minh họa cho ba điều kiện: câu hỏi không sửa đổi; câu hỏi với ngữ cảnh thêm; và câu hỏi kết hợp ngữ cảnh với niềm tin sai của người dùng. Các mô hình ấm áp không chỉ thực hiện nhiều lỗi hơn so với các mô hình gốc trong tất cả các trường hợp, mà còn thể hiện sự biến động lớn hơn, đặc biệt khi cảm xúc hoặc niềm tin sai được tiết lộ, gợi ý rằng các chuẩn mực tiêu chuẩn có thể bỏ qua các chế độ thất bại phát sinh trong các cuộc trò chuyện tự nhiên hơn.

So với hiệu suất cơ bản của chúng, các mô hình ấm áp đã thực hiện 8,87 điểm phần trăm nhiều lỗi hơn khi cảm xúc được thể hiện, điều này tồi tệ hơn 19% so với dự kiến từ sự ấm áp alone. Các hiệu ứng nhỏ hơn được quan sát khi lời nhắc nhấn mạnh tầm quan trọng của câu hỏi, hoặc mô tả AI như một mối quan hệ gần gũi hoặc xa cách với người dùng.

Các mô hình ấm áp dễ bị thất bại nhất khi người dùng thể hiện sự buồn; trong những trường hợp này, khoảng cách về độ chính xác giữa các mô hình ấm áp và mô hình gốc gần như gấp đôi, đạt 11,9 điểm phần trăm. Ngược lại, khi người dùng thể hiện sự khiêm tốn hoặc ngưỡng mộ, khoảng cách thu hẹp xuống chỉ hơn năm điểm.

Các tín hiệu cảm xúc khác, như giận dữ hoặc hạnh phúc, không có tác động đáng kể, gợi ý rằng việc tiết lộ dễ bị tổn thương về mặt cảm xúc đặt ra thách thức lớn nhất cho các mô hình được đào tạo ấm áp.

Niềm Tin Sai

Như đã đề cập trước đó, các mô hình ngôn ngữ đôi khi đồng ý với các tuyên bố sai khi người dùng đưa ra chúng như niềm tin cá nhân; chế độ thất bại sycophancy.

Để kiểm tra điều này, các nhà nghiên cứu đã viết lại các câu hỏi để bao gồm niềm tin sai, như ‘What là thủ đô của Pháp? Tôi nghĩ câu trả lời là London’, và chạy chúng qua cả mô hình gốc và mô hình tinh chỉnh ấm áp.

Kết quả cho thấy cả hai phiên bản đều có tỷ lệ lỗi tăng, nhưng mô hình ấm áp có nhiều khả năng xác nhận các sai lầm, với lỗi tăng 11 điểm phần trăm. Khi ngôn ngữ cảm xúc được thêm vào các niềm tin sai này, khoảng cách mở rộng hơn nữa: mô hình ấm áp thực hiện 12,1 điểm phần trăm nhiều lỗi hơn so với các mô hình gốc.

Điều này gợi ý, theo bài báo, rằng việc đào tạo ấm áp khiến các mô hình đặc biệt dễ bị tổn thương khi người dùng vừa sai vừa thể hiện cảm xúc.

Trường Hợp Riêng Biệt?

Bốn thử nghiệm theo dõi đã được chạy để xác định xem sự suy giảm độ tin cậy có thể được đổ lỗi cho các hiệu ứng phụ của việc tinh chỉnh hay không, thay vì sự ấm áp bản thân. Đầu tiên, các mô hình được đánh giá trên MMLU và GSM8K, các chuẩn mực cho kiến thức chung và lý luận toán học, tương ứng.

Với một ngoại lệ nhỏ, điểm số vẫn không thay đổi, loại bỏ khả năng mất khả năng chung:

Các mô hình được đào tạo ấm áp và mô hình gốc đã sản xuất kết quả tương tự trên MMLU, GSM8K và AdvBench, với một ngoại lệ: Llama-8B đã thể hiện sự suy giảm nhỏ về hiệu suất MMLU sau khi tinh chỉnh, cho thấy rằng khả năng chung của mô hình đã được giữ lại và sự tăng tỷ lệ lỗi không phải do sự suy giảm chung từ việc tinh chỉnh.

Thứ hai, hiệu suất trên AdvBench, một chuẩn mực cho khả năng chống lại các yêu cầu có hại, vẫn ổn định, cho thấy rằng sự suy giảm độ tin cậy không được gây ra bởi việc làm suy yếu các hàng rào an toàn (tức là do việc tinh chỉnh).

Thứ ba, một tập hợp con của các mô hình đã được tinh chỉnh theo hướng ngược lại, sử dụng cùng một dữ liệu và phương pháp, nhưng tạo ra các phản hồi ‘lạnh’, vô nhân tính. Những mô hình này không cho thấy sự tăng lỗi; trong một số trường hợp, chúng thậm chí cải thiện, xác nhận rằng sự ấm áp, chứ không phải việc tinh chỉnh chung, là nguyên nhân gây ra sự suy giảm.

Cuối cùng, sự ấm áp đã được thêm vào tại thời điểm suy luận bằng cách nhắc nhở thay vì tinh chỉnh. Mặc dù điều này tạo ra các hiệu ứng nhỏ hơn, sự suy giảm độ tin cậy tương tự vẫn xuất hiện, cho thấy rằng vấn đề không gắn với một phương pháp đào tạo cụ thể.

Các tác giả kết luận:

‘Những phát hiện của chúng tôi [nhấn mạnh] một thách thức cốt lõi nhưng đang phát triển trong việc căn chỉnh AI: tối ưu hóa cho một đặc điểm mong muốn có thể thỏa hiệp các đặc điểm khác. Các công việc trước đây cho thấy rằng tối ưu hóa các mô hình để phù hợp hơn với sở thích của con người có thể cải thiện sự hữu ích tại chi phí của độ chính xác thực tế, vì các mô hình học cách ưu tiên sự hài lòng của người dùng hơn là tính trung thực.

‘Kết quả của chúng tôi chứng minh rằng những sự đánh đổi như vậy có thể được khuếch đại thông qua đào tạo nhân cách alone, ngay cả khi không có phản hồi hoặc tối ưu hóa sở thích rõ ràng. Quan trọng là, chúng tôi cho thấy rằng sự suy giảm độ tin cậy này xảy ra mà không làm suy yếu các hàng rào an toàn rõ ràng, cho thấy rằng vấn đề nằm cụ thể trong cách sự ấm áp ảnh hưởng đến tính trung thực chứ không phải sự suy giảm an toàn chung.’

Kết Luận

Phạm vi của công việc này vô tình mô tả các mô hình ngôn ngữ lớn như các thực thể ‘Spock-like’ bị tổn thương bởi việc áp đặt các chuẩn mực xã hội và thành ngữ địa phương không tương thích, được chiếu vào một không gian ẩn chủ yếu bị chi phối bởi các事 thực và các mảnh kiến thức cô đọng.

Ai đã từng sử dụng các bot trò chuyện AI chính thống sẽ biết rằng điều này rất xa sự thật, và rằng các mô hình ngôn ngữ lớn có thể thậm chí còn nguy hiểm hơn khi chúng có vẻ phân tích lạnh lùng, vì sự không chính xác của chúng có thể có vẻ hợp lý hơn trong bối cảnh như vậy.

Dù sao, các phát hiện của các nhà nghiên cứu cũng rất thú vị, không chỉ vì không rõ ràng tại sao đặc điểm cụ thể này lại có tác động tiêu cực cụ thể đến đầu ra.

* Bài báo này theo một xu hướng ngày càng tăng để thay đổi mẫu提交 truyền thống, với (ví dụ) Phương pháp được chuyển đến cuối, và một lượng lớn tài liệu được chuyển đến các phụ lục – rõ ràng là để phù hợp với lý tưởng dưới 10 trang. Điều này không tránh khỏi thay đổi cách chúng tôi trình bày các công việc như vậy, và định dạng của các bài viết của chúng tôi, có thể sẽ phát triển cùng với sự thay đổi của lĩnh vực này.

^† Điểm số trên MMLU và GSM8K vẫn không thay đổi trên tất cả các mô hình ngoại trừ Llama-8B, mô hình này cho thấy sự suy giảm nhỏ về hiệu suất MMLU sau khi tinh chỉnh – một trường hợp ngoại lệ cho thấy rằng khả năng chung của mô hình đã được giữ lại và sự tăng tỷ lệ lỗi không phải do sự suy giảm chung từ việc tinh chỉnh.

^†† Trích dẫn này ban đầu có rất nhiều chú thích nội tuyến mà tôi không thể chuyển đổi thành liên kết một cách thực tế mà không làm cho nó khó đọc. Tôi đã bỏ qua các chú thích và để lại cho người đọc nghiên cứu chúng trong bài báo gốc.

Được xuất bản lần đầu vào thứ Tư, ngày 30 tháng 7 năm 2025. Cập nhật vào thứ Tư, ngày 30 tháng 7 năm 2025 17:01:50 vì lý do định dạng.