Các Mô Hình Trò Chuyện AI Bị Kiểm Duyệt Hallucinate Nhiều Hơn, Nghiên Cứu Phát Hiện

Việc kiểm duyệt trong các mô hình ngôn ngữ có thể đang làm suy yếu khả năng báo cáo sự thật ở mức độ rộng lớn hơn. Nghiên cứu mới cho thấy rằng các cơ chế nội bộ được sử dụng để chặn các phản hồi “không an toàn” cũng đang ngăn chặn thông tin thực tế, có nghĩa là các nỗ lực nhằm căn chỉnh các mô hình cho an toàn có thể phản tác dụng bằng cách làm cho chúng hallucinate nhiều hơn.

Trong nhiều năm, các nhà phát triển đã cố gắng dạy cho các mô hình ngôn ngữ nói dối ít hơn. Việc thúc đẩy chúng trở nên trung thực hơn bằng cách ngăn chặn hallucinations và hướng chúng toward các sự kiện có thể kiểm chứng, đã dẫn đến một dòng nghiên cứu rất mạnh và được ủng hộ.

Tuy nhiên, một nghiên cứu mới của Úc cho rằng bằng cách tăng cường kiểm soát những gì các mô hình được phép nói, alignment methods (các kỹ thuật đào tạo giúp ngăn chặn các trao đổi “không an toàn”) có thể đang ngăn cản chúng nói chính xác.

Cải thiện độ chính xác của một mô hình (‘Truthfulness Enhancement’, trong hình trên) có thể đẩy nó vào các vùng hoạt động mà vượt qua các cơ chế từ chối có sẵn, và các chỉnh sửa nhằm giảm hallucinations cũng có thể thay đổi các biểu diễn nội bộ qua một ranh giới an toàn – cho phép các lệnh có hại vượt qua các biện pháp bảo vệ, trừ khi các tính năng từ chối được cách ly và bảo vệ cẩn thận. Source: https://arxiv.org/pdf/2510.07775

Nghiên cứu cho thấy rằng các con đường nội bộ cùng quản lý việc nhớ lại thông tin thực tế cũng chịu trách nhiệm cho refusal behavior, tức là cơ chế ngăn cản mô hình trả lời các lệnh có hại hoặc nhạy cảm. Khi các thủ tục căn chỉnh tăng cường các tín hiệu từ chối quá mạnh, chúng bắt đầu chồng lấp với các con đường thực tế, khiến mô hình khó phân biệt giữa việc từ chối gây hại và thông tin hợp lệ.

Ngược lại, khi các mô hình trở nên tốt hơn trong việc nói “không”, chúng cũng trở nên ít có khả năng nói những gì là sự thật.

Incendiary Topics

Trong hình trên, chúng ta có thể thấy rằng các vấn đề trung tâm ở đây liên quan đến việc tiếp xúc pháp lý cho các nhà cung cấp LLM cũng như cung cấp cho người dùng các kết quả công bằng và chính xác.

Ví dụ, trong trường hợp được sử dụng trong cả hình trên và dưới, chúng ta thấy một chủ đề gây tranh cãi (thống kê tội phạm dựa trên chủng tộc) được đưa ra trong một truy vấn – một chủ đề mà một AI có thể thảo luận một cách chấp nhận được với các nhà nghiên cứu và thống kê, nhưng không với những người muốn jailbreak mô hình, những người có thể buộc nó xuất ra các phản hồi lạm dụng, xúc phạm và thậm chí là bất hợp pháp.

Tuy nhiên, vì một LLM được căn chỉnh không thể xác định tính cách của người hỏi theo cách này, nó sẽ chọn một thái độ thận trọng:

Các phản hồi với các lệnh nhạy cảm có thể phân kỳ tùy thuộc vào chiến lược căn chỉnh. Một mô hình an toàn sẽ chặn hoàn toàn truy vấn, trong khi một mô hình tập trung vào sự thật sẽ trả lời với thông tin thực tế, tăng cường thông tin nhưng làm suy yếu việc ngăn chặn. Điều này hỗ trợ quan điểm rằng các chỉnh sửa nhằm tăng cường sự trung thực có thể làm giảm ngưỡng từ chối, khiến mô hình dễ bị tổn thương hơn trước các lệnh có hại, trừ khi các cơ chế từ chối được bảo vệ rõ ràng.

Làm một lưu ý phụ, liên quan đến ngôn ngữ gây tranh cãi, các phát hiện của bài báo mới này có thể cho phép ai đó không đồng cảm với các chương trình “thức tỉnh” hiểu rằng một mô hình ngôn ngữ được căn chỉnh (tức là được kiểm duyệt) ít trung thực và ít hữu ích hơn so với một mô hình chưa được kiểm duyệt và điều chỉnh.

Bài báo cho thấy rằng điều này có phần đúng, nhưng cũng đặt nó vào bối cảnh rộng lớn hơn của các vấn đề phát sinh từ các trao đổi với các LLM “thô”: theo logic của bài báo, những vấn đề này bao gồm việc tiếp xúc pháp lý nghiêm trọng trên nhiều tội phạm và vi phạm dân sự mà mô hình có thể là một phần, cũng như việc lan truyền tin giả, đơn giản vì các ví dụ về nguyên nhân được đại diện quá mức trong dữ liệu đào tạo, và cách hiệu quả duy nhất để lọc chúng hoàn toàn là quá tốn kém.

The Odd Couple

Để hiểu rõ hơn về các cơ chế đằng sau các hội chứng quan sát được, các nhà nghiên cứu đã ánh xạ activations của các attention heads riêng lẻ và phát hiện ra rằng các tính năng liên quan đến hallucination và refusal thường cùng tồn tại trong cùng một vùng của mô hình.

Họ phát hiện ra rằng fine-tuning hoặc điều chỉnh các vùng này để giảm thiểu các sai lầm có thể làm suy yếu các rào cản an toàn của hệ thống, vì chúng nằm trong cùng một phần của latent space:

‘[Tăng] độ chính xác thực tế thường đi kèm với chi phí là sự suy yếu của hành vi từ chối. Phân tích của chúng tôi cho thấy rằng điều này xuất phát từ các thành phần chồng lấp trong mô hình mà đồng thời mã hóa cả thông tin hallucination và refusal, dẫn đến việc các phương pháp căn chỉnh vô tình ngăn chặn kiến thức thực tế.

‘Chúng tôi cũng kiểm tra cách fine-tuning trên các tập dữ liệu an toàn, thậm chí khi được kiểm duyệt cho an toàn, có thể làm suy yếu căn chỉnh cho cùng một lý do.’

Giải pháp của các tác giả là sử dụng một sparse autoencoder (SAE, một mạng được đào tạo để phân lập các mẫu hoạt động riêng biệt) để tách biệt hai chức năng và bảo tồn an toàn trong quá trình đào tạo sự trung thực, cung cấp một cách để làm cho các mô hình trở nên an toàn và trung thực hơn mà không phải hy sinh một trong hai đặc điểm này.

Bài báo mới mới có tiêu đề The Unintended Trade-off of AI Alignment: Balancing Hallucination Mitigation and Safety in LLMs, và đến từ năm nhà nghiên cứu trên khắp Đại học Deakin và nghiên cứu độc lập.

Method

Đề xuất trung tâm của công việc này là điều tra xem việc cải thiện sự trung thực trong các mô hình ngôn ngữ có làm suy yếu khả năng của chúng trong việc từ chối các lệnh có hại hay không, và liệu cả hai hành vi này có phụ thuộc vào các thành phần nội bộ chung hay không.

Thử nghiệm hai phương pháp tăng cường sự trung thực, các tác giả đã tìm thấy, như chúng ta sẽ thấy, rằng lợi ích về độ chính xác thực tế luôn tăng lên khi khả năng bị tấn công bởi các lệnh có hại cũng tăng lên.

Điều này xuất phát từ việc chồng lấp trong attention heads mã hóa cả tín hiệu thực tế và từ chối. Thậm chí việc fine-tuning vô hại (được thiết kế để cải thiện tiện ích mà không ảnh hưởng đến hành vi an toàn) cũng có thể làm gián đoạn an toàn bằng cách thay đổi các con đường chung.

Nghiên cứu định nghĩa ba thuật ngữ quan trọng: truthfulness đề cập đến khả năng của mô hình trong việc cung cấp các phản hồi chính xác dựa trên kiến thức có sẵn của nó, mà không ngăn chặn nội dung không gây hại; hallucination xảy ra khi mô hình cung cấp thông tin không chính xác hoặc gây hiểu lầm mặc dù có quyền truy cập vào thông tin chính xác, thường do thất bại trong việc thu hồi hoặc can thiệp nội bộ; và refusal behavior, hoặc căn chỉnh an toàn, mô tả các cơ chế chặn hoặc hạn chế phản hồi với các lệnh có hại hoặc nhạy cảm.

Các tác giả quan sát thấy rằng những chức năng này thường tương tác với nhau theo những cách tinh vi:

‘Mặc dù sự trung thực và an toàn thường được phân tích riêng biệt, các lệnh thực tế thường chứa các thuật ngữ nhạy cảm với ý định vô hại (ví dụ, phân tích, phát hiện hoặc giáo dục) [Trong] những trường hợp này, các cơ chế an toàn có thể hoạt động quá mức – ngăn chặn thông tin chính xác, hữu ích – và do đó làm giảm sự trung thực thực tế “bằng việc bỏ qua”.

‘Hiểu cách các chỉnh sửa nhằm tăng cường sự trung thực ảnh hưởng đến hành vi từ chối là điều cần thiết để đạt được sự trung thực với sự ngăn chặn tối thiểu.’

Các tác giả đã phát triển một LoRA có khả năng điều khiển một LLM được điều kiện vào một trạng thái ‘trung thực’ ít bị hallucination hơn. Bao gồm cả hình trên, phụ lục của bài báo có nhiều ví dụ về các hậu quả không mong muốn của điều này.

Phân tích bắt đầu bằng cách xem xét các phương pháp tăng cường sự trung thực, chẳng hạn như head-steering và latent-direction mapping, như những thay đổi có chủ ý đối với tính toán nội bộ của mô hình.

Power Steering

Câu hỏi đặt ra là liệu những thay đổi này có ảnh hưởng không chủ ý đến cùng các con đường nội bộ quản lý hành vi từ chối. Để kiểm tra điều này, nghiên cứu đã đánh giá các mô hình không chỉ về độ chính xác thực tế bằng cách sử dụng TruthfulQA, mà còn về hiệu suất an toàn dưới áp lực đối thủ, bằng cách sử dụng các AdvBench và StrongReject benchmarks.

Hai kỹ thuật hiện có được sử dụng làm baseline là Inference-time intervention (ITI), kích hoạt các attention heads liên quan đến các phản hồi trung thực; và TruthX, thay đổi các biểu diễn dọc theo một hướng “trung thực” đã học.

Cả hai đều cải thiện độ chính xác, nhưng cũng làm cho mô hình dễ bị tấn công bởi các lệnh có hại mà trước đây nó đã từ chối.

Để kiểm tra xem hành vi hallucination có thể được phân lập và điều khiển trực tiếp hay không, các tác giả đã xác định một hướng latent duy nhất trong không gian mô hình tương ứng với các phản hồi hallucinated, đào tạo một LoRA module trên các phản hồi không chính xác từ tập dữ liệu TruthfulQA, sử dụng LLaMA3-8B-Instruct.

Điều này đã tạo ra một vector tuyến tính (tức là một đồ thị về sự khác biệt giữa các phản hồi trung thực và hallucinated) mà có thể điều khiển mô hình đến hoặc rời khỏi hallucination, tùy thuộc vào hướng.

Ảnh hưởng của việc điều khiển dọc theo hướng hallucination. Độ chính xác trên TruthfulQA tăng lên khi mô hình được đẩy xa hơn theo hướng âm, trong khi Tỷ lệ Thành công của Cuộc tấn công (ASR, thấp hơn là tốt hơn) tăng lên rõ rệt trên AdvBench và StrongReject, phản ánh sự đánh đổi giữa sự trung thực và an toàn.

Điều khiển dọc theo trục hallucination làm suy giảm độ chính xác thực tế, trong khi đảo ngược hướng cải thiện nó, và áp dụng kỹ thuật này cho các benchmark lệnh có hại đã xác nhận một mẫu được thấy trước đó: lợi ích về sự trung thực đi kèm với chi phí là sự suy yếu của hành vi từ chối. Ngay cả khi hallucination được bắt gặp như một hướng tuyến tính sạch, việc cải thiện đầu ra thực tế làm cho mô hình dễ bị tổn thương hơn trước các lệnh có hại.

Các tác giả nhấn mạnh*:

‘Điều này củng cố sự đánh đổi giữa sự trung thực và an toàn, cho thấy rằng ngay cả khi sự trung thực được biểu diễn như một hướng tuyến tính đơn, việc tăng cường sự trung thực có thể đi kèm với chi phí là sự suy yếu của căn chỉnh an toàn.’

Data and Tests

Theo công việc trước, để ngăn chặn việc fine-tuning làm suy yếu hành vi từ chối của mô hình, các tác giả đã sử dụng một phương pháp để tách biệt các tính năng từ chối khỏi những tính năng liên quan đến hallucination, bằng cách xác định các attention heads tham gia vào cả hai hành vi. Sau đó, họ sử dụng SAE để trích xuất các tính năng latent riêng cho từ chối.

Các tính năng này định nghĩa một subspace được bảo vệ. Trong quá trình đào tạo, các cập nhật gradient được thay đổi để tránh subspace này, cho phép mô hình giảm hallucinations mà không làm gián đoạn căn chỉnh an toàn.

Các tác giả đã fine-tuning trên tập dữ liệu CommonsenseQA, đánh giá trên sáu thử thách lý luận thông thường: CSQA; HellaSwag; ARCchallenge; ARC Easy; WinoGrande; và SST-2.

Các mô-đun mục tiêu được fine-tuning bằng cách sử dụng LoRA với hạng 8, tốc độ học là 2×10⁻⁴, suy giảm trọng lượng 0,01, một epoch đào tạo, và kích thước batch là hai. Tất cả các thí nghiệm đều sử dụng AdamW optimizer.

Hai benchmark nội dung có hại được sử dụng để đánh giá an toàn là AdvBench (500 mẫu được sử dụng) và StrongReject (300 lệnh). Đầu ra được đánh giá bởi LlamaGuard3, cho ra các phân loại an toàn hoặc không an toàn.

Bên cạnh LLaMA3-8B-Instruct, các thí nghiệm cũng được thực hiện trên Qwen2.5-Instruct.

Các baseline được kiểm tra bao gồm SafeLoRA; SaLoRA; SAP; và fine-tuning giám sát thông thường (aka SFT). Tất cả đều được chạy với các siêu tham số mặc định, với 200 lệnh từ HarmBench, cho tất cả các phương pháp ngoại trừ SafeLoRA.

Độ chính xác là chỉ số chính, và đối với các benchmark có hại, Tỷ lệ Thành công của Cuộc tấn công (ASR), như được định nghĩa bởi kết quả từ LlamaGuard3.

Trên, kết quả từ LlaMA-3-8B-Instruct, với các giá trị tốt nhất trong cột được in đậm và dưới, hiệu suất của các phương pháp fine-tuning trên Qwen2.5 7B Instruct, trên các thử thách lý luận thông thường và an toàn, nơi các điểm số cao hơn phản ánh độ chính xác tốt hơn – và trên các benchmark an toàn AdvBench và StrongReject, nơi các giá trị ASR thấp hơn phản ánh sự mạnh mẽ hơn. Các kết quả tốt nhất trong mỗi cột được in đậm.

Về những kết quả này, các tác giả tuyên bố:

‘Phương pháp của chúng tôi đạt được sự cân bằng tốt nhất giữa an toàn và tiện ích: nó làm giảm đáng kể các điểm số benchmark có hại trong khi vẫn giữ được độ chính xác của fine-tuning. Ngược lại, các phương pháp như SAP, SaLoRA và SafeLoRA либо làm tăng sự có hại hoặc làm suy giảm tiện ích.

‘Một lý do chính là các phương pháp này hoạt động trực tiếp trên gradient của subspace an toàn, điều mà, do tính đa nghĩa [**], có thể hạn chế hiệu suất của mô hình.

‘So với fine-tuning giám sát thông thường (SFT), phương pháp của chúng tôi mang lại sự cải thiện đáng kể về cả tiện ích và sự có hại. Cụ thể, phương pháp của chúng tôi cải thiện độ chính xác fine-tuning trung bình (FA) từ 56,15% lên 75,09%, một lợi ích khoảng +19%.’

Phương pháp này, các nhà nghiên cứu lưu ý thêm, cắt giảm Tỷ lệ Thành công của Cuộc tấn công từ 9,23% xuống 0,58% trên AdvBench và từ 9,90% xuống 0,00% trên StrongReject, đại diện cho hơn mười lăm lần giảm trong đầu ra có hại. Mô hình cơ sở, mặc dù đã có mức độ có hại thấp, chỉ đạt được độ chính xác nhiệm vụ hạn chế.

Các tác giả tuyên bố:

‘Những kết quả này nhấn mạnh tầm quan trọng của việc bảo tồn các tính năng từ chối trong quá trình fine-tuning: bằng cách cách ly và bảo vệ subspace từ chối, phương pháp của chúng tôi duy trì căn chỉnh an toàn mà không hy sinh hiệu suất nhiệm vụ.

‘Tổng thể, điều này xác nhận rằng phương pháp của chúng tôi có hiệu quả trong việc giảm thiểu sự đánh đổi giữa sự trung thực và an toàn.’

Cuối cùng, các tác giả đã kiểm tra sự vững vàng của phương pháp dưới các điều kiện đối thủ hơn, bằng cách thêm 10% lệnh có hại từ Circuit Break dataset vào tập dữ liệu fine-tuning.

Mặc dù việc làm ô nhiễm này có chủ ý, phương pháp vẫn duy trì hiệu suất mạnh mẽ trên cả đánh giá vô hại và có hại:

Hiệu suất của LLaMA3 8B Instruct được fine-tuning trên một tập dữ liệu lý luận thông thường bị ô nhiễm, so sánh độ chính xác và kết quả an toàn trên các phương pháp.

Phương pháp mới giảm ASR hiệu quả hơn SAP, đồng thời tránh được sự mất mát tiện ích đáng kể của SAP. Độ chính xác nhiệm vụ vẫn gần với LoRA SFT và SafeLoRA, xác nhận rằng căn chỉnh từ chối có thể vẫn được duy trì dưới đào tạo bị ô nhiễm, với điều kiện là các tính năng từ chối được cách ly và bảo vệ đúng cách.

Conclusion

Phát hiện thú vị nhất từ bài báo này là sự đồng vị của các yếu tố mâu thuẫn như refusal và hallucination trong không gian latent đã được đào tạo. Mặc dù rất thú vị khi xem các tác giả tách biệt chúng bằng cách sử dụng LoRAs và SAEs, điều này rõ ràng là một giải pháp “bolt-on” và hy vọng rằng cuối cùng sẽ có những giải pháp kiến trúc sâu hơn xuất hiện để giải quyết thời gian đào tạo, thay vì các giải pháp hậu xử lý.

* Tôi bỏ qua định dạng in đậm của họ vì nó là thừa.

Được xuất bản lần đầu vào thứ Sáu, ngày 10 tháng 10 năm 2025