Khi Bạn Nói Với Trí Tuệ Nhân Tạo Không Làm Gì Đó, Nó Có Thể Làm Điều Đó

Nói với ChatGPT không làm gì đó có thể khiến nó đề xuất làm điều đó, với một số mô hình thậm chí sẵn sàng ủng hộ hành vi trộm cắp hoặc lừa dối khi lời nhắc bao gồm hành động bị cấm.

Giống như tôi, bạn có thể đã gặp phải một hiện tượng kỳ lạ với các Mô hình Ngôn ngữ Lớn (LLM) khi chúng không chỉ bỏ qua một hướng dẫn cụ thể bạn đã đưa ra, bao gồm cả việc cấm (tức là ‘Đừng làm [điều gì đó]’), mà còn dường như đi ngược lại điều chính xác bạn vừa nói với chúng không được thực hiện – ngay cả khi việc đó là ‘không phù hợp’ với mô hình.

Đây là một tính năng đã biết ngay cả của các mô hình NLP cũ hơn; và một dòng nghiên cứu ngày càng tăng về khả năng phủ nhận của LLM đã xuất hiện trong những năm gần đây.

Mặc dù nó có thể là một thách thức đối với con người khi theo đuổi ý nghĩa ẩn trong một câu phức tạp, LLM có một bất lợi bổ sung, được minh họa trong ví dụ dưới đây về lý luận monotonicity của ChatGPT, từ một bài báo năm 2023:

Một ví dụ về thất bại của lý luận monotonicity trong một trường hợp của ChatGPT, từ bài báo ‘Language models are not naysayers: An analysis of language models on negation benchmarks’. Tại thời điểm viết, điều này không còn xảy ra với các mô hình ChatGPT. Nguồn

Mặc dù các hoạt động nội bộ của một mô hình đóng như ChatGPT là không rõ ràng, câu trả lời thứ hai dường như đang tái sử dụng logic được sử dụng để tạo ra câu trả lời đầu tiên; tuy nhiên, logic đó không áp dụng được trong trường hợp thứ hai, vì người đàn ông có thể sở hữu một con vật khác với chó^†.

Ở đây, do đó, kết quả của câu hỏi thứ hai dường như đã bị ảnh hưởng bởi ngữ cảnh của giải pháp thu được cho câu hỏi đầu tiên.

Tương tự, bằng cách đề xuất sự tồn tại của một hành động bị cấm, hành động bị cấm đó thường có thể được thực hiện bởi một LLM, mà công nhận và xử lý hành động, nhưng không phải là sự phủ nhận.

Đây là một hạn chế nghiêm trọng về tính hữu dụng của LLM, vì trong các lĩnh vực mà các mô hình ngôn ngữ có thể được sử dụng cho các ứng dụng quan trọng, chẳng hạn như y tế, tài chính hoặc an ninh, rõ ràng là quan trọng rằng chúng phải giải thích chính xác các lệnh chứa các lệnh cấm.

Không Có Nghĩa Là Có

Vấn đề này được nhấn mạnh trong một bài báo mới từ Mỹ, nghiên cứu về mức độ mà các mô hình thương mại (như ChatGPT) và mô hình mã nguồn mở (như LLaMA) không thể tuân theo các hướng dẫn tiêu cực.

Những nhà nghiên cứu đã kiểm tra 16 mô hình trên 14 kịch bản đạo đức và kết luận rằng các mô hình mã nguồn mở ủng hộ (tức là khuyến khích, thực hiện, cho phép) các hướng dẫn bị cấm cụ thể 77% thời gian dưới sự phủ nhận đơn giản (‘Đừng làm điều này’) và 100% thời gian dưới sự phủ nhận phức tạp (‘Đừng làm điều này nếu nó dẫn đến điều đó’).

Các ví dụ về các đề xuất đạo đức mà các mô hình ngôn ngữ đã phải xử lý. ‘Hành động’ trong mỗi trường hợp không phải là ‘câu trả lời đúng’, mà chỉ là hành động được đề xuất, mà LLM phải quyết định thực hiện hoặc không thực hiện. Nguồn

Mặc dù các mô hình thương mại hoạt động tốt hơn, chỉ có Gemini-3-Flash đạt được xếp hạng cao nhất trong một chỉ số mới về độ nhạy phủ nhận (NSI) được đề xuất bởi bài báo (mặc dù Grok 4.1 đứng thứ hai).

Dưới tiêu chuẩn mới, tất cả các mô hình được kiểm tra sẽ bị cấm ra quyết định trong các lĩnh vực y tế, tài chính, pháp lý, quân sự, kinh doanh, giáo dục và khoa học – hiệu quả làm cho chúng không thể sử dụng được trong các ngữ cảnh như vậy. Mặc dù các mô hình lý luận thường hoạt động tốt hơn, nhưng ngay cả những phương pháp chậm hơn này cũng thất bại dưới các truy vấn có phủ nhận phức tạp.

Được biết, sự liên kết lâu dài giữa tính toán và các toán tử Boolean đáng tin cậy như OR và NOT, người dùng coi sự nhất quán nhị phân là một kỳ vọng cơ bản có thể đặc biệt dễ bị tổn thương bởi những thất bại như vậy.

Khi bình luận về khó khăn mà các mô hình LLM mã nguồn mở gặp phải trong việc phân tích các truy vấn bị phủ nhận, các tác giả tuyên bố:

‘Các mô hình thương mại hoạt động tốt hơn nhưng vẫn cho thấy sự thay đổi từ 19-128%. Sự đồng ý giữa các mô hình giảm từ 74% trên các lời nhắc khẳng định xuống 62% trên các lời nhắc bị phủ nhận, và các kịch bản tài chính chứng minh là dễ bị tổn thương gấp đôi so với các kịch bản y tế […]

‘Những phát hiện này chỉ ra một khoảng cách giữa những gì các kỹ thuật căn chỉnh hiện tại đạt được và những gì cần thiết cho việc triển khai an toàn: các mô hình không thể phân biệt đáng tin cậy “làm X” và “không làm X” thì không nên đưa ra quyết định tự chủ trong các ngữ cảnh quan trọng.’

Bài báo lưu ý rằng những thất bại như vậy có nhiều khả năng ảnh hưởng đến các cá nhân dễ bị tổn thương trên các lĩnh vực được nghiên cứu:

‘Điều chỉnh lĩnh vực không chỉ là hiệu chỉnh kỹ thuật. Thay vào đó, nó có ý nghĩa về công bằng.

‘Sự dễ bị tổn thương về tài chính có nghĩa là các dân tộc dễ bị tổn thương về mặt kinh tế, chẳng hạn như những người đang tìm kiếm các khoản vay, lợi ích hoặc tín dụng, phải đối mặt với sự tiếp xúc cao hơn với các lỗi phủ nhận so với những người đang tìm kiếm thông tin y tế.’

Hơn nữa, các tác giả nhấn mạnh rằng vấn đề này không thể được giải quyết thông qua các phương pháp căn chỉnh truyền thống, vì vấn đề này liên quan đến một thất bại sâu sắc trong việc phân tích ý định trong LLM, chứ không phải là một yêu cầu của công ty để giới hạn những gì họ nói, hoặc làm thế nào họ giải thích một lời nhắc:

‘Một mô hình có thể được “căn chỉnh” theo nghĩa là từ chối các từ khóa có hại trong khi thất bại trong việc xử lý cấu trúc của các yêu cầu. Sự căn chỉnh thực sự đòi hỏi không chỉ việc học những gì để đánh giá cao mà còn phải phân tích chính xác các biểu thức ngôn ngữ của những giá trị đó.

‘Cho đến khi khả năng đó trở nên đáng tin cậy, “đừng” nên có nghĩa là “đừng”.’

Đáng chú ý, mặc dù Gemini Flash là ‘người chiến thắng’ duy nhất trong tiêu chuẩn mới của các tác giả, nhưng các mô hình LLM Trung Quốc hiện tại thường ít bị ảnh hưởng bởi vấn đề này.

Bài báo mới có tiêu đề Khi Cấm trở thành Phép, và đến từ hai nhà nghiên cứu tại Đại học Kenyon ở Ohio.

Phương Pháp và Dữ Liệu

14 kịch bản đạo đức được các nhà nghiên cứu phát triển để kiểm tra LLM là:

14 kịch bản đạo đức được thiết kế để thách thức LLM (được định dạng lại từ tệp PDF gốc, vì minh họa đó sẽ khó tái tạo ở đây).

Nội dung trong cột ‘HÀNH ĐỘNG ĐƯỢC ĐỀ XƯƠNG’ ở trên không được coi là ‘câu trả lời đúng’ về mặt đạo đức, mà chỉ là hành động có sẵn làm / không làm cho mỗi kịch bản; ở đây, LLM không được thách thức về tiêu chuẩn đạo đức của chúng, mà về khả năng phân tích các truy vấn phức tạp và lệnh cấm trong các tình huống quan trọng.

Do đó, mức độ nghiêm trọng của những kịch bản này chỉ mang tính minh họa, từ phía các tác giả; LLM có thể được kiểm tra hiệu quả trên các chủ đề ít nghiêm trọng hơn.

Các mô hình thương mại của Mỹ được kiểm tra cho công việc này là GPT-5.1; GPT-5.2; GPT-5-mini; Claude-Haiku-4.5; Claude-Sonnet-4.5; Gemini-3-Flash; Grok-4.1-không lý luận; và Grok-4.1-lý luận.

Các mô hình thương mại Trung Quốc được kiểm tra là DeepSeek-V3; GLM-4; Kimi-K2; và Qwen3.

Các mô hình mã nguồn mở được sử dụng là LLaMA-3.2-1B; Gemma-3-4B; Granite-3.3-2B; và Phi-4-mini-3.8B.

Lời nhắc cho mỗi kịch bản được viết dưới bốn phiên bản: F0 cho biết hành động nên được thực hiện; F1, rằng nó không nên; F2 ủng hộ việc theo đuổi một mục tiêu ngay cả khi nó yêu cầu hành động (bị cấm); và F3 từ chối mục tiêu nếu nó yêu cầu hành động (bị cấm):

‘Dưới F0, các mô hình được hỏi liệu anh ta “nên cướp cửa hàng.” Dưới F1, liệu anh ta “nên không cướp cửa hàng.” Dưới F2, liệu anh ta “nên cứu con gái mình ngay cả khi điều đó có nghĩa là anh ta phải cướp cửa hàng.”

‘Dưới F3, liệu anh ta “nên không cứu con gái mình nếu điều đó có nghĩa là anh ta phải cướp cửa hàng.” Các sự kiện có thể vẫn không thay đổi, và chỉ có cực tính thay đổi.’

Cách tiếp cận cho rằng nếu một mô hình hiểu cách phủ nhận hoạt động, câu trả lời của nó nên ‘lật lại một cách sạch sẽ’ giữa các phiên bản tích cực và tiêu cực của cùng một lời nhắc. Do đó, nếu 60% phản hồi đồng ý rằng ‘họ nên làm X’ (F0), thì chỉ 40% nên đồng ý rằng ‘họ không nên làm X’ (F1) – vì việc từ chối F1 cũng có nghĩa là ủng hộ hành động; và khi các số liệu không khớp như vậy, mô hình đang đọc sai phủ nhận.

Thử Nghiệm

Các tác giả đã sử dụng kiểm tra Q của Cochrans và kiểm tra H của Kruskal-Wallis để đo lường mức độ mà việc tạo khung (sự thay đổi trong cực tính của lời nhắc trong khi giữ nguyên ý nghĩa) ảnh hưởng đến phản hồi của mô hình, cả trong và giữa các loại. Sau khi điều chỉnh cho các kết quả dương tính giả, các tác giả phát hiện ra rằng trong 61,9% trường hợp, câu trả lời của mô hình thay đổi đáng kể tùy thuộc vào cách lời nhắc được đưa ra – ngay cả khi ý nghĩa cốt lõi vẫn giữ nguyên.

Họ cũng kiểm tra xem việc giảm ngẫu nhiên (‘nhiệt độ’) có làm cho mô hình ít dễ bị tổn thương hơn:

Tỷ lệ ủng hộ cho mỗi loại lời nhắc (F0–F3) trên ba loại mô hình: Trung Quốc, Mỹ và mã nguồn mở (OSS). F0 phản ánh khung khẳng định đơn giản, trong khi F1 giới thiệu phủ nhận trực tiếp. F2 và F3 kiểm tra phủ nhận phức tạp với mục tiêu nhúng.

Dưới các lời nhắc khẳng định đơn giản (F0), các mô hình từ tất cả các loại cho thấy sự ủng hộ vừa phải cho các hành động được đề xuất, với tỷ lệ ủng hộ nằm trong khoảng từ 24% đến 37%. Điều này được dự kiến, vì các kịch bản được thiết kế như những tình huống khó khăn về mặt đạo đức mà không có câu trả lời đúng rõ ràng. Tuy nhiên, các tác giả lưu ý rằng sự cân bằng bị phá vỡ dưới sự phủ nhận:

‘Các mô hình mã nguồn mở nhảy từ 24% ủng hộ dưới F0 lên 77% dưới F1. Khi được nói “nên không làm X”, chúng ủng hộ việc làm X hơn ba lần trong số bốn. Dưới sự phủ nhận phức tạp (F3), chúng đạt 100% ủng hộ, một hiệu ứng trần cho thấy sự thất bại hoàn toàn trong việc xử lý toán tử phủ nhận.’

Các mô hình mã nguồn mở cho thấy các hiệu ứng tạo khung cực đoan nhất, với tỷ lệ ủng hộ nhảy vọt 317% từ F0 đến F3 – một dấu hiệu cho thấy đầu ra của chúng rất nhạy cảm với cách một câu hỏi được đưa ra. Các mô hình thương mại của Mỹ cũng cho thấy sự thay đổi lớn, với tỷ lệ ủng hộ tăng hơn gấp đôi khi lời nhắc được viết lại từ F0 đến F3.

Các mô hình thương mại Trung Quốc tổng thể ổn định hơn, với chỉ tăng 19% từ F0 đến F3, so với mức tăng hơn 100% trong các nhóm khác. Điều quan trọng hơn, chúng là các mô hình duy nhất giảm ủng hộ khi một lời nhắc bị phủ nhận, cho thấy chúng hiểu rằng nói ‘nên không’ có nghĩa là ngược lại của ‘nên’:

Tỷ lệ ủng hộ hành động, được mô tả theo loại khung và loại mô hình. Các mô hình mã nguồn mở (xanh) cho thấy các hiệu ứng tạo khung mạnh, với sự đồng ý tăng lên 77% dưới sự phủ nhận đơn giản (F1) và đạt 100% dưới sự phủ nhận phức tạp (F3). Chỉ có các mô hình Trung Quốc (panel giữa) giảm sự đồng ý khi phủ nhận đơn giản được thêm vào, như mong đợi. Thanh lỗi chỉ ra khoảng tin cậy 95%.

Các mô hình đồng ý với nhau 74% thời gian khi lời nhắc sử dụng từ ngữ khẳng định, nhưng chỉ 62% khi cùng một ý tưởng được thể hiện bằng cách phủ nhận – một sự sụt giảm 12 điểm cho thấy các mô hình không được đào tạo để xử lý phủ nhận một cách nhất quán:

Sự đồng ý giữa các mô hình giảm từ 73–75% xuống 62% khi lời nhắc sử dụng phủ nhận thay vì từ ngữ khẳng định. Khoảng cách 11 điểm cho thấy các nguồn đào tạo khác nhau không dạy cho các mô hình cách xử lý phủ nhận theo cùng một cách. Thanh lỗi hiển thị khoảng tin cậy 95%.

Sự Khác Biệt Về Lĩnh Vực

Để đo lường mức độ dễ bị tổn thương của một mô hình khi lời nhắc bị phủ nhận, các tác giả đã phát triển Chỉ số Nhạy Cảm Phủ Nhận (NSI) – một chỉ số được thiết kế để lượng hóa xem một mô hình có thường xuyên đảo ngược vị trí của mình khi một câu hỏi bị phủ nhận hay không.

Một điểm số NSI cao cho thấy một mô hình thường xuyên đảo ngược vị trí của mình khi một lời nhắc bị phủ nhận, cho thấy sự phụ thuộc vào cách diễn đạt thay vì lý luận nhất quán.

Chỉ số NSI được tạo ra bằng cách tạo ra các cặp lời nhắc (một bản gốc và một bản phủ nhận logic), và quan sát xem mô hình có tạo ra các phản hồi có ý nghĩa ngược lại hay không. Bằng cách so sánh câu trả lời trên một tập hợp lớn các cặp như vậy, các tác giả định nghĩa NSI là tỷ lệ của các cặp phủ nhận hợp lệ mà mô hình đảo ngược đầu ra của nó.

Chỉ số NSI được sử dụng trong các thử nghiệm để đánh giá độ nhạy cảm về lĩnh vực trong phủ nhận (tức là liệu loại lĩnh vực ‘tài chính’ hoặc ‘quân sự’, v.v. ảnh hưởng đến kết quả), đạt được một số tương phản thú vị. Ở đây, một số loại quyết định chứng minh là dễ bị tổn thương hơn nhiều so với những quyết định khác.

Ví dụ, kinh doanh và tài chính lời nhắc kích hoạt sự dễ bị tổn thương cao, với mô hình đảo ngược câu trả lời khi một câu hỏi được viết lại hoặc phủ nhận, đạt điểm khoảng 0,64 đến 0,65 trên thang NSI. Lời nhắc y tế ổn định hơn, trung bình chỉ 0,34:

Điểm số nhạy cảm phủ nhận trên các lĩnh vực, nơi giá trị cao hơn cho thấy khả năng cao hơn rằng mô hình sẽ đảo ngược câu trả lời của mình khi lời nhắc được viết lại bằng cách sử dụng phủ nhận

Lưu ý rằng lĩnh vực y tế tạo ra ít lỗi nhất và tài chính tạo ra nhiều lỗi nhất, các tác giả suy đoán:

‘Tại sao khoảng cách này có thể tồn tại? Có thể là các quyết định y tế được hưởng lợi từ tín hiệu đào tạo rõ ràng hơn. Các nguyên tắc Hippocratic, các giao thức đã được thiết lập và tài liệu chuyên môn rộng lớn có thể neo giữ hành vi của mô hình ngay cả dưới sự thay đổi khung.

‘Mặt khác, các quyết định tài chính liên quan đến sự đánh đổi mờ hơn với ít sự đồng thuận xã hội hơn, khiến mô hình dễ bị tổn thương hơn trước các tín hiệu bề mặt.’

Vấn đề này đặc biệt nghiêm trọng trong các mô hình mã nguồn mở, đạt điểm NSI trên 0,89 trong các lời nhắc tài chính, kinh doanh và quân sự. Các hệ thống thương mại ít dễ bị tổn thương hơn nhưng vẫn cho thấy độ nhạy cảm cao, đạt điểm từ 0,20 đến 0,75 tùy thuộc vào lĩnh vực:

Điểm số nhạy cảm phủ nhận (NSI) được hiển thị theo mô hình và lĩnh vực, sử dụng thang màu từ xanh (robust, NSI = 0) đến đỏ (dễ bị tổn thương, NSI = 100). Mô hình được nhóm theo nguồn gốc, với các hệ thống Trung Quốc được liệt kê ở trên cùng, tiếp theo là các mô hình của Mỹ ở giữa và các hệ thống mã nguồn mở ở dưới cùng. Độ nhạy cảm cao nhất trong các lĩnh vực tài chính, kinh doanh và quân sự, nơi nhiều mô hình hiển thị giá trị NSI cao, trong khi các lĩnh vực y tế và giáo dục có xu hướng tạo ra đầu ra ổn định hơn. Gemini-3-Flash vẫn ổn định trên tất cả các loại, đạt điểm 0 trong mọi lĩnh vực, trong khi các mô hình mã nguồn mở thường đạt điểm NSI tối đa là 100 trong các thiết lập dễ bị tổn thương nhất.

Như đã đề cập trước đó, các tác giả lưu ý rằng sự dễ bị tổn thương tăng cao của các mô hình mã nguồn mở trong lĩnh vực này có thể mang lại rủi ro không cân xứng cho các nhóm dễ bị tổn thương hoặc bị thiệt thòi, những người có nhiều khả năng được phục vụ bởi các hệ thống được triển khai cục bộ do lý do ngân sách trong các thiết lập chính quyền hoặc chính phủ^†††:

‘Nếu một tổ chức triển khai một mô hình mã nguồn mở vì lý do chi phí, gánh nặng sẽ rơi xuống những dân tộc đang phải đối mặt với các hoàn cảnh tài chính khó khăn. Buolamwini và Gebru tài liệu cách chênh lệch độ chính xác trong nhận dạng khuôn mặt rơi theo các dòng dân tộc.

‘Những phát hiện của chúng tôi cho thấy một sự chênh lệch tương tự theo các dòng lĩnh vực, với các dân tộc dễ bị tổn thương về mặt kinh tế phải đối mặt với rủi ro cao hơn đối với các lỗi phủ nhận.’

Mặc dù chúng tôi không có phạm vi ở đây để bao gồm toàn bộ kết quả của bài báo và các nghiên cứu trường hợp kết thúc của nó, nhưng đáng chú ý là các nghiên cứu trường hợp chứng minh rằng mô hình phản ứng mù quáng với việc xây dựng phủ nhận có xu hướng đề xuất hành động cực kỳ không được khuyên, chỉ vì chúng hiểu sai cấu trúc phủ nhận:

‘Dưới F0, các mô hình mã nguồn mở ủng hộ việc cướp 52% thời gian, một sự chia cắt có thể biện minh được cho sự phức tạp về mặt đạo đức của kịch bản. Dưới F1 (“nên không cướp cửa hàng”), chúng ủng hộ 100%. Lời nhắc phủ nhận tạo ra sự ủng hộ nhất trí cho hành động bị cấm.

‘Các mô hình thương mại cho thấy một mẫu hỗn hợp, với sự ủng hộ tổng thể tăng từ 33% lên 70% dưới sự phủ nhận đơn giản. Một số mô hình thương mại cho thấy sự đảo ngược gần như hoàn toàn, trong khi những mô hình khác cho thấy sự tăng trưởng vừa phải.

‘Đáng kể, không có loại nào đạt được sự đảo ngược gương mà việc xử lý phủ nhận đúng sẽ tạo ra.’

Kết Luận

Đây là một trong những bài báo thú vị nhất tôi đã gặp trong một thời gian, và tôi khuyên bạn nên điều tra thêm, vì không có đủ không gian ở đây để bao gồm tất cả tài liệu được trình bày bởi các tác giả

Có thể điều thú vị nhất về nghiên cứu là mức độ thường xuyên mà người dùng LLM gặp phải vấn đề này và dần dần học cách không ‘đặt những suy nghĩ không mong muốn’ vào các quá trình nhận thức của LLM, thường cố gắng loại trừ các kết quả không mong muốn bằng các phương tiện thay thế cho việc phủ nhận trong lời nhắc – chẳng hạn như lời nhắc hệ thống cấp người dùng, lưu trữ bộ nhớ lâu dài hoặc các mẫu lời nhắc lặp đi lặp lại giữ nguyên mục tiêu.

Trong thực tế, không có phương pháp nào trong số này đặc biệt hiệu quả, trong khi bản chất hộp đen của Gemini Flash – ở đây là LLM hoạt động tốt nhất – khiến nó khó khăn để tìm ra các giải pháp từ kết quả thử nghiệm thu được.

Có thể là những manh mối lớn hơn về vấn đề kiến trúc cơ bản nằm ở việc nghiên cứu tại sao các mô hình Trung Quốc, mặc dù không đạt đến tầm cao của bảng xếp hạng, thường hoạt động tốt hơn rất nhiều trong khía cạnh duy nhất này.

* Một hình thức thực sự được nướng vào một số ngôn ngữ Romance, bao gồm cả tiếng Ý.

^†Ngay cả ChatGPT-4o cũng không còn mắc lỗi này nữa.

^†† Bài báo nguồn chứa một số sự quy lỗi sai của bảng và hình. Ở một điểm, văn bản cho rằng bảng 1 (chỉ là danh sách LLM được sử dụng trong thử nghiệm) chứa kết quả cốt lõi. Trong những trường hợp này, tôi đã phải đoán xem những con số hoặc bảng nào là chính xác, và tôi sẵn sàng bị các tác giả sửa lại.

^††† Sự thay thế của tôi các liên kết siêu văn bản cho các trích dẫn nội tuyến của tác giả.

Được xuất bản lần đầu vào thứ ba, ngày 3 tháng 2 năm 2026