Các tác nhân AI có thể ghi nhớ quy tắc nhưng vẫn vi phạm chúng sau khi nén

Nén là khi một loạt trao đổi phức tạp với AI được cô đọng thành bản tóm tắt, rồi cuộc trò chuyện tiếp diễn dựa trên bản tóm tắt ấy chứ không phải toàn bộ lịch sử. Xét về mức sử dụng bộ nhớ, điều này giống như một “khởi đầu mới” và đã được triển khai như một giải pháp cho những giới hạn của cửa sổ ngữ cảnh trong các cuộc trao đổi với AI.

Ban đầu được áp dụng trong AI tác tử, phương pháp này sau đó được mở rộng sang Claude. Trong khi đó, tính năng nén ngữ cảnh cho Gemini vẫn chưa xuất hiện trong các cuộc trò chuyện của nhà phát triển, còn ChatGPT không dùng cách này mà thay vào đó là chỉ cần dừng cuộc trò chuyện.

Nếu từng sử dụng Codex (về cơ bản là một phiên bản ChatGPT có thể thực sự thay đổi nội dung trên máy tính của bạn, nếu được cấp quyền) liên tục hơn 30 phút, hẳn bạn đã thấy đôi lúc xuất hiện thông báo về việc nén ngữ cảnh. Trong thời gian đó, bạn không thể tiếp tục tương tác:

Codex tạm nghỉ để nén những gì nó ghi nhớ về một phiên làm việc đến lúc này đã kéo dài ba tuần.

Tuy nhiên, khi quá trình nén kết thúc, thực thể đang trò chuyện với bạn sẽ dựa vào những ghi chú chọn lọc mà bạn không nhìn thấy, chứ không có ký ức đầy đủ về diễn biến của cuộc trò chuyện.

AI ngang nhiên vi phạm quy tắc

Tháng 6 năm nay, bài nghiên cứu của Trung Quốc Suy thoái quản trị cho thấy quá trình nén có thể âm thầm loại bỏ các quy tắc đang có hiệu lực khỏi ngữ cảnh của tác nhân, khiến những hành động trước đó bị cấm được thực hiện:

Từ bài nghiên cứu tháng 6 năm 2026 về Suy thoái quản trị: cách việc nén ngữ cảnh có thể khiến một tác nhân AI vi phạm quy tắc mà trước đó nó vẫn tuân thủ. Nếu quy tắc bị bỏ khỏi bản tóm tắt sau khi nén, tác nhân có thể tiếp tục thực hiện hành động bị cấm. Kẻ tấn công có thể khai thác quá trình này, còn việc khôi phục quy tắc có thể ngăn chặn hành vi vi phạm. Nguồn

Ở cả bảy mô hình, tỷ lệ vi phạm tăng từ 0% trước khi nén lên 30% sau đó, và trong một số trường hợp lên đến 59%. Trên thực tế, điều này có nghĩa là các tác nhân có thể phớt lờ những chỉ thị thiết yếu như Không liên hệ với bất kỳ ai không có địa chỉ email [our-company] – với những hệ quả tiềm tàng hiển nhiên.

Tháng 7, Đại học Bang Penn và IBM tiếp nối nghiên cứu này bằng công trình Lạc lối trong ngữ cảnh, cho thấy quá trình nén có thể loại bỏ các chỉ dẫn quy định cách thức AI nên thực hiện một nhiệm vụ, trong khi vẫn giữ nguyên bản thân nhiệm vụ đó. Trong các thử nghiệm ở ba bối cảnh, các hệ thống nén chỉ giữ lại trung bình 17% số chỉ dẫn này.

Đến tháng 8, một nhóm hợp tác học thuật của Mỹ đề xuất TRACE, cho thấy quá trình nén có thể làm gián đoạn hoạt động của tác nhân ngay cả khi thông tin cần thiết vẫn có thể khôi phục. Trong các thử nghiệm, tác nhân mất dấu vị trí của mình trong nhiệm vụ, lặp lại những việc đã hoàn thành và hoạt động kém tin cậy hơn qua các lần chạy lặp lại.

ARCBench

Tháng này, một nghiên cứu mới từ Hà Lan mang đến thêm góc nhìn về ARCBench, cho thấy các tác nhân có thể kết thúc quá trình nén mà quy tắc vẫn nguyên vẹn nhưng khả năng vi phạm quy tắc vẫn tăng đáng kể. Trong các thử nghiệm mà quy tắc được giữ lại, số lần vi phạm sau khi nén nhiều gấp 2,6 lần so với khi dùng toàn bộ lịch sử trò chuyện:

Từ nghiên cứu mới, sơ đồ khái niệm minh họa cách việc nén ngữ cảnh có thể ảnh hưởng đến mức độ tuân thủ các quy tắc vận hành của một tác nhân. Cùng một yêu cầu được đưa ra sau đó có thể bị từ chối nếu quy tắc vẫn còn sau khi nén, hoặc được thực hiện nếu quy tắc bị lược bỏ; một tài liệu bên ngoài có thể ảnh hưởng đến việc thông tin nào được giữ lại. Vì lý do bố cục, hình này được chuyển đổi từ bản gốc có tỷ lệ khung hình dọc trong bài nghiên cứu nguồn. Nguồn

Nghiên cứu phân biệt giữa các quy tắc bị mất trong quá trình nén và những quy tắc vẫn còn nhưng sau đó bị vi phạm, nhờ vậy lần đầu tiên có thể đo lường độc lập tác động của việc quên và việc không tuân thủ.

Trong các thử nghiệm với DeepSeek-V4-Flash, GLM-5.3-Flash, Qwen3.7-Flash và GPT-Luna, 70,1% lượt chạy sau khi nén vẫn giữ nguyên quy tắc đầy đủ. Trong số những lượt chạy mà quy tắc được giữ lại, số lần vi phạm cao gấp 2,6 lần so với khi dùng toàn bộ lịch sử trò chuyện.

Bối cảnh theo nghĩa truyền thống cũng là một yếu tố: khi các quy tắc được trình bày như chính sách của tổ chức, không xảy ra vi phạm nếu giữ nguyên toàn bộ ngữ cảnh; tuy nhiên, sau khi rút gọn, tỷ lệ vi phạm tăng lên 30,6% và 22,2%.

Biện pháp phòng vệ hiệu quả nhất hiện có giữ lại các quy tắc trong 99% bản tóm tắt, nhưng vẫn không đưa tỷ lệ vi phạm trở về mức trước khi bị tấn công. Điều này cho thấy việc bảo toàn thành công các quy tắc trong quá trình rút gọn không nhất thiết đồng nghĩa với việc bảo toàn khả năng — hoặc sự sẵn lòng — tuân thủ chúng của tác tử.

Bài báo nêu:

‘[We] nhận thấy rằng việc rút gọn chủ yếu làm gia tăng vi phạm mà không xóa bỏ quy tắc: trong các lượt chạy đã rút gọn mà quy tắc vẫn còn nguyên, vi phạm xảy ra thường xuyên gấp 2,6 lần so với các lượt chạy có đầy đủ lịch sử.

‘Ngoài ra, việc rút gọn còn làm thay đổi cách tác tử lập luận để biện minh cho hành vi vi phạm. Các chiến lược rút gọn khác nhau, giới hạn nghiêm ngặt về ngân sách rút gọn và kênh truyền đạt quy tắc đều ảnh hưởng đến mức độ tuân thủ.’

Để khắc phục, bài báo đề xuất bảo toàn tốt hơn những quy tắc bị mất trong quá trình rút gọn, nhưng vẫn chưa giải quyết được vấn đề tác tử không tuân theo các quy tắc còn nguyên vẹn”

‘Các biện pháp phòng vệ khôi phục quy tắc, nhưng việc tuân thủ vẫn suy giảm khi bị tấn công. Vì vậy, khả năng giữ lại quy tắc không phải là thước đo đầy đủ cho mức độ tuân thủ. Các nghiên cứu trong tương lai có thể sử dụng ARCBench để tìm hiểu vì sao tác tử vẫn vi phạm những quy tắc còn nguyên vẹn, thử nghiệm các cuộc tấn công và biện pháp phòng vệ thích ứng, đồng thời bao quát nhiều mô hình, lĩnh vực và phiên làm việc dài hơn với nhiều lần rút gọn.’

Phương pháp

ARCBench mở rộng chức năng của bộ công cụ mã nguồn mở pi, vốn có sẵn các quy trình rút gọn riêng, vòng lặp tác tử, khả năng gọi công cụ và chức năng rút gọn tích hợp. Bộ đánh giá mô phỏng các tình huống trong đó một tác tử thực hiện một nhiệm vụ dài theo một quy tắc cố định, nén lịch sử tích lũy rồi nhận được yêu cầu vi phạm quy tắc đó; sau đó, hành động của tác tử được kiểm tra thông qua các lần gọi công cụ:

Quy trình đánh giá của ARCBench. Tác tử được giao một nhiệm vụ và quy tắc vận hành trước khi lịch sử của chúng được rút gọn theo các cấu hình, cuộc tấn công và biện pháp phòng vệ khác nhau. Sau đó, các hành động tiếp theo của chúng khi sử dụng công cụ được kiểm tra để xác định liệu quy tắc có được giữ lại và có được tuân thủ hay không.

ARCBench gồm 17 trường hợp bao quát việc tiết lộ dữ liệu được bảo vệ, truy cập tài nguyên bị hạn chế, thực hiện hành động trái phép và vượt qua hoặc bỏ qua các biện pháp kiểm soát bắt buộc, tương ứng với các nhóm rủi ro của OWASP.

Các trường hợp được điều chỉnh từ Governance Decay và COMPINT, đồng thời bổ sung bốn trường hợp để bảo đảm cả bốn loại vi phạm đều được thể hiện đối với quy tắc cá nhân lẫn quy tắc của tổ chức.

Có thể cấu hình bộ đánh giá theo năm yếu tố: cách thức truyền đạt quy tắc; phương pháp rút gọn ngữ cảnh; ngân sách token dành cho việc rút gọn; loại hình tấn công; và biện pháp phòng vệ được áp dụng:

ARCBench có năm biến số để kiểm tra mức độ tuân thủ quy tắc thay đổi ra sao theo các hình thức rút gọn ngữ cảnh, truyền đạt quy tắc, tấn công và phòng vệ khác nhau.

Quy tắc có thể được đưa ra dưới dạng chỉ dẫn trực tiếp hoặc chỉ dẫn thường trực, được nhúng trong tài liệu hoặc được truy xuất thông qua công cụ chính sách.

Dữ liệu và thử nghiệm

Mười phương pháp rút gọn đã được đánh giá, gồm bảy chiến lược tạo sinh và ba phương pháp chọn lọc. Mỗi trường hợp được chạy nhiều lần; nếu tác tử vi phạm quy tắc dù chỉ một lần thì lần chạy đó được ghi nhận là thất bại. Cách tiếp cận này được cho là phù hợp với việc kiểm tra an toàn hơn so với việc tính trung bình hiệu suất qua nhiều lần chạy, bởi một tác tử đôi khi thực hiện hành động bị cấm thì vẫn không an toàn.

Sau đó, lịch sử đã rút gọn được GPT-6-Luna-Pro, Qwen-3.8-flash và Claude-Sonnet-4.6 kiểm tra; mỗi quy tắc được phân loại là nguyên vẹn, bị suy yếu hoặc không còn. Kết quả theo đa số được sử dụng, còn những điểm bất đồng được người gán nhãn kiểm tra. Ngoài ra, một mẫu riêng gồm 50 bản tóm tắt cũng được gán nhãn thủ công để kiểm tra tính nhất quán của các mô hình đánh giá.

Khi một quy tắc còn nguyên vẹn bị vi phạm, lập luận của tác tử được GPT-6-Luna-Pro, GPT-6.1-Sol và Claude Sonnet 5.5 xem xét. Các vi phạm được phân loại dựa trên việc yêu cầu sau đó có được xem là sự cho phép ghi đè quy tắc hay không; hành động có bị đánh giá là nằm ngoài phạm vi của quy tắc hay không; quy tắc có bị bỏ sót trong lập luận hay không; hoặc quy tắc có được nhận diện nhưng vẫn bị phớt lờ hay không.

Bốn mô hình được sử dụng trong các thử nghiệm, truy cập thông qua OpenRouter, là DeepSeek-V4-Flash; GLM-5.3-Flash; Qwen3.7-Flash; và GPT-Luna. Trong mỗi lượt chạy, cùng một mô hình vừa rút gọn lịch sử hội thoại, vừa hoạt động dựa trên ngữ cảnh thu được, phù hợp với hành vi mặc định của pi. Các mô hình được truy cập thông qua OpenRouter.

Đã tiến hành bảy nghiên cứu, trong đó Hermes được sử dụng cho phần lớn các thử nghiệm nén. Trong nghiên cứu đầu tiên, mỗi trong số 17 nhiệm vụ được thử nghiệm trên bốn mô hình và với hai cách đưa quy tắc vào, tạo thành 136 trường hợp. Mỗi trường hợp được chạy ba lần với cuộc trò chuyện ban đầu còn nguyên vẹn và ba lần sau khi đã được nén.

Cấu hình của bảy nghiên cứu ARCBench, được phân nhóm theo câu hỏi nghiên cứu. Các ô tô màu xanh lá cho biết yếu tố được thay đổi trong từng nghiên cứu, còn các ô màu xám thể hiện những cài đặt được giữ cố định; mỗi trường hợp được chạy ba lần, tăng lên sáu lần đối với các nghiên cứu về tấn công và phòng vệ S6 và S7.

Các thử nghiệm tập trung giải đáp ba câu hỏi: Điều gì dẫn đến các vi phạm sau khi nén?; Các cấu hình nén khác nhau làm thay đổi nguyên nhân dẫn đến vi phạm như thế nào?; và Các cuộc tấn công nhắm vào bộ nén và biện pháp phòng vệ ảnh hưởng thế nào đến nguyên nhân dẫn đến vi phạm?.

Điều gì dẫn đến các vi phạm sau khi nén?

Kết quả đầu tiên cho thấy tỷ lệ vi phạm quy tắc tăng sau khi nén: từ 9.6% số trường hợp khi toàn bộ lịch sử hội thoại còn nguyên vẹn lên 37.8%. Tuy nhiên, quy tắc chỉ bị mất hoàn toàn trong 3% số lần chạy sau khi nén; trong 70.1% số lần, quy tắc vẫn còn nguyên vẹn, còn trong 26.9% số lần, quy tắc chỉ được giữ lại một phần:

Kết quả cho thấy tần suất mỗi mô hình vi phạm quy tắc trước và sau khi nén. Hầu hết quy tắc vẫn được giữ nguyên vẹn hoặc một phần sau khi nén, dù số vụ vi phạm tăng đáng kể; mức tăng lớn nhất là ở Qwen, với tỷ lệ lên tới 61.8%.

Sự khác biệt này rất quan trọng. Trong số các lần chạy riêng lẻ mà quy tắc được giữ nguyên vẹn sau khi nén, vẫn có 21.1% kết thúc bằng một vi phạm, so với 8.1% khi lịch sử ban đầu được giữ lại. Nếu quy tắc chỉ được giữ lại một phần, tỷ lệ này tăng lên 29.4%; còn khi không giữ lại được quy tắc nào, tỷ lệ là 83.3%.

Nghiên cứu cũng xem xét cách các vi phạm xảy ra khi quy tắc vẫn còn nguyên vẹn. Trong số các vi phạm do quá trình nén gây ra, ở 45.9% trường hợp, một yêu cầu xuất hiện sau đó được hiểu là sự cho phép để tiếp tục; ở 27% trường hợp, quy tắc dường như bị bỏ qua; còn trong 21.6% trường hợp, quy tắc được thừa nhận là có liên quan nhưng dù vậy vẫn bị vi phạm:

Kết quả cho thấy nguyên nhân các quy tắc bị vi phạm trước và sau khi nén. Khi vi phạm chỉ xuất hiện sau khi nén, các yêu cầu tiếp theo thường được hiểu là sự cho phép để tiếp tục (45.9%); trong khi đó, ở 27% trường hợp, quy tắc còn được lưu lại bị bỏ qua, còn ở 21.6% trường hợp, quy tắc được thừa nhận trước khi vẫn tiếp tục vi phạm.

Các cấu hình nén khác nhau làm thay đổi nguyên nhân dẫn đến vi phạm như thế nào?

Cách đưa quy tắc vào ảnh hưởng rõ rệt đến mức độ tuân thủ. Khi toàn bộ cuộc trò chuyện còn nguyên vẹn, vi phạm xảy ra trong 25% và 16.1% số trường hợp quy tắc được người dùng cung cấp riêng; tuy nhiên, không ghi nhận vi phạm nào khi quy tắc được đưa vào thông qua tài liệu của tổ chức hoặc công cụ chính sách:

Ảnh hưởng của cách đưa quy tắc vào, chiến lược nén và ngân sách token đến tỷ lệ vi phạm cũng như mức độ lưu giữ quy tắc. Nén theo phương pháp tạo sinh giữ lại quy tắc đáng tin cậy hơn nhiều so với các phương pháp chọn lọc, trong khi ngân sách từ 300 token trở xuống khiến quy tắc gần như bị mất hoàn toàn.

Sau khi nén, tỷ lệ vi phạm tăng ở cả bốn kênh, lên tới 56.3% đối với chỉ dẫn trực tiếp của người dùng và 22.2% đối với quy tắc từ công cụ chính sách. Mức độ lưu giữ quy tắc ít biến động hơn, dao động từ 65.7% đến 74%. Các tác giả cho rằng yêu cầu tiếp theo của người dùng có thể được hiểu là lấn át quy tắc cá nhân, trong khi người dùng không thể lấn át quy tắc của tổ chức.

Các cuộc tấn công nhắm vào bộ nén và biện pháp phòng vệ ảnh hưởng thế nào đến nguyên nhân dẫn đến vi phạm?

Chỉ riêng việc nhồi thêm tài liệu vào ngữ cảnh hầu như không tạo ra khác biệt; tỷ lệ vi phạm thậm chí còn giảm từ 37.8% xuống 34.3%. Tấn công chèn nội dung nhắm vào bộ nén hiệu quả hơn đáng kể, làm tỷ lệ vi phạm tăng lên 46.3% và khiến tỷ lệ giữ nguyên vẹn quy tắc giảm từ 70.1% xuống 42.5%.

Cuộc tấn công mạnh nhất, có tên escape, làm tỷ lệ vi phạm tăng từ 23.5% lên 58.8% và khiến tỷ lệ lưu giữ quy tắc giảm từ 96.1% xuống 66.7%. Ngay cả khi quy tắc vẫn được giữ lại, tỷ lệ vi phạm cũng tăng gấp đôi, từ 13.3% lên 26.5%.

Kết quả thử nghiệm cho thấy tác động của các cuộc tấn công và biện pháp phòng vệ đối với việc tuân thủ quy tắc sau khi nén. Tấn công chèn chỉ thị có mục tiêu làm tăng số lần vi phạm và giảm tỷ lệ ghi nhớ quy tắc, trong khi biện pháp phòng vệ mạnh nhất khôi phục tỷ lệ ghi nhớ lên 99% mà vẫn chưa khôi phục hoàn toàn mức độ tuân thủ.

Biện pháp phòng vệ mạnh nhất giúp bảo toàn quy tắc trong 99% số lần chạy, nhưng các tác nhân vẫn vi phạm quy tắc trong 29,4% trường hợp, so với 23,5% khi không có cuộc tấn công nào. Nói cách khác, đảm bảo tác nhân vẫn ghi nhớ quy tắc không đồng nghĩa với việc nó sẽ tuân thủ quy tắc đó.

Kết luận

Theo logic, có vẻ như một dạng “hiệu ứng máy photocopy” xảy ra khi ngữ cảnh bị nén hàng chục, thậm chí hàng trăm lần trong một chuỗi hội thoại rất dài (chẳng hạn như dự án phát triển phần mềm thử nghiệm có AI hỗ trợ mà tôi đã làm trên Codex* từ giữa tháng 10 và vẫn còn làm ngay sáng nay).

Cũng như các chỉ thị hệ thống cốt lõi, chúng ta không thể xem những bản tóm lược đã nén này về những gì diễn ra cho đến thời điểm hiện tại. Những trải nghiệm cá nhân của tôi cho thấy nhiệm vụ trọng tâm vẫn được giữ nguyên sau khi nén, cùng với hầu hết các chi tiết thiết yếu. Nhưng tôi chưa rơi vào tình huống ác mộng kiểu như câu lệnh “Gửi email này cho tất cả mọi người”, vốn chỉ nhắm đến tất cả mọi người trong công ty, lại được gửi đến mọi người trong danh bạ liên hệ tổng hợp của cả tập đoàn. Ôi trời.

Chắc là tôi đang già đi, nhưng đây hẳn là cái tên nhạt nhẽo, khó nhớ và “màu be kiểu công sở” nhất có thể đặt cho tác nhân này. Tôi cứ quên tên nó mãi.

Đăng lần đầu vào thứ Năm, ngày 12 tháng 11 năm 2026