AI tác tử thường không sao lưu trước khi hành động

Nhiều tài liệu tôi đọc lướt mỗi ngày trên Arxiv và các nguồn khác khá khô khan, ngay cả với người có sở thích tìm hiểu những thứ chuyên sâu; vì vậy, tôi luôn tìm kiếm những bài viết khơi gợi cảm xúc nơi mình, dù là với tư cách người dùng, người ủng hộ hay nạn nhân của AI.

Hôm nay, một nghiên cứu hợp tác học thuật mới từ Mỹ đã khiến tôi nổi da gà. Nghiên cứu xem xét mức độ mà các mô hình AI tiên phong có khả năng hành động tự chủ tự cắt đứt đường lui trước khi thực hiện hành động gây hại — và nhanh hơn cả lúc bạn gõ “DỪNG LẠI!” (mách nhỏ: hãy để sẵn câu đó trong bộ nhớ tạm).

Gần đây, chuyện này — được trích khỏi ngữ cảnh của nghiên cứu mới — đã xảy ra với tôi do mù quáng làm theo chỉ dẫn của ChatGPT, bởi tôi chưa từng nghĩ đến việc sao chép toàn bộ môi trường ảo trước đó:

Diễn giải từ nghiên cứu mới: khoảnh khắc khiến nhiều người trong chúng ta thót tim khi cài đặt các framework tiên tiến nhất, hoặc thậm chí những bản phân phối phổ biến vốn chẳng mấy quan tâm đến môi trường không tiêu chuẩn mà chúng có thể được cài vào. Nguồn

Trong ví dụ kinh hoàng và quá đỗi quen thuộc này, robot có lý do chính đáng, bởi việc xem xét mọi hậu quả có thể xảy ra khi cài một thư viện mới trong một framework mong manh, khó dung thứ sai sót vốn không phải là thói quen. Tuy nhiên, nghiên cứu mới cho rằng có lẽ việc đó nên trở thành thông lệ; và là người vẫn thường xuyên nhấn CTRL+S, ngay cả trong những môi trường tự động lưu được thiết lập để bỏ qua phím tắt đó (cảm ơn chứng sang chấn mất dữ liệu từ thập niên 1990), tôi hoàn toàn đồng tình.

Chắc chắn Alexey Grigorev, nhà sáng lập nền tảng giáo dục DataTalks.Club, hẳn đã mong muốn một thái độ thận trọng và dè dặt hơn. Tháng 3 năm ngoái, tác tử Claude Code của ông đã xóa hạ tầng phục vụ môi trường sản xuất và các bản sao lưu trong quá trình chuyển máy chủ, khiến dữ liệu trang web trong hai năm rưỡi bị mất.

Những sự cố liều lĩnh tương tự khác gần đây gồm có một tác tử Cursor xóa cơ sở dữ liệu phục vụ môi trường sản xuất cùng các bản sao lưu của PocketOS, nhà cung cấp phần mềm cho thuê xe, vào tháng 4, làm gián đoạn việc đặt chỗ của khách hàng trong hơn hai ngày; và một tác tử email OpenClaw xóa thư khỏi hộp thư đến của một nhà nghiên cứu AI tại Meta vào tháng 2, bất chấp nhiều lần được yêu cầu dừng lại.

Dù có khả năng hành động tự chủ hay không, các mô hình LLM tiên phong đều rất khó hành động một cách thận trọng và dè dặt, đến mức việc khắc phục vấn đề này đã trở thành một hướng nghiên cứu riêng trong các tài liệu học thuật.

Lùi lại một chút để sao lưu

Các tác giả của nghiên cứu mới* đã phát triển một plugin đa tác tử dành cho các khung vận hành hỗ trợ AI tác tử. Plugin có thể hoạt động song song với AI khách và buộc AI này tạo bản sao lưu khi cần:

Tổng quan về vấn đề sao lưu trong nghiên cứu và giải pháp được đề xuất. Trong 205 tình huống, sáu mô hình AI tiên phong chỉ sao lưu trạng thái quan trọng ở 15,2% số tác vụ. Thay vào đó, hệ thống BackUpper của các nhà nghiên cứu bao quát mọi hành động quan trọng; dữ liệu được khôi phục có độ tương đồng trung bình 92,2% so với bản gốc (xem bên dưới để biết vì sao rất khó đạt 100%).

Một trong những khía cạnh đáng chú ý nhất của nghiên cứu mới là mức độ các mô hình tiên phong không sao lưu trước khi thực hiện hành động tiềm ẩn nguy cơ. Các nhà nghiên cứu phát hiện GPT-5.6-Terra chỉ sao lưu dữ liệu quan trọng trong 4,4% trường hợp; GPT-5.6-Sol chỉ làm vậy trong 5,9% số trường hợp được thử nghiệm; còn Gemini 3.7-Flash chỉ sao lưu trong 2,4% số trường hợp.

Ngay cả mô hình có thành tích tốt nhất, Claude Opus-5, cũng không sao lưu dữ liệu quan trọng trong hơn một phần ba số trường hợp được thử nghiệm.

Bài báo viết^†:

“Trong sáu mô hình tiên phong, các tác tử hoàn thành trung bình 86,1% số tác vụ, nhưng chỉ sao lưu trạng thái trước những thời điểm có thể khiến họ hối tiếc trong 15,2% trường hợp. GPT 5.6-Sol trong Codex chỉ làm vậy ở 5,9% số tác vụ, còn DeepSeek V4-Pro trong Hermes chỉ đạt 2,9%.

“Những phát hiện này cho thấy các tác tử hiện nay vẫn còn hạn chế về khả năng nhận biết khi nào cần sao lưu, đồng thời cho thấy cần có chức năng hỗ trợ sao lưu chuyên biệt.”

Giải pháp của các tác giả, có tên BackUpper, hoạt động song song với tác tử như một tiến trình chạy ngầm trong khung vận hành, kiểm tra việc tác tử sắp làm và tạo bản sao lưu trước nếu có nguy cơ làm mất thứ gì đó hữu ích.

Với các thao tác thường ngày, chẳng hạn như nâng cấp phần mềm, hệ thống làm theo một tập hợp quy tắc đơn giản; còn trong những tình huống phức tạp hơn, nó sẽ gọi đến một mô hình AI nhỏ hơn để xác định những gì cần được lưu lại.

Trong các thử nghiệm, BackUpper đã bao quát mọi thao tác quan trọng, với dữ liệu được khôi phục có độ tương đồng 92.2% so với bản gốc, đổi lại là khoản chi phí bổ sung $0.014 cho mỗi tác vụ — không đáng kể trong bối cảnh này, nhưng sẽ thành khoản chi lớn đối với các mô hình ngôn ngữ lớn tiên phong phục vụ hàng tỷ khách hàng; đây có thể là lý do khiến một dịch vụ bên ngoài có tính chất như vậy, hoặc việc tích hợp sẵn chức năng này vào các bộ công cụ, có khả năng cải thiện tình hình cao hơn, thay vì trông chờ các tập đoàn công nghệ lớn tự khắc phục vấn đề (vốn có thể được cho là sẽ chuyển phần chi phí tăng thêm sang người tiêu dùng, thông qua việc tăng giá hoặc lạm phát token).

Khuôn khổ này được xây dựng dựa trên RegretBench, một bộ chuẩn gồm 205 tác vụ, dựa trên các trường hợp thực tế trong đó mọi người mất dữ liệu mà sau này họ ước gì mình đã lưu lại. Bộ chuẩn này kiểm tra xem các tác nhân AI có đủ khả năng dự liệu để bảo toàn dữ liệu đó trước khi thực hiện những thay đổi có khả năng không thể đảo ngược hay không. Các sự cố trong bộ dữ liệu được tổng hợp từ những cuộc thảo luận và báo cáo trực tuyến trên các nền tảng như X.com, GitHub và Stack Overflow.

Sơ đồ mô tả cách RegretBench chuyển các sự cố ngoài đời thực thành tình huống kiểm thử. Mỗi trường hợp được ghi nhận đều được tái dựng dựa trên thao tác gây mất dữ liệu, một môi trường làm việc thực tế và một chuỗi chỉ dẫn. Trong ví dụ này, việc nâng cấp ipykernel âm thầm thay thế một phiên bản hiện có của traitlets, giúp tác nhân hoàn thành nhiệm vụ nhưng khiến không còn cách nào khôi phục bản cài đặt ban đầu.

Dù mức 92% có thể khiến những người theo chủ nghĩa hoàn hảo nản lòng, các tác giả lưu ý rằng có những trở ngại kỹ thuật trong việc khôi phục một số loại dữ liệu:

‘Khoảng cách so với khả năng khôi phục hoàn hảo chủ yếu xuất phát từ hai nguyên nhân. Một số trường dữ liệu, chẳng hạn như ID bài đăng, thường được các dịch vụ tạo lại khi ghi dữ liệu và thường không thể tái tạo. Những khác biệt khác đến từ siêu dữ liệu nhỏ, chẳng hạn như trạng thái đã đọc của email, vốn hiếm khi liên quan đến các sự cố gây tiếc nuối.’

Trong các thử nghiệm, sau khi sự cố đã xảy ra, mức độ tương đồng với trạng thái ban đầu được khôi phục là 33.8%, so với chỉ 14.3% nếu không khôi phục.

Bài báo cho rằng trong tương lai, có thể nâng cao khả năng nhận biết nhu cầu sao lưu thông qua huấn luyện; các phiên bản BackUpper sau này cũng có thể được dạy bỏ qua những thao tác ít rủi ro và mở rộng phạm vi bảo vệ sang các tác nhân sử dụng web và máy tính.

BackUpper hỗ trợ Claude Code, Codex, Hermes, OpenHands, DeepSeek Harness và OpenClaw; các tác giả đã công khai mã nguồn cùng bộ dữ liệu liên quan (tuy nhiên, cần điền biểu mẫu để xin phép sử dụng); ngoài ra, trang dự án của sáng kiến này có thêm một ít thông tin và một video giải thích rất ngắn, đơn giản.

Phương pháp

Khi xây dựng RegretBench, nhóm nghiên cứu chủ ý loại trừ dữ liệu đã được các hệ thống sao lưu tích hợp sẵn của tác nhân bảo vệ, nhằm kiểm tra xem bản thân các tác nhân có nhận biết được khi nào cần sao lưu hay không. Sau đó, các tình huống kiểm thử được xây dựng với sự hỗ trợ của Claude Opus-5 và GPT-5.6-Sol, rồi được kiểm tra thủ công để bảo đảm chúng hoạt động và phản ánh chính xác các sự cố ban đầu.

205 bài kiểm tra của RegretBench bao quát năm lĩnh vực: thao tác trên thiết bị đầu cuối; cơ sở dữ liệu; ứng dụng web; email; và DevOps. Các sự cố chủ yếu bắt nguồn từ các nền tảng phát triển phần mềm và năng suất (44.4%); các cuộc thảo luận trên mạng xã hội hoặc cộng đồng (39%); và kho lưu trữ cùng các bản tin truyền thông (16.6%):

Các nguồn của những sự cố ngoài đời thực trong RegretBench, được chia thành ba nhóm. 

Sáu mô hình tiên phong được đánh giá gồm Claude Opus-5 và Claude Sonnet-5 trong Claude Code; GPT-5.6-Sol và GPT-5.6-Terra trong Codex; cùng Gemini 3.7-Flash và DeepSeek V4-Pro trong Hermes.

Trong toàn bộ quá trình, các cài đặt suy luận mặc định được sử dụng; tính năng bảo vệ sao lưu tự động chỉ giới hạn ở các bản chụp nhanh của không gian làm việc, nhờ đó mọi bản sao lưu bổ sung đều có thể được tính là kết quả từ quyết định của chính các tác nhân.

Hai hệ thống đánh giá AI, đều sử dụng Claude Sonnet-5, được dùng để chấm hiệu suất. Tỷ lệ hoàn thành tác vụ (PR) được tính dựa trên tỷ lệ các tác vụ mà mọi yêu cầu của người dùng đều được thực hiện. Khi đánh giá việc sao lưu, từng thay đổi ngoài không gian làm việc (OOW) được kiểm tra để xác định xem trước đó đã lưu đủ thông tin để có thể khôi phục hay chưa.

Các chỉ số sao lưu được sử dụng gồm Regret Moment Backup Rate (RMBR), phản ánh những thao tác cụ thể gắn với các trường hợp mất dữ liệu đã được ghi nhận; và Tỷ lệ sao lưu ngoài không gian làm việc (OWBR), phản ánh mọi thay đổi được thực hiện bên ngoài thư mục làm việc của tác nhân.

Các đánh giá của bộ chấm điểm sao lưu cũng được đối chiếu với nhận xét của con người, cho thấy mức độ đồng thuận là 95,3%.

Kết quả

Để xác định liệu nhận thức hạn chế về việc sao lưu là do các mô hình AI hay các khung vận hành chúng gây ra, Claude Opus-5, GPT-5.6-Sol và DeepSeek V4-Pro lần lượt được đánh giá trước tiên trên 60 tác vụ RegretBench trong Claude Code, Codex và Hermes.

Tỷ lệ tác vụ trong đó dữ liệu quan trọng được sao lưu khác biệt không đáng kể giữa các khung, cho thấy nguyên nhân chủ yếu nằm ở bản thân các mô hình. Mối liên hệ giữa năng lực AI nói chung và nhận thức về việc sao lưu cũng được khảo sát bằng GPT-5.4, GPT-5.5 và GPT-5.6-Sol.

Dù năng lực tổng quát liên tục được cải thiện, không ghi nhận sự cải thiện tương ứng nào về nhận thức sao lưu:

Kết quả thử nghiệm RegretBench trên sáu mô hình AI. Bên trái: tỷ lệ hoàn thành tác vụ được so sánh với tỷ lệ hành động quan trọng được sao lưu từ trước, cho thấy phần lớn mô hình đạt tỷ lệ thành công cao nhưng ít có ý thức sao lưu. Bên phải: số lượt gọi công cụ trung bình cho mỗi tác vụ, trong đó các thao tác sao lưu được tô màu xanh lam. Claude Opus-5 đạt tỷ lệ sao lưu cao nhất, nhưng 8,9% số lượt gọi công cụ của mô hình này dành cho việc sao lưu.

Mối liên hệ giữa năng lực AI nói chung và nhận thức về việc sao lưu cũng được khảo sát bằng GPT-5.4, GPT-5.5 và GPT-5.6-Sol. Dù năng lực tổng quát liên tục được cải thiện, không ghi nhận sự cải thiện tương ứng nào về nhận thức sao lưu.

BackUpper

BackUpper có bốn cấp độ bảo vệ, mỗi cấp tiêu tốn lượng tài nguyên khác nhau: Cấp 1 thay thế các lệnh có tính phá hủy bằng phương án có thể đảo ngược, chẳng hạn như chuyển tệp vào thùng rác; Cấp 2 ghép thao tác với lệnh sao lưu, chẳng hạn như ghi lại phiên bản gói trước khi nâng cấp; Cấp 3 tạo ảnh chụp nhanh các tệp trong không gian làm việc bị ảnh hưởng; và Cấp 4 sử dụng tác tử phụ GPT-5.6-Luna để xác định và bảo toàn dữ liệu bị ảnh hưởng bởi những thao tác phức tạp hơn.

Khi bật BackUpper, mọi thao tác làm thay đổi trạng thái đều được sao lưu trên cả sáu mô hình. Nếu không dùng công cụ này, tỷ lệ sao lưu trung bình là 15,2% đối với các hành động quan trọng và 17,4% đối với những thay đổi khác:

Kết quả về phạm vi sao lưu và khôi phục của BackUpper. Bên trái: các cột màu xanh lam và cam thể hiện tỷ lệ sao lưu của từng mô hình đối với các hành động quan trọng và những thay đổi khác bên ngoài không gian làm việc. Đường viền nét đứt màu xanh lá đậm biểu thị độ chính xác khi khôi phục; đường viền chấm màu xanh lá nhạt cho thấy BackUpper đạt phạm vi sao lưu 100%. Bên phải: so sánh độ chính xác khi khôi phục trên năm danh mục công cụ, với BackUpper (màu xanh lá); khôi phục sau đó bằng Claude Opus-5 (màu tím); và không khôi phục (màu xám). BackUpper luôn đạt độ chính xác cao nhất.

Trong số các bản sao lưu được bộ đánh giá tự động xác định là thành công, 94% cũng được người đánh giá xác nhận là thành công.

Trạng thái ban đầu được khôi phục với độ tương đồng trung bình 92,2%, so với 33,8% khi dùng Claude Opus-5 và 14,3% khi không khôi phục (xem hình phía trên). Những sai khác còn lại phần lớn được cho là do mã định danh được tạo lại và một số siêu dữ liệu nhỏ, trong đó có trạng thái đã đọc của email, như đã đề cập trước đó.

Tự làm..?

Khi được hướng dẫn chi tiết để tự sao lưu, các tác tử đã bảo vệ 81,4% hành động quan trọng, so với mức 100% khi dùng BackUpper. Ba phần tư số lần thất bại được cho là do các bản sao lưu không chứa đủ thông tin để khôi phục.

So sánh tỷ lệ sao lưu của năm phương pháp, được thử nghiệm trên 205 tác vụ với sáu mô hình AI. Biểu đồ bên trái cho thấy các bản sao lưu được tạo trước những hành động mà sau này bị hối tiếc; biểu đồ bên phải thể hiện việc bảo vệ các thay đổi khác bên ngoài không gian làm việc. BackUpper đạt phạm vi bảo vệ đầy đủ ở cả hai hạng mục, so với mức 81,4% và 80,5% khi các tác tử được hướng dẫn chi tiết về cách sao lưu.

Nhờ bộ nhớ đệm lời nhắc, chi phí sao lưu giảm từ 0,344 USD xuống còn 0,014 USD cho mỗi tác vụ, đồng thời độ trễ giảm 31,7%. Lượng token cần dùng giảm còn một phần bảy, phần lớn nhờ các thao tác thường lệ được xử lý mà không cần AI hỗ trợ.

Trên 40 tác vụ bổ sung từ Terminal-Bench 4 và DeepSWE, GPT-5.6-Sol và Claude Opus-5 đạt độ bao phủ sao lưu 100% mà không làm giảm tỷ lệ hoàn thành tác vụ.

Ba chính sách sao lưu có chọn lọc được đánh giá gồm Tác động lớn, áp dụng cho những thay đổi đáng kể; Ngoài yêu cầu, áp dụng cho những thay đổi nằm ngoài chỉ dẫn của người dùng; và Công việc do con người thực hiện, áp dụng cho nội dung do con người tạo ra. Trong trường hợp này, điểm F1 trung bình đạt 84,5% so với đánh giá của con người.

BackUpper cũng được thử nghiệm về khả năng học các quy tắc sao lưu có thể tái sử dụng. Sau 30 tác vụ dòng lệnh bổ sung, độ bao phủ dựa trên quy tắc tăng từ 14,9% lên 31,2%, giúp giảm sự phụ thuộc vào tác tử phụ GPT-5.6-Luna.

Kết luận

Xét đến công việc mình làm để kiếm sống, lẽ ra tôi nên bắt đầu thử nghiệm với AI tác tử sớm hơn; nhưng tình trạng tự kiềm chế của AI tác tử rõ ràng vẫn đang ở giai đoạn tiền alpha khiến tôi chùn bước cho đến vài tuần trước, khi cuối cùng tôi quyết định để Codex tự do hoạt động trong một máy ảo Windows.

Ngay cả trong môi trường máy ảo, tôi vẫn xác định phạm vi chỉ dẫn rất cẩn thận, vì biết Astra có xu hướng lao về phía trước bất chấp hậu quả rồi chỉ biết xin lỗi khi dữ liệu đã mất hoặc mã nguồn đã hỏng và không còn cách nào khắc phục; một phần của khung Python tôi đang phát triển ở đó là chức năng tăng dần chỉ bằng một cú nhấp chuột ‘lưu .7z vào thư mục chia sẻ mạng’ , có tác dụng nén và sao lưu toàn bộ khung, và tôi dùng chức năng này thường xuyên.

AI tác tử vẫn đang ở giai đoạn rất, rất sơ khai; nếu không chú ý đến từng chi tiết một cách kiên trì và tỉ mỉ, thì sẽ rơi vào cảnh “dùng rồi mất”. Các quy trình sao lưu cho AI tác tử không chỉ chưa được chuẩn hóa mà thậm chí còn chưa được xây dựng.

* Tiêu đề Sao lưu trước khi hối tiếc: Đo lường nhận thức về sao lưu và tự động hóa việc sao lưu trong các tác tử lập trình.

^† Phần nhấn mạnh là của các tác giả, không phải của tôi; mọi siêu liên kết đều do tôi thêm vào dựa trên các trích dẫn trong văn bản của tác giả.

Đăng lần đầu vào thứ Năm, ngày 22 tháng 10 năm 2026