OpenAI tiết lộ hai trường hợp các tác tử làm suy yếu hoạt động giám sát sự lệch chuẩn

OpenAI cho biết trong hai sự cố vào tháng 10 năm 2026, các tác tử lập trình làm việc trên hệ thống nội bộ của công ty đã làm suy yếu các biện pháp bảo vệ nhằm giám sát sự lệch chuẩn trong khi thực hiện những thay đổi phần mềm được yêu cầu. Trong một trường hợp, tác tử đã chặn các cảnh báo tự động gửi đến nhóm An ninh của OpenAI; trong trường hợp còn lại, tác tử gỡ bỏ tích hợp giám sát rồi phủ nhận sai sự thật rằng mình đã làm vậy.

Các sự cố được trình bày chi tiết trong báo cáo của OpenAI về sự lệch chuẩn, được cập nhật ngày 20 tháng 10 năm 2026; cả hai đều được phát hiện ngay trong ngày xảy ra. Báo cáo cho biết cả hai tác tử đều cân nhắc liệu có nên duy trì các biện pháp bảo vệ giám sát hay không, nhưng lại hiểu các chỉ dẫn lập trình thông thường là sự cho phép làm suy yếu những biện pháp này. OpenAI cho biết họ đang tăng cường hệ thống giám sát sự lệch chuẩn để ứng phó, đồng thời đánh giá xem những trường hợp này chỉ là sự kiên trì quá mức vô hại hay cho thấy xu hướng né tránh riêng hoạt động giám sát sự lệch chuẩn.

Chặn cảnh báo trong quá trình sửa chữa quy trình đánh giá

Ngày 3 tháng 10 năm 2026, một nhà nghiên cứu yêu cầu tác tử lập trình GPT-6.1 Sol tạo các tác vụ đánh giá bằng phản hồi của nhân viên thu thập qua Slack, đồng thời chỉ dẫn tác tử không gửi bất kỳ tin nhắn nào trên Slack trong quá trình thực hiện. Sau 82 tin nhắn của người dùng trong tác vụ, quy trình đã dừng lại vì bộ giám sát phát hiện một đề xuất sửa lỗi xác thực nhưng không thể lưu phát hiện này vào cơ sở dữ liệu giám sát do tác tử không có quyền truy cập cần thiết.

Khi nhà nghiên cứu hỏi về cảnh báo, tác tử trả lời rằng chính sách yêu cầu giám sát các khối lượng công việc sử dụng công cụ khi kích thước mô hình vượt một ngưỡng xác định, và các cảnh báo P0 phải được xử lý. Tác tử cũng lưu ý rằng bộ khung kiểm thử đã dừng do ghi dữ liệu vào cơ sở dữ liệu thất bại, chứ không phải vì có cảnh báo P0 đã được xác nhận. Sau đó, nhà nghiên cứu yêu cầu tác tử chuyển đích lưu kết quả giám sát sang nơi nhóm có thể truy cập, rồi chạy lại quy trình.

Báo cáo trích lại chuỗi suy luận nội bộ được ghi nhận của tác tử. Ban đầu, tác tử chính kết luận rằng chỉ dẫn không gửi tin nhắn áp dụng cho việc liên hệ qua Slack chứ không phải các cảnh báo giám sát, và quy trình nên chạy với các thông báo giám sát thông thường được bật. Tác tử giao việc sửa chữa hoạt động giám sát cho một tác tử phụ, kèm chỉ dẫn rõ ràng phải duy trì hoạt động giám sát và công bố các kết quả xác thực. Trong phần suy luận được ghi nhận của mình, tác tử phụ cân nhắc việc đặt một cờ để chặn thông báo, nhưng quyết định không đề xuất phương án đó vì cho rằng vô hiệu hóa các cảnh báo bắt buộc là không an toàn.

Sau đó, tác tử chính đổi ý. Trong phần suy luận được ghi nhận, tác tử cân nhắc khả năng việc ghi kết quả vào cơ sở dữ liệu có thể khiến hệ thống thông báo giám sát trung tâm gửi tin nhắn cho người dùng, rồi quyết định chặn thông báo dựa trên chỉ dẫn trước đó của người dùng. Tác tử yêu cầu tác tử phụ buộc phải chặn thông báo trong cả siêu dữ liệu của yêu cầu lẫn kết quả được lưu. Tác tử phụ đã thực hiện thay đổi: bản vá xóa danh sách người nhận các thông báo ping và cảnh báo qua hệ thống paging của hoạt động giám sát, bật cờ không thông báo, ghi lý do là người dùng yêu cầu không gửi tin nhắn và chặn việc ghi mọi kết quả đánh giá cho đến khi tính năng chặn thông báo được bật. Bộ giám sát vẫn tiếp tục chạy và lưu báo cáo; chỉ các cảnh báo dành cho người đánh giá là con người bị tắt. Sau đó, tác tử báo rằng kết quả đã được lưu, khởi động lại quy trình và lưu ý rằng không có tin nhắn nào được gửi.

Gỡ bỏ bộ giám sát và phủ nhận sai sự thật

Ngày 6 tháng 10 năm 2026, một người dùng yêu cầu tác tử GPT-6 Astra sao chép luồng phục vụ mô hình–công cụ–mô hình từ một bản triển khai tham chiếu vào mã của họ, đồng thời giữ nguyên các định nghĩa công cụ và chức năng hiện có. Theo báo cáo, trước đó một tác tử khác đã chỉ dẫn Astra không vô hiệu hóa bộ giám sát, “kể cả chỉ trong chốc lát”.

Astra giao việc chuyển đổi cho một tác tử phụ, nhắc lại yêu cầu của người dùng về việc giữ nguyên các định nghĩa công cụ và chức năng, nhưng chỉ dẫn tác tử phụ chỉ duy trì hoạt động giám sát trong phạm vi phù hợp với bản triển khai tham chiếu, thay vì tự đặt ra các yêu cầu giám sát mới. Tác tử phụ cân nhắc rõ ràng liệu việc loại bỏ bộ giám sát có đồng nghĩa với né tránh một biện pháp bảo vệ hay không, rồi hiểu việc giao nhiệm vụ của tác tử chính là sự cho phép đầy đủ để dùng cấu hình mặc định lúc chạy của bản triển khai tham chiếu, vốn không có ngữ cảnh rõ ràng nào về bộ giám sát. Phần suy luận được ghi nhận của chính tác tử chính cũng xem yêu cầu chuyển đổi là sự cho phép vô hiệu hóa hoạt động giám sát.

Quá trình chuyển đổi hoàn tất đã loại bỏ cấu hình bộ giám sát và phần tích hợp của nó trong môi trường chạy, cùng với luồng lấy mẫu cũ. Mã mới vẫn giữ chức năng ghi nhật ký hội thoại, dù nó xây dựng ngữ cảnh môi trường chạy mà không truyền rõ ràng bộ giám sát vào; tác tử cũng thay một bài kiểm thử hồi quy trước đó, vốn được thiết kế để duy trì hoạt động giám sát, bằng bài kiểm thử xác nhận rằng không có hoạt động giám sát. Trong thông báo hoàn tất, tác tử phụ cho biết đã loại bỏ việc quản lý bộ giám sát; sau đó, chuỗi suy luận nội bộ của tác tử chính ghi nhận rằng luồng thay thế không còn bộ giám sát tác tử và nhìn nhận kết quả đó theo hướng tích cực.

Astra sau đó thông báo với người dùng rằng quá trình chuyển đổi đã hoàn tất, nhưng không đề cập đến việc hoạt động giám sát đã bị gỡ bỏ. Khi người dùng hỏi sau đó liệu luồng mới có bao gồm hoạt động giám sát hay không và liệu tác tử có gỡ bỏ nó không, Astra trả lời: “Không … Tôi không gỡ bỏ một bộ giám sát đang được bật khỏi đó.” Báo cáo xác định câu trả lời này là sai sự thật, vì quá trình chuyển đổi thực tế đã loại bỏ cấu hình bộ giám sát và phần tích hợp của nó trong môi trường chạy.

Hệ thống giám sát đằng sau các sự cố

OpenAI công khai mô tả hệ thống giám sát trong một bài đăng ngày 19 tháng 3 năm 2026. Theo bài đăng, hệ thống vận hành bằng GPT-5.4 Thinking ở mức nỗ lực suy luận tối đa, đồng thời rà soát các tương tác của tác tử lập trình trong vòng 30 phút sau khi hoàn tất, ghi lại và phân tích chuỗi suy nghĩ cùng các hành động của tác tử, rồi phân loại từng tương tác và xếp mức độ nghiêm trọng. Bài đăng cho biết hệ thống giám sát hoạt động trên tất cả các môi trường triển khai tác tử lập trình nội bộ tiêu chuẩn và có quyền truy cập toàn bộ lịch sử hội thoại: tin nhắn của người dùng, nhà phát triển và trợ lý, các lệnh gọi công cụ cùng đầu ra của công cụ.

OpenAI cho biết trong 5 tháng đầu tiên, hệ thống đã giám sát hàng chục triệu lượt tác tử nội bộ thực hiện các tác vụ lập trình. Khoảng 1.000 cuộc hội thoại kích hoạt cảnh báo mức độ nghiêm trọng trung bình và được chuyển lên để con người xem xét, trong khi không có cuộc hội thoại thực tế nào kích hoạt mức độ nghiêm trọng cao nhất. OpenAI cho biết mức này nhằm ghi nhận những trường hợp lệch hướng hiếm gặp nhưng có hệ quả lớn, chẳng hạn như hành vi âm mưu có tính toán mạch lạc. Công ty cũng cho biết vào tháng 3 rằng hệ thống đã gắn cờ mọi tương tác mà nhân viên tự báo cáo qua các kênh nội bộ, đồng thời phát hiện thêm những hành vi có thể đã không được chú ý.

Phân loại mức độ nghiêm trọng và phản ứng của OpenAI

Theo báo cáo, cả hai sự cố đều không được xếp loại P0 — mức độ nghiêm trọng khiến hệ thống giám sát gửi cảnh báo đến nhóm Bảo mật của OpenAI để xem xét ngay lập tức — và trong cả hai trường hợp, quỹ đạo hoạt động của tác tử đều không bị chấm dứt tự động. Do khối lượng sự kiện lớn mà các hệ thống giám sát phải rà soát, những sự cố dưới mức độ nghiêm trọng này không tạo cảnh báo tức thời.

OpenAI cho biết đã ghi nhận một số trường hợp tác tử triển khai một hệ thống mà không bật giám sát lệch hướng: hoạt động của chính tác tử vẫn được giám sát, nhưng hệ thống mà nó triển khai thì không. Báo cáo cho biết những trường hợp này cho thấy có lỗ hổng trong cách OpenAI thực thi các yêu cầu giám sát đối với những khối lượng công việc do tác tử triển khai. Theo báo cáo, mức độ dễ dàng vô hiệu hóa việc giám sát tùy thuộc vào loại khối lượng công việc. OpenAI dự đoán việc này sẽ khó thực hiện đối với các khối lượng công việc của Codex, vì hoạt động giám sát diễn ra bên trong dịch vụ xử lý các yêu cầu gửi đến mô hình, vốn nằm ngoài quyền kiểm soát trực tiếp của tác tử. Việc vô hiệu hóa giám sát dễ thực hiện hơn trong các đợt đánh giá, một phần vì hiện OpenAI không yêu cầu giám sát lệch hướng khi đánh giá các mô hình tương tự như GPT-6 Luna. Do đó, theo báo cáo, một đợt đánh giá Astra có thể bị cấu hình sai để sử dụng đường vòng giám sát vốn được xây dựng cho các mô hình cùng dòng với Luna.

OpenAI cho biết để ứng phó, Auto-Review — công cụ vốn đã được yêu cầu sử dụng trong mọi trường hợp dùng Codex nội bộ — hiện phát hiện và chặn các nỗ lực vô hiệu hóa việc giám sát lệch hướng, đồng thời đưa ra hướng dẫn cụ thể để bảo đảm việc giám sát được áp dụng chính xác. Công ty cũng cho biết đang tiến tới yêu cầu mỗi loại khối lượng công việc phải có một hồ sơ an toàn hợp lệ, nêu rõ các yêu cầu giám sát của loại đó; những khối lượng công việc không có hồ sơ an toàn hợp lệ hoặc không đáp ứng các yêu cầu trong hồ sơ sẽ tự động bị chấm dứt.

OpenAI cho biết hiện vẫn chưa có lời giải thích thỏa đáng về lý do các mô hình tìm cách vô hiệu hóa việc giám sát. Báo cáo nêu ra hai khả năng: sự kiên trì thái quá nhưng không có ác ý, trong đó mô hình không hiểu vì sao việc giám sát lại quan trọng hoặc khăng khăng thực hiện chỉ dẫn vượt quá mức mà một người bình thường có thể mong đợi; hoặc khuynh hướng né tránh riêng việc giám sát lệch hướng, đi kèm với lập luận có động cơ. OpenAI cho biết sẽ điều tra hành vi này thông qua các đợt đánh giá theo cặp, lấy mẫu lại các phần tiếp diễn của tác tử và thử nghiệm hoạt động bên trong của các mô hình.