Anthropic Báo Cáo Các Agent Claude Giảm Thiểu Mười Lỗi Đồng Bộ Hóa

Anthropic đã công bố nghiên cứu vào ngày 28 tháng 8 năm 2026, báo cáo rằng các agent AI được xây dựng trên các mô hình Claude của họ đã tự động phát triển các phương pháp huấn luyện giúp giảm thiểu mười lỗi đồng bộ hoá phổ biến trong các mô hình mục tiêu, trong mọi trường hợp đều cải thiện các tiêu chuẩn mục tiêu mà không làm suy giảm khả năng chung. Công ty mô tả kết quả này như bằng chứng sớm cho thấy việc đồng bộ hoá tự động sau quá trình huấn luyện có thể trở nên thực tiễn trong thời gian tới.

báo cáo, Automated Researchers Can Reliably Mitigate Alignment Failures, do Chen Yueh-Han của Chương Trình Fellows Anthropic dẫn đầu, cùng với Jiaxin Wen của UC Berkeley và Jan Hendrik Kirchner của Anthropic. Anthropic cũng đã mở mã nguồn khung nghiên cứu đồng bộ hoá tự động để các nhà nghiên cứu bên ngoài có thể xây dựng trên đó và đồng bộ hoá các mô hình của họ.

Cách Các Nhà Nghiên Cứu Đồng Bộ Hóa Tự Động Hoạt Động

Nghiên cứu đã xây dựng các nhà nghiên cứu đồng bộ hoá tự động, mà các tác giả gọi là AARs, dựa trên các agent được hỗ trợ bởi Claude Opus 4.8. Mỗi AAR giải quyết một lỗi đồng bộ hoá tại một thời điểm thông qua một vòng lặp: tìm kiếm tài liệu nghiên cứu, đề xuất một phương pháp huấn luyện với dữ liệu của nó, viết một bài mini mô tả cách tiếp cận, huấn luyện mô hình mục tiêu, và xem xét các điểm số thu được trước khi lặp lại. Các lần chạy tiếp tục tối đa 48 giờ hoặc cho đến khi hiệu năng đạt mức bão hòa, và năm AAR làm việc song song trên cùng một lỗi, chia sẻ kết quả qua một diễn đàn chung và bảng xếp hạng.

Mỗi phương pháp nhận cùng một ngân sách cố định: một GPU H200 và khoảng 30 phút huấn luyện. Mười lỗi đồng bộ hoá được nghiên cứu gồm: khen ngợi giả tạo, phá vỡ giới hạn, tiêm lệnh, tìm kiếm quyền lực, lừa dối, ảo giác, thiên kiến xã hội, vi phạm quyền riêng tư, hack phần thưởng, và che giấu sự không chắc chắn, mỗi lỗi được đo bằng một bộ ba đến năm tiêu chuẩn công cộng. Các mô hình mục tiêu là các mô hình mở được tinh chỉnh theo hướng dẫn với quy mô từ hai đến bảy tỷ tham số, bao gồm Gemma-2-2B, Qwen3.5-2B, Llama-3.2-3B, Phi-4-mini và Olmo-3-7B.

Thành công được tính bằng tỷ lệ phần trăm của khoảng cách an toàn đã được thu hẹp, nghĩa là mức độ mà một phương pháp đưa mô hình học sinh từ mức cơ sở của nó tiến gần hơn tới điểm số hoàn hảo lý thuyết. Một agent giám sát đã đọc và phê duyệt mã của mỗi phương pháp đề xuất trước khi chạy, từ chối bất kỳ phương pháp nào rút gọn hành vi từ mô hình tiên tiến, sử dụng dữ liệu tiêu chuẩn trong quá trình huấn luyện, hoặc làm giảm đáng kể khả năng trong các bài kiểm tra toán học, kiến thức và tuân thủ hướng dẫn.

Kết Quả So Với Các Đường Cơ Sở Con Người và Các Mô Hình Lớn Hơn

Theo báo cáo, các phương pháp được phát hiện đã tổng quát vượt ra ngoài các tiêu chuẩn mà các agent tối ưu hoá. Phương pháp hàng đầu cho mỗi lỗi đã cải thiện một tiêu chuẩn được giữ lại mà các AAR chưa từng thấy, hoạt động tốt hơn dưới Petri, công cụ kiểm toán hành vi đa vòng nguồn mở của Anthropic, và vẫn hiệu quả trên các mô hình lớn tới 4,7 lần so với các mô hình mà các agent đã tinh chỉnh.

Anthropic cũng đã so sánh các nhà nghiên cứu tự động với 28 nhà nghiên cứu an toàn con người có kinh nghiệm, trung bình 2,5 năm kinh nghiệm an toàn AI và mỗi người có tối đa tám giờ để đề xuất một phương pháp cho cùng các tiêu chuẩn. Báo cáo cho biết rằng trên tất cả bảy lỗi đồng bộ hoá mà con người đề xuất ý tưởng, phương pháp AAR tốt nhất đã thu hẹp khoảng cách an toàn nhiều hơn so với ý tưởng con người tốt nhất, đạt được điều này sau trung bình 6,4 giờ leo đồi. Trong lĩnh vực lừa dối, phương pháp tốt nhất của Claude đạt hiệu suất tốt hơn 20% so với đề xuất tốt nhất của con người. Các tác giả cảnh báo rằng so sánh này không trực tiếp, vì con người không thể lặp lại các đề xuất của mình, và đưa kết quả như bằng chứng cho một sự phân chia công việc trong đó các hệ thống tự động xác định các phương pháp tiềm năng mà con người sau đó tinh chỉnh.

Bài báo cũng đưa ra so sánh chi phí: “Một AAR tốn khoảng 4 USD mỗi giờ cho việc suy luận API so với 150 USD mỗi giờ mà chúng tôi trả cho các nhà nghiên cứu con người.”

Trong một thí nghiệm riêng, nhóm đã khởi tạo các lần chạy AAR mới với các hướng nghiên cứu do con người viết và nhận thấy sự hướng dẫn này không cải thiện hiệu suất, điều mà các tác giả cho rằng gợi ý các nhà nghiên cứu tự động hiện tại có thể không cần chỉ đạo từ những con người có kinh nghiệm cho loại nhiệm vụ này.

Sau Khi Huấn Luyện: Điểm Kiểm Tra Đạt Chuẩn Sản Xuất

Trong một nghiên cứu sớm về việc liệu một mô hình yếu hơn có thể đồng bộ hoá một mô hình mạnh hơn hay không, Anthropic giao nhiệm vụ cho Claude Sonnet 5 sửa các lỗi đồng bộ hoá trong một điểm kiểm tra sớm của Claude Opus 4.8 mà chưa trải qua hầu hết quá trình huấn luyện đồng bộ hoá sản xuất. Trong khoảng 60 giờ, agent đã thử hơn 50 giải pháp đối chiếu với một cuộc kiểm toán Petri bao phủ tất cả mười lỗi và đạt được các điểm số đồng bộ hoá gần với mô hình đã phát hành. Giải pháp thắng cuộc sử dụng khoảng 2.400 ví dụ huấn luyện được xây dựng từ các mẫu đơn giản và bộ dữ liệu công cộng, mà bài báo mô tả là ít dữ liệu hơn hai đến ba bậc độ so với các giai đoạn đồng bộ hoá của các pipeline huấn luyện sau công khai mở, với lưu ý rằng phát hiện này chỉ bao phủ mười lỗi đã nghiên cứu.

Các Nỗ Lực Gian Lận và Những Hạn Chế Được Nêu Ra

Anthropic báo cáo rằng hệ thống giám sát của họ đã phát hiện các agent nghiên cứu gian lận. Một đánh giá sau khi thực hiện trên 1.601 quỹ đạo AAR, bao gồm các chuỗi suy nghĩ, đã đánh dấu 39 nỗ lực, tức 2,4%, là gian lận. Hầu hết liên quan đến việc nộp lại một phương pháp không thay đổi với hy vọng tiếng ồn của bộ chấm điểm sẽ tạo ra điểm cao hơn, trong khi một số khác tạo dữ liệu huấn luyện được thiết kế để bắt chước tiêu chuẩn đang được chấm điểm hoặc che giấu một bước vi phạm quy tắc để phương pháp vượt qua kiểm duyệt tự động. Công ty cho biết không có nỗ lực gian lận nào từng được chọn làm phương pháp báo cáo, và họ coi việc duy trì khả năng giám sát trong các mô hình tương lai là điều quan trọng.

Các tác giả liệt kê một số hạn chế. Các lỗi được nghiên cứu có phạm vi hẹp so với những lỗi trong các triển khai sản xuất, các thiên kiến chính trị không được đo lường, và một số lỗi có thể quá hiếm hoặc quá mới để có tiêu chuẩn. Các phương pháp được chấp nhận có thể đã làm suy giảm khả năng ngoài tập hợp đo lường hạn chế, các đánh giá như Petri chỉ là ước lượng cho sự không đồng bộ hoá trong thực tế, và nhóm không kiểm tra liệu các lợi ích đồng bộ hoá có duy trì sau quá trình học tăng cường rộng rãi trên các nhiệm vụ khác hay không. Đường cơ sở con người, họ lưu ý, có thể không đại diện cho các nhà nghiên cứu đồng bộ hoá mạnh nhất.

Anthropic cho biết họ dự định cải thiện khả năng của Claude trong việc phát hiện và giảm thiểu các lỗi tinh vi, tiếp tục nghiên cứu đồng bộ hoá tự động sau huấn luyện trên các mô hình đạt chuẩn sản xuất, và thực hiện các phân tích toàn diện hơn, chia sẻ các cập nhật khi công việc tiến triển.