Anthropic công bố hướng dẫn giúp đánh giá an toàn AI đáng tin cậy hơn

Ngày 13 tháng 11 năm 2026, Anthropic công bố các khuyến nghị nhằm giúp đánh giá an toàn AI đáng tin cậy hơn, đồng thời cho biết tỷ lệ phản hồi vô hại tổng hợp của mọi mô hình gần đây đều đạt từ 94% đến 98% trong các bài kiểm tra API một lượt. Những bài kiểm tra đã bão hòa này chủ yếu hữu ích như các bước kiểm tra hồi quy đối với những dạng lỗi đã biết; đánh giá nhiều lượt tạo ra nhiều biến thiên hơn và có thể ghi nhận những thay đổi diễn ra dần dần trong suốt cuộc trò chuyện.

Đánh giá an toàn đo lường khuynh hướng gây ra hoặc góp phần gây hại của một mô hình, xem phản hồi của mô hình làm tăng hay giảm khả năng xảy ra tác hại và mức độ nghiêm trọng tiềm tàng của tác hại đó, chứ không đo lường một năng lực cụ thể. Một mối quan ngại cốt lõi là tính giá trị cấu trúc, tức liệu bài kiểm tra có đo lường đúng khái niệm mà nó hướng đến hay không. Tỷ lệ từ chối có thể gây hiểu lầm trong các cuộc trò chuyện về tự tử và tự làm hại bản thân, vì chỉ đơn thuần từ chối tham gia có thể tự nó đã là một thất bại; phản hồi phù hợp cần đưa ra sự hỗ trợ và hướng người dùng tìm đến sự trợ giúp của con người. Thay vào đó, các đánh giá nhiều lượt của Anthropic đo lường tỷ lệ phản hồi phù hợp trong toàn bộ cuộc trò chuyện, sử dụng các tiêu chí chấm điểm riêng theo từng rủi ro, trong đó chỉ một lượt phản hồi không phù hợp cũng khiến toàn bộ cuộc trao đổi bị đánh giá là không đạt.

Kiểm tra nhiều lượt và mức độ bao quát tình huống thực tế

Để xây dựng các bài kiểm tra này, chuyên gia trong lĩnh vực sẽ soạn một bản đặc tả về mục tiêu, chiến thuật, tính cách, hoàn cảnh, giọng điệu và phong cách trò chuyện của người dùng mô phỏng. Lượt đầu tiên của người dùng được giữ cố định, còn một mô hình Claude riêng biệt tạo các lượt tiếp theo để phản hồi mô hình đang được kiểm tra. Mỗi tình huống được chạy lặp lại với những tổ hợp đặc điểm khác nhau, và một mô hình chấm điểm sẽ đánh giá toàn bộ bản ghi hội thoại theo bộ tiêu chí chấm điểm tương ứng với rủi ro đó.

Việc thay đổi độc lập từng yếu tố giúp xác định điều gì chi phối hành vi; nếu mọi trường hợp nghiêm trọng đều có giọng điệu khẩn cấp, không thể tách riêng ảnh hưởng của mức độ nghiêm trọng và giọng điệu. Anthropic cũng khuyến nghị xây dựng bài kiểm tra dựa trên hành vi đã quan sát, dữ liệu công khai, bản ghi các cuộc kiểm thử đối kháng, báo cáo sự cố hoặc phỏng vấn chuyên gia, thay vì chỉ dựa vào những tình huống tưởng tượng. Bộ kiểm tra một lượt của công ty bao quát 16 lĩnh vực chính sách bằng bảy ngôn ngữ trên nhiều bề mặt sản phẩm, đồng thời môi trường đánh giá được thiết lập phù hợp với môi trường triển khai đang được kiểm tra.

Việc chạy các bài kiểm tra cũng đòi hỏi phải có biện pháp ngăn chặn. Đối với các đánh giá an ninh mạng, hướng dẫn yêu cầu sử dụng môi trường hộp cát không có kết nối Internet và giám sát theo thời gian thực để có thể dừng một lượt chạy nếu hành động của mô hình có nguy cơ gây hại ngoài đời thực.

Thẩm định mô hình chấm điểm và giới hạn thống kê

Các mô hình chấm điểm tự động tạo thêm rủi ro trong đo lường, vì hệ thống gặp trục trặc vẫn có thể tiếp tục đưa ra những điểm số có vẻ hợp lý. Các biện pháp bảo vệ được khuyến nghị gồm tiêu chí riêng biệt dạng có/không, hướng dẫn xử lý rõ ràng các tuyên bố miễn trừ trách nhiệm và trường hợp ranh giới, cảnh báo lỗi nổi bật, cùng các bước kiểm tra thiên lệch do độ dài phản hồi, vị trí và xu hướng ưu ái chính mô hình. Người đánh giá cần tự đánh nhãn độc lập một mẫu bản ghi hội thoại để có thể so sánh mức độ nhất trí giữa mô hình chấm điểm và chuyên gia với mức độ nhất trí giữa chính các chuyên gia.

Mức độ nhất trí giữa con người làm cơ sở xác định biện pháp khắc phục. Nếu các chuyên gia nhất trí với nhau nhưng không đồng ý với mô hình chấm điểm, cần cải thiện bộ tiêu chí hoặc mô hình chấm điểm; nếu các chuyên gia bất đồng với nhau, có thể bản thân cuộc đánh giá không có đáp án ổn định để đo lường. Hướng dẫn cũng yêu cầu đăng ký trước các chỉ số, phép so sánh và ngưỡng cải thiện trước khi xem kết quả.

Cỡ mẫu là cơ sở cho những nhận định đó. Anthropic áp dụng mức tối thiểu 100 mục cho các đánh giá nhiều lượt phức tạp và 1.000 mục cho các bài kiểm tra một lượt đơn giản hơn, đồng thời chạy lặp lại để tính đến đầu ra nhiễu và không mang tính tất định. Anthropic cho biết khoảng tin cậy trong các đánh giá API nhiều lượt có thể vượt quá ±10 điểm phần trăm: trong một đánh giá nhiều lượt về lừa đảo tình cảm trên claude.ai, Claude Opus 5 và Opus 5.5 ghi nhận tỷ lệ phản hồi phù hợp lần lượt là 98% và 94%, nhưng chênh lệch này không có ý nghĩa thống kê. Ví dụ này cho thấy chỉ riêng khoảng cách giữa các con số không đủ để xác định mô hình nào có hành vi an toàn hơn.

Bối cảnh triển khai và báo cáo

Cấu hình triển khai là một yếu tố khác đã được ghi nhận. Trong quá trình xem xét Claude Fable 5.1, Anthropic phát hiện một số phản hồi ngầm xác nhận việc tự làm hại bản thân như một cách đối phó, dù các phản hồi đó khuyên người dùng không tự làm hại bản thân và hướng họ tìm đến sự hỗ trợ của con người. Công ty cho biết khi chạy lại đánh giá với các biện pháp giảm thiểu có mục tiêu trong lời nhắc hệ thống, tỷ lệ phản hồi phù hợp đạt 94% trên claude.ai, so với 60% trên API. Phép so sánh này cho thấy không thể xem điểm số từ các cấu hình khác nhau là tương đương.

Các khuyến nghị về báo cáo còn bao gồm phiên bản mô hình, thiết lập lấy mẫu, lời nhắc, phiên bản mô hình chấm điểm và ngày tháng; đồng thời cần đánh giá liên tục trong quá trình tinh chỉnh, thay vì chỉ kiểm tra một lần trước khi phát hành. Những lỗi nghiêm trọng trong các hệ thống đã triển khai cần được tiết lộ trước cho nhà phát triển để họ có thời gian khắc phục trước khi kết quả được công bố.

Ba ưu tiên hàng đầu của Anthropic là xác định cấu trúc cần đo lường trước khi thu thập dữ liệu, thẩm định mô hình chấm điểm dựa trên đánh giá của con người và báo cáo mức độ bất định. Hàm ý rộng hơn là nhận định một mô hình an toàn hơn mô hình khác phụ thuộc vào thiết kế bài kiểm tra, bối cảnh triển khai và lực thống kê cũng nhiều như phụ thuộc vào điểm số nổi bật được công bố.