Ai sẽ thực hiện kiểm toán AI tiên tiến? Định nghĩa còn thiếu trong Thỏa thuận White House

Tuần này, các lãnh đạo của Google, OpenAI, Anthropic, Meta, xAI và Nvidia đã ký White House Thỏa thuận về Trí tuệ Siêu cấp. Các công ty đã cam kết bốn lớp giám sát cho các mô hình tiên tiến: kiểm soát nội bộ, một đội ngũ nội bộ xác minh chúng, một kiểm toán viên hoặc đánh giá viên độc lập bên ngoài, và một ủy ban hội đồng độc lập. Các cam kết hiện đang là tự nguyện, và thỏa thuận cho biết chúng có thể cuối cùng được đưa vào luật.

Trong bốn lớp, đánh giá bên ngoài mang trọng lượng lớn nhất. Đó là lớp duy nhất đặt một người bên ngoài công ty vào vị trí nói liệu các biện pháp bảo vệ có hoạt động hay không. Nó cũng là lớp có định nghĩa ít nhất. Thỏa thuận không nêu rõ ai đủ tiêu chuẩn để trở thành người đánh giá độc lập, tiêu chuẩn nào họ sẽ đánh giá dựa trên, mức độ truy cập họ nhận được, hoặc tính độc lập sẽ như thế nào khi một người đánh giá cũng bán dịch vụ cho công ty mà họ kiểm tra. Mỗi công ty tự chọn người đánh giá của mình.

Theo những điều kiện đó, hai công ty có thể cùng công bố họ đã vượt qua một đánh giá độc lập nhưng lại có ý nghĩa rất khác nhau. Đóng khoảng cách này sẽ đòi hỏi câu trả lời cho ba câu hỏi.

Điều gì nên quyết định ai đủ tiêu chuẩn

Một định nghĩa đáng tin cậy về người đánh giá AI độc lập cần bao gồm ít nhất bốn yếu tố.

Độc lập. Người đánh giá không nên xem xét các biện pháp bảo vệ mà họ đã giúp thiết kế, và không nên bán dịch vụ khắc phục hoặc tư vấn cho cùng công ty mà họ đánh giá. Các lĩnh vực kiểm toán trưởng thành cũng theo dõi sự phụ thuộc vào phí. Khi một khách hàng chiếm một phần lớn doanh thu của người đánh giá, người đánh giá có lý do để nới lỏng tiêu chuẩn.

Năng lực phù hợp với công việc. “Kiểm toán” bao gồm một số hoạt động khác nhau trong AI. Kiểm tra một mô hình về các khả năng nguy hiểm, chẳng hạn như hỗ trợ một cuộc tấn công mạng hoặc vũ khí sinh học, đòi hỏi các nhà nghiên cứu học máy và các chuyên gia miền. Kiểm tra xem các biện pháp bảo vệ của công ty có được thiết kế tốt và hoạt động trong thực tế hay không đòi hỏi các kiểm toán viên kiểm soát có kinh nghiệm. Một người đánh giá đủ tiêu chuẩn cho một lĩnh vực không tự động đủ tiêu chuẩn cho lĩnh vực khác, và báo cáo đánh giá nên nêu rõ lĩnh vực nào đã được thực hiện.

Truy cập và phạm vi. Một người đánh giá chỉ xem tài liệu có thể xác nhận rằng một biện pháp bảo vệ tồn tại trên giấy tờ. Để xác nhận nó hoạt động thực sự cần truy cập vào hệ thống, nhật ký, hồ sơ phê duyệt và nhân sự trong một khoảng thời gian. Các mô hình tiên tiến thay đổi giữa các lần huấn luyện và triển khai, vì vậy người đánh giá cũng cần một quy tắc rõ ràng về thời điểm một thay đổi yêu cầu xem xét lại.

Giám sát người đánh giá. Ai đó phải kiểm tra những người kiểm tra. Trong các thị trường kiểm toán đã được thiết lập, các cơ quan công nhận xem xét công việc của người đánh giá và có thể thu hồi vị thế của họ khi không đạt tiêu chuẩn. Cơ chế dự phòng này là yếu tố mang lại trọng lượng cho các kết luận của một đánh giá.

Cơ sở hạ tầng hiện có

 Không cần phải tự phát minh mọi thứ từ đầu. ISO 42001, tiêu chuẩn quốc tế cho hệ thống quản lý AI, cung cấp cho các tổ chức một khung để quản trị AI, với các kiểm soát được ghi chép, người chịu trách nhiệm rõ ràng và cải tiến liên tục. Tiêu chuẩn đi kèm, ISO 42006, đặt ra các yêu cầu cho các tổ chức kiểm toán và chứng nhận dựa trên ISO 42001, bao gồm năng lực mà các kiểm toán viên phải chứng minh và các quy tắc về tính công bằng mà họ phải tuân theo. Vì các cơ quan chứng nhận hoạt động dưới sự công nhận, một bên thứ ba giám sát chính các kiểm toán viên.

Về phía kiểm thử kỹ thuật, các khung mới đang được bổ sung. AIUC-1 chứng nhận các tác nhân AI cụ thể trong các triển khai cụ thể, với các bài kiểm tra định kỳ bởi bên thứ ba cho các vấn đề như ảo giác, phá vỡ giới hạn và sử dụng công cụ không an toàn, và dựa trên các kiểm soát của ISO 42001.

Các tiểu bang cũng đang thử nghiệm các mô hình để giám sát người đánh giá trực tiếp. Connecticut đã thông qua một luật năm nay tạo ra một chương trình thí điểm, bắt đầu vào tháng 7 năm 2027, trong đó Bộ Bảo vệ Người tiêu dùng của tiểu bang sẽ phê duyệt tối đa năm tổ chức xác minh độc lập. Mỗi tổ chức phải ký một thỏa thuận được nhà nước giám sát, xác định phạm vi, phương pháp, nghĩa vụ báo cáo và quản trị. Cấu trúc này trả lời một số câu hỏi mở của thỏa thuận: ai phê duyệt người đánh giá, tiêu chuẩn nào họ phải tuân thủ, và ai giám sát họ.

Những phần này không được xây dựng cho việc đánh giá mô hình tiên tiến, và chúng không nên được trình bày như một câu trả lời hoàn chỉnh. Công việc phía trước là kết nối chúng, để đảm bảo hệ thống quản lý, kiểm thử kỹ thuật mô hình và giám sát người đánh giá hòa hợp dưới một định nghĩa độc lập đáng tin cậy.

Tại sao các quy tắc cần được đặt lên trước

Các cam kết của thỏa thuận hiện đang là tự nguyện. Nếu chúng trở thành luật, các quy tắc về người có thể làm người đánh giá cần được thiết lập trước khi lệnh bắt buộc có hiệu lực, vì ba lý do.

Thứ nhất, thực tiễn sớm sẽ trở thành tiền lệ. Khi các bên ký kết bắt đầu đặt tên cho người đánh giá và công bố kết quả, thị trường sẽ ổn định các định nghĩa làm việc về “độc lập” và “đủ tiêu chuẩn”. Các định nghĩa được đặt ra mà không có áp lực bên ngoài thường thiên về tiện lợi. Các nhà lập pháp đến sau sẽ thấy những định nghĩa này đã được nhúng vào hợp đồng và kỳ vọng.

Thứ hai, năng lực đủ tiêu chuẩn cần thời gian để xây dựng. Việc công nhận các tổ chức đánh giá, đào tạo các nhà đánh giá hiểu cả mô hình tiên tiến và kiểm tra kiểm soát, và phát triển các phương pháp chung đều mất nhiều năm. Một lệnh pháp lý xuất hiện trước khi năng lực đó tồn tại sẽ được đáp ứng bởi bất kỳ ai sẵn có.

Thứ ba, một yêu cầu không có thị trường các nhà đánh giá đủ tiêu chuẩn phía sau sẽ chỉ tạo ra việc đánh dấu hộp kiểm. Các công ty sẽ đáp ứng đúng chữ viết của quy định, các cơ quan quản lý sẽ có ít cơ sở để thách thức các đánh giá yếu kém, và công chúng sẽ chỉ nhận được vẻ bề ngoài của sự giám sát mà không có nhiều nội dung thực chất.

Một số người cho rằng còn quá sớm để đặt ra các quy tắc này vì khoa học đánh giá các mô hình tiên tiến vẫn còn non trẻ. Đó là một mối quan ngại hợp lý về các phương pháp kiểm tra, vốn cần tiếp tục phát triển cùng với các mô hình. Những câu hỏi được nêu ra ở đây liên quan đến nhà đánh giá: liệu họ có không có xung đột lợi ích, đủ tiêu chuẩn cho công việc, được cấp đủ quyền truy cập và chịu sự giám sát hay không. Những câu hỏi đó có câu trả lời ổn định, và các lĩnh vực bảo đảm khác đã trả lời chúng trong nhiều thập kỷ.

Những Điều Các Tổ Chức Có Thể Làm Ngay Bây Giờ

Các công ty xây dựng hoặc triển khai AI tiên tiến không cần chờ đợi một lệnh pháp lý. Khi lựa chọn nhà đánh giá, họ có thể hỏi công ty cung cấp những dịch vụ nào khác cho họ, đội ngũ của công ty có những bằng cấp gì cho loại đánh giá cụ thể, mức độ truy cập mà dự án bao gồm như thế nào, và ai giám sát công việc của công ty. Việc xây dựng một hệ thống quản lý AI ngay bây giờ cũng cung cấp cho bất kỳ nhà đánh giá nào trong tương lai một tài liệu cụ thể và có bằng chứng để đánh giá.

Thỏa thuận này thiết lập một cấu trúc vững chắc cho trách nhiệm AI. Giá trị của nó sẽ phụ thuộc vào người đảm nhận vai trò nhà đánh giá và tiêu chuẩn mà họ phải tuân thủ, và thời gian để xác định điều đó là trước khi bất kỳ ai được yêu cầu sử dụng nó.