Nền tảng AI
Kiểm soát khả năng AI là gì và tại sao nó lại quan trọng?
Thêm Unite.AI vào các nguồn ưu tiên của bạn trên Google
Kiểm soát khả năng AI là tập hợp các biện pháp kỹ thuật và tổ chức nhằm hạn chế những gì một hệ thống AI có thể truy cập, thực hiện hoặc gây ra. Thuật ngữ này hữu ích nhất khi được gắn với một triển khai cụ thể: dữ liệu, công cụ, quyền truy cập, tự chủ, tốc độ, tính toán, người dùng và môi trường vận hành.
Một mô hình có khả năng trong môi trường sandbox chỉ đọc mang lại rủi ro khác so với cùng mô hình được kết nối với thông tin xác thực sản xuất và cho phép hoạt động mà không qua kiểm tra. Do đó, kiểm soát thuộc về toàn bộ hệ thống, không chỉ riêng việc đào tạo mô hình hay một lời nhắc an toàn.
Những điểm chính
- Kiểm kê các khả năng dưới dạng hành vi mô hình cộng với công cụ, dữ liệu, quyền truy cập và tự chủ.
- Áp dụng nguyên tắc tối thiểu quyền, cô lập, giới hạn tốc độ, thông tin xác thực có phạm vi, và phê duyệt cho các hành động có hậu quả.
- Đánh giá cả hiệu suất dự kiến và việc lạm dụng, né tránh, leo thang, cũng như các lỗi công cụ kết hợp.
- Tăng cường các biện pháp bảo vệ và công bố bằng chứng khi khả năng và mức độ triển khai tăng lên.
Khả năng phụ thuộc vào ngữ cảnh
Các tiêu chuẩn đo lường cho thấy hành vi bị giới hạn trong các điều kiện nhất định. Khả năng được triển khai còn phụ thuộc vào các lời nhắc, khung hỗ trợ, truy xuất, bộ nhớ, công cụ, lần thử lại và quyền truy cập. Một ứng dụng có thể làm cho một mô hình khiêm tốn trở nên có hậu quả hơn bằng cách lập kế hoạch và thực thi liên tục.
Lập bản đồ mỗi đường đi từ đầu vào tới kết quả. Kết nối danh sách này với phân tích rủi ro generative-AI và với các tài sản thực tế có nguy cơ, bao gồm hồ sơ khách hàng, mã nguồn, tiền tệ, thiết bị vật lý và các kênh truyền thông.
Ngăn ngừa, cô lập và phát hiện
Các biện pháp kiểm soát phòng ngừa bao gồm ranh giới quyền, sơ đồ công cụ đã được phê duyệt, xác thực đầu vào và xác nhận rõ ràng từ người dùng. Cô lập bao gồm sandbox, giới hạn lưu lượng ra mạng, hạn ngạch tài nguyên, thông tin xác thực ngắn hạn và môi trường có thể đảo ngược.
Phát hiện bổ sung ghi nhật ký, cảnh báo bất thường, dây bẫy, dữ liệu canary và kiểm tra chính sách độc lập. Không có lớp nào hoàn hảo, vì vậy chiến lược phòng thủ sâu lớp giả định một biện pháp có thể thất bại. Các nguyên tắc Cybersecurity vẫn áp dụng ngay cả khi giao diện là dạng hội thoại.
Đánh giá trước khi truy cập
Kiểm thử mô hình mà không có công cụ, sau đó tăng dần các khả năng. Đánh giá xem nó có thể phát hiện bí mật, khai thác phần mềm, thuyết phục người vận hành, chuỗi các hành động, phục hồi sau thất bại, hoặc che giấu ý định trong các ràng buộc thực tế hay không. Xác nhận các trường hợp từ chối mà không công khai rộng rãi các chi tiết đánh giá nhạy cảm.
Việc vượt qua tiêu chuẩn đo lường không chứng minh an toàn trong mọi môi trường. Thực hiện red‑team cho hệ thống tích hợp, lặp lại các bài kiểm tra sau khi mô hình, lời nhắc hoặc công cụ thay đổi, và sử dụng phát hành theo giai đoạn với các giới hạn được giám sát.
Quản trị và phản hồi
Chỉ định người chịu trách nhiệm, mục đích đã được phê duyệt, mức chấp nhận rủi ro, tiêu chí ra mắt, quy trình kiểm soát thay đổi và quyền khẩn cấp. Ghi lại phiên bản, chính sách, công cụ và quyền nào đã hoạt động cho mỗi kết quả có hậu quả.
Kết nối các biện pháp kiểm soát với quản trị responsible‑AI. Chuẩn bị thu hồi thông tin xác thực, tắt công cụ, quay lại mô hình, thông báo cho người dùng, điều tra và rút kinh nghiệm trước khi xảy ra sự cố nghiêm trọng.
Phân loại kiểm soát khả năng
Kiểm soát đầu vào hạn chế người có thể gửi nhiệm vụ, các kiểu dữ liệu và định dạng tệp được chấp nhận, và mức độ ngữ cảnh có thể cung cấp. Kiểm soát mô hình bao gồm tinh chỉnh, hành vi từ chối, giới hạn giải mã và lựa chọn checkpoint. Kiểm soát ứng dụng quyết định bộ nhớ, truy xuất, khả năng sử dụng công cụ và cách diễn giải đầu ra.
Kiểm soát tài nguyên giới hạn token, thời gian, số nhiệm vụ đồng thời, tính toán, lưu trữ và việc sử dụng mạng. Kiểm soát hành động hạn chế các miền, người nhận, số tiền giao dịch, thực thi mã và thiết bị vật lý. Kiểm soát con người xác định phê duyệt, giám sát, leo thang và tắt khẩn cấp. Kiểm soát quản trị bao gồm tiêu chí phát hành, giám sát, kiểm toán và trách nhiệm.
Các lớp này giải quyết các chế độ lỗi khác nhau. Bộ lọc nội dung không thể ngăn một lời gọi công cụ trông hợp lệ nhưng không được ủy quyền; sandbox không thể ngăn một tin nhắn công khai gây hại nếu cho phép giao tiếp; người phê duyệt không thể giám sát hàng ngàn hành động vi mô mờ ám. Các biện pháp kiểm soát phải phù hợp với đường đi của tác động.
Cô lập và tối thiểu hoá quyền hành
Nguyên tắc tối thiểu quyền chỉ cấp dữ liệu và hành động cần thiết cho nhiệm vụ hiện tại. Nguyên tắc tối thiểu quyền hành bổ sung giới hạn về thời gian, phạm vi, sáng kiến và ủy quyền. Một trợ lý soạn thảo thay đổi để xem xét có quyền hành ít hơn so với trợ lý thực hiện, triển khai, giám sát và thử lại một cách độc lập.
Sandbox cô lập mã và tệp, nhưng việc cô lập cần các chính sách mạng, quy trình, thiết bị và duy trì rõ ràng. Sử dụng môi trường dùng một lần, cho phép lưu lượng ra đã được liệt kê, hệ thống tệp có giới hạn và tách biệt bí mật. Các đầu ra rời sandbox—bản vá, tệp nhị phân, tin nhắn hoặc yêu cầu—vẫn cần được xác thực.
Đối với các tác nhân chạy lâu, giới hạn số vòng lặp và yêu cầu checkpoint. Tách kế hoạch khỏi thực thi, và yêu cầu mỗi công cụ báo cáo kết quả có cấu trúc. Ngăn một tác nhân tạo thông tin xác thực mới, sửa đổi chính sách của chính nó, vô hiệu hoá nhật ký, hoặc sinh ra các bản sao không giới hạn trừ khi trường hợp sử dụng được quản lý chặt chẽ yêu cầu.
Đánh giá khả năng và quyết định phát hành
Xây dựng ma trận đánh giá dựa trên phiên bản mô hình, khung hỗ trợ, công cụ, quyền truy cập và kỹ năng người dùng. Kiểm tra khả năng hoàn thành nhiệm vụ tự động, hỗ trợ lạm dụng, hành động mạng, kiến thức nhạy cảm, thuyết phục, sao chép và né tránh khi phù hợp. Bao gồm cả hiệu suất trung bình và kết quả mạnh nhất qua các lần thử lặp lại.
Bảo vệ các chi tiết đánh giá nguy hiểm, nhưng công bố đủ phương pháp và bằng chứng tổng hợp để đảm bảo trách nhiệm. Các nhà đánh giá độc lập giảm xung đột lợi ích. Ngưỡng nên kích hoạt các biện pháp kiểm soát đã định sẵn, chẳng hạn giảm quyền truy cập, tăng cường giám sát, trì hoãn phát hành hoặc đánh giá bổ sung, thay vì tranh luận sau khi kết quả đã biết.
Giám sát sau phát hành phải phát hiện các thay đổi khả năng do tinh chỉnh, cập nhật lời nhắc, công cụ mới hoặc ngữ cảnh dài hơn. Duy trì sổ đăng ký mô hình và triển khai, báo cáo sự cố và quy trình giảm quyền truy cập nhanh chóng. Khôi phục lại cấu hình đã biết không xóa bỏ dữ liệu đã bị lộ hoặc các hành động đã thực hiện.
Xây dựng hệ thống kiểm soát khả năng đa lớp
Bắt đầu bằng việc lập danh sách khả năng bao gồm đầu ra mô hình, công cụ, nguồn dữ liệu, thực thi mã, truy cập mạng, bộ nhớ, danh tính và các hành động tiếp theo. Phân loại mỗi mục dựa trên khả năng đảo ngược, phạm vi, độ nhạy cảm và tiềm năng gây hại. Một mô hình soạn thảo email khác với mô hình có thể chọn người nhận và gửi đi. Cấp quyền tối thiểu cần thiết cho nhiệm vụ hiện tại, trong thời gian và môi trường giới hạn.
Việc thực thi nằm ngoài mô hình: các sơ đồ công cụ đã định dạng, dịch vụ ủy quyền, danh sách cho phép, sandbox, hạn ngạch tài nguyên, giới hạn giao dịch, phòng ngừa mất dữ liệu và phê duyệt con người. Xem các chỉ thị của mô hình như đầu vào không tin cậy và xác thực mọi hành động dựa trên danh tính và chính sách. Tách kế hoạch khỏi thực thi, sử dụng tính không thay đổi và xem trước cho các thao tác có hậu quả, đồng thời đảm bảo mô hình không thể sửa đổi các biện pháp kiểm soát hoặc nhật ký quản lý nó.
Kiểm tra tấn công chèn lời nhắc, tấn công đại biểu nhầm lẫn, nội dung độc hại gián tiếp, leo thang quyền, rò rỉ dữ liệu, vòng lặp không kiểm soát và công cụ bị xâm phạm. Giám sát các hành động được yêu cầu và bị từ chối, chuỗi bất thường, chi phí và sử dụng tài nguyên, và các thay đổi chính sách. Duy trì nút dừng khẩn cấp thực sự loại bỏ thông tin xác thực hoặc chặn thực thi thay vì chỉ yêu cầu mô hình dừng lại. Kiểm soát khả năng giảm thiểu thiệt hại có thể đạt tới; nó phải được kết hợp với đánh giá mô hình, hạ tầng bảo mật, quản trị và phản hồi sự cố.
Đảm bảo nên bao phủ toàn bộ hệ thống đã kết hợp, vì các thành phần an toàn riêng lẻ có thể tạo ra chuỗi không an toàn. Xác minh rằng công cụ đọc quyền thấp không thể cung cấp bí mật cho công cụ nhắn tin, bộ nhớ không thể lén lút đưa lệnh vào các phiên sau, và các phê duyệt hiển thị đúng hành động và đích đến. Đánh giá lại ranh giới khả năng mỗi khi mô hình, kết nối, nguồn dữ liệu hoặc chính sách thay đổi; quyền kế thừa thường là nguồn gây mở rộng không mong muốn.
Danh sách kiểm tra triển khai thực tiễn
Biến khái niệm thành quy trình làm việc có giới hạn, có thể kiểm thử: lập bản đồ truy cập → kiểm thử → giới hạn → phê duyệt → giám sát → phản hồi. Đặt tên người chịu trách nhiệm, ghi chép dữ liệu và các phụ thuộc, thiết lập tiêu chuẩn cơ bản đơn giản, xác định tiêu chí chấp nhận và dừng, kiểm thử các lỗi tiêu biểu, và định nghĩa giám sát, khôi phục và đánh giá trước khi mở rộng phạm vi. Ghi lại các phiên bản và giả định để đội khác có thể tái tạo kết quả và hiểu những gì đã thay đổi.
Trước khi ra mắt, thực hiện đánh giá sẵn sàng được ghi chép với những người xây dựng, vận hành, bảo mật và chịu ảnh hưởng của hệ thống. Kiểm thử các trường hợp bình thường, điều kiện biên, lỗi phụ thuộc và lạm dụng; bảo quản bằng chứng và các rủi ro chưa giải quyết. Xác định ai có thể phê duyệt phát hành, thay đổi ngưỡng, ghi đè đầu ra hoặc dừng hoạt động. Xem lại quyết định khi dữ liệu thực tế xuất hiện, vì một dự án thí điểm thành công về mặt kỹ thuật không đảm bảo hiệu suất đáng tin cậy ở quy mô lớn hơn.
- KHẢ NĂNG: mô hình cộng với công cụ và khung hỗ trợ.
- PHẠM VI: người dùng, tài sản và bối cảnh vận hành.
- KIỂM SOÁT: ngăn ngừa, cô lập, phát hiện và phản hồi.
Câu hỏi thường gặp
Lời nhắc hệ thống có phải là một biện pháp kiểm soát khả năng không?
Đó là một lớp chỉ dẫn hành vi, nhưng không phải là sự thay thế đáng tin cậy cho quyền truy cập, sandbox, xác thực, công cụ có phạm vi và các phê duyệt được thực thi bên ngoài mô hình.
Mọi hệ thống AI có nên sử dụng cùng một biện pháp kiểm soát không?
Không. Các biện pháp kiểm soát cần mở rộng phù hợp với khả năng, quyền truy cập, tự chủ, người dùng bị ảnh hưởng, khả năng đảo ngược và tác động. cùng một mô hình có thể yêu cầu các biện pháp kiểm soát khác nhau trong các triển khai khác nhau.
Tài liệu tham khảo chính
