Từ trí tuệ đến quyền hạn

Trí tuệ nhân tạo đang vượt ra ngoài phạm vi trả lời câu hỏi và tạo nội dung. Các hệ thống AI ngày càng có thể diễn giải chỉ thị, lập kế hoạch, lựa chọn công cụ và thực hiện nhiệm vụ mà không cần con người liên tục chỉ đạo.

Sự khác biệt đó rất quan trọng.

Một hệ thống AI đề xuất hành động khác với một hệ thống được trao quyền thực hiện hành động đó. Khác biệt không nhất thiết nằm ở trí thông minh hay mức độ tinh vi, mà nằm ở quyền hạn.

Hệ thống tự chủ không chỉ giới hạn ở các mô hình ngôn ngữ lớn tiên tiến nhất. Chúng còn bao gồm các hệ thống học máy chuyên biệt, robot, phương tiện tự hành, tác tử phần mềm và những tổ hợp công nghệ có khả năng tự đưa ra quyết định hoặc thực hiện hành động trong các điều kiện vận hành được xác định.

Những lợi ích tiềm năng của chúng rất đáng kể. Chúng có thể hỗ trợ khám phá khoa học, hoạt động công nghiệp, chăm sóc sức khỏe, phát triển phần mềm và an ninh mạng. Tuy nhiên, chúng cũng có thể gây ra những kết quả ngoài ý muốn, làm lộ thông tin nhạy cảm hoặc khởi tạo những hành động vượt quá dự định của người vận hành.

Trong Những thách thức an ninh trong thiết kế hệ thống tự chủ, Mohammad Hamad và Sebastian Steinhorst phân tích các thách thức an ninh liên quan đến ứng phó sự cố tự chủ, đánh giá rủi ro, kiểm soát truy cập, độ tin cậy của dữ liệu và tương tác giữa các hệ thống tự chủ. Phần lớn nghiên cứu của họ tập trung vào các hệ thống không gian mạng – vật lý, qua đó cho thấy thách thức bảo vệ các hành động độc lập của máy móc không chỉ giới hạn ở các tác tử dựa trên mô hình ngôn ngữ lớn (LLM) ngày nay.

Những hệ quả rộng lớn hơn của tính tự chủ cần được xem xét nghiêm túc, trong đó có nguy cơ gây tổn hại về thể chất. Tuy nhiên, cần diễn giải bằng chứng một cách thận trọng. Chẳng hạn, không thể mặc nhiên quy các sự cố liên quan đến phương tiện tự động cho chính những cơ chế tác động đến các tác tử an ninh mạng tự chủ. Mức độ tự chủ, điều kiện vận hành, sự tham gia của con người và bằng chứng về quan hệ nhân quả đều có ý nghĩa.

Tương tự, bằng chứng cho thấy AI tự chủ có thể gây hại không chứng minh rằng hoạt động quản trị nhất thiết đang tụt hậu. Chúng ta cũng không nên mặc định rằng hệ thống tự chủ vốn dĩ khó bảo vệ.

Câu hỏi cốt lõi không phải là liệu AI có thể thực hiện những công việc phức tạp hay không, mà là liệu các khuôn khổ kiến trúc, an ninh và tổ chức quản lý hệ thống tự chủ có thể thiết lập những giới hạn phù hợp cho quyền hạn được ủy thác, đồng thời cung cấp bằng chứng có thể kiểm chứng rằng các giới hạn đó được tuân thủ hay không.

An ninh mạng đem lại một góc nhìn đặc biệt hữu ích về vấn đề này, bởi các chuyên gia an ninh đã dành nhiều thập kỷ để kiểm chứng những giả định về độ tin cậy, quyền hạn, quyền truy cập và hành vi của hệ thống.

Cuộc chơi mèo vờn chuột ở tốc độ máy

An ninh mạng từ lâu thường được ví như một cuộc chơi mèo vờn chuột.

Kẻ tấn công phát hiện điểm yếu, bên phòng thủ đưa ra biện pháp bảo vệ, rồi cả hai bên thích ứng. Chu trình này tiếp diễn khi công nghệ, chiến thuật và môi trường vận hành thay đổi.

AI tự chủ không nhất thiết làm thay đổi những quy luật căn bản của cuộc chơi đó. Tuy nhiên, nó có thể làm thay đổi bên nào—hoặc thứ gì—tham gia cuộc chơi, tốc độ hành động và khối lượng công việc có thể được thực hiện mà không cần con người liên tục can thiệp.

Một hệ thống an ninh tấn công tự chủ có thể phát hiện các dịch vụ đang lộ ra bên ngoài, điều tra lỗ hổng, xây dựng các phương án tấn công tiềm năng và kiểm tra xem những phương án đó có thể khai thác được hay không. Một hệ thống phòng thủ có thể sử dụng những khả năng tương tự để điều tra mối đe dọa, phát hiện điểm yếu và xác thực biện pháp khắc phục.

Khả năng sử dụng kép này là yếu tố cốt lõi để hiểu những hàm ý an ninh của AI tự chủ.

Project Glasswing của Anthropic là một ví dụ về việc AI hỗ trợ phát hiện lỗ hổng. Trong bản cập nhật nghiên cứu tháng 5 năm 2026, Anthropic báo cáo kết quả đáng kể trong việc phát hiện lỗ hổng, đồng thời nhấn mạnh những thách thức trong thực tế liên quan đến xác minh, công bố và vá lỗi.

Sự khác biệt đó rất quan trọng. Phát hiện một lỗ hổng không đồng nghĩa với việc xác nhận lỗ hổng đó có thể bị khai thác, khắc phục lỗ hổng hay chứng minh rằng hệ thống bị ảnh hưởng là an toàn.

Việc phát hiện thêm nhiều vấn đề có thể giúp cải thiện khả năng nhận diện, nhưng đồng thời cũng làm tăng áp lực lên những người và quy trình chịu trách nhiệm xử lý chúng.

Kết quả an ninh phụ thuộc vào những gì diễn ra tiếp theo.

Nếu kẻ tấn công và bên phòng thủ có thể tự động hóa một phần công việc, câu hỏi liên quan không chỉ đơn giản là bên nào sở hữu mô hình có năng lực cao nhất. Điều quan trọng là bên phòng thủ có thể biến kết quả phát hiện thành biện pháp khắc phục hiệu quả và xác minh độc lập kết quả đó hay không.

Kiểm thử xâm nhập truyền thống không trở nên lỗi thời chỉ vì AI có thể thực hiện các nhiệm vụ tấn công. Phạm vi kiểm thử cần được mở rộng để bao gồm những hệ thống có khả năng diễn giải chỉ thị, gọi công cụ, kết hợp quyền hạn và theo đuổi mục tiêu qua nhiều bước.

Mục tiêu vẫn không đổi: tìm ra điểm yếu, xác định mức độ nghiêm trọng của chúng, khắc phục và chứng minh các biện pháp bảo vệ hoạt động hiệu quả.

Các điểm tiếp giáp trong kiến trúc: Nơi các ranh giới an ninh giao nhau

Một trong những rủi ro khó nhận thấy hơn ở các hệ thống tự chủ xuất hiện khi những thành phần được cấp quyền riêng lẻ tương tác với nhau theo cách dẫn đến kết quả ngoài ý muốn.

Tôi gọi những điểm tương tác này là các điểm tiếp giáp kiến trúc.

Hãy xem một ví dụ quen thuộc. Một tổ chức hạn chế quyền truy cập vào một tệp bằng quyền NTFS. Một dịch vụ chia sẻ đám mây riêng biệt cho phép người dùng được cấp quyền chia sẻ thông tin đó ra bên ngoài.

Mỗi hệ thống có thể vận hành theo quy tắc riêng. Tuy nhiên, sự tương tác giữa chúng có thể dẫn đến việc chia sẻ thông tin, vi phạm ranh giới bảo mật mà tổ chức dự định thiết lập.

Đây là minh họa về các chính sách có khả năng xung đột, chứ không phải khẳng định rằng bất kỳ sản phẩm chia sẻ tệp nào cũng có lỗ hổng bảo mật.

Vấn đề có thể không phải là khiếm khuyết của riêng từng biện pháp kiểm soát. Thay vào đó, có thể hệ thống đã không thực thi được chính sách bảo mật dự kiến trên toàn bộ quy trình.

AI tự chủ có thể gặp những tình huống tương tự khi kết nối mô hình, ứng dụng, danh tính, công cụ, kho lưu trữ và dịch vụ bên ngoài.

Một tác tử có thể được phép đọc tài liệu, tạo kho lưu trữ và tải tệp lên. Nhưng điều đó không nhất thiết có nghĩa là tác tử được quyền kết hợp các thao tác ấy theo cách làm lộ thông tin mật.

Các nghiên cứu đưa ra lý do thực tiễn để xem xét những tương tác này.

Trong AgentDojo, các nhà nghiên cứu đã đánh giá những cuộc tấn công chèn lệnh vào lời nhắc nhằm vào các tác tử AI sử dụng công cụ, qua 97 nhiệm vụ thực tế và 629 trường hợp kiểm thử bảo mật. Kết quả cho thấy những chỉ dẫn độc hại được đưa vào thông qua đầu ra từ các công cụ không đáng tin cậy có thể làm tổn hại một số thuộc tính bảo mật, dù mức độ thành công không đồng đều giữa các cuộc tấn công và các tác tử.

Nghiên cứu không xác định được tần suất các cuộc tấn công này thành công trong môi trường thực tế. Tuy nhiên, nghiên cứu cho thấy vì sao chỉ đánh giá phản hồi của mô hình là chưa đủ để hiểu hành vi của một hệ thống được kết nối với công cụ.

Một rủi ro liên quan đôi khi được gọi là rửa quyền: một hành động trông có vẻ hợp lệ vì được thực hiện thông qua công cụ hoặc bên trung gian có thẩm quyền, dù hành vi tổng thể lại vi phạm ranh giới quyền hạn dự kiến.

Khi nhiều tác tử cộng tác, cần có các quy tắc rõ ràng điều chỉnh sự tham gia, việc trao đổi thông tin và những hành động được phép.

Trách nhiệm cũng cần được phân định xuyên suốt kiến trúc.

Nhà cung cấp mô hình, đơn vị vận hành nền tảng, nhà phát triển tác tử và tổ chức triển khai có thể kiểm soát những phần khác nhau của hệ thống. Một mô hình trách nhiệm chung hữu ích sẽ xác định ai kiểm soát từng ranh giới, ai có thể cho phép ngoại lệ, ai giám sát quá trình thực thi và ai ứng phó khi xảy ra sự cố.

Tính tự chủ không xóa bỏ trách nhiệm. Điều đó càng khiến việc xác định trách nhiệm thuộc về ai trở nên quan trọng.

Nghiêm ngặt trong kiểm thử tấn công: Kiểm chứng những gì ta tưởng mình biết

Điều này đưa chúng ta đến một khái niệm mà tôi gọi là tính nghiêm ngặt trong kiểm thử tấn công.

Tính nghiêm ngặt trong kiểm thử tấn công là phương pháp có kỷ luật, kết hợp kiểm thử đối kháng, chất vấn phản biện và xác thực dựa trên bằng chứng để kiểm chứng các giả định về bảo mật. Phương pháp này đánh giá cách hệ thống vận hành trong những điều kiện thực tế, thay vì chỉ dựa vào thiết kế kiến trúc, các biện pháp kiểm soát được ghi chép hoặc những gì được cho là có thể bảo vệ hệ thống.

Các phương pháp nền tảng này vốn đã được áp dụng từ lâu. Kiểm thử xâm nhập, mô hình hóa mối đe dọa, kiểm thử đội đỏ và xác thực bảo mật từ lâu đã được dùng để thách thức các giả định về phòng thủ.

Tính nghiêm ngặt trong kiểm thử tấn công kết nối các phương pháp đó xoay quanh một câu hỏi cốt lõi:

Bằng chứng nào cho thấy ranh giới bảo mật dự kiến vẫn được duy trì?

Một tổ chức có thể có các chính sách hạn chế thông tin nhạy cảm, một mô hình được cấu hình để từ chối những yêu cầu bị cấm và một tác tử hoạt động với quyền hạn hạn chế.

Đó là những biện pháp bảo vệ có ý nghĩa. Tuy nhiên, chỉ riêng việc có các biện pháp này không chứng minh được rằng toàn bộ hệ thống vận hành an toàn trong điều kiện đối kháng.

Mô hình có thể từ chối một chỉ dẫn độc hại trong khi công cụ được cấp quyền vẫn cho phép thực hiện hành động ngoài ý muốn. Một chính sách có thể trông có vẻ đúng, nhưng sự tương tác giữa các hệ thống lại tạo ra một con đường bất ngờ để lách chính sách đó.

Đôi khi tôi gọi đây là “ảo tưởng về hàng rào bảo vệ”: nhầm lẫn giữa sự hiện diện của hàng rào bảo vệ với bằng chứng cho thấy hệ thống không thể vượt qua ranh giới mà các hàng rào ấy được thiết kế để duy trì.

Hàng rào bảo vệ rất hữu ích. Nhưng vẫn cần chứng minh chúng có hiệu quả.

Hãy xem xét một tác tử tự chủ được phép điều tra một vụ xâm nhập bị nghi ngờ. Tác tử có thể truy xuất nhật ký, xem xét hoạt động của người dùng và đề xuất các biện pháp ngăn chặn.

Trong một cuộc kiểm thử bảo mật được ủy quyền, người kiểm thử đối kháng đưa các chỉ dẫn sai lệch vào thông tin mà tác tử dự kiến sẽ tiếp nhận.

Cuộc kiểm thử không nên chỉ dừng lại ở việc xác định xem tác tử có làm theo những chỉ dẫn đó hay không.

Cuộc kiểm thử cần xem xét liệu tác tử có tìm cách thực hiện hành động trái phép hay không, liệu các biện pháp kiểm soát độc lập có ngăn được việc thực thi hay không, liệu nỗ lực đó có được ghi lại hay không và hệ thống có khôi phục phù hợp hay không.

Kiểm thử tấn công nghiêm ngặt kết nối năm hoạt động:

1. Xác lập giả định: Xác định thuộc tính bảo mật mà kiến trúc được kỳ vọng sẽ bảo đảm.
2. Kiểm chứng giả định: Thử nghiệm các con đường tấn công thực tế, đầu vào bị thao túng và sự kết hợp của những khả năng hợp lệ.
3. Thu thập bằng chứng: Xác định hệ thống đã cố thực hiện điều gì, những gì đã được thực thi và những biện pháp kiểm soát nào đã hoạt động.
4. Khắc phục điểm yếu: Xử lý mô hình, quy trình làm việc, quyền hạn, kiến trúc hoặc quy trình vận hành gây ra sự cố.
5. Xác minh biện pháp khắc phục: Kiểm tra lại con đường tấn công liên quan và xác nhận thuộc tính bảo mật dự kiến đã được bảo đảm.

Đây là điểm khác biệt giữa việc kiểm tra phản hồi của một mô hình và việc kiểm tra tính bảo mật của toàn bộ hệ thống.

Việc này cũng đòi hỏi xem xét những gì xảy ra sau khi kẻ tấn công giành được chỗ đứng ban đầu. Kẻ tấn công có thể tìm cách thu thập thông tin xác thực, leo thang đặc quyền, duy trì quyền truy cập hoặc di chuyển ngang bằng cách lạm dụng những khả năng vốn đã có trong môi trường.

Một công cụ hợp lệ không có nghĩa là mọi cách sử dụng công cụ đó đều hợp lệ.

Mục đích của kiểm thử tấn công nghiêm ngặt không phải là mặc định rằng các hệ thống tự chủ không an toàn. Mục đích là xác định thông qua kiểm thử những nơi ranh giới bảo mật của chúng được duy trì.

Tính tự chủ có điều kiện: Tách biệt năng lực trí tuệ với quyền hạn

Một giải pháp kiến trúc là phân biệt những gì hệ thống AI có thể làm với những gì hệ thống được phép làm.

Tôi gọi cách tiếp cận này là tính tự chủ có điều kiện.

Tính tự chủ có điều kiện thừa nhận rằng mức độ độc lập phù hợp phụ thuộc vào nhiệm vụ, môi trường vận hành, hậu quả tiềm tàng, mức độ bất định và bằng chứng sẵn có để biện minh cho một hành động.

Một tác nhân tóm tắt thông tin công khai không nhất thiết cần được giám sát ở mức tương đương với một tác nhân được phép vô hiệu hóa tài khoản, sửa đổi quy tắc tường lửa hoặc thay đổi hạ tầng sản xuất.

Tác nhân sau có thể cần các quy tắc tác chiến rõ ràng, quyền hạn được thực thi độc lập, cơ chế cấp quyền chặt chẽ hơn và sự phê duyệt của con người đối với những hành động có hậu quả đáng kể.

Những ranh giới này không nên được mở rộng chỉ vì tác nhân quyết định rằng quyền truy cập rộng hơn sẽ giúp hoàn thành mục tiêu.

Tác nhân có thể xem xét lại cách thực hiện một nhiệm vụ được phép mà không cần có thêm quyền hạn.

OWASP Top 10 dành cho ứng dụng LLM đề cập đến vấn đề này trong danh mục LLM06:2025: Quyền tự chủ quá mức. OWASP xác định chức năng, quyền hạn và tính tự chủ quá mức là những nguồn rủi ro, đồng thời khuyến nghị giới hạn năng lực và thực thi việc cấp quyền một cách độc lập.

Tính tự chủ có điều kiện áp dụng các nguyên tắc này tùy theo rủi ro vận hành.

Chỉ nên cho phép truy cập thông tin trong phạm vi cần thiết cho nhiệm vụ. Quyền sử dụng công cụ cần được giới hạn trong các thao tác đã được phê duyệt. Có thể hạn chế việc thực thi bằng ngân sách hành động, giới hạn tần suất, yêu cầu phê duyệt và điều kiện dừng.

Những biện pháp bảo vệ này đặc biệt quan trọng trong hoạt động kiểm thử tấn công tự chủ.

Trong khi theo đuổi một mục tiêu được cấp phép, tác nhân kiểm thử có thể phát hiện thông tin xác thực hoặc dữ liệu nhạy cảm một cách hợp lệ. Tuy nhiên, việc phát hiện thông tin xác thực không có nghĩa là mô hình cần nhận giá trị dạng văn bản thuần của thông tin đó.

Một khung kiểm thử bảo mật có thể tách thông tin xác thực nhạy cảm khỏi mô hình và trung gian hóa việc sử dụng chúng thông qua cơ chế cấp quyền được thực thi độc lập. Ví dụ, một dịch vụ trung gian quản lý thông tin xác thực có thể cung cấp trực tiếp một bí mật cho dịch vụ đã được phê duyệt mà không để lộ bí mật đó cho mô hình một cách không cần thiết.

Điều này áp dụng các nguyên tắc đã được xác lập về đặc quyền tối thiểu và phân tách nhiệm vụ.

Điều này cũng đặt ra một câu hỏi thú vị về kiến trúc Bring Your Own Model (BYOM) hoặc Bring Your Own LLM (BYO-LLM).

Nếu mô hình nền tảng được thay thế vào ngày mai, những bảo đảm bảo mật nào sẽ vẫn còn nguyên vẹn?

Việc cấp quyền cho nhiệm vụ, cô lập thông tin xác thực, giới hạn phạm vi, ghi nhật ký và thực thi chính sách có thể nằm trong khung bao quanh, thay vì phụ thuộc hoàn toàn vào hành vi của mô hình.

Điều đó không có nghĩa là khung bao quanh mặc nhiên an toàn hoặc các mô hình có thể thay thế cho nhau. Các mô hình khác nhau có thể diễn giải chỉ dẫn khác nhau, gọi công cụ theo cách khác nhau và tạo ra những dạng lỗi khác nhau.

Một cuộc đánh giá có ý nghĩa phải kiểm tra cả các biện pháp kiểm soát được kỳ vọng sẽ giữ nguyên lẫn những hành vi thay đổi khi mô hình được thay thế.

Có lẽ một số thuộc tính bảo mật bền vững nhất là những thuộc tính vẫn có thể được thực thi độc lập ngay cả khi thành phần trí tuệ phát triển.

Khi AI hành động trên AI: Bài toán xác minh

Hãy xem xét một quy trình ứng phó sự cố an ninh giả định:

Điều tra sự cố này, thu thập bằng chứng, xác định các danh tính bị ảnh hưởng, đề xuất biện pháp ngăn chặn, thực hiện các hành động đã được phê duyệt và xác minh kết quả.

Một tác nhân điều tra phân tích dữ liệu đo từ xa. Một tác nhân khác đề xuất biện pháp khoanh vùng. Tác nhân thực thi được ủy quyền tiến hành các thay đổi. Tác nhân xác minh đánh giá kết quả.

Đây là ví dụ về quy trình ứng phó sự cố tự động khép kín, chứ không phải một sự cố thất bại trên toàn ngành đã được ghi nhận.

Giả sử tác nhân đầu tiên xác định nhầm một danh tính là đã bị xâm phạm. Tác nhân thứ hai chấp nhận kết luận đó và vô hiệu hóa tài khoản. Tác nhân thứ ba xác nhận tài khoản đã bị vô hiệu hóa và báo cáo rằng thao tác thành công.

Thao tác được chọn đã hoàn tất.

Nhưng nhận định ban đầu có chính xác không? Hành động đó có được cấp quyền không? Biện pháp khoanh vùng có xử lý đúng mối đe dọa thực tế không? Nó có gây gián đoạn không cần thiết không?

Việc xác minh không thể chỉ dừng lại ở việc xác nhận rằng tác nhân đã hoàn thành hành động mà nó lựa chọn.

Việc giao nhiệm vụ xác minh cho một tác nhân AI khác cũng không tự động khiến kết quả trở nên độc lập.

Các tác nhân khác nhau có thể dựa vào cùng một dữ liệu đo từ xa không chính xác, thông tin bị xâm phạm hoặc giả định sai lệch. Việc chúng đồng thuận không thể tự nó xác lập các sự kiện nền tảng một cách độc lập.

Hậu quả của một hành động tự động càng nghiêm trọng thì càng cần xác minh độc lập với hệ thống đưa ra quyết định.

Tính độc lập đó có thể đạt được thông qua bằng chứng được thu thập từ các nguồn riêng biệt, kiểm tra chính sách mang tính tất định, môi trường thực thi bị giới hạn, sự rà soát của con người hoặc kết hợp nhiều biện pháp bảo vệ.

Các biện pháp kiểm soát phù hợp cần tương xứng với hậu quả của sai sót.

Những hành động ít ảnh hưởng và có thể đảo ngược có thể phù hợp để xác minh tự động. Những hành động có ảnh hưởng lớn hoặc khó đảo ngược có thể cần được cấp quyền chặt chẽ hơn, xác nhận độc lập và phê duyệt rõ ràng của con người.

Bốn câu hỏi giúp phân biệt các thuộc tính bảo mật liên quan:

• Hệ thống có diễn giải chính xác nhiệm vụ dự định thực hiện không?
• Hành động đó có nằm trong phạm vi quyền hạn được ủy thác cho hệ thống không?
• Quá trình thực thi có nằm trong các giới hạn được phép không?
• Kết quả đạt được có đáp ứng mục tiêu bảo mật đã đề ra không?

Các câu hỏi này có liên quan với nhau nhưng không thể thay thế cho nhau.

Tác nhân có thể thực hiện một hành động được cấp quyền nhưng dẫn đến kết quả ngoài dự kiến. Tác nhân cũng có thể đạt được một kết quả có vẻ có lợi thông qua hành động không được cấp quyền.

Không nên tự động xem trường hợp nào là thành công về mặt bảo mật.

Khi các hệ thống tự động ngày càng có nhiều năng lực, thách thức không chỉ nằm ở việc giúp chúng hoàn thành các quy trình phức tạp. Thách thức còn là xác lập đủ bằng chứng cho thấy hành động của chúng vẫn được cấp quyền, phù hợp và chính xác.

Điều đó bao gồm việc biết khi nào cần dừng lại, chuyển cấp xử lý, đảo ngược một hành động hoặc chấp nhận một rủi ro có giới hạn và được hiểu rõ.

Niềm tin phải dựa trên bằng chứng

Tác động của AI tự động đối với an ninh không hoàn toàn tiêu cực.

Các hệ thống tự động có thể giúp đội ngũ phòng thủ phát hiện điểm yếu, điều tra mối đe dọa và thực hiện các công việc xác thực vốn đòi hỏi con người bỏ ra đáng kể công sức.

Các mô hình tốt hơn, biện pháp kiểm soát bên ngoài chặt chẽ hơn và quy trình vận hành hoàn thiện hơn có thể giảm một số rủi ro liên quan đến quyền hạn được ủy thác.

Vì vậy, kết luận rằng AI tự động vốn dĩ không an toàn hoặc hoạt động quản trị không thể theo kịp sự phát triển của công nghệ này là quá sớm.

Ngoài ra, cũng có một lập luận phản biện đáng xem xét đối với quan điểm cho rằng AI tự động đòi hỏi những nguyên tắc bảo mật hoàn toàn mới.

Nhiều vấn đề nền tảng—quyền hạn quá mức, đầu vào không đáng tin cậy, cơ chế cấp quyền yếu, việc thực thi chính sách thiếu nhất quán và xác minh không đầy đủ—đã được nghiên cứu trong nhiều thập kỷ.

Các biện pháp kiểm soát hiện có có thể đã cung cấp giải pháp khả thi nếu được triển khai và kiểm thử đúng cách.

Tính tự động có thể làm thay đổi tốc độ, quy mô và độ phức tạp khi áp dụng các biện pháp đó. Nhưng điều này không tự động khiến chúng mất hiệu lực.

Bằng chứng gợi mở một câu hỏi thiết thực hơn: trong những điều kiện nào có thể tin tưởng các hệ thống tự động thực thi quyền hạn được ủy thác, và làm thế nào để chứng minh rằng các điều kiện đó đã được đáp ứng?

Chỉ riêng năng lực của mô hình không thể đưa ra câu trả lời.

Điều đó đòi hỏi các ranh giới về kiến trúc, trách nhiệm được phân định rõ ràng, cơ chế cấp quyền được thực thi độc lập, hoạt động giám sát phù hợp và bằng chứng cho thấy các biện pháp bảo vệ có hiệu quả trong những điều kiện thực tế.

Điều đó cũng đòi hỏi một tầm nhìn nhất quán nhưng không ngừng phát triển về an ninh và rủi ro.

Các nguyên tắc bảo mật cốt lõi không nhất thiết phải thay đổi mỗi khi xuất hiện một mô hình mới. Nhưng chúng ta phải liên tục xem xét lại các giả định về cách áp dụng những nguyên tắc đó khi năng lực, môi trường vận hành và quyền hạn được ủy thác không ngừng biến đổi.

Đó là mục đích của cách tiếp cận nghiêm cẩn theo hướng tấn công.

Không phải để chứng minh rằng các hệ thống AI sẽ thất bại, mà để tìm ra chúng có thể thất bại ở đâu, xác định hậu quả và kiểm chứng các biện pháp kiểm soát nhằm ngăn chặn hoặc hạn chế những thất bại đó.

Có lẽ lợi thế bền vững hơn không chỉ nằm ở việc chọn một mô hình có năng lực cao hơn, mà còn ở việc xây dựng một kiến trúc cho phép thay đổi mô hình mà không làm tổn hại đến các ranh giới về niềm tin, quyền hạn và khả năng xác minh.

Cuộc chơi mèo vờn chuột vẫn tiếp diễn. Ngày càng có nhiều khả năng cả hai phía đều sẽ có các tác nhân tự hành.

Điều cốt yếu là bảo đảm khả năng tìm ra điểm yếu, khắc phục chúng và chứng minh kết quả của chúng ta không bị đánh mất trong cuộc đua tự động hóa mọi thứ khác.

Niềm tin phải dựa trên bằng chứng.

Ghi chú của tác giả: Những quan điểm và cách diễn giải được nêu trong bài viết này là của riêng tôi và không nhất thiết phản ánh lập trường, chính sách hoặc năng lực sản phẩm chính thức của công ty tôi.