Sandy Dunn, CISO tại SPLX – Loạt Phỏng Vấn

Sandy Dunn, CISO tại SPLX là một chuyên gia CISO kỳ cựu với hơn 20 năm kinh nghiệm trong lĩnh vực chăm sóc sức khỏe và các công ty khởi nghiệp, cung cấp tư vấn CISO thông qua QuarkIQ. Cô lãnh đạo danh sách kiểm tra bảo mật và quản trị OWASP Top 10 cho ứng dụng LLM và đóng góp cho OWASP AI Exchange, OWASP Top 10 cho LLM và Hiệp hội bảo mật đám mây. Là giáo sư phụ trợ về An ninh mạng tại Đại học Boise State, cô cũng là một diễn giả, cố vấn và thành viên hội đồng quản trị thường xuyên của Viện An ninh mạng lan tỏa Boise State. Sandy sở hữu bằng thạc sĩ về quản lý bảo mật thông tin từ SANS và nhiều chứng chỉ, bao gồm CISSP, nhiều chứng chỉ GIAC của SANS, Security+, ISTQB và FAIR.

SPLX là một công ty bảo mật cung cấp bảo vệ từ đầu đến cuối cho các hệ thống AI thông qua kiểm tra đỏ tự động, bảo vệ thời gian chạy, quản trị, khắc phục, kiểm tra mối đe dọa và bảo mật mô hình. Nền tảng của công ty này chạy hàng nghìn mô phỏng đối thủ trong dưới một giờ để xác định các điểm yếu, làm cứng các lời nhắc hệ thống trước khi triển khai và bao gồm Agentic Radar, một công cụ mã nguồn mở để lập bản đồ và phân tích rủi ro trong các công việc AI đa tác nhân.

Điều gì đầu tiên thu hút bạn đến giao điểm của AI và bảo mật, và con đường đó đã dẫn bạn đến vai trò tại SPLX và tham gia với OWASP?

AI đã là một phần của các cuộc trò chuyện về bảo mật trong nhiều năm trước khi ChatGPT, nhưng nó thường cảm thấy như nó chưa đáp ứng được kỳ vọng. Vì vậy, khi nó được ra mắt, tôi dự đoán sẽ cảm thấy thất vọng nhưng thay vào đó tôi có phản ứng ngược lại. Khi tôi lần đầu tiên sử dụng ChatGPT, tôi bị ngạc nhiên bởi những gì nó có thể làm và sợ hãi bởi nó có thể bị vũ khí hóa cho các cuộc tấn công đối thủ hoặc lạm dụng quyền riêng tư. Khoảnh khắc đó đã thắp sáng một ngọn lửa. Tôi đã lao vào LLMs một cách đầy tham vọng, đọc mọi bài nghiên cứu tôi có thể tìm thấy, tham gia mọi cộng đồng Slack và Discord liên quan, và chạy các thí nghiệm của riêng tôi. Tôi đã lặng lẽ theo dõi kênh OWASP Top 10 cho LLMs trong một thời gian, và khi danh sách đầu tiên được xuất bản, tôi biết đó là một cột mốc quan trọng. Nhưng với tư cách là một CISO, tôi cảm thấy các đội bảo mật cần thêm thông tin. Chúng tôi đã nói với mọi người về những gì họ nên lo lắng, nhưng không nói về những gì họ nên làm. Tôi đã tiếp cận Steve Wilson, người dẫn đầu dự án, về việc tạo một “Danh sách kiểm tra CISO bảo mật LLM.” Sau đó, nó đã trở thành dự án con đầu tiên của OWASP GenAI, điều này đã truyền cảm hứng cho nhiều dự án con khác.

Thông qua công việc đó, tôi đã gặp Kristian Kamber và Ante Gojsalic (các nhà sáng lập của SPLX), và cũng tư vấn cho nhiều công ty khởi nghiệp về bảo mật AI, một số trong đó có ý tưởng đầy hứa hẹn, một số ít hơn. Tại thời điểm đó, tôi là CISO tại một công ty chatbot B2B, tạo ra một cuốn sổ tay kiểm tra đối thủ AI rộng lớn. Khi tôi xem demo của SPLX, tôi ngay lập tức nhận ra họ đã giải quyết được vấn đề mà tôi đang vật lộn: làm thế nào để vận hành kiểm tra đối thủ. Khi SPLX cần một CISO, tôi đã tận dụng cơ hội để trở thành một phần của một công ty tuyệt vời với những người tuyệt vời đang giải quyết những thách thức quan trọng.

Là CISO tại SPLX, những kỹ thuật tấn công mới nhất bạn đang phát hiện, đặc biệt là liên quan đến AI tác nhân?

Do sự tinh tế của thiết kế hệ thống GenAI, không thể loại bỏ các điểm yếu và cuộc tấn công GenAI vũ khí hóa sự tự chủ và khả năng của tác nhân. Các cuộc tấn công Poisoning bộ nhớ như MINJA là một ví dụ gần đây về điều này. Với MINJA, kẻ tấn công có thể làm hỏng tinh vi các ngân hàng bộ nhớ của tác nhân thông qua các tương tác được tạo ra, cấy ghép “nhớ” có hại với các lời nhắc dẫn đến hành vi sai lệch hoặc nguy hiểm sau này. Một ví dụ khác là cuộc tấn công Phòng thu. Đây là nơi một kẻ thù tạo ra các vòng tròn hội thoại bằng cách gửi cho tác nhân các ngữ cảnh độc hại lặp đi lặp lại. Các nhà nghiên cứu đã có thể vượt qua các cơ chế an toàn bằng cách tăng cường các hướng dẫn có hại trong nhiều lượt.

Tiêm lệnh gián tiếp và chéo giữa các mô-đun cũng là một ví dụ. Các lệnh độc hại ẩn trong nội dung bên ngoài như hình ảnh hoặc tài liệu mà các tác nhân tiêu thụ. Các lệnh này có thể chiếm quyền quyết định tự chủ mà không có đầu vào trực tiếp từ người dùng.

Các cuộc tấn công hệ thống sinh thái tác nhân AI tinh vi như ngộ độc công cụ đòi hỏi phải xem xét kỹ lưỡng toàn bộ chuỗi cung ứng cho việc triển khai tác nhân AI. Kẻ tấn công tạo ra các công cụ dường như hợp pháp cho các nền tảng tác nhân nhưng nhúng các lệnh độc hại vào trong mô tả và tài liệu công cụ. Khi các tác nhân tải các công cụ này, các lệnh nhúng trở thành một phần của ngữ cảnh của tác nhân, cho phép thực hiện các hành động không được ủy quyền như xuất dữ liệu hoặc thỏa hiệp hệ thống.

Làm thế nào nền tảng SPLX giúp các tổ chức phát hiện và phản ứng với các mối đe dọa cụ thể của LLM như tiêm lệnh hoặc tấn công jailbreak?

SPLX là một nền tảng bảo mật từ đầu đến cuối bảo vệ các ứng dụng và hệ thống đa tác nhân được hỗ trợ bởi LLM trên toàn bộ vòng đời AI, từ phát triển đến triển khai đến hoạt động thời gian thực. Bảo vệ thời gian chạy AI của chúng tôi được thiết kế để ngăn chặn những mối đe dọa này khi chúng xảy ra bằng cách liên tục giám sát và lọc đầu vào và đầu ra. Nó hoạt động như một tường lửa thời gian thực cho AI và áp dụng các ranh giới hành vi nghiêm ngặt cho AI. Động cơ phát hiện động của SPLX đánh dấu hoạt động độc hại trong thời gian thực, đảm bảo các hệ thống AI phản ứng an toàn và ở trong ranh giới dự kiến.

Cập nhật OWASP GenAI Security Top 10 mở rộng các rủi ro chính như rò rỉ lời nhắc hệ thống và lỗ hổng vector-cơ sở dữ liệu. Những mối đe dọa mới này phản ánh thế giới đối thủ đang phát triển như thế nào?

Cập nhật OWASP Top 10 năm 2025 phản ánh sự hiểu biết ngày càng tăng về cách LLM và công nghệ AI tạo ra được sử dụng trong các kịch bản thế giới thực. Điều quan trọng là phải chỉ ra rằng có nhiều hơn mười mối đe dọa LLM, nhưng mục tiêu là xác định mười mối đe dọa hàng đầu. Những thay đổi lớn là LLM07 Thiết kế Plugin không an toàn được bao gồm trong Chuỗi cung ứng và LLM010 Trộm cắp mô hình được bao gồm trong Tiêu dùng không giới hạn cho danh sách năm 2025, điều này đã tạo ra không gian để thêm:

1. Rò rỉ lời nhắc hệ thống xác định mối đe dọa của việc lộ lời nhắc hệ thống có thể tiết lộ các rào cản, luồng logic hoặc thậm chí là bí mật nhúng trong lời nhắc LLM.

2. Lỗ hổng vector-cơ sở dữ liệu đánh dấu các vấn đề bảo mật tiềm ẩn trong các hệ thống RAG như rò rỉ dữ liệu giữa các thuê bao, đảo ngược nhúng hoặc các tài liệu bị nhiễm độc có thể xuất hiện các đầu ra nguy hiểm sau này.

3. Cập nhật cho thấy các cuộc tấn công tập trung vào AI đã phát triển từ các cuộc tấn công lời nhắc cơ hội được tạo ra sang các cuộc tấn công tinh vi nhắm vào toàn bộ chuỗi cung ứng AI. Các cuộc tấn công hiện đại thể hiện tư duy chiến lược về toàn bộ hệ thống AI, tập trung vào sự bền bỉ, quy mô và tác động hệ thống hơn là các cuộc khai thác một lần.

Sự mở rộng về các kiến trúc tác nhân thừa nhận một sự phát triển quan trọng khác. Khi các hệ thống AI có được sự tự chủ và khả năng ra quyết định lớn hơn, hậu quả của các thất bại bảo mật tăng lên theo cấp số nhân. Giảm sự giám sát của con người, trong khi cho phép các ứng dụng mạnh mẽ hơn, có một hiệu ứng nhân lên làm tăng tác động của các cuộc tấn công thành công.

Theo quan điểm của bạn, những điểm yếu thường bị bỏ qua nhất trong các doanh nghiệp triển khai AI tác nhân hiện nay là gì?

Vấn đề thường bị bỏ qua nhất là thách thức tương tự mà chúng ta phải đối mặt với các triển khai phần mềm và hệ thống truyền thống, nguyên tắc đặc quyền tối thiểu. Chúng ta vẫn đang vật lộn với đặc quyền tối thiểu với người dùng và tài khoản dịch vụ và hiện nay các tổ chức phải đối mặt với một thách thức mới trong việc quản lý danh tính không phải của con người (NIH). Người ta đang triển khai các tác nhân trong khi danh tính và truy cập của tác nhân vẫn chưa được hiểu đầy đủ hoặc giải quyết. Chúng ta thấy các tác nhân được cấp các quyền rộng rãi để đọc tài liệu, truy cập API bên ngoài và thậm chí sửa đổi hệ thống. Đây không phải là một lỗi kỹ thuật trong mô hình bản thân, mà là một sai lầm kiến trúc cơ bản. Một tác nhân bị xâm phạm với đặc quyền quá mức có thể gây ra sự tàn phá, từ xuất dữ liệu lớn đến khởi xướng giao dịch tài chính.

Một vấn đề khác thường bị bỏ qua hoặc bị忽视 là mối quan hệ “tin cậy” giữa các tác nhân. Trong các hệ thống tác nhân, các tác nhân thường được thiết kế để giao tiếp và hợp tác với nhau. Chúng ta đang thấy một lớp tấn công mới nơi một tác nhân bị xâm phạm có thể giả mạo một tác nhân hợp pháp, về cơ bản trở thành một “Tác nhân-trong-giữa.” Nó giống như một con ngựa thành Troy nhưng ở cấp độ kiến trúc.

Bạn có thể hướng dẫn chúng tôi qua các bước có thể thực hiện được mà các đội bảo mật doanh nghiệp nên thực hiện khi triển khai các công cụ AI tác nhân trong môi trường sản xuất?

1. Bắt đầu với kế hoạch phản ứng sự cố. Ngày tồi tệ nhất sẽ trông như thế nào, sau đó làm việc ngược lại để đảm bảo các kiểm soát bảo mật và khả năng hiển thị được đặt đúng chỗ. Khi một sự cố AI xảy ra, trung tâm vận hành bảo mật của bạn cần một cuốn sách chơi. Ai sẽ được thông báo? Làm thế nào để cô lập một tác nhân bị xâm phạm? Quá trình để quay lại trạng thái tốt biết là gì? Có một kế hoạch trước khi khủng hoảng xảy ra là điều quan trọng.

2. Kiểm kê bề mặt tấn công và đánh giá mối đe dọa. Bạn không thể bảo mật những gì bạn không biết mình có. Bước đầu tiên là có một danh mục đầy đủ tất cả các tác nhân AI, công cụ đang sử dụng và quyền truy cập dữ liệu. Dữ liệu nào nó chạm vào? Quyền gì nó có? Tác động tiềm tàng nếu nó bị xâm phạm là gì? Ưu tiên các mối đe dọa có tác động cao và có khả năng xảy ra nhất. Sau đó, hãy có một cuộc trò chuyện trung thực với đội ngũ điều hành về khẩu vị rủi ro. Lợi ích của hoạt động AI tăng tốc là các CISO, sĩ quan rủi ro, nhóm pháp lý và lãnh đạo điều hành sẽ bị buộc phải có một cuộc trò chuyện thực sự về mục tiêu kinh doanh, khẩu vị rủi ro và ngân sách bảo mật. Lịch sử đã có một kỳ vọng về không có sự cố với ngân sách tối thiểu. Các CISO đã (chủ yếu) tránh được một sự cố lớn bằng cách thực hiện bảo mật vừa đủ để khiến tổ chức của họ trở thành mục tiêu ít hấp dẫn hơn so với tổ chức có bảo mật ít hơn. Các đối thủ được AI hỗ trợ làm cho chiến lược đó trở nên không thực tế bây giờ.

3. Thực hiện các rào cản, đặc quyền tối thiểu và công cụ giám sát. Phạm vi là quan trọng cho bất kỳ triển khai tác nhân nào. Định nghĩa mục đích của một tác nhân, ranh giới của nó và quyền của nó. Đừng cấp cho một tác nhân quyền truy cập vào toàn bộ thư viện SharePoint của bạn nếu nó chỉ cần một thư mục. Thực hiện các kiểm soát hạn chế những gì API nó có thể gọi và những hành động nó có thể thực hiện. Hãy nghĩ về nó như một sinh viên thực tập thông minh mới, nhưng say rượu. Bạn nhận ra họ có khả năng tuyệt vời, nhưng bạn sẽ không tin tưởng họ. Bạn sẽ hạn chế những gì họ có thể làm trong công ty, bạn sẽ không cấp cho họ quyền truy cập vào bất cứ điều gì quan trọng, bạn sẽ giám sát những gì họ làm và bạn có thể có hệ thống cảnh báo nếu họ cố gắng làm điều gì đó họ tuyệt đối không nên làm như truy cập văn phòng của CEO.

4. Thực hiện một ngăn xếp bảo mật AI cụ thể hợp nhất với ngăn xếp bảo mật truyền thống của bạn. Các công cụ bảo mật truyền thống không được thiết kế cho các hệ thống GenAI hoặc hệ thống tác nhân. Bạn cần triển khai các công cụ được thiết kế cho các vấn đề duy nhất của GenAI như xác thực lời nhắc, làm sạch đầu ra và giám sát liên tục hành vi của tác nhân. Các công cụ này cần có khả năng phát hiện các cuộc tấn công tinh vi, dựa trên ngữ nghĩa cụ thể của GenAI và hệ thống tác nhân.

5. Tích hợp kiểm tra đỏ AI vào đường ống CI/CD. Bạn cần liên tục kiểm tra các tác nhân của mình về các điểm yếu dựa trên tầm quan trọng của các thay đổi và khẩu vị rủi ro của tổ chức. Cập nhật GPT-5 gần đây là một ví dụ về cách các thay đổi phá vỡ có thể ảnh hưởng đến các công việc tác nhân. Hãy làm cho kiểm tra đỏ tự động trở thành một phần cốt lõi của chu kỳ phát triển của bạn. Điều này giúp bạn xác định các vấn đề khi bạn cập nhật và thay đổi các tác nhân của mình.

Làm thế nào các tổ chức nên kết hợp kiểm tra đỏ tự động, CIAM, quản trị RAG và giám sát vào chiến lược quản lý rủi ro GenAI của họ?

Chìa khóa là tích hợp chứ không phải đối xử với chúng như các sáng kiến riêng biệt. Chiến lược quản lý rủi ro GenAI của bạn cần là một khuôn khổ hợp lý nơi mỗi thành phần củng cố cho nhau.

Bắt đầu với kiểm tra đỏ tự động như một nền tảng. Điều quan trọng là phải có kiểm tra đối thủ liên tục phát triển với cảnh quan mối đe dọa. Nền tảng SPLX mô phỏng hàng nghìn kịch bản tấn công trên các loại rủi ro khác nhau, kiểm tra tiêm lệnh, jailbreak, thao túng ngữ cảnh và ngộ độc công cụ. Khía cạnh quan trọng là làm cho điều này trở thành một phần của đường ống CI/CD của bạn để mọi cập nhật tác nhân đều được xác thực bảo mật trước khi triển khai.

CIAM cho các hệ thống AI đòi hỏi phải suy nghĩ lại các mô hình danh tính truyền thống. Các tác nhân AI cần các quyền hạn chế có thể được điều chỉnh động dựa trên ngữ cảnh và mức độ rủi ro. Thực hiện kiểm soát truy cập dựa trên thuộc tính xem xét không chỉ danh tính của tác nhân, mà còn dữ liệu nó đang xử lý, các công cụ nó đang yêu cầu quyền truy cập và ngữ cảnh mối đe dọa.

Quản trị RAG đặc biệt quan trọng. Thiết lập theo dõi dòng dữ liệu cho tất cả nội dung được tiêu thụ vào các cửa hàng vector. Thực hiện các đường ống xác thực nội dung có thể phát hiện các ví dụ đối thủ hoặc các lệnh độc hại nhúng trong tài liệu.

Đối với giám sát, bạn cần telemetry thu thập cả chỉ số kỹ thuật và hành vi. Giám sát kỹ thuật bao gồm phân tích đầu vào/đầu ra, mẫu gọi API và tiêu thụ tài nguyên. Giám sát hành vi tập trung vào chất lượng quyết định, mẫu hoàn thành nhiệm vụ và ngữ cảnh tương tác có thể chỉ ra sự xâm phạm.

Tích hợp là quan trọng. Kết quả kiểm tra đỏ nên thông báo cho các chính sách CIAM, hệ thống giám sát nên cung cấp thông tin trở lại các quy trình quản trị RAG và tất cả những điều này cần được phối hợp thông qua một nền tảng quản lý rủi ro doanh nghiệp tập trung có thể tương quan tín hiệu trên tất cả các lĩnh vực này.

Với các vi phạm liên quan đến AI vẫn còn trong giai đoạn đầu nhưng sẵn sàng tăng trưởng, những xu hướng nào mà các nhà lãnh đạo bảo mật nên chuẩn bị trong 12 đến 18 tháng tới?

Tôi dự đoán sẽ có một sự gia tăng đáng kể trong các cuộc tấn công chuỗi cung ứng nhắm vào mọi thứ, bao gồm cả cơ sở hạ tầng AI. Các cuộc tấn công chuỗi cung ứng AI làm nhiễm độc các tập dữ liệu đào tạo, thỏa hiệp các kho lưu trữ mô hình hoặc nhúng mã độc vào các依赖 phần mềm để có được quyền truy cập liên tục vào các hệ thống AI.

Đã có một sự gia tăng trong kỹ thuật xã hội tự động như các sự kiện vishing giả mạo sâu, nhưng sự tiến hóa hướng đến việc tạo ra hoàn toàn tự động là điều khiến tôi quan tâm nhất. Các tác nhân AI xử lý các chiến dịch kỹ thuật xã hội hoàn chỉnh trên nhiều nền tảng cùng một lúc, mỗi chiến dịch được tùy chỉnh cho các mục tiêu và ngữ cảnh cụ thể, tạo ra một hiệu ứng nhân lên mà các biện pháp phòng thủ truyền thống không chuẩn bị.

Tôi tin rằng chúng ta sẽ thấy sự trỗi dậy của các cuộc tấn công bản địa AI hoạt động ở tốc độ máy. Các công cụ bảo mật truyền thống và các nhà phân tích con người không thể theo kịp một kẻ tấn công có thể thực hiện các khai thác phức tạp, nhiều giai đoạn trong vài mili giây.

Làm thế nào bạn dự đoán các khuôn khổ quản lý và tuân thủ sẽ phát triển để đáp ứng với các rủi ro tạo ra bởi AI?

Tôi dự đoán sẽ có một sự thay đổi lớn trong các khuôn khổ quản lý, nhằm cân bằng giữa đổi mới và tập trung vào trách nhiệm, minh bạch, các phương pháp phát triển bảo mật và bảo mật chuỗi cung ứng.

Tôi dự đoán sẽ có một sự tập trung vào nguồn gốc và tính toàn vẹn của dữ liệu. Các cơ quan quản lý sẽ muốn biết dữ liệu được sử dụng để đào tạo và tăng cường các mô hình AI đến từ đâu. Họ sẽ muốn xem bằng chứng rằng dữ liệu đã được làm sạch, rằng nó không chứa thông tin nhạy cảm và rằng nó không bị nhiễm độc.

Cuối cùng, tôi nghĩ rằng chúng ta sẽ thấy các quy định cụ thể theo ngành. Các rủi ro đối với một tổ chức tài chính sử dụng một tác nhân AI để xử lý giao dịch khác với những rủi ro của một công ty chăm sóc sức khỏe sử dụng một tác nhân để chẩn đoán.

Các cơ quan quản lý sẽ bắt đầu xác định các tiêu chuẩn cụ thể cho các ngành quan trọng, yêu cầu các điều như kiểm tra đỏ tự động, giám sát của con người và kiểm toán nghiêm ngặt cho các hệ thống AI có thể có hậu quả sinh tử.

Là một giáo sư phụ trợ và thành viên hội đồng quản trị tại Viện An ninh mạng lan tỏa Boise State, bạn đang chuẩn bị thế hệ tiếp theo của các chuyên gia bảo mật AI như thế nào, và những kỹ năng nào bạn coi là quan trọng nhất trong cảnh quan đang phát triển ngày nay?

Tư duy phản biện và giải quyết vấn đề vẫn là những kỹ năng quan trọng nhất mà sinh viên cần cho một sự nghiệp tuyệt vời trong bảo mật. Tuy nhiên, các kỹ năng như tâm lý học con người và ngôn ngữ, trước đây chỉ được tìm thấy trong các đội tình báo mối đe dọa mạng, là những kỹ năng sẽ mang lại lợi ích cho nhiều vai trò bảo mật khác nhau trong tương lai AI.

Kỹ năng của con người và giao tiếp cũng quan trọng. Bảo mật không chỉ là hệ thống CNTT, mà là về con người, giúp một doanh nghiệp đạt được mục tiêu kinh doanh của mình và có khả năng dịch và giao tiếp các rủi ro kỹ thuật phức tạp cho các bên liên quan phi kỹ thuật để họ có thể đưa ra quyết định đúng cho công ty. Tương lai của bảo mật sẽ phụ thuộc vào các chuyên gia không chỉ thông minh về mặt kỹ thuật mà còn có nền tảng và kỹ năng giao tiếp.

Cuối cùng, cảnh quan bảo mật AI đang phát triển nhanh chóng, vì vậy điều quan trọng là phải có khả năng học hỏi và thích nghi nhanh chóng.

Cảm ơn vì cuộc phỏng vấn tuyệt vời và cái nhìn sâu sắc chi tiết, những người đọc muốn tìm hiểu thêm nên truy cập SPLX.