Sandy Dunn, CISO tại SPLX – Loạt phỏng vấn

Sandy Dunn, CISO tại SPLX là một chuyên gia CISO kỳ cựu với hơn 20 năm kinh nghiệm trong lĩnh vực chăm sóc sức khỏe và các công ty khởi nghiệp, cung cấp tư vấn CISO thông qua QuarkIQ. Cô lãnh đạo danh sách kiểm tra an ninh mạng OWASP Top 10 cho ứng dụng LLM và đóng góp cho OWASP AI Exchange, OWASP Top 10 cho LLM và Hiệp hội An ninh Đám mây. Là Giáo sư phụ tá về An ninh mạng tại Đại học Boise, cô cũng là một diễn giả, cố vấn và thành viên hội đồng quản trị của Viện An ninh mạng Pervasive tại Boise State. Sandy sở hữu bằng thạc sĩ về quản lý an ninh thông tin từ SANS và nhiều chứng chỉ, bao gồm CISSP, nhiều chứng chỉ SANS GIAC, Security+, ISTQB và FAIR.

SPLX là một công ty an ninh mạng cung cấp bảo vệ từ đầu đến cuối cho các hệ thống AI thông qua kiểm tra đỏ tự động, bảo vệ thời gian chạy, quản lý, khắc phục, kiểm tra mối đe dọa và bảo mật mô hình. Nền tảng của công ty này chạy hàng nghìn mô phỏng đối thủ trong dưới một giờ để xác định các điểm yếu, làm cứng các lệnh trước khi triển khai và bao gồm Agentic Radar, một công cụ mã nguồn mở để ánh xạ và phân tích rủi ro trong các quy trình làm việc AI đa tác nhân.

Điều gì đầu tiên吸引 bạn đến sự giao nhau của AI và an ninh mạng, và con đường đó dẫn bạn đến vai trò của mình tại SPLX và tham gia với OWASP?

AI đã là một phần của các cuộc trò chuyện về an ninh mạng trong nhiều năm trước khi ChatGPT, nhưng nó thường cảm thấy như nó chưa đáp ứng được kỳ vọng. Vì vậy, khi nó được ra mắt, tôi dự kiến sẽ cảm thấy thất vọng nhưng thay vào đó, tôi có phản ứng ngược lại. Khi tôi lần đầu tiên sử dụng ChatGPT, tôi cảm thấy cả kinh ngạc về những gì nó có thể làm và sợ hãi về việc nó có thể bị vũ khí hóa cho các cuộc tấn công đối thủ hoặc lạm dụng quyền riêng tư. Khoảnh khắc đó đã thắp sáng một ngọn lửa. Tôi đã lao vào LLMs một cách đầy tham vọng, đọc mọi bài báo nghiên cứu tôi có thể tìm thấy, tham gia mọi cộng đồng Slack và Discord liên quan, và chạy các thí nghiệm của riêng mình. Tôi đã tham gia kênh OWASP Top 10 cho LLMs, và khi danh sách đầu tiên được xuất bản, tôi biết đó là một cột mốc quan trọng. Nhưng với tư cách là một CISO, tôi cảm thấy các đội an ninh mạng cần thêm thông tin. Chúng tôi đã nói với mọi người về những gì họ nên lo lắng, nhưng không nói về những gì họ nên làm. Tôi đã tiếp cận Steve Wilson, người đứng đầu dự án, về việc tạo ra một “Danh sách kiểm tra an ninh mạng LLM cho CISO”. Sau đó, nó đã trở thành dự án con đầu tiên của OWASP GenAI, điều này đã truyền cảm hứng cho nhiều dự án con khác.

Thông qua công việc đó, tôi đã gặp Kristian Kamber và Ante Gojsalic (những người sáng lập SPLX), và cũng tư vấn cho nhiều công ty khởi nghiệp về an ninh mạng AI, một số trong đó có ý tưởng đầy hứa hẹn, một số ít hơn. Tại thời điểm đó, tôi là CISO tại một công ty chatbot B2B, tạo ra một cuốn sách hướng dẫn kiểm tra đối thủ AI toàn diện. Khi tôi xem demo của SPLX, tôi ngay lập tức nhận ra họ đã giải quyết được vấn đề mà tôi đang vật lộn: làm thế nào để vận hành kiểm tra đối thủ. Khi SPLX cần một CISO, tôi đã nhảy vào cơ hội được trở thành một phần của một công ty tuyệt vời với những người tuyệt vời đang giải quyết các thách thức quan trọng.

Là CISO tại SPLX, những kỹ thuật tấn công mới nào bạn đang phát hiện, đặc biệt là liên quan đến AI tác nhân?

Do sự tinh tế của thiết kế hệ thống GenAI, không thể loại bỏ các điểm yếu và tấn công GenAI vũ khí hóa sự tự chủ và khả năng của tác nhân. Poisoning bộ nhớ là một ví dụ gần đây về điều này. Với Poisoning, kẻ tấn công có thể làm hỏng tinh tế bộ nhớ của tác nhân thông qua các tương tác được tạo ra, cấy ghép những “kỷ niệm” có hại với các lệnh nhắc tới, dẫn đến hành vi nguy hiểm hoặc lừa đảo sau này. Một ví dụ khác là cuộc tấn công Phòng thu. Đây là nơi một đối thủ tạo ra các vòng lặp trò chuyện bằng cách gửi cho tác nhân các ngữ cảnh độc hại lặp đi lặp lại. Các nhà nghiên cứu đã có thể vượt qua các cơ chế an toàn bằng cách tăng cường các lệnh độc hại qua nhiều lượt.

Đầu vào lệnh gián tiếp và chéo là một ví dụ khác. Các lệnh độc hại ẩn trong nội dung bên ngoài như hình ảnh hoặc tài liệu mà các tác nhân tiêu thụ. Những lệnh này có thể chiếm đoạt các quyết định tự chủ mà không cần đầu vào trực tiếp từ người dùng.

Các cuộc tấn công hệ sinh thái tác nhân AI tinh vi như đầu vào công cụ đòi hỏi phải xem xét cẩn thận toàn bộ chuỗi cung ứng cho các triển khai tác nhân AI. Các kẻ tấn công tạo ra các công cụ dường như hợp pháp cho các nền tảng tác nhân nhưng nhúng các lệnh độc hại trong mô tả và tài liệu công cụ. Khi các tác nhân tải các công cụ này, các lệnh nhúng trở thành một phần của ngữ cảnh của tác nhân, cho phép thực hiện các hành động không được ủy quyền như xuất dữ liệu hoặc thỏa hiệp hệ thống.

Làm thế nào nền tảng SPLX giúp các tổ chức phát hiện và phản ứng với các mối đe dọa cụ thể của LLM như đầu vào lệnh hoặc tấn công jailbreak?

SPLX là một nền tảng an ninh mạng từ đầu đến cuối bảo vệ các ứng dụng và hệ thống đa tác nhân được cung cấp bởi LLM trên toàn bộ vòng đời AI, từ phát triển đến triển khai đến hoạt động thời gian thực. Bảo vệ thời gian chạy AI của chúng tôi được thiết kế để ngăn chặn các mối đe dọa này khi chúng xảy ra bằng cách liên tục giám sát và lọc đầu vào và đầu ra. Nó hoạt động như một tường lửa thời gian thực cho AI và áp dụng các ranh giới hành vi nghiêm ngặt cho AI. Động cơ phát hiện của SPLX đánh dấu hoạt động độc hại trong thời gian thực, đảm bảo các hệ thống AI phản ứng an toàn và ở trong ranh giới dự kiến.

Cập nhật OWASP GenAI Security Top 10 mở rộng các rủi ro chính như rò rỉ hệ thống-prompt và các điểm yếu vector-cơ sở dữ liệu. Những mối đe dọa mới này phản ánh thế trận đối thủ đang phát triển như thế nào?

Cập nhật OWASP Top 10 năm 2025 phản ánh sự hiểu biết ngày càng tăng về cách các công nghệ AI tạo sinh và LLM được sử dụng trong các kịch bản thế giới thực. Điều quan trọng cần lưu ý là có nhiều hơn mười mối đe dọa LLM, nhưng mục tiêu là xác định mười mối đe dọa hàng đầu. Những thay đổi lớn là LLM07 Thiết kế plugin không an toàn được bao gồm trong chuỗi cung ứng và LLM010 Mô hình bị đánh cắp được bao gồm trong Tiêu thụ không giới hạn cho danh sách năm 2025, điều này đã tạo ra không gian để thêm:

1. Rò rỉ hệ thống-prompt xác định mối đe dọa của việc lộ prompt hệ thống có thể tiết lộ các rào cản, luồng logic hoặc thậm chí các bí mật nhúng trong các lệnh nhắc LLM.

2. Các điểm yếu vector-cơ sở dữ liệu đánh dấu các vấn đề an ninh tiềm ẩn trong các hệ thống RAG như rò rỉ dữ liệu giữa các khách hàng, đảo ngược nhúng hoặc các tài liệu bị đầu độc sau đó xuất hiện các đầu ra nguy hiểm.

3. Các cập nhật cho thấy các cuộc tấn công AI tập trung đã tiến hóa từ các cuộc tấn công cơ hội được tạo ra đến các cuộc tấn công tinh vi nhắm vào toàn bộ chuỗi cung ứng AI. Các cuộc tấn công hiện đại thể hiện sự suy nghĩ chiến lược về toàn bộ hệ thống AI, tập trung vào sự tồn tại, quy mô và tác động hệ thống hơn là các khai thác một lần.

Sự mở rộng về các kiến trúc tác nhân thừa nhận một sự phát triển quan trọng khác. Khi các hệ thống AI có được sự tự chủ và khả năng ra quyết định lớn hơn, các hậu quả của các thất bại an ninh nhân lên theo cấp số nhân. Giảm sự giám sát của con người, trong khi cho phép các ứng dụng mạnh mẽ hơn, có một hiệu ứng nhân lên làm tăng tác động của các cuộc tấn công thành công.

Theo bạn, những điểm yếu dễ bị tấn công nhất trong các doanh nghiệp triển khai AI tác nhân hiện nay là gì?

Vấn đề thường bị bỏ qua nhất là cùng một thách thức chúng ta đối mặt với phần mềm và triển khai hệ thống truyền thống, nguyên tắc đặc quyền tối thiểu. Chúng ta vẫn đang vật lộn với đặc quyền tối thiểu với người dùng và tài khoản dịch vụ, và bây giờ các tổ chức phải đối mặt với một thách thức mới trong việc quản lý danh tính không phải của con người (NIH). Người ta đang triển khai các tác nhân trong khi danh tính và truy cập của tác nhân vẫn chưa được hiểu đầy đủ hoặc giải quyết. Chúng ta thấy các tác nhân được cấp các đặc quyền rộng rãi để đọc tài liệu, truy cập API bên ngoài và thậm chí sửa đổi hệ thống. Đây không phải là một lỗi kỹ thuật trong mô hình chính nó, mà là một sai lầm kiến trúc cơ bản. Một tác nhân bị xâm phạm với đặc quyền quá mức có thể gây ra sự tàn phá, từ việc xuất dữ liệu hàng loạt đến khởi xướng các giao dịch tài chính.

Một vấn đề khác thường bị bỏ qua hoặc bỏ qua là mối quan hệ “tin cậy” giữa các tác nhân. Trong các hệ thống tác nhân, các tác nhân thường được thiết kế để giao tiếp và hợp tác với nhau. Chúng ta đang thấy một lớp tấn công mới nơi một tác nhân bị xâm phạm có thể giả mạo một tác nhân hợp pháp, về cơ bản trở thành một “Tác nhân-trong-giữa”. Nó giống như một con ngựa thành Troy nhưng ở cấp độ kiến trúc.

Bạn có thể hướng dẫn chúng tôi qua các bước có thể thực hiện được mà các đội an ninh mạng doanh nghiệp nên thực hiện khi triển khai các công cụ AI tác nhân trong môi trường sản xuất không?

1. Bắt đầu với các kế hoạch phản ứng sự cố. Điều gì xảy ra trong ngày tồi tệ nhất, sau đó làm việc ngược lại để đảm bảo các biện pháp an ninh và khả năng hiển thị được đặt đúng chỗ. Khi một sự cố AI xảy ra, trung tâm vận hành an ninh của bạn cần một cuốn sách hướng dẫn. Ai được thông báo? Làm thế nào để cô lập một tác nhân bị xâm phạm? Quá trình để quay lại trạng thái tốt biết là gì? Có một kế hoạch trước khi khủng hoảng xảy ra là rất quan trọng.

2. Kiểm kê bề mặt tấn công và đánh giá mối đe dọa. Bạn không thể bảo mật những gì bạn không biết mình có. Bước đầu tiên là có một danh sách đầy đủ tất cả các tác nhân AI, công cụ đang sử dụng và truy cập dữ liệu. Dữ liệu nào nó chạm vào? Các đặc quyền nào nó có? Tác động tiềm ẩn nếu nó bị xâm phạm là gì? Ưu tiên dựa trên các mối đe dọa có tác động cao và có khả năng xảy ra nhất. Sau đó, hãy có một cuộc trò chuyện trung thực với đội ngũ điều hành về khẩu vị rủi ro. Một lợi ích của hoạt động AI tăng tốc là các CISO, các sĩ quan rủi ro, các nhóm pháp lý và lãnh đạo điều hành sẽ bị buộc phải có một cuộc trò chuyện thực sự về các mục tiêu kinh doanh, khẩu vị rủi ro và ngân sách an ninh. Lịch sử có một kỳ vọng không có sự cố với ngân sách tối thiểu. Các CISO đã (phần lớn) có thể tránh một sự cố lớn bằng cách thực hiện đủ an ninh để làm cho tổ chức của họ trở thành mục tiêu ít hấp dẫn hơn so với tổ chức có ít an ninh hơn. Các đối thủ được AI hỗ trợ làm cho chiến lược này trở nên không thực tế nữa.

3. Thực hiện các rào cản, đặc quyền tối thiểu và các công cụ giám sát. Phạm vi là quan trọng cho bất kỳ triển khai tác nhân nào. Xác định mục đích của tác nhân, ranh giới của nó và đặc quyền của nó. Đừng cấp cho một tác nhân quyền truy cập vào toàn bộ thư viện SharePoint của bạn nếu nó chỉ cần một thư mục. Thực hiện các biện pháp kiểm soát để hạn chế các API nó có thể gọi và các hành động nó có thể thực hiện. Hãy nghĩ về nó như một thực tập sinh mới, rất thông minh, nhưng say rượu. Bạn nhận ra họ có khả năng tuyệt vời, nhưng bạn sẽ không tin tưởng họ. Bạn sẽ hạn chế những gì họ có thể làm trong công ty, bạn sẽ không cấp cho họ quyền truy cập vào bất cứ điều gì quan trọng, bạn sẽ giám sát những gì họ làm và bạn có thể có hệ thống cảnh báo nếu họ cố gắng làm điều gì đó họ tuyệt đối không nên làm như truy cập văn phòng của CEO.

4. Thực hiện một ngăn xếp an ninh AI cụ thể hợp nhất với ngăn xếp an ninh truyền thống của bạn. Các công cụ an ninh truyền thống không được thiết kế cho các hệ thống GenAI hoặc hệ thống tác nhân. Bạn cần thực hiện các công cụ được thiết kế cho các vấn đề duy nhất của GenAI như xác thực lệnh nhắc, làm sạch đầu ra và giám sát liên tục hành vi của tác nhân. Những công cụ này cần có khả năng phát hiện các cuộc tấn công tinh vi, dựa trên ngữ nghĩa cụ thể của GenAI và hệ thống tác nhân.

5. Tích hợp kiểm tra đỏ AI vào đường ống CI/CD. Bạn cần liên tục kiểm tra các tác nhân của mình về các điểm yếu dựa trên tầm quan trọng của các thay đổi và khẩu vị rủi ro của tổ chức. Cập nhật GPT-5 gần đây là một ví dụ về cách các thay đổi phá vỡ có thể ảnh hưởng đến các quy trình làm việc của tác nhân. Hãy làm cho kiểm tra đỏ tự động trở thành một phần cốt lõi của chu kỳ phát triển của bạn. Điều này giúp bạn xác định các vấn đề khi bạn cập nhật và thay đổi các tác nhân của mình.

Làm thế nào các tổ chức nên kết hợp kiểm tra đỏ tự động, CIAM, quản lý RAG và giám sát vào chiến lược quản lý rủi ro GenAI của họ?

Chìa khóa là tích hợp chứ không phải đối xử với chúng như các sáng kiến riêng biệt. Chiến lược quản lý rủi ro GenAI của bạn cần là một khuôn khổ hợp lý nơi mỗi thành phần củng cố cho nhau.

Bắt đầu với kiểm tra đỏ tự động như một nền tảng. Điều quan trọng là phải có kiểm tra đối thủ liên tục mà phát triển cùng với cảnh quan mối đe dọa. Nền tảng SPLX mô phỏng hàng nghìn kịch bản tấn công trên các danh mục rủi ro khác nhau, kiểm tra việc tiêm lệnh nhắc, jailbreak, thao túng ngữ cảnh và đầu vào công cụ. Khía cạnh quan trọng là làm cho điều này trở thành một phần của đường ống CI/CD của bạn để mỗi bản cập nhật tác nhân được xác thực an ninh trước khi triển khai.

CIAM cho các hệ thống AI đòi hỏi phải suy nghĩ lại các mô hình danh tính truyền thống. Các tác nhân AI cần các đặc quyền hạt nhân có thể được điều chỉnh động dựa trên ngữ cảnh và mức độ rủi ro. Thực hiện kiểm soát truy cập dựa trên thuộc tính xem xét không chỉ danh tính của tác nhân mà còn dữ liệu nó đang xử lý, các công cụ nó yêu cầu truy cập và ngữ cảnh mối đe dọa.

Quản lý RAG đặc biệt quan trọng. Thiết lập theo dõi dòng dữ liệu cho tất cả nội dung được tiêu thụ vào các cửa hàng vector. Thực hiện các đường ống xác thực nội dung có thể phát hiện các ví dụ đối thủ hoặc các lệnh độc hại nhúng trong tài liệu.

Đối với giám sát, bạn cần telemetry có thể ghi lại cả chỉ số kỹ thuật và hành vi. Giám sát kỹ thuật bao gồm phân tích đầu vào/đầu ra, mẫu gọi API và tiêu thụ tài nguyên. Giám sát hành vi tập trung vào chất lượng quyết định, mẫu hoàn thành nhiệm vụ và ngữ cảnh tương tác có thể chỉ ra sự xâm phạm.

Tích hợp là quan trọng. Kết quả kiểm tra đỏ nên thông báo cho các chính sách CIAM, hệ thống giám sát nên cung cấp thông tin phản hồi cho các quy trình quản lý RAG, và tất cả những điều này cần được phối hợp thông qua một nền tảng quản lý rủi ro doanh nghiệp tập trung có thể tương quan các tín hiệu trên tất cả các lĩnh vực này.

Với các vi phạm liên quan đến AI vẫn còn trong giai đoạn đầu nhưng sẵn sàng tăng trưởng, những xu hướng nào mà các nhà lãnh đạo an ninh nên chuẩn bị trong 12 đến 18 tháng tới?

Tôi dự đoán sẽ thấy một sự gia tăng đáng kể trong các cuộc tấn công chuỗi cung ứng nhắm vào mọi thứ, bao gồm cả cơ sở hạ tầng AI. Các cuộc tấn công chuỗi cung ứng AI làm nhiễm độc các tập dữ liệu đào tạo, thỏa hiệp các kho lưu trữ mô hình hoặc tiêm mã độc vào các依赖 phần mềm để có được quyền truy cập liên tục vào các hệ thống AI.

Đã có một sự gia tăng trong kỹ thuật xã hội tự động như các sự kiện vishing giả mạo, nhưng sự tiến hóa hướng tới việc tạo ra hoàn toàn tự động là điều khiến tôi lo lắng nhất. Các tác nhân AI xử lý các chiến dịch kỹ thuật xã hội hoàn chỉnh trên nhiều nền tảng cùng một lúc, mỗi nền tảng được tùy chỉnh cho các mục tiêu và ngữ cảnh cụ thể, tạo ra một hiệu ứng nhân lên mà các biện pháp phòng thủ truyền thống không chuẩn bị.

Tôi tin rằng chúng ta sẽ thấy sự gia tăng của các cuộc tấn công bản địa AI hoạt động ở tốc độ máy. Các công cụ an ninh truyền thống và các nhà phân tích con người không thể theo kịp với một kẻ tấn công có thể thực hiện các khai thác phức tạp, nhiều giai đoạn trong vài mili giây.

Bạn dự đoán các khuôn khổ quy định và tuân thủ sẽ phát triển như thế nào để đáp ứng với các rủi ro của AI tạo sinh?

Tôi dự đoán sẽ có một sự thay đổi lớn trong các khuôn khổ quy định, nhằm cân bằng giữa đổi mới và tập trung vào trách nhiệm, minh bạch, các phương pháp phát triển an toàn và an ninh chuỗi cung ứng.

Tôi dự đoán sẽ thấy một sự tập trung vào nguồn gốc và tính toàn vẹn của dữ liệu. Các cơ quan quản lý sẽ muốn biết dữ liệu được sử dụng để đào tạo và tăng cường các mô hình AI đến từ đâu. Họ sẽ muốn thấy bằng chứng rằng dữ liệu đã được làm sạch, rằng nó không chứa thông tin nhạy cảm và rằng nó không bị nhiễm độc.

Cuối cùng, tôi nghĩ chúng ta sẽ thấy các quy định cụ thể cho từng ngành. Các rủi ro đối với một tổ chức tài chính sử dụng một tác nhân AI để xử lý giao dịch khác với các rủi ro đối với một công ty chăm sóc sức khỏe sử dụng một tác nhân cho chẩn đoán.

Các cơ quan quản lý sẽ bắt đầu xác định các tiêu chuẩn cụ thể cho các ngành quan trọng, yêu cầu các điều như kiểm tra đỏ tự động, giám sát của con người và kiểm toán nghiêm ngặt cho các hệ thống AI có thể có hậu quả sinh tử.

Là một giáo sư phụ tá và thành viên hội đồng quản trị tại Viện An ninh mạng Pervasive của Boise State, bạn đang chuẩn bị thế hệ tiếp theo của các chuyên gia an ninh AI như thế nào, và những kỹ năng nào bạn coi là quan trọng nhất trong cảnh quan đang phát triển ngày nay?

Sự suy nghĩ và giải quyết vấn đề quan trọng vẫn là những kỹ năng quan trọng nhất mà sinh viên cần cho một sự nghiệp tuyệt vời trong an ninh mạng, nhưng các kỹ năng như tâm lý học con người và ngôn ngữ, trước đây chỉ được tìm thấy trong các nhóm tình báo mối đe dọa mạng, là những kỹ năng sẽ mang lại lợi ích cho nhiều vai trò công việc an ninh mạng trong tương lai của AI.

Kỹ năng của con người và giao tiếp cũng quan trọng. An ninh mạng không chỉ là về các hệ thống CNTT, mà về việc giúp một doanh nghiệp đạt được các mục tiêu kinh doanh của mình và có khả năng dịch và truyền đạt các rủi ro kỹ thuật phức tạp cho các bên liên quan phi kỹ thuật để họ có thể đưa ra quyết định đúng đắn cho công ty. Tương lai của an ninh mạng sẽ phụ thuộc vào các chuyên gia không chỉ thông minh về mặt kỹ thuật mà còn có khả năng giao tiếp và truyền đạt thông tin.

Cuối cùng, cảnh quan an ninh AI đang phát triển rất nhanh, vì vậy sẽ rất quan trọng để có khả năng học hỏi và thích nghi nhanh chóng.

Cảm ơn vì cuộc phỏng vấn tuyệt vời và thông tin chi tiết, những người đọc muốn tìm hiểu thêm nên truy cập SPLX.