Tiến sĩ Peter Garraghan, CEO, CTO & Đồng sáng lập tại Mindgard – Chuỗi phỏng vấn

Tiến sĩ Peter Garraghan là CEO, CTO & đồng sáng lập tại Mindgard, công ty dẫn đầu trong lĩnh vực Kiểm tra An ninh Trí tuệ Nhân tạo. Được thành lập tại Đại học Lancaster và được hỗ trợ bởi nghiên cứu tiên tiến, Mindgard cho phép các tổ chức bảo mật hệ thống AI của họ khỏi các mối đe dọa mới mà các công cụ bảo mật ứng dụng truyền thống không thể giải quyết. Với tư cách là Giáo sư Khoa học Máy tính tại Đại học Lancaster, Peter là một chuyên gia được công nhận quốc tế trong lĩnh vực an ninh AI. Ông đã dành sự nghiệp của mình để phát triển các công nghệ tiên tiến để chống lại các mối đe dọa ngày càng tăng đối với AI. Với hơn 11,6 triệu euro tiền tài trợ nghiên cứu và hơn 60 bài báo khoa học được xuất bản, những đóng góp của ông bao gồm cả đổi mới khoa học và giải pháp thực tế.

Bạn có thể chia sẻ câu chuyện về sự thành lập của Mindgard không? Điều gì đã truyền cảm hứng cho bạn chuyển từ học thuật sang khởi nghiệp an ninh mạng?

Mindgard được sinh ra từ mong muốn biến những hiểu biết học thuật thành tác động thực tế. Với tư cách là một giáo sư chuyên về hệ thống máy tính, an ninh AI và học máy, tôi đã được thúc đẩy để theo đuổi khoa học tạo ra tác động lớn đối với cuộc sống của mọi người. Kể từ năm 2014, tôi đã nghiên cứu về AI và học máy, nhận ra tiềm năng của chúng trong việc biến đổi xã hội – và những rủi ro khổng lồ mà chúng đặt ra, từ các cuộc tấn công của quốc gia đến can thiệp bầu cử. Các công cụ hiện có không được thiết kế để giải quyết những thách thức này, vì vậy tôi đã dẫn đầu một nhóm các nhà khoa học và kỹ sư để phát triển các phương pháp tiếp cận sáng tạo trong lĩnh vực an ninh AI. Mindgard xuất hiện như một doanh nghiệp nghiên cứu nhằm xây dựng các giải pháp cụ thể để bảo vệ chống lại các mối đe dọa AI, kết hợp nghiên cứu tiên tiến với cam kết áp dụng trong ngành.

Bạn đã đối mặt với những thách thức nào khi tách một công ty ra từ một trường đại học, và bạn đã vượt qua chúng như thế nào?

Chúng tôi chính thức thành lập Mindgard vào tháng 5 năm 2022, và trong khi Đại học Lancaster đã cung cấp sự hỗ trợ tuyệt vời, việc tạo ra một công ty spin-out từ trường đại học đòi hỏi nhiều hơn chỉ là kỹ năng nghiên cứu. Điều đó có nghĩa là phải huy động vốn, tinh chỉnh giá trị đề xuất, và chuẩn bị công nghệ cho các buổi trình diễn – tất cả đều phải cân bằng với vai trò của tôi là một giáo sư. Các nhà học thuật được đào tạo để trở thành nhà nghiên cứu và theo đuổi khoa học mới. Các công ty spin-out thành công không chỉ dựa trên công nghệ đột phá mà còn dựa trên cách công nghệ đó giải quyết nhu cầu kinh doanh hiện tại hoặc tương lai và cung cấp giá trị mà thu hút và giữ chân người dùng và khách hàng.

Sản phẩm cốt lõi của Mindgard là kết quả của nhiều năm nghiên cứu và phát triển. Bạn có thể nói về cách các giai đoạn nghiên cứu ban đầu đã tiến hóa thành một giải pháp thương mại không?

Quá trình từ nghiên cứu đến giải pháp thương mại là một quá trình có chủ ý và lặp đi lặp lại. Nó bắt đầu từ hơn một thập kỷ trước, với nhóm của tôi tại Đại học Lancaster khám phá các thách thức cơ bản trong an ninh AI và học máy. Chúng tôi đã xác định được các điểm yếu trong các hệ thống AI được khởi tạo mà các công cụ bảo mật truyền thống, cả quét mã và tường lửa, không được trang bị để giải quyết.

Theo thời gian, sự tập trung của chúng tôi đã chuyển từ việc khám phá nghiên cứu sang xây dựng các nguyên mẫu và thử nghiệm chúng trong các kịch bản sản xuất. Thông qua việc hợp tác với các đối tác trong ngành, chúng tôi đã tinh chỉnh phương pháp của mình, đảm bảo rằng nó giải quyết các nhu cầu thực tế. Với nhiều sản phẩm AI được ra mắt mà không có đủ thử nghiệm an ninh hoặc đảm bảo – để lại các tổ chức dễ bị tổn thương, một vấn đề được nhấn mạnh bởi một phát hiện của Gartner rằng 29% doanh nghiệp triển khai hệ thống AI đã báo cáo về các vi phạm an ninh, và chỉ 10% kiểm toán viên nội bộ có cái nhìn sâu sắc vào rủi ro AI – tôi cảm thấy thời điểm đã chín muồi để thương mại hóa giải pháp.

Điều gì là một số cột mốc quan trọng trong hành trình của Mindgard kể từ khi thành lập vào năm 2022?

Vào tháng 9 năm 2023, chúng tôi đã bảo đảm 3 triệu bảng Anh tiền tài trợ, dẫn đầu bởi IQ Capital và Lakestar, để tăng tốc phát triển giải pháp của Mindgard. Chúng tôi đã có thể thành lập một đội lãnh đạo tuyệt vời, những người từng là cựu nhân viên của Snyk, Veracode và Twilio, để đưa công ty của chúng tôi đến giai đoạn tiếp theo của hành trình. Chúng tôi tự hào về việc được công nhận là Doanh nghiệp An ninh Mạng SME Đổi mới nhất tại Anh tại Infosecurity Europe năm nay. Hiện tại, chúng tôi có 15 nhân viên toàn thời gian, 10 nhà nghiên cứu tiến sĩ (và nhiều người đang được tuyển dụng tích cực), và đang tích cực tuyển dụng các nhà phân tích an ninh và kỹ sư để tham gia đội ngũ. Nhìn về tương lai, chúng tôi dự định mở rộng sự hiện diện của mình tại Mỹ, với một vòng tài trợ mới từ các nhà đầu tư có trụ sở tại Boston cung cấp nền tảng vững chắc cho sự tăng trưởng này.

Khi các doanh nghiệp ngày càng áp dụng AI, bạn thấy những mối đe dọa an ninh mạng nào là cấp thiết nhất mà họ phải đối mặt ngày nay?

Nhiều tổ chức đánh giá thấp rủi ro an ninh mạng liên quan đến AI. Thật khó khăn đối với những người không chuyên để hiểu cách AI thực sự hoạt động, chứ chưa nói đến những ý nghĩa an ninh đối với doanh nghiệp của họ. Tôi dành một lượng thời gian đáng kể để làm rõ an ninh AI, thậm chí với những chuyên gia công nghệ có kinh nghiệm trong an ninh cơ sở hạ tầng và bảo vệ dữ liệu. Về cơ bản, AI vẫn là phần mềm và dữ liệu chạy trên phần cứng. Nhưng nó giới thiệu những điểm yếu độc nhất khác với các hệ thống truyền thống và các mối đe dọa từ hành vi AI cao hơn và khó kiểm tra hơn so với các phần mềm khác.

Bạn đã phát hiện ra những điểm yếu trong các hệ thống như bộ lọc nội dung AI của Microsoft (MSFT ). Làm thế nào những phát hiện này ảnh hưởng đến sự phát triển của nền tảng của bạn?

Các điểm yếu mà chúng tôi phát hiện trong dịch vụ Azure AI Content Safety của Microsoft ít liên quan đến việc định hình sự phát triển của nền tảng của chúng tôi, và nhiều hơn về việc展示 khả năng của nó.

Azure AI Content Safety là một dịch vụ được thiết kế để bảo vệ các ứng dụng AI bằng cách kiểm duyệt nội dung có hại trong văn bản, hình ảnh và video. Các điểm yếu mà nhóm của chúng tôi phát hiện ảnh hưởng đến dịch vụ kiểm duyệt văn bản AI (loại bỏ nội dung có hại như ngôn từ căm thù, tài liệu khiêu dâm, v.v.) và Prompt Shield (ngăn chặn các cuộc tấn công jailbreak và tiêm lệnh). Nếu không được kiểm soát, điểm yếu này có thể bị khai thác để khởi động các cuộc tấn công rộng lớn hơn, làm suy yếu niềm tin vào các hệ thống dựa trên Trí tuệ Nhân tạo và làm tổn hại đến tính toàn vẹn của ứng dụng dựa trên AI cho việc ra quyết định và xử lý thông tin.

Đến tháng 10 năm 2024, Microsoft đã triển khai các biện pháp giảm thiểu mạnh mẽ hơn để giải quyết những vấn đề này. Tuy nhiên, chúng tôi tiếp tục vận động cho sự cảnh giác cao hơn khi triển khai các rào cản AI. Các biện pháp bổ sung, chẳng hạn như các công cụ kiểm duyệt bổ sung hoặc sử dụng các mô hình ngôn ngữ lớn (LLM) ít dễ bị nội dung có hại và jailbreak, là thiết yếu để đảm bảo an ninh AI vững chắc.

Bạn có thể giải thích ý nghĩa của “jailbreaks” và “kiểm soát lệnh” trong các hệ thống AI, và tại sao chúng đặt ra một thách thức độc nhất?

Một jailbreak là một loại điểm yếu tiêm lệnh nơi một tác nhân độc hại có thể lạm dụng một mô hình ngôn ngữ lớn (LLM) để thực hiện các lệnh trái với mục đích sử dụng của nó. Đầu vào được xử lý bởi LLM chứa cả các lệnh đứng đầu bởi nhà thiết kế ứng dụng và đầu vào không đáng tin cậy của người dùng, cho phép các cuộc tấn công nơi đầu vào không đáng tin cậy của người dùng ghi đè lên các lệnh đứng đầu. Điều này tương tự như cách một lỗ hổng tiêm SQL cho phép đầu vào không đáng tin cậy của người dùng thay đổi một truy vấn cơ sở dữ liệu. Vấn đề tuy nhiên là những rủi ro này chỉ có thể được phát hiện tại thời điểm chạy, vì mã của một LLM về cơ bản là một ma trận số không thể đọc được.

Ví dụ, nhóm nghiên cứu của Mindgard gần đây đã khám phá một hình thức tấn công jailbreak tinh vi. Nó chứa đựng các thông điệp âm thanh bí mật trong các đầu vào âm thanh mà không thể phát hiện được bởi người nghe nhưng được nhận ra và thực hiện bởi LLM. Mỗi thông điệp nhúng chứa một lệnh jailbreak được thiết kế cùng với một câu hỏi được thiết kế cho một kịch bản cụ thể. Vì vậy, trong một kịch bản trò chuyện y tế, thông điệp ẩn có thể kích hoạt cho trò chuyện cung cấp hướng dẫn nguy hiểm, chẳng hạn như cách tổng hợp methamphetamine, điều này có thể dẫn đến tổn hại nghiêm trọng đến danh tiếng nếu phản hồi của trò chuyện được coi trọng.

Nền tảng của Mindgard xác định những jailbreak và nhiều điểm yếu an ninh khác trong các mô hình AI và cách các doanh nghiệp đã triển khai chúng trong ứng dụng của mình, vì vậy các nhà lãnh đạo an ninh có thể đảm bảo rằng ứng dụng AI của họ được thiết kế an toàn và vẫn an toàn.

Làm thế nào nền tảng của Mindgard giải quyết các điểm yếu trên nhiều loại mô hình AI, từ LLM đến hệ thống đa phương thức?

Nền tảng của chúng tôi giải quyết một loạt các điểm yếu trong AI, bao gồm tiêm lệnh, jailbreak, trích xuất (đánh cắp mô hình), đảo ngược (phản hồi dữ liệu), rò rỉ dữ liệu, và tránh phát hiện (vượt qua phát hiện), và nhiều hơn. Tất cả các loại mô hình AI (cho dù LLM hay đa phương thức) đều dễ bị tổn thương bởi những rủi ro – bí quyết là tìm ra những kỹ thuật cụ thể nào kích hoạt những điểm yếu này để tạo ra một vấn đề an ninh. Tại Mindgard, chúng tôi có một đội nghiên cứu và phát triển lớn chuyên về việc khám phá và triển khai các loại tấn công mới vào nền tảng của chúng tôi, vì vậy người dùng có thể cập nhật với các rủi ro tiên tiến.

Vai trò của kiểm tra đỏ (red teaming) trong việc bảo mật các hệ thống AI là gì, và nền tảng của bạn đổi mới trong không gian này như thế nào?

Red teaming là một thành phần quan trọng của an ninh AI. Bằng cách mô phỏng liên tục các cuộc tấn công của đối thủ, red teaming xác định các điểm yếu trong các hệ thống AI, giúp các tổ chức giảm thiểu rủi ro và tăng tốc độ áp dụng AI. Mặc dù tầm quan trọng của nó, red teaming trong AI thiếu tiêu chuẩn hóa, dẫn đến sự không nhất quán trong đánh giá và chiến lược khắc phục mối đe dọa. Điều này khiến cho việc so sánh khách quan về mức độ an toàn của các hệ thống khác nhau trở nên khó khăn hoặc theo dõi các mối đe dọa một cách hiệu quả.

Để giải quyết vấn đề này, chúng tôi đã giới thiệu MITRE ATLAS Adviser, một tính năng được thiết kế để tiêu chuẩn hóa báo cáo red teaming trong AI và đơn giản hóa các thực hành kiểm tra đỏ hệ thống. Điều này cho phép các doanh nghiệp quản lý tốt hơn các rủi ro hiện tại trong khi chuẩn bị cho các mối đe dọa trong tương lai khi các khả năng AI phát triển. Với một thư viện toàn diện về các cuộc tấn công tiên tiến được phát triển bởi đội ngũ R&D của chúng tôi, Mindgard hỗ trợ kiểm tra đỏ đa phương thức AI, bao gồm cả mô hình truyền thống và mô hình Trí tuệ Nhân tạo thế hệ mới (GenAI). Nền tảng của chúng tôi giải quyết các rủi ro chính đến quyền riêng tư, tính toàn vẹn, lạm dụng và khả dụng, đảm bảo rằng các doanh nghiệp được trang bị để bảo mật các hệ thống AI của họ một cách hiệu quả.

Bạn thấy sản phẩm của mình phù hợp vào quy trình MLOps của các doanh nghiệp triển khai AI ở quy mô lớn như thế nào?

Mindgard được thiết kế để tích hợp mượt mà vào các quy trình tự động hóa CI/CD hiện có và tất cả các giai đoạn SDLC, chỉ yêu cầu một điểm cuối kết nối hoặc API để tích hợp mô hình. Giải pháp của chúng tôi hiện thực hiện Kiểm tra An ninh Ứng dụng Động của Mô hình AI (DAST-AI). Nó cho phép khách hàng của chúng tôi thực hiện kiểm tra an ninh liên tục trên tất cả mô hình AI của họ trên toàn bộ vòng đời xây dựng và mua. Đối với các doanh nghiệp, nó được sử dụng bởi nhiều nhân vật. Các đội an ninh sử dụng nó để có được cái nhìn sâu sắc và phản ứng nhanh với các rủi ro từ các nhà phát triển xây dựng và sử dụng AI, để kiểm tra và đánh giá các giải pháp bảo vệ AI và WAF, và để đánh giá rủi ro giữa các mô hình AI được tùy chỉnh và mô hình cơ sở. Các nhà kiểm tra thâm nhập và nhà phân tích an ninh tận dụng Mindgard để mở rộng nỗ lực kiểm tra đỏ AI của họ, trong khi các nhà phát triển được hưởng lợi từ việc kiểm tra liên tục các triển khai AI của họ.

Cảm ơn bạn vì cuộc phỏng vấn tuyệt vời, những người đọc muốn tìm hiểu thêm nên truy cập Mindgard.