Jonathan Zanger, Chief Technology Officer tại Check Point – Phỏng vấn Series

Jonathan Zanger, Chief Technology Officer tại Check Point, mang đến sự kết hợp hiếm có của kinh nghiệm tình báo quân sự tinh hoa, chuyên môn sâu về AI và lãnh đạo hoạt động trên cả startup và doanh nghiệp toàn cầu. Trước khi đảm nhận vai trò hiện tại, ông đã từng là CTO tại Trigo, nơi ông lãnh đạo việc phát triển các hệ thống AI và tầm nhìn máy tính thế hệ tiếp theo cho phép bán lẻ ma sát và ngăn chặn tổn thất trên quy mô lớn, đồng thời đảm bảo sản phẩm và R&D phù hợp với triển khai thương mại thực tế. Trước đó, ông đã từng giữ các vị trí lãnh đạo R&D cao cấp tại Trigo và đã dành hơn một thập kỷ trong đơn vị tinh hoa Unit 8200 của Israel, cuối cùng đứng đầu một bộ phận R&D mạng lưới chịu trách nhiệm về các sáng kiến tình báo và an ninh mạng trên quy mô quốc gia và nhận được sự công nhận hàng đầu quốc gia cho công việc của mình.

Check Point Software Technologies (CHKP ) là một nhà lãnh đạo toàn cầu trong lĩnh vực an ninh mạng, cung cấp các giải pháp an ninh được thúc đẩy bởi AI và phân phối trên đám mây, được thiết kế để bảo vệ các doanh nghiệp và chính phủ khỏi các mối đe dọa kỹ thuật số ngày càng tinh vi. Công ty phục vụ hơn 100.000 tổ chức trên toàn thế giới với một nền tảng toàn diện bảo vệ mạng, môi trường đám mây, điểm cuối và người dùng thông qua một cách tiếp cận ưu tiên phòng ngừa nhằm ngăn chặn các cuộc tấn công trước khi chúng xảy ra. Kiến trúc tích hợp của nó tận dụng trí tuệ nhân tạo và thông tin về mối đe dọa theo thời gian thực để đơn giản hóa hoạt động an ninh, giảm thiểu rủi ro và cho phép các tổ chức mở rộng quy mô một cách an toàn khi họ áp dụng AI, điện toán đám mây và hệ thống phân tán.

Bạn đã dẫn đầu các sáng kiến an ninh mạng và AI trên quy mô lớn, xây dựng các hệ thống AI tại Trigo và hiện đang giám sát chiến lược AI tại Check Point. Những chế độ thất bại cụ thể nào bạn đã quan sát khi các hệ thống AI chuyển từ môi trường được kiểm soát sang sản xuất, đặc biệt khi chúng được cấp quyền truy cập vào các công cụ và dữ liệu doanh nghiệp?

Hai điều thay đổi cơ bản trong sản xuất. Đầu tiên, quy mô biến các trường hợp ngoại lệ thành sự kiện hàng ngày. Tỷ lệ dương tính giả 0,1% nghe có vẻ tuyệt vời trong phòng thí nghiệm, nhưng khi bạn đang xử lý hàng triệu tương tác, điều đó chuyển thành hàng nghìn sự cố cần được chú ý. Các ngoại lệ thống kê trong thử nghiệm trở thành hiện thực hoạt động trên quy mô lớn.

Thứ hai, sản xuất có nghĩa là tiếp xúc với đối thủ. Trong một môi trường được kiểm soát, đầu vào là vô hại và có thể dự đoán. Trong thế giới thực, một số người dùng và tác nhân đe dọa sẽ tích cực cố gắng đánh lừa hệ thống, tận dụng mọi kênh dữ liệu không đáng tin cậy có sẵn để thao túng hành vi. Việc chuyển từ demo sang sản xuất không phải là một vấn đề về quy mô. Đó là một sự thay đổi từ một môi trường hợp tác sang một môi trường tranh chấp, và điều đó đòi hỏi những giả định thiết kế khác biệt cơ bản.

Trong các hệ thống có tính chất đại lý, nơi các mô hình có thể gọi API, thực thi mã và chuỗi hành động, những bề mặt tấn công quan trọng nhất mà các đội an ninh vẫn chưa được trang bị đúng cách là gì?

Bề mặt quan trọng nhất mà hầu hết các đội đánh giá thấp là chính dữ liệu. Các hệ thống đại lý thường xuyên truy cập vào các nguồn dữ liệu không đáng tin cậy — email đến, trang web, vé Jira, mã nguồn mở, tài liệu bên ngoài. Dữ liệu đó được tiêu thụ và phân tích bởi các mô hình như một phần của quá trình suy luận của chúng.

Điều này tạo ra hai rủi ro cụ thể. Đầu tiên, ô nhiễm bộ nhớ — nơi nội dung bị thao túng ảnh hưởng tinh vi đến các phản hồi và quyết định tương lai của mô hình mà không có bất kỳ sự tiêm lệnh rõ ràng nào. Thứ hai, tiêm lệnh gián tiếp — nơi các lệnh đối thủ được nhúng vào dữ liệu bên ngoài và hiệu quả “bẻ khóa” mô hình từ bên trong. Kẻ tấn công không bao giờ chạm vào lệnh trực tiếp. Họ chỉ trồng các lệnh nơi đại lý sẽ tìm thấy chúng.

Sự tiêm lệnh thường được coi là một vấn đề của mô hình, nhưng trên thực tế, nó trở thành một vấn đề ở cấp độ hệ thống. Làm thế nào các doanh nghiệp nên thiết kế lại kiến trúc của mình để cô lập đầu vào của mô hình, thực thi công cụ và truy cập dữ liệu nhạy cảm?

Sự tiêm lệnh không phải là một vấn đề chung với một giải pháp chung. Liệu một đầu vào nhất định có hợp pháp hay đối thủ phụ thuộc hoàn toàn vào ngữ cảnh. Yêu cầu một đại lý “thay đổi mật khẩu của quản trị viên” là hoàn toàn hợp pháp nếu đó là một đại lý hỗ trợ kỹ thuật. Yêu cầu tương tự cho một bot trò chuyện của nhà bán lẻ trực tuyến là một cuộc tấn công.

Đây là lý do tại sao kiến trúc quan trọng hơn bất kỳ kỹ thuật phát hiện nào. Các hệ thống cần có cả cơ chế quyết định và không quyết định hoạt động cùng nhau. Kiểm soát quyết định quản lý truy cập vào công cụ và dữ liệu dựa trên danh tính của đại lý, danh tính của người dùng và vai trò được định nghĩa của hệ thống. Kiểm soát không quyết định, dựa trên mô hình, thêm khả năng hiểu ngôn ngữ, ngữ cảnh và ý định. Bạn cần cả hai lớp — thực thi chính sách nghiêm ngặt và lý luận ngữ cảnh thông minh — vì không có lớp nào đủ riêng biệt.

Nhiều đại lý AI dựa vào việc tạo và tăng cường dữ liệu bên ngoài. Những rủi ro xung quanh việc ô nhiễm dữ liệu và thao túng ngữ cảnh trong các đường ống này là gì, và chúng có thể được giảm thiểu như thế nào tại thời điểm chạy?

Các rủi ro khác nhau tùy thuộc vào hướng luồng dữ liệu. Đối với các nguồn dữ liệu nội bộ, rủi ro chính là rò rỉ dữ liệu nhạy cảm — lộ thông tin cá nhân, chia sẻ dữ liệu khách hàng chéo, thông tin nội bộ được hiển thị cho các bên không được ủy quyền. Đối với các nguồn dữ liệu bên ngoài, các rủi ro bao gồm thiên vị mô hình từ thông tin không được xác minh, tiêm lệnh gián tiếp nhúng vào nội dung được thu hồi, và phụ thuộc vào các nguồn không đáng tin cậy hoặc bị thao túng.

Giảm thiểu phải xảy ra tại cấp độ giao dịch, theo thời gian thực. Mỗi tương tác đại lý cần được bảo mật theo cả hai hướng: đảm bảo dữ liệu nhạy cảm không bị rò rỉ từ bên trong ra bên ngoài, và đảm bảo thông tin bị ô nhiễm hoặc đối thủ không được đưa vào hệ thống hoặc mô hình từ bên ngoài. Bạn không thể giải quyết vấn đề này chỉ tại thời điểm tiêu thụ vì ngữ cảnh là động và cảnh quan mối đe dọa thay đổi liên tục.

Chiến lược Phòng thủ AI của bạn giới thiệu một lớp kiểm soát thống nhất trên toàn bộ sử dụng AI của nhân viên, ứng dụng và hệ thống đại lý. Những thách thức kiến trúc lớn nhất trong việc xây dựng một hệ thống có thể quan sát và thực thi chính sách trên một ngăn xếp AI phân mảnh như vậy là gì?

Chúng tôi tin rằng trong tương lai gần, các tải công việc đại lý sẽ bao gồm điểm cuối, ứng dụng, dịch vụ SaaS và tải công việc đám mây — tất cả đều được kết nối siêu trong những gì chúng tôi gọi là “Internet của các Đại lý”. Ý tưởng đằng sau Mặt phẳng Phòng thủ AI là để khám phá, quản lý và bảo vệ cơ sở hạ tầng đại lý doanh nghiệp đang phát triển này trong một cửa sổ duy nhất.

Thách thức kiến trúc cốt lõi là đánh giá động hồ sơ rủi ro và ngữ cảnh của mỗi đại lý trong khi phát triển bảo vệ thời gian thực hiệu quả cho mỗi giao dịch đại lý. Điều đó có nghĩa là duy trì tỷ lệ chặn cao đối với các mối đe dọa thực sự trong khi giảm thiểu các dương tính giả — tại tốc độ và quy mô sản xuất, trên nhiều môi trường chạy. Xây dựng một hệ thống có thể quan sát và thực thi chính sách một cách nhất quán trên một ngăn xếp AI phân mảnh và đang phát triển nhanh chóng như vậy đòi hỏi chúng tôi phải suy nghĩ lại cách chúng tôi trừu tượng hóa và đánh giá hoạt động AI ở mức cơ bản.

Nền tảng nhấn mạnh việc ra quyết định theo thời gian thực trên tốc độ máy qua nhiều ngôn ngữ và quy trình làm việc. Bạn làm thế nào để cân bằng các hạn chế về độ trễ với nhu cầu kiểm tra và kiểm soát sâu các hành động được thúc đẩy bởi AI trong môi trường sản xuất?

Chúng tôi phát triển và đào tạo các mô hình nền tảng đặc biệt cho việc ngăn chặn mối đe dọa, sau đó sử dụng các kỹ thuật chưng cất để làm cho chúng cực kỳ hiệu quả. Điều đó cho phép chúng tôi chạy suy luận nhanh và với tính toán tối thiểu — ngay cả trên CPU hoặc GPU hàng tiêu dùng — trong khi duy trì phạm vi ngôn ngữ và đa phương tiện, bao gồm phân tích hình ảnh và âm thanh, với độ chính xác tối đa.

Cách tiếp cận này cho phép chúng tôi kiểm tra các giao dịch đại lý một cách sâu sắc mà không trở thành một nút thắt. An ninh mạng nào giới thiệu độ trễ không thể chấp nhận sẽ bị bỏ qua. An ninh mạng không thể thấy được đối với quy trình làm việc nhưng thực thi các kiểm soát có ý nghĩa là những gì thực sự được triển khai và duy trì.

Các đại lý AI ngày càng hoạt động với các quyền được ủy quyền trên nhiều hệ thống. Các tổ chức nên suy nghĩ lại quản lý danh tính và truy cập cho các diễn viên không phải con người như thế nào, đặc biệt khi các đại lý mở rộng phạm vi của mình thông qua việc sử dụng công cụ?

Lỗi mà hầu hết các tổ chức mắc phải là đối xử với các đại lý AI như là sự mở rộng của người dùng hoặc như các tài khoản dịch vụ truyền thống. Không mô hình nào phù hợp. Hãy nghĩ về chúng như các nhân viên kỹ thuật số — các thực thể có vai trò, trách nhiệm và ranh giới được xác định.

Danh tính của đại lý nên được xác định bởi ba chiều: quy trình công việc cụ thể mà đại lý đang thực hiện, người dùng sở hữu hoặc tạo ra đại lý, và người dùng hiện đang tương tác với nó. Tất cả các yếu tố này định hình những gì đại lý nên được phép thực hiện. Ngoài ra, các tổ chức cần áp dụng các nguyên tắc không tin cậy cho các đại lý — không bao giờ giả định sự tin cậy dựa trên nguồn gốc, liên tục xác minh hành vi và thực thi truy cập đặc quyền tối thiểu tại mọi bước. Nếu không, các đại lý sẽ tích lũy quyền lực hơn bất kỳ ai dự định.

Hầu hết các doanh nghiệp hiện nay đều có sử dụng AI bóng tối trên các đồng nghiệp, plugin và tập lệnh nội bộ. Những loại telemetries nào các đội an ninh nên thu thập để có được tầm nhìn thực sự vào cách AI tương tác với dữ liệu nhạy cảm?

Tầm nhìn cần hoạt động ở cấp độ giao dịch đại lý — không chỉ các lệnh và phản hồi, mà còn các cuộc gọi công cụ, dữ liệu được trả về bởi các công cụ đó, và các hành động được thực hiện như một kết quả. Các đội an ninh cần thấy toàn bộ chuỗi: những gì được yêu cầu, những dữ liệu nào được truy cập, những công cụ nào được gọi, những tham số nào được truyền, và những gì xảy ra tiếp theo.

Không có telemetries ở cấp độ giao dịch, bạn không thể trả lời các câu hỏi cơ bản về phơi nhiễm, lạm dụng hoặc tác động. AI bóng tối không nguy hiểm vì nó tồn tại. Nó nguy hiểm vì nó hoạt động mà không có sự quản trị hoặc tầm nhìn này.

Thử nghiệm các hệ thống đại lý là khác biệt cơ bản so với thử nghiệm các ứng dụng tĩnh. Bạn làm thế nào để mô phỏng hành vi đối thủ trên các quy trình làm việc đa bước, và những loại khai thác nào thường được phát hiện?

Chúng tôi vận hành Gandalf (https://gandalf.lakera.ai), đây là cuộc tập dượt đỏ lớn nhất cho AI trên thế giới. Đó là một nền tảng được nhóm lại nơi người dùng thực tế cố gắng thuyết phục các đại lý AI vi phạm các rào cản của chúng. Điều đó mang lại cho chúng tôi một tập dữ liệu duy nhất và liên tục phát triển về các kỹ thuật đối thủ thực tế — không phải là các cuộc tấn công lý thuyết, mà là các chiến lược mà người dùng thực tế sử dụng để thao túng các hệ thống AI.

Chúng tôi tận dụng tập dữ liệu đó để thúc đẩy các khả năng thử nghiệm đỏ của mình. Các cuộc tấn công chúng tôi thường thấy nhất liên quan đến người dùng dần dần thuyết phục các đại lý vi phạm các ràng buộc của chúng — thông qua tiêm lệnh gián tiếp, khung lại sáng tạo, thao túng ngữ cảnh và khai thác niềm tin tăng dần trên các tương tác đa bước. Những vấn đề này vô hình nếu bạn chỉ thử nghiệm các lệnh riêng lẻ. Bạn phải thử nghiệm các chuỗi và các chiến dịch đối thủ bền bỉ.

Khi các kẻ tấn công bắt đầu sử dụng các đại lý tự động để thăm dò hệ thống liên tục, bạn có kỳ vọng rằng phòng thủ sẽ chuyển sang các kiểm soát thích ứng theo thời gian thực được thúc đẩy bởi AI, và kiến trúc đó trông như thế nào trong thực tế?

Có. Các phòng thủ tĩnh không thể theo kịp với các kẻ tấn công tự động hoạt động liên tục. Phòng thủ phải trở nên thích ứng, được thúc đẩy bởi thời gian chạy và tự động hóa. Điều này có nghĩa là giám sát thời gian thực về hành vi AI, đánh giá rủi ro liên tục và thực thi ngay lập tức khi các chính sách bị vi phạm. Tốc độ và quy mô của các cuộc tấn công được thúc đẩy bởi AI chỉ có thể được đối phó bởi các phòng thủ có tốc độ máy.

Trong thực tế, an ninh mạng trở thành một vòng lặp phản hồi thay vì một tập hợp các quy tắc. Các hệ thống AI được quan sát, đánh giá và bị ràng buộc động, với tốc độ và quy mô mà chúng hoạt động. Sự thay đổi này là thiết yếu nếu các tổ chức muốn triển khai AI một cách an toàn trên quy mô doanh nghiệp.

Cảm ơn bạn vì cuộc phỏng vấn tuyệt vời, độc giả muốn tìm hiểu thêm nên truy cập Check Point Software Technologies.