Jonathan Zanger, Chief Technology Officer tại Check Point – Loạt phỏng vấn

Jonathan Zanger, Chief Technology Officer tại Check Point, mang đến sự kết hợp hiếm có giữa kinh nghiệm tình báo quân sự tinh hoa, chuyên môn AI sâu sắc và lãnh đạo hoạt động trên cả các công ty khởi nghiệp và doanh nghiệp toàn cầu. Trước khi đảm nhiệm vai trò hiện tại, ông đã từng là CTO tại Trigo, nơi ông dẫn đầu việc phát triển các hệ thống AI và tầm nhìn máy tính thế hệ tiếp theo cho phép bán lẻ ma sát và phòng ngừa tổn thất quy mô lớn, đồng thời căn chỉnh sản phẩm và Nghiên cứu & Phát triển với triển khai thương mại thực tế. Trước đó, ông đã từng giữ các vị trí lãnh đạo Nghiên cứu & Phát triển cấp cao tại Trigo và đã dành hơn một thập kỷ trong đơn vị tinh hoa Unit 8200 của Israel, cuối cùng đứng đầu một bộ phận Nghiên cứu & Phát triển mạng lưới chịu trách nhiệm về các sáng kiến tình báo và an ninh mạng quy mô quốc gia và nhận được sự công nhận quốc gia hàng đầu cho công việc của mình.

Check Point Software Technologies là một nhà lãnh đạo toàn cầu trong lĩnh vực an ninh mạng, cung cấp các giải pháp an ninh được thúc đẩy bởi AI, được phân phối trên đám mây, được thiết kế để bảo vệ các doanh nghiệp và chính phủ khỏi các mối đe dọa kỹ thuật số ngày càng tinh vi. Công ty phục vụ hơn 100.000 tổ chức trên toàn thế giới với một nền tảng toàn diện bảo vệ mạng, môi trường đám mây, điểm cuối và người dùng thông qua một phương pháp ưu tiên phòng ngừa nhằm ngăn chặn các cuộc tấn công trước khi chúng xảy ra. Kiến trúc tích hợp của nó tận dụng trí tuệ nhân tạo và thông tin tình báo mối đe dọa theo thời gian thực để đơn giản hóa các hoạt động an ninh, giảm thiểu rủi ro và cho phép các tổ chức mở rộng quy mô một cách an toàn khi họ áp dụng AI, điện toán đám mây và hệ thống phân tán.

Bạn đã dẫn đầu các sáng kiến an ninh mạng và AI quy mô lớn, xây dựng các hệ thống được thúc đẩy bởi AI tại Trigo và hiện đang giám sát chiến lược AI tại Check Point. Những chế độ thất bại cụ thể nào bạn đã quan sát thấy khi các hệ thống AI chuyển từ môi trường được kiểm soát sang sản xuất, đặc biệt khi chúng được cấp quyền truy cập vào các công cụ và dữ liệu doanh nghiệp?

Hai điều thay đổi cơ bản trong sản xuất. Đầu tiên, quy mô biến các trường hợp ngoại lệ thành sự kiện hàng ngày. Tỷ lệ dương tính giả 0,1% nghe có vẻ tuyệt vời trong phòng thí nghiệm, nhưng khi bạn đang xử lý hàng triệu tương tác, điều đó chuyển thành hàng nghìn sự cố cần được chú ý. Các ngoại lệ thống kê trong thử nghiệm trở thành hiện thực hoạt động ở quy mô.

Thứ hai, sản xuất có nghĩa là tiếp xúc với đối thủ. Trong môi trường được kiểm soát, đầu vào là vô hại và có thể dự đoán. Trong thế giới thực, một số người dùng và tác nhân đe dọa sẽ cố gắng chủ động đánh lừa hệ thống, tận dụng mọi kênh dữ liệu không đáng tin cậy để thao túng hành vi. Việc chuyển đổi từ demo sang sản xuất không phải là một vấn đề về khả năng mở rộng. Đó là một sự thay đổi từ môi trường hợp tác sang môi trường tranh chấp, và điều đó đòi hỏi những giả định thiết kế cơ bản khác nhau.

Trong các hệ thống có tính đại lý, nơi các mô hình có thể gọi API, thực thi mã và chuỗi hành động, những bề mặt tấn công quan trọng nhất mà các đội an ninh vẫn chưa thiết bị đúng cách là gì?

Bề mặt quan trọng mà hầu hết các đội đánh giá thấp là chính dữ liệu. Các hệ thống có tính đại lý thường xuyên truy cập vào các nguồn dữ liệu không đáng tin cậy — email đến, trang web, vé Jira, mã nguồn mở, tài liệu bên ngoài. Dữ liệu đó được tiêu thụ và phân tích bởi các mô hình như một phần của quá trình lý luận của chúng.

Điều này tạo ra hai rủi ro cụ thể. Đầu tiên, ô nhiễm bộ nhớ — nơi nội dung được thao túng tinh vi định hình lại phản hồi và quyết định tương lai của mô hình mà không có bất kỳ sự tiêm lệnh rõ ràng nào. Thứ hai, tiêm lệnh gián tiếp — nơi các lệnh đối thủ được nhúng vào dữ liệu bên ngoài và hiệu quả “bẻ khóa” mô hình từ bên trong. Kẻ tấn công không bao giờ chạm vào lệnh trực tiếp. Họ chỉ trồng các lệnh nơi đại lý sẽ tìm thấy chúng.

Vi tiêm lệnh thường được mô tả như một vấn đề của mô hình, nhưng trong thực tế, nó trở thành một vấn đề cấp hệ thống. Các doanh nghiệp nên thiết kế lại kiến trúc của mình như thế nào để cô lập đầu vào mô hình, thực thi công cụ và truy cập dữ liệu nhạy cảm?

Vi tiêm lệnh không phải là một vấn đề chung với một giải pháp chung. Liệu một đầu vào nhất định có hợp pháp hay đối thủ hay không hoàn toàn phụ thuộc vào ngữ cảnh. Yêu cầu một đại lý “thay đổi mật khẩu quản trị” hoàn toàn hợp pháp nếu đó là một đại lý hỗ trợ kỹ thuật. Yêu cầu tương tự cho một rô-bốt trò chuyện của nhà bán lẻ trực tuyến là một cuộc tấn công.

Điều này là lý do tại sao kiến trúc quan trọng hơn bất kỳ kỹ thuật phát hiện nào. Các hệ thống cần có cả cơ chế quyết định và không quyết định hoạt động cùng nhau. Kiểm soát quyết định quản lý truy cập vào các công cụ và dữ liệu dựa trên danh tính của đại lý, danh tính của người dùng và vai trò định nghĩa của hệ thống. Kiểm soát dựa trên mô hình, không quyết định thêm khả năng hiểu ngôn ngữ, ngữ cảnh và ý định. Bạn cần cả hai lớp — thực thi chính sách cứng rắn và lý luận ngữ cảnh thông minh — vì không có lớp nào đủ riêng biệt.

Nhiều đại lý AI phụ thuộc vào tạo ra tăng cường và nguồn dữ liệu bên ngoài. Những rủi ro xung quanh ô nhiễm dữ liệu và thao túng ngữ cảnh trong các đường ống này là gì, và chúng có thể được giảm thiểu như thế nào tại thời điểm chạy?

Các rủi ro khác nhau tùy thuộc vào hướng lưu thông dữ liệu. Đối với các nguồn dữ liệu nội bộ, rủi ro chính là rò rỉ dữ liệu nhạy cảm — phơi bày PII, chia sẻ dữ liệu giữa các khách hàng, thông tin nội bộ được hiển thị cho các bên không được ủy quyền. Đối với các nguồn dữ liệu bên ngoài, các rủi ro bao gồm thiên vị mô hình từ thông tin không được xác minh, tiêm lệnh gián tiếp nhúng vào nội dung được thu hồi và phụ thuộc vào các nguồn không đáng tin cậy hoặc bị thao túng.

Giảm thiểu phải xảy ra tại cấp độ giao dịch, theo thời gian thực. Mỗi tương tác đại lý cần được bảo mật ở cả hai hướng: đảm bảo dữ liệu nhạy cảm không bị rò rỉ từ bên trong ra bên ngoài và đảm bảo thông tin bị ô nhiễm hoặc đối thủ không được đưa vào hệ thống hoặc mô hình. Bạn không thể giải quyết vấn đề này chỉ tại thời điểm tiêu thụ vì ngữ cảnh là động và cảnh quan mối đe dọa thay đổi liên tục.

Chiếc máy bay phòng thủ AI của bạn giới thiệu một lớp kiểm soát thống nhất trên toàn bộ việc sử dụng AI của nhân viên, ứng dụng và hệ thống có tính đại lý. Những thách thức kiến trúc lớn nhất trong việc xây dựng một hệ thống có thể quan sát và thực thi chính sách trên toàn bộ ngăn xếp AI phân mảnh như vậy là gì?

Chúng tôi tin rằng trong tương lai gần, các công việc có tính đại lý sẽ bao gồm điểm cuối, ứng dụng, dịch vụ SaaS và công việc đám mây — tất cả đều được kết nối siêu trong những gì chúng tôi gọi là “Internet của các đại lý”. Ý tưởng đằng sau Chiếc máy bay phòng thủ AI là khám phá, quản lý và bảo vệ cơ sở hạ tầng đại lý doanh nghiệp đang phát triển này trong một cửa sổ duy nhất.

Thách thức kiến trúc cốt lõi là đánh giá động hồ sơ rủi ro và ngữ cảnh của mỗi đại lý trong khi phát triển bảo vệ thời gian thực hiệu quả cho mỗi giao dịch đại lý. Điều đó có nghĩa là duy trì tỷ lệ chặn cao đối với các mối đe dọa thực sự trong khi giảm thiểu các dương tính giả — ở tốc độ và quy mô sản xuất, trên nhiều môi trường chạy. Xây dựng một hệ thống có thể quan sát và thực thi chính sách nhất quán trên toàn bộ ngăn xếp AI phân mảnh và đang phát triển nhanh chóng này đòi hỏi chúng tôi phải suy nghĩ lại cách chúng tôi trừu tượng hóa và đánh giá hoạt động AI ở cấp độ cơ bản.

Nền tảng nhấn mạnh việc ra quyết định thời gian thực trên máy ở nhiều ngôn ngữ và luồng làm việc. Bạn làm thế nào để cân bằng các hạn chế về độ trễ với nhu cầu kiểm tra và kiểm soát sâu các hành động được thúc đẩy bởi AI trong môi trường sản xuất?

Chúng tôi phát triển và đào tạo các mô hình cơ bản cụ thể cho việc ngăn chặn mối đe dọa, sau đó sử dụng các kỹ thuật chưng cất để làm cho chúng cực kỳ hiệu quả. Điều đó cho phép chúng tôi chạy suy luận nhanh và với tính toán tối thiểu — ngay cả trên CPU hoặc GPU hàng tiêu dùng — trong khi duy trì phạm vi ngôn ngữ và đa phương tiện, bao gồm phân tích hình ảnh và âm thanh, với độ chính xác tối đa.

Cách tiếp cận này cho phép chúng tôi kiểm tra các giao dịch đại lý sâu mà không trở thành một nút thắt. An ninh mạng nào giới thiệu độ trễ không thể chấp nhận được sẽ bị bỏ qua. An ninh mạng vô hình đối với luồng làm việc nhưng thực thi các kiểm soát có ý nghĩa là những gì thực sự được triển khai và duy trì.

Các đại lý AI ngày càng hoạt động với các quyền được ủy quyền trên nhiều hệ thống. Các tổ chức nên suy nghĩ lại quản lý danh tính và truy cập cho các diễn viên phi con người như thế nào, đặc biệt khi các đại lý mở rộng phạm vi của chúng thông qua việc sử dụng công cụ?

Sai lầm mà hầu hết các tổ chức mắc phải là đối xử với các đại lý AI như một phần mở rộng của người dùng hoặc như các tài khoản dịch vụ truyền thống. Không mô hình nào phù hợp. Hãy nghĩ về chúng như những nhân viên kỹ thuật số — các thực thể có vai trò, trách nhiệm và ranh giới được xác định.

Danh tính đại lý nên được xác định bởi ba chiều: luồng làm việc cụ thể mà đại lý đang thực thi, người dùng sở hữu hoặc tạo ra đại lý và người dùng hiện đang tương tác với nó. Tất cả三个 yếu tố này định hình những gì đại lý nên được phép làm. Ngoài ra, các tổ chức cần áp dụng các nguyên tắc không tin cậy cho các đại lý — không bao giờ giả định sự tin cậy dựa trên nguồn gốc, liên tục xác minh hành vi và thực thi truy cập tối thiểu ở mọi bước. Nếu không, các đại lý sẽ tích lũy âm thầm nhiều quyền hơn bất kỳ ai dự định.

Hầu hết các doanh nghiệp hiện nay đều có sử dụng AI bóng tối trên các đồng nghiệp, plugin và tập lệnh nội bộ. Những telemetries nào mà các đội an ninh nên thu thập để có được tầm nhìn thực sự về cách AI tương tác với dữ liệu nhạy cảm?

Tầm nhìn cần hoạt động ở cấp độ giao dịch đại lý — không chỉ các lệnh và phản hồi, mà còn các cuộc gọi công cụ, dữ liệu được trả về bởi các công cụ đó và các hành động được thực hiện như một kết quả. Các đội an ninh cần nhìn thấy toàn bộ chuỗi: những gì được hỏi, dữ liệu nào được truy cập, các công cụ nào được gọi, các tham số nào được truyền và điều gì xảy ra tiếp theo.

Nếu không có telemetries cấp giao dịch này, bạn không thể trả lời các câu hỏi cơ bản về phơi nhiễm, lạm dụng hoặc tác động. AI bóng tối không nguy hiểm vì nó tồn tại. Nó nguy hiểm vì nó hoạt động mà không có sự quản trị hoặc tầm nhìn này.

Đội đỏ cho các hệ thống có tính đại lý cơ bản khác với thử nghiệm các ứng dụng tĩnh. Bạn làm thế nào để mô phỏng hành vi đối thủ trên các luồng làm việc đa bước, và những loại khai thác nào thường được phát hiện?

Chúng tôi vận hành Gandalf (https://gandalf.lakera.ai), đây là bài tập đội đỏ lớn nhất cho AI trên thế giới. Đó là một nền tảng được phân phối cho đám đông nơi người dùng thực sự cố gắng thuyết phục các đại lý AI phá vỡ các rào cản của chúng. Điều đó mang lại cho chúng tôi một tập dữ liệu duy nhất và liên tục phát triển về các kỹ thuật đối thủ thực tế — không phải các cuộc tấn công lý thuyết, mà là các chiến lược mà người dùng thực sự sử dụng để thao túng các hệ thống AI.

Chúng tôi tận dụng tập dữ liệu này để thúc đẩy các khả năng đội đỏ của mình. Các cuộc tấn công chúng tôi thường thấy nhất liên quan đến việc người dùng dần dần thuyết phục các đại lý vi phạm các ràng buộc của chúng — thông qua tiêm lệnh gián tiếp, khung lại sáng tạo, thao túng ngữ cảnh và khai thác sự tin cậy dần dần trên các tương tác đa bước. Những vấn đề này vô hình nếu bạn chỉ thử nghiệm các lệnh riêng lẻ. Bạn phải thử nghiệm các chuỗi và các chiến dịch đối thủ bền bỉ.

Khi các kẻ tấn công bắt đầu sử dụng các đại lý tự động để thăm dò các hệ thống liên tục, bạn có kỳ vọng rằng phòng thủ sẽ chuyển sang các kiểm soát thích ứng thời gian thực được thúc đẩy bởi AI, và kiến trúc đó trông như thế nào trong thực tế?

Vâng. Các biện pháp phòng thủ tĩnh không thể theo kịp với các kẻ tấn công tự động hoạt động liên tục. Phòng thủ phải trở nên thích ứng, được điều khiển thời gian chạy và tự động hóa. Điều này có nghĩa là giám sát thời gian thực hành vi AI, đánh giá rủi ro liên tục và thực thi ngay lập tức khi các chính sách bị vi phạm. Tốc độ và quy mô của các cuộc tấn công được thúc đẩy bởi AI chỉ có thể được đối phó bởi các biện pháp phòng thủ máy tốc độ tương tự.

Trong thực tế, an ninh mạng trở thành một vòng phản hồi chứ không phải một tập hợp các quy tắc. Các hệ thống AI được quan sát, đánh giá và bị ràng buộc động, ở cùng tốc độ và quy mô mà chúng hoạt động. Sự thay đổi này là thiết yếu nếu các tổ chức muốn triển khai AI một cách an toàn ở quy mô doanh nghiệp.

Cảm ơn bạn vì cuộc phỏng vấn tuyệt vời, những người đọc muốn tìm hiểu thêm nên truy cập Check Point Software Technologies.