Tại Sao Các Biện Pháp An Toàn Trợ Lý Trò Chuyện Là Rào Cản An Ninh Sai

Trí tuệ nhân tạo doanh nghiệp đã vượt qua giai đoạn chứng minh khái niệm. 23% các tổ chức đã triển khai hệ thống trí tuệ nhân tạo có tính chất đại lý ở một nơi nào đó trong doanh nghiệp của họ, và 62% đang thử nghiệm với các đại lý trí tuệ nhân tạo. Những điều này không phải là dự án nghiên cứu. Chúng là triển khai sản xuất, được nhúng vào các quy trình làm việc chạm vào các kho mã, dữ liệu khách hàng, các API nội bộ và cơ sở hạ tầng hoạt động.

Phản ứng của ngành đối với sự tăng trưởng này chủ yếu tập trung vào những gì xảy ra trước khi một đại lý được triển khai. Các nhà cung cấp và nhà nghiên cứu đã đổ năng lượng vào các biện pháp an toàn trước khi triển khai: xuất bản các chính sách mở rộng, tăng cường các mô hình cơ sở, lọc đầu vào, bảo mật chuỗi cung ứng trí tuệ nhân tạo và thực thi sự phù hợp tại thời điểm đào tạo. Các nhà cung cấp trí tuệ nhân tạo lớn đã đầu tư đáng kể vào các công cụ bảo mật hướng đến nhà phát triển, củng cố một giả định trung tâm: nếu mô hình và đầu vào của nó được kiểm soát, rủi ro hạ游 có thể được chứa.

Đây là một bản năng hợp lý, nhưng nó ngày càng không đầy đủ.

Câu Hỏi Không Phải Là Rào Cản An Ninh

Các biện pháp an toàn hoạt động tại giao diện mô hình chủ yếu mang lại lợi ích cho các nhóm kiểm soát mã ứng dụng, cấu hình mô hình và cơ sở hạ tầng cơ bản. Chúng cung cấp ít bảo vệ hơn cho các đội phòng thủ được giao nhiệm vụ bảo mật các hệ thống trí tuệ nhân tạo mà họ không xây dựng và không thể sửa đổi. Đó là một điểm mù đáng kể, và các đối thủ đã tìm thấy nó.

Báo cáo tình báo mối đe dọa mới nhất của OpenAI tài liệu chính xác động lực này. Các tác nhân đe dọa đang tích cực lạm dụng ChatGPT và các công cụ tương tự trong môi trường sản xuất, không phải bằng cách phát minh các kỹ thuật tấn công mới, mà bằng cách nhúng trí tuệ nhân tạo vào các quy trình làm việc hiện có để di chuyển nhanh hơn. Trinh sát trở nên hiệu quả hơn. Kỹ thuật xã hội tăng quy mô. Phát triển malware tăng tốc. Mặt tấn công không thay đổi cơ bản; tốc độ và khối lượng khai thác đã.

Còn hơn thế, cách các đối thủ phản ứng khi những công cụ đó đẩy lùi. OpenAI quan sát thấy các tác nhân đe dọa nhanh chóng biến đổi các câu hỏi của họ, giữ nguyên ý định cơ bản trong khi chu kỳ qua các biến thể bề mặt để vượt qua các kiểm soát phía trước. Đây là một mẫu mà các chuyên gia an ninh đã thấy trước. Các biện pháp phòng thủ tĩnh, dù là dựa trên chữ ký của phần mềm chống vi-rút hay lọc đầu vào, không thể chống lại các đối thủ điều chỉnh nhanh hơn so với các bản cập nhật quy tắc có thể theo dõi.

Thử thách này tăng lên khi các đại lý giành được tính tự chủ. Các đại lý trí tuệ nhân tạo hiện đại không hoạt động trong một trao đổi duy nhất. Chúng thực hiện các chuỗi hành động nhiều bước, gọi các công cụ hợp pháp và các quyền hạn theo cách trông có vẻ hoàn toàn bình thường khi xem riêng lẻ. Một đại lý sử dụng các thông tin xác thực hợp lệ để liệt kê các API nội bộ không kích hoạt cảnh báo. Một đại lý truy cập vào các cửa hàng dữ liệu nhạy cảm trong quá trình làm việc bình thường không tạo ra lá cờ đỏ ngay lập tức. Mỗi hành động riêng lẻ vượt qua kiểm tra; nguy hiểm nằm trong sự kết hợp và trình tự.

Khi Mối Đe Dọa Di Chuyển Xuống Dòng

Các đội an ninh bảo vệ các triển khai trí tuệ nhân tạo ngày nay phải đối mặt với sự không phù hợp về cấu trúc. Các công cụ có sẵn cho họ chủ yếu được xây dựng để suy luận về những gì một mô hình được phép nói. Rủi ro thực sự mà họ cần quản lý là những gì một đại lý đang làm trên các hệ thống, mạng và danh tính một khi nó đã được cấp phép và được thả vào môi trường sản xuất.

Các biện pháp an toàn dựa trên câu hỏi chia sẻ điểm yếu cơ bản của các phương pháp bảo mật dựa trên quy tắc trước đó. Chúng giòn vì chúng phụ thuộc vào việc dự đoán các mẫu tấn công trước. Chúng phản ứng vì chúng yêu cầu ai đó đã quan sát và mã hóa mối đe dọa trước khi phòng thủ có thể hoạt động. Và chúng bị vượt qua bởi các đối thủ đã áp dụng sự lặp lại hỗ trợ trí tuệ nhân tạo như một thực hành tiêu chuẩn. Một người bảo vệ dựa vào việc lọc đầu vào để bắt một tác nhân đe dọa đang sử dụng mô hình ngôn ngữ để tạo ra các biến thể câu hỏi mới đang ở vị trí mất.

Sự phơi nhiễm thực sự xuất hiện sau khi triển khai. Các hành động do đại lý thực hiện lan truyền qua các môi trường theo cách mà không thể dự đoán đầy đủ được trong quá trình thử nghiệm trước khi triển khai. Các đại lý gặp phải các trường hợp biên, tương tác với các nguồn dữ liệu mà chúng không được thiết kế để xử lý, nhận đầu vào từ các hệ thống ngoài kiến trúc ban đầu và đưa ra quyết định tích lũy theo thời gian. Thử nghiệm trước khi triển khai là một ảnh chụp; sản xuất là một dòng liên tục. Bảo vệ chỉ ảnh chụp có nghĩa là chấp nhận rằng mọi thứ xảy ra trong dòng là cơ bản không được giám sát.

Chuyển Biên Giới An Ninh Sang Hành Vi Đại Lý

Xây dựng khả năng chống chịu của trí tuệ nhân tạo đòi hỏi một khung và mục tiêu không nên là bảo vệ giao diện mô hình. Thay vào đó, nó nên là phát hiện ý định của kẻ tấn công thông qua các hậu quả có thể quan sát được của các hành động của đại lý. Đó là một sự khác biệt có ý nghĩa. Ý định không luôn xuất hiện trong những gì một đại lý nói hoặc những gì đầu vào nó nhận được.

Bảo mật các hệ thống trí tuệ nhân tạo phải mở rộng ra ngoài các kiểm tra sự phù hợp và đánh giá độ bền để đánh giá liên tục cách các đại lý hành xử một khi chúng tương tác với các công cụ thực, các API thực và dữ liệu thực. Đánh giá tĩnh tại thời điểm triển khai là cần thiết nhưng không đủ. Môi trường đe dọa mà một đại lý hoạt động thay đổi liên tục. Hành vi của đại lý cần được theo dõi với sự liên tục tương tự.

Đây là một vấn đề mà việc tăng cường câu hỏi không thể giải quyết. Phát hiện ý định恶 ý khi nó xuất hiện thông qua các chuỗi hành động đòi hỏi các mô hình có khả năng hiểu hành vi phức tạp, tuần tự trong các môi trường hoạt động. Các mô hình học sâu cơ bản được thiết kế cho phân tích hành vi có thể làm điều này theo cách mà các hệ thống dựa trên quy tắc và công cụ SIEM truyền thống không thể. Chúng học cách “bình thường” trông như thế nào trên toàn bộ ngữ cảnh của hoạt động của đại lý và chúng nổi bật những sai lệch chỉ ra rằng điều gì đó đã thay đổi, ngay cả khi không có hành động riêng lẻ nào sẽ kích hoạt một cảnh báo thông thường.

Logic cơ bản vẫn giữ nguyên bất kể ngữ cảnh triển khai: an ninh neo đậu tại lớp câu hỏi sẽ liên tục thua trước những kẻ tấn công hoạt động tại lớp hành động. Phòng thủ phải di chuyển đến nơi mối đe dọa thực sự tồn tại.

Điều Mà Các Đội An Ninh Nên Làm Bây Giờ

Đối với các nhà lãnh đạo an ninh cố gắng đi trước, một số thay đổi thực tế có thể đóng khoảng cách giữa nơi các biện pháp phòng thủ hiện tại và nơi chúng cần đến.

Đánh giá an toàn trí tuệ nhân tạo trên toàn bộ ngăn xếp ứng dụng. Mô hình cơ sở là một lớp. Cũng quan trọng không kém là cách các đại lý hành xử một khi được triển khai vào sản xuất, những công cụ nào chúng gọi, những quyền hạn nào chúng sử dụng và cách những lựa chọn đó phát triển theo thời gian. Các đánh giá an ninh ngừng lại tại ranh giới mô hình để lại bề mặt hoạt động hầu như không được kiểm tra.

Thực thi đặc quyền tối thiểu tại cấp độ đại lý. Các đại lý trí tuệ nhân tạo nên chỉ có quyền truy cập vào các công cụ, API và dữ liệu cần thiết cho chức năng được chỉ định của chúng. Sự hạn chế này quan trọng ngay cả khi đầu ra của đại lý trông có vẻ vô hại. Giới hạn phạm vi giảm bán kính của một đại lý bị xâm phạm và tạo ra các đường cơ sở hành vi rõ ràng hơn khiến việc phát hiện bất thường trở nên hiệu quả hơn.

Xem các đại lý như các danh tính tạo ra dữ liệu telemetry. Mỗi hành động một đại lý thực hiện là một điểm dữ liệu. Các đội an ninh nên xây dựng logic phát hiện xung quanh các chuỗi hành động được khởi xướng bởi đại lý, không chỉ các câu hỏi người dùng trước chúng. Sự thay đổi này chuyển đổi giám sát từ những gì ai đó yêu cầu đại lý làm sang những gì đại lý thực sự đã làm, đó là nơi ý định của kẻ tấn công trở nên rõ ràng.

Đầu tư vào giám sát hành vi liên tục với các mô hình phát hiện được thiết kế đặc biệt cho nhiệm vụ này. Xác định ý định恶 ý khi nó xuất hiện thông qua các chuỗi hành động đòi hỏi khả năng chuyên dụng. Các công cụ giám sát thông thường được xây dựng cho các mẫu hoạt động do con người tạo ra. Hành vi của đại lý, với tốc độ, khối lượng và cấu trúc nhiều bước, đòi hỏi cơ sở hạ tầng phát hiện được thiết kế từ đầu với ngữ cảnh đó.

Ưu tiên phòng thủ tập thể. Các kỹ thuật tấn công hỗ trợ trí tuệ nhân tạo đang phát triển nhanh hơn bất kỳ tổ chức nào có thể theo dõi. Nghiên cứu chung, hợp tác mở và thông tin tình báo mối đe dọa của cộng đồng không phải là các yếu tố bổ sung tùy chọn cho chiến lược an ninh trí tuệ nhân tạo; chúng là các đầu vào cốt lõi. Những người bảo vệ vẫn cập nhật là những người đóng góp vào và rút ra từ kiến thức tập thể.

An Ninh Hành Vi Thực Sự Cung Cấp

Đối với các đội an ninh thực hiện sự thay đổi này, phần thưởng hoạt động là cụ thể. Neo đậu phát hiện trong hành vi của đại lý thay vì đầu ra của mô hình cho phép xác định sớm ý định恶 ý, ngay cả khi các cuộc tấn công là隐, thích nghi hoặc mã hóa. Các kẻ tấn công thành công trong việc biến đổi các câu hỏi của họ qua các bộ lọc đầu vào vẫn phải hành động. Những hành động đó để lại dấu vết. Phát hiện hành vi tìm thấy những dấu vết đó trước khi thiệt hại lan truyền.

Có lẽ quan trọng nhất, cách tiếp cận này cung cấp cho các tổ chức một con đường đáng tin cậy để triển khai các đại lý trí tuệ nhân tạo với quy mô mà không chấp nhận rủi ro an ninh tương ứng. Câu hỏi đang giữ nhiều doanh nghiệp lại không phải là liệu các đại lý trí tuệ nhân tạo có thể mang lại giá trị; mà là liệu chúng có thể được triển khai với sự tự tin đủ để không làm suy giảm tư thế an ninh khi triển khai tăng. An ninh hành vi, dựa trên cách các đại lý thực sự hoạt động chứ không phải trên những gì đầu vào chúng nhận được, cung cấp sự tự tin đó theo cách mà các biện pháp kiểm soát dựa trên câu hỏi không thể.

Biên giới an ninh được vẽ ở nơi sai, và sự nhầm lẫn đó có ý nghĩa khi trí tuệ nhân tạo là một công cụ chờ đợi đầu vào. Nó không còn chờ đợi, các hệ thống đại lý hành động, chuỗi, leo thang và tích lũy trên các môi trường mà không có thử nghiệm trước khi triển khai nào có thể dự đoán. Các tổ chức nhận ra điều này sớm nhất sẽ là những tổ chức thực sự mở rộng quy mô trí tuệ nhân tạo với sự tự tin. Mọi người khác sẽ dành vài năm tiếp theo để khám phá, vi phạm sau vi phạm, rằng việc kiểm soát những gì một mô hình nói không bao giờ là điều tương tự như kiểm soát những gì nó làm.