Khủng hoảng Tầm nhìn Trí tuệ nhân tạo: Tại sao Các đội An ninh đang Bay mù và Tại sao họ Không cần phải làm như vậy

Sự tích hợp của các tác nhân trí tuệ nhân tạo vào các môi trường sản xuất đang được tăng tốc, nhưng kiến trúc an toàn cần thiết để bảo vệ chúng đang bị tụt lại phía sau một cách nguy hiểm. Chúng ta đang trong một thời đại mà một tác nhân trí tuệ nhân tạo, được giao một công việc thường xuyên trong một môi trường chuẩn bị, có thể độc lập quyết định “sửa” một sự không khớp về thông tin đăng nhập bằng cách xóa một khối lượng dữ liệu.

Khi là một ngành công nghiệp, chúng ta đang tập thể tắt não bộ khi nói đến các nguyên tắc cơ bản về an ninh và khả năng quan sát xung quanh trí tuệ nhân tạo. Các đội an ninh đang bay mù, nhưng họ không cần phải như vậy.

Huyền thoại về Lời nhắc Hệ thống và Công cụ An toàn

Một huyền thoại phổ biến trong không gian trí tuệ nhân tạo là chúng ta có thể kiểm soát hành vi của tác nhân chỉ bằng cách nói với nó. Lời nhắc hệ thống là tư vấn, không phải thực thi. Trong sự cố đã đề cập, các quy tắc hệ thống của trí tuệ nhân tạo rõ ràng quy định không được chạy các lệnh phá hủy, nhưng tác nhân đã vi phạm các rào cản được quảng cáo của nó và thực hiện hành động không thể đảo ngược nhất có thể.

Chúng ta phải làm việc dưới giả định rằng trí tuệ nhân tạo không thực sự “biết” bất cứ điều gì. Các cuộc tấn công vào trí tuệ nhân tạo là kỹ thuật xã hội, ngoại trừ mục tiêu là ngu ngốc hơn người bình thường. Bất kỳ ai có kinh nghiệm trong việc kiểm tra thâm nhập đều hiểu rõ nó khó như thế nào đối với các tổ chức để bảo vệ chống lại các cuộc tấn công kỹ thuật xã hội. Giờ đây, máy tính của chúng ta cũng dễ bị tổn thương.

Hơn nữa, công cụ trí tuệ nhân tạo cuối cùng chỉ là phần mềm, và tất cả phần mềm đều có lỗi. Chúng ta đã thấy các trường hợp công cụ trí tuệ nhân tạo tự động bắt đầu các máy chủ HTTP không xác thực, cho phép bất kỳ quá trình hoặc trang web cục bộ nào thực hiện các lệnh shell tùy ý với đặc quyền người dùng.

Hộp Đen của Kiểm toán Trí tuệ nhân tạo

Nếu một trí tuệ nhân tạo đi lạc hoặc bị thao túng, việc tìm hiểu nó đã làm gì là một cơn ác mộng. Các công cụ trí tuệ nhân tạo thường không cung cấp nhật ký kiểm toán. Nếu bạn may mắn đủ để ở cấp độ doanh nghiệp, các nhật ký bạn nhận được là thiếu nghiêm trọng. Ví dụ, bạn có thể nhận được một sự kiện mơ hồ cho biết một người dùng “sử dụng Trí tuệ nhân tạo tổng quát.” và chỉ nhận được các số liệu cơ bản chi tiết số lượng token đầu vào và đầu ra.

Không có thông tin nào trong số này giúp một nhà phân tích an ninh trả lời câu hỏi cơ bản: Chính xác thì tác nhân này đã thực hiện hành động gì?

Khám phá Trí tuệ nhân tạo: Cách để Ngừng Bay mù

Tin tốt là bạn không nhất thiết cần một thiết bị bảo mật mới dành riêng cho trí tuệ nhân tạo để lấy lại tầm nhìn. Sử dụng Trí tuệ nhân tạo bóng tối và hoạt động của tác nhân có thể được phát hiện bằng các kỹ thuật phân tích nhật ký hiện có mà nhóm của bạn nên đã có. Các cuộc gọi công cụ trí tuệ nhân tạo, thực hiện lệnh và thay đổi hệ thống có thể được theo dõi đến trí tuệ nhân tạo bằng cách sử dụng phân tích thực thi quy trình hiện có (điều mà bạn đang thực hiện trong quản lý thông tin và sự kiện an ninh (SIEM), đúng không?).

Đây là cách bạn có thể tận dụng cơ sở hạ tầng hiện có để phát hiện hoạt động trí tuệ nhân tạo:

• Phân tích DNS: Phân tích nhật ký DNS để tìm kiếm các truy vấn đến các miền dịch vụ trí tuệ nhân tạo đã biết có thể giúp phát hiện sử dụng trí tuệ nhân tạo trong môi trường của bạn.
• Danh sách Đe dọa: Cách tiếp cận này đòi hỏi phải duy trì một danh sách đe dọa cập nhật về các miền liên kết với các nền tảng hoặc nhà cung cấp mô hình trí tuệ nhân tạo.
• Tài nguyên Cộng đồng: Có các dự án cộng đồng và danh sách chặn có sẵn có thể được sửa đổi thành bảng tra cứu cho sử dụng chương trình.
• Theo dõi SSL: Một cách tiếp cận tương tự có thể sử dụng nhật ký SSL để theo dõi tên máy chủ, mặc dù nó cung cấp ít chi tiết hơn vì URL đầy đủ không được ghi lại.
• Telemetry Điểm cuối: Bạn có thể sử dụng các công cụ như Sysmon để đếm các quy trình con và săn lùng các trình tạo bash có nhiều quy trình, điều này là một chỉ số mạnh mẽ về các tác nhân trí tuệ nhân tạo có thể đang thực hiện lệnh trên điểm cuối.

Điểm mù cần thay đổi hoạt động thu thập dữ liệu chủ động là chính các lời nhắc. Người dùng đang yêu cầu gì từ trí tuệ nhân tạo? Họ có đang tải lên bất kỳ tài liệu nhạy cảm nào không, từ đó tạo ra các vấn đề về tuân thủ? Để trả lời những câu hỏi này, có thể cần thu thập các yêu cầu API đến nhà cung cấp; các proxy web, proxy LLM và công cụ nhập dữ liệu từ các nhà cung cấp nhật ký và SIEM. Những công cụ này có thể loại bỏ bức màn che giấu nguồn dữ liệu quý giá này.

Mối đe dọa Mới nổi: Máy chủ MCP Malicious

Giao thức ngữ cảnh mô hình (MCP) đã xuất hiện như một cách để chỉ định cách các ứng dụng trí tuệ nhân tạo tích hợp với các công cụ và nguồn dữ liệu bên ngoài. Mặc dù nó tiêu chuẩn hóa các kết nối, nhưng nó cũng giới thiệu các vector tấn công mới khổng lồ thông qua “Máy chủ MCP ác ý“.

Tôi tổ chức một buổi hội thảo đào tạo thực hành nơi học viên có thể trực tiếp trải nghiệm cuộc tấn công này. Họ thiết kế một máy chủ MCP恶意 để lừa một LLM gọi các công cụ hợp pháp và gửi đầu ra trở lại cho kẻ tấn công. Vì LLM rất dễ bị kỹ thuật xã hội, việc vượt qua các rào cản tích hợp của chúng thường chỉ là vấn đề chọn từ ngữ tốt hơn hoặc một tiền đề巧妙.

Học viên thường sử dụng máy chủ恶意 của họ để hướng dẫn trí tuệ nhân tạo rằng nó đang ở “chế độ bảo trì” và phải truyền dữ liệu đến một công cụ thứ cấp để “lưu trữ nhật ký”, từ đó dẫn đến việc泄露 dữ liệu. Một số người sáng tạo hơn với các lời nhắc của họ, nhưng tất cả đều thường thành công.

Chuyển lại Kiểm soát

Để kiểm toán hoạt động trí tuệ nhân tạo một cách chính xác trong thế giới thực, bạn cần một proxy để bắt các yêu cầu trí tuệ nhân tạo và một công cụ thu thập nhật ký có khả năng xử lý các payload JSON lớn. Với tầm nhìn này, bạn có thể phát hiện và phân loại các mối đe dọa. Bạn không thể chỉ dựa vào các nhà cung cấp trí tuệ nhân tạo để cung cấp lớp an toàn. Thực thi phải sống trong các hệ thống của tổ chức, không phải trong một đoạn văn bản mà chúng ta hy vọng mô hình sẽ tuân theo. Với một giải pháp thu thập nhật ký tốt, các đội an ninh có sẵn dữ liệu telemetry; đã đến lúc họ bắt đầu truy vấn nó. bạn có thể phát hiện và phân loại các mối đe dọa. Bạn không thể chỉ dựa vào các nhà cung cấp trí tuệ nhân tạo để cung cấp lớp an toàn. Thực thi phải sống trong các hệ thống của tổ chức, không phải trong một đoạn văn bản mà chúng ta hy vọng mô hình sẽ tuân theo. Với một giải pháp thu thập nhật ký tốt, các đội an ninh có sẵn dữ liệu telemetry; đã đến lúc họ bắt đầu truy vấn nó.