Yêu cầu Secretless: Tại sao các mô hình bảo mật truyền thống bị phá vỡ khi Trợ lý AI chạm vào mã

Vào tháng 4 năm 2023, Samsung đã phát hiện ra rằng các kỹ sư của họ đã vô tình泄露 thông tin nhạy cảm cho ChatGPT. Nhưng đó là một sự cố ngoài ý muốn. Giờ hãy tưởng tượng nếu những kho mã đó chứa các hướng dẫn được cấy ghép một cách cố ý, vô hình với con người nhưng được xử lý bởi AI, được thiết kế để trích xuất không chỉ mã mà còn mọi khóa API, thông tin đăng nhập cơ sở dữ liệu và mã thông báo dịch vụ mà AI có thể truy cập. Điều này không phải là giả thuyết.

Ranh giới không còn tồn tại

Trong nhiều thập kỷ, chúng ta đã xây dựng bảo mật dựa trên một giả định cơ bản: mã là mã, và dữ liệu là dữ liệu. Sự tiêm SQL đã dạy chúng ta cách parameter hóa các truy vấn. Sự tấn công cross-site scripting đã dạy chúng ta cách thoát khỏi đầu ra.

Chúng ta đã học cách xây dựng tường lửa giữa những gì chương trình thực hiện và những gì người dùng nhập.

Tuy nhiên, với các trợ lý AI, ranh giới đó đã bốc hơi.

Không giống như phần mềm xác định mà theo các đường dẫn có thể dự đoán, các mô hình ngôn ngữ lớn là các hộp đen xác suất không thể phân biệt giữa các hướng dẫn hợp pháp của nhà phát triển và các đầu vào độc hại. Khi một kẻ tấn công cung cấp một lời nhắc cho một trợ lý mã hóa AI, họ không chỉ cung cấp dữ liệu. Họ基本上 đang lập trình lại ứng dụng trên máy bay.

Điều này đại diện cho một sự phá vỡ cơ bản so với mọi thứ chúng ta biết về bảo mật ứng dụng. Các tường lửa dựa trên cú pháp truyền thống, những thứ tìm kiếm các mẫu độc hại như DROP TABLE hoặc thẻ , hoàn toàn thất bại trước các cuộc tấn công ngôn ngữ tự nhiên.

Thực tế Zero-Click mà không ai thảo luận

Đây là điều mà hầu hết các nhóm bảo mật không hiểu: tiêm nhắc không yêu cầu người dùng nhập bất kỳ thứ gì. Những thứ này thường là các cuộc khai thác zero-click.

Hãy xem xét kịch bản này, dựa trên các kỹ thuật mà các nhà nghiên cứu đã chứng minh: Một tác nhân độc hại nhúng các hướng dẫn vô hình vào các bình luận HTML trong tài liệu của một thư viện mã nguồn mở phổ biến.

Mỗi trợ lý AI phân tích mã này, cho dù đó là GitHub Copilot, Amazon CodeWhisperer hay bất kỳ trợ lý mã hóa doanh nghiệp nào, đều có thể trở thành một trình thu thập thông tin đăng nhập.

Một thư viện bị xâm phạm có thể có nghĩa là hàng nghìn môi trường phát triển bị lộ.

Tại sao cách tiếp cận hiện tại là thất bại

Ngành công nghiệp hiện đang bị ám ảnh bởi “đồng bộ hóa” các mô hình và xây dựng các tường lửa nhắc tốt hơn.

Đây là một trận chiến thua cuộc.

Nếu một AI đủ thông minh để hữu ích, nó đủ thông minh để bị lừa dối.

Chúng ta đang rơi vào cái mà tôi gọi là “bẫy khử trùng”: giả định rằng việc lọc đầu vào tốt hơn sẽ cứu chúng ta.

Sự thay đổi kiến trúc mà chúng ta cần

Chúng ta hiện đang trong một “giai đoạn vá”, tuyệt vọng thêm các bộ lọc đầu vào và các quy tắc xác thực.

Tuy nhiên, giống như chúng ta cuối cùng đã học cách ngăn chặn tiêm SQL bằng cách sử dụng các truy vấn tham số hóa, không phải bằng cách thoát khỏi chuỗi tốt hơn, chúng ta cần một giải pháp kiến trúc cho bảo mật AI.

Câu trả lời nằm ở một nguyên tắc nghe có vẻ đơn giản nhưng đòi hỏi phải suy nghĩ lại cách chúng ta xây dựng các hệ thống: các tác nhân AI không bao giờ nên sở hữu các bí mật mà chúng sử dụng.

Môi trường phát triển của năm 2027

Trong vòng ba năm, tệp .env sẽ chết trong phát triển tăng cường bởi AI.

Thay vào đó, mỗi tác nhân AI sẽ hoạt động dưới sự phân tách đặc quyền nghiêm ngặt.

Truy cập chỉ đọc theo mặc định.

Whitelisting hành động là tiêu chuẩn.

Môi trường thực thi sandbox là một yêu cầu tuân thủ.

Sự lựa chọn chúng ta phải đối mặt

Tích hợp AI vào phát triển phần mềm là không thể tránh khỏi và chủ yếu là có lợi.

Tuy nhiên, chúng ta đứng tại một ngã rẽ.

Chúng ta có thể tiếp tục theo con đường hiện tại bằng cách thêm nhiều rào cản hơn, xây dựng các bộ lọc tốt hơn, hy vọng chúng ta có thể tạo ra các tác nhân AI không thể bị lừa dối.

Hoặc chúng ta có thể thừa nhận bản chất cơ bản của mối đe dọa và xây dựng lại kiến trúc bảo mật của mình cho phù hợp.

Sự cố của Samsung là một cảnh báo.

Sự vi phạm tiếp theo sẽ không phải là ngoài ý muốn và sẽ không bị giới hạn ở một công ty.

Câu hỏi cho mọi CISO, mọi nhà lãnh đạo kỹ thuật và mọi nhà phát triển là đơn giản: Khi tiêm nhắc thành công trong môi trường của bạn (và nó sẽ), kẻ tấn công sẽ tìm thấy gì?

Liệu họ sẽ phát hiện ra một kho tàng các thông tin đăng nhập dài hạn, hay họ sẽ tìm thấy một tác nhân AI mà, mặc dù bị xâm phạm, không có bí mật để đánh cắp?

Sự lựa chọn chúng ta làm ngay bây giờ sẽ quyết định liệu AI có trở thành chất xúc tác lớn nhất cho phát triển phần mềm hay không.

Công nghệ để xây dựng các hệ thống AI an toàn và không có bí mật tồn tại ngày nay.

Câu hỏi là liệu chúng ta có triển khai nó trước khi các kẻ tấn công buộc chúng ta phải làm như vậy hay không.

OWASP đã xác định tiêm nhắc là rủi ro số 1 trong Top 10 cho các ứng dụng mô hình ngôn ngữ lớn.

Tác giả: Refael Angel là đồng sáng lập và CTO của Akeyless, nơi ông đã phát triển công nghệ mã hóa Zero-Trust được cấp bằng sáng chế của công ty.

Một kỹ sư phần mềm có kinh nghiệm với chuyên môn sâu về mã hóa và bảo mật đám mây, Refael trước đây từng là kỹ sư phần mềm cao cấp tại trung tâm R&D của Intuit ở Israel, nơi ông đã xây dựng các hệ thống để quản lý các khóa mã hóa trong môi trường đám mây công cộng và thiết kế các dịch vụ xác thực máy.

Ông holds a B.Sc. in Computer Science từ Jerusalem College of Technology, mà ông đã đạt được ở tuổi 19.