MLaaS: Phòng chống việc đánh cắp mô hình API bằng Variational Autoencoders

Dịch vụ Học máy như một Dịch vụ (MLaaS) đã biến những thành quả của nghiên cứu và đào tạo mô hình tốn kém thành các API cho phép khách hàng truy cập vào các thông tin từ hệ thống. Mặc dù lý lẽ của hệ thống sẽ được tiết lộ đến một mức độ nhất định thông qua các giao dịch này, nhưng kiến trúc mô hình cốt lõi, trọng số định nghĩa tiện ích của mô hình và dữ liệu đào tạo cụ thể giúp mô hình trở nên hữu ích được bảo vệ kỹ lưỡng vì nhiều lý do.

Trước hết, khuôn khổ này có thể đã khai thác một số kho mã nguồn miễn phí hoặc mã nguồn mở (FOSS), và các đối thủ cạnh tranh có thể dễ dàng làm như vậy để theo đuổi cùng một mục tiêu; thứ hai, trong nhiều trường hợp, trọng số được sử dụng bởi các mô hình đại diện cho 95% hoặc nhiều hơn khả năng của mô hình trong việc giải thích dữ liệu đào tạo tốt hơn so với các mô hình đối thủ, và có thể cấu thành giá trị cốt lõi của đầu tư tốn kém, cả về mặt giờ nghiên cứu và đào tạo mô hình quy mô lớn, được trang bị GPU cấp công nghiệp.

Ngoài ra, sự kết hợp giữa dữ liệu độc quyền và công khai đằng sau tập dữ liệu đào tạo của mô hình là một vấn đề tiềm ẩn: nơi dữ liệu là “tác phẩm gốc” thu được thông qua phương pháp tốn kém, khả năng của người dùng API để suy luận cấu trúc dữ liệu hoặc nội dung thông qua yêu cầu API có thể cho phép họ cơ bản tái tạo giá trị của công việc, либо bằng cách hiểu sơ đồ của dữ liệu (cho phép tái tạo thực tế) hoặc bằng cách tái tạo trọng số điều khiển các tính năng của dữ liệu, điều này có thể cho phép tái tạo một kiến trúc “trống” nhưng hiệu quả vào mà vật liệu tiếp theo có thể được xử lý một cách hữu ích.

Rửa tiền dữ liệu

Hơn nữa, cách dữ liệu được trừu tượng hóa trong không gian tiềm ẩn của mô hình học máy trong quá trình đào tạo hiệu quả “rửa” nó thành các hàm tổng quát hóa mà khiến cho các chủ sở hữu bản quyền khó hiểu liệu tác phẩm gốc của họ đã được hấp thụ mà không có sự cho phép vào mô hình.

Khí hậu hiện tại laissez faire trên toàn thế giới về việc thực hành này có khả năng sẽ phải đối mặt với sự điều chỉnh ngày càng nghiêm ngặt trong vòng 5-10 năm tới. Dự thảo quy định của EU về trí tuệ nhân tạo đã chứa các quy định về nguồn gốc của dữ liệu và một khuôn khổ minh bạch mà sẽ khiến cho các công ty thu thập dữ liệu khó khăn trong việc tránh các quy định về thu thập dữ liệu từ web cho mục đích nghiên cứu. Các chính phủ khác, bao gồm cả Mỹ, hiện đang cam kết với các khuôn khổ quy định tương tự trong dài hạn.

Khi lĩnh vực học máy phát triển từ một văn hóa chứng minh khái niệm thành một cấu trúc thương mại khả thi, các mô hình học máy được phát hiện đã vi phạm các hạn chế về dữ liệu, thậm chí trong các phiên bản trước của sản phẩm, có thể sẽ phải đối mặt với các vấn đề pháp lý.

Do đó, rủi ro của việc suy luận nguồn dữ liệu qua các cuộc gọi API liên quan không chỉ đến gián điệp công nghiệp thông qua đảo ngược mô hình và các phương pháp khác, mà còn liên quan đến các phương pháp pháp y mới nổi để bảo vệ sở hữu trí tuệ có thể ảnh hưởng đến các công ty sau khi thời kỳ “phương Tây hoang dã” của nghiên cứu học máy kết thúc.

API-Driven Exfiltration as a Means to Develop Adversarial Attack

Một số khuôn khổ học máy liên tục cập nhật dữ liệu đào tạo và thuật toán của chúng, thay vì suy luận một mô hình duy nhất, dài hạn từ một tập hợp dữ liệu lịch sử lớn (như GPT-3, ví dụ). Những hệ thống này bao gồm các hệ thống liên quan đến thông tin giao thông và các lĩnh vực khác nơi dữ liệu thời gian thực là quan trọng đối với giá trị của dịch vụ học máy.

Nếu kiến trúc logic hoặc trọng số của mô hình có thể được “bản đồ hóa” bằng cách thăm dò hệ thống thông qua API, những yếu tố này có thể được sử dụng để chống lại hệ thống dưới dạng các cuộc tấn công đối thủ, nơi dữ liệu được tạo ra một cách độc hại có thể được để lại trong tự nhiên, ở những khu vực nơi hệ thống mục tiêu có khả năng sẽ thu thập nó; hoặc bằng cách xâm nhập vào các quy trình thu thập dữ liệu bằng các phương pháp khác.

Do đó, các biện pháp chống lại việc ánh xạ tập trung vào API có ý nghĩa đối với bảo mật của các mô hình học máy.

Phòng chống việc đánh cắp API

Một số sáng kiến nghiên cứu đã xuất hiện trong những năm gần đây để cung cấp các phương pháp có thể ngăn chặn việc suy luận kiến trúc mô hình và nguồn dữ liệu cụ thể qua các cuộc gọi API. Gần đây nhất là được mô tả trong một bài viết hợp tác giữa các nhà nghiên cứu từ Viện Khoa học Ấn Độ tại Bangalore và Nference, một nền tảng phần mềm dựa trên trí tuệ nhân tạo có trụ sở tại Cambridge, Massachusetts.

Được gọi là Phát hiện trạng thái của các cuộc tấn công trích xuất mô hình, nghiên cứu đề xuất một hệ thống được gọi là VarDetect, cho mà mã nguồn sơ bộ đã được đăng tải trên GitHub.

Chạy trên máy chủ, VarDetect liên tục theo dõi các yêu cầu của người dùng đến API, tìm kiếm ba mẫu tấn công trích xuất mô hình lặp lại. Các nhà nghiên cứu báo cáo rằng VarDetect là cơ chế phòng thủ đầu tiên của loại này có thể chống lại tất cả ba loại. Ngoài ra, nó có thể chống lại các biện pháp đối phó của những kẻ tấn công trở nên nhận thức được cơ chế phòng thủ và tìm cách đánh bại nó bằng cách che giấu các mẫu tấn công với các khoảng thời gian hoặc tăng số lượng yêu cầu để che giấu các yêu cầu đang cố gắng xây dựng bản đồ của mô hình.

Kiến trúc VarDetect. Nguồn: https://arxiv.org/pdf/2107.05166.pdf

VarDetect sử dụng Variational Autoencoders (VAEs) để tạo ra một loại thăm dò đánh giá kiểu heuristic cho các yêu cầu đến. Không giống như các phương pháp trước đây, hệ thống này được đào tạo trên dữ liệu độc quyền, loại bỏ nhu cầu truy cập vào dữ liệu của kẻ tấn công, một điểm yếu của các phương pháp trước đó, và một kịch bản không thể xảy ra.

Mô hình tùy chỉnh được thiết kế cho dự án này được bắt nguồn từ ba tập dữ liệu công khai hoặc phương pháp tiếp cận: công việc được phát triển vào năm 2016 bởi Viện Công nghệ Liên bang Thụy Sĩ và Cornell Tech; bằng cách thêm nhiễu vào ‘lĩnh vực vấn đề’ dữ liệu, như được chứng minh lần đầu tiên trong bài báo PRADA năm 2017 từ Phần Lan; và bằng cách thu thập hình ảnh công khai, lấy cảm hứng từ nghiên cứu ActiveThief năm 2020 từ Viện Khoa học Ấn Độ.

So sánh mẫu dữ liệu lành tính và ‘ác tính’ trên năm tập dữ liệu được sử dụng trong VarDetect.

Các phân bố tần số phù hợp với đặc điểm từ tập dữ liệu trên tàu sẽ được đánh dấu là tín hiệu trích xuất.

Các nhà nghiên cứu thừa nhận rằng các mẫu yêu cầu thông thường từ người dùng lành tính có thể kích hoạt các tín hiệu dương tính giả trong hệ thống, ngăn chặn việc sử dụng thông thường. Do đó, những tín hiệu ‘an toàn’ được nhận thức như vậy có thể được thêm vào tập dữ liệu VarDetect, trở thành một phần của thuật toán thông qua một lịch trình đào tạo lăn, tùy thuộc vào sở thích của hệ thống chủ.