Tạo ra một mô hình học máy quên về bạn

Loại bỏ một phần dữ liệu cụ thể đã góp phần vào một mô hình học máy giống như việc cố gắng loại bỏ thìa đường thứ hai từ một tách cà phê. Dữ liệu, tại thời điểm này, đã trở nên liên kết chặt chẽ với nhiều nơ-ron khác trong mô hình. Nếu một điểm dữ liệu đại diện cho dữ liệu “định nghĩa” đã được sử dụng trong phần đầu tiên, cao chiều của quá trình đào tạo, thì việc loại bỏ nó có thể làm thay đổi hoàn toàn cách mô hình hoạt động, hoặc thậm chí yêu cầu nó phải được đào tạo lại từ đầu, với chi phí thời gian và tiền bạc.

Tuy nhiên, ở châu Âu ít nhất, Điều 17 của Quy định Bảo vệ Dữ liệu Chung (GDPR) yêu cầu các công ty phải loại bỏ dữ liệu người dùng trên yêu cầu. Kể từ khi đạo luật được xây dựng dựa trên hiểu biết rằng việc xóa này sẽ không hơn một truy vấn “drop” cơ sở dữ liệu, luật pháp dự kiến sẽ xuất hiện từ Dự thảo Đạo luật Trí tuệ Nhân tạo của Liên minh Châu Âu (EU) sẽ hiệu quả sao chép và dán tinh thần của GDPR vào luật áp dụng cho các hệ thống trí tuệ nhân tạo được đào tạo thay vì dữ liệu bảng.

Luật pháp khác đang được xem xét trên toàn thế giới sẽ cho phép cá nhân yêu cầu xóa dữ liệu của họ từ các hệ thống học máy, trong khi Đạo luật Quyền riêng tư của Người tiêu dùng California (CCPA) năm 2018 đã cung cấp quyền này cho cư dân của bang.

Tại sao nó quan trọng

Khi một tập dữ liệu được đào tạo thành một mô hình học máy có thể hoạt động, các đặc điểm của dữ liệu đó trở nên tổng quát và trừu tượng, vì mô hình được thiết kế để suy luận các nguyên tắc và xu hướng rộng từ dữ liệu, cuối cùng tạo ra một thuật toán sẽ hữu ích trong việc phân tích dữ liệu cụ thể và không tổng quát.

Tuy nhiên, các kỹ thuật như đảo ngược mô hình đã tiết lộ khả năng xác định lại dữ liệu đóng góp dưới dạng thuật toán cuối cùng, trừu tượng, trong khi các cuộc tấn công suy luận thành viên cũng có khả năng tiết lộ dữ liệu nguồn, bao gồm cả dữ liệu nhạy cảm có thể chỉ được phép bao gồm trong một tập dữ liệu với sự hiểu biết về tính ẩn danh.

Sự quan tâm ngày càng tăng trong việc theo đuổi này không cần phải dựa vào hoạt động bảo vệ quyền riêng tư từ dưới lên: khi lĩnh vực học máy trở nên thương mại hóa trong thập kỷ tới, và các quốc gia phải đối mặt với áp lực để chấm dứt văn hóa tự do hiện tại về việc sử dụng kỹ thuật thu thập dữ liệu để tạo tập dữ liệu, sẽ có một động lực thương mại ngày càng tăng cho các tổ chức thực thi sở hữu trí tuệ (và những kẻ troll sở hữu trí tuệ) để giải mã và xem xét dữ liệu đã góp phần vào các khuôn khổ trí tuệ nhân tạo phân loại, suy luận và tạo sinh độc quyền và có lợi nhuận cao.

Inducing Amnesia in Machine Learning Models

Do đó, chúng ta còn lại với thách thức của việc lấy đường ra khỏi cà phê. Đó là một vấn đề đã làm khó các nhà nghiên cứu trong những năm gần đây: vào năm 2021, một bài báo được hỗ trợ bởi EU Nghiên cứu so sánh về rủi ro quyền riêng tư của các thư viện nhận dạng khuôn mặt đã phát hiện ra rằng một số thuật toán nhận dạng khuôn mặt phổ biến có khả năng cho phép phân biệt dựa trên giới tính hoặc chủng tộc trong các cuộc tấn công xác định lại; vào năm 2015, nghiên cứu từ Đại học Columbia đã đề xuất một phương pháp “học quên” dựa trên việc cập nhật một số tổng trong dữ liệu; và vào năm 2019, các nhà nghiên cứu tại Stanford đã đề xuất các thuật toán xóa mới cho các triển khai phân cụm K-means.

Bây giờ, một tập đoàn nghiên cứu từ Trung Quốc và Mỹ đã công bố một công việc mới giới thiệu một thước đo thống nhất để đánh giá thành công của các phương pháp xóa dữ liệu, cùng với một phương pháp “học quên” mới gọi là Forsaken, mà các nhà nghiên cứu cho rằng có khả năng đạt được tỷ lệ quên hơn 90%, với chỉ 5% mất độ chính xác trong hiệu suất tổng thể của mô hình.

Bài báo được gọi là Học để quên: Học quên máy thông qua Mặt nạ Nơ-ron, và có các nhà nghiên cứu từ Trung Quốc và Berkeley.

Mặt nạ nơ-ron, nguyên tắc đằng sau Forsaken, sử dụng một máy tạo gradient mặt nạ như một bộ lọc để loại bỏ dữ liệu cụ thể khỏi mô hình, hiệu quả cập nhật nó thay vì buộc nó phải được đào tạo lại từ đầu hoặc từ một bản chụp xảy ra trước khi bao gồm dữ liệu (trong trường hợp các mô hình dựa trên luồng liên tục được cập nhật).

Cấu trúc của máy tạo gradient mặt nạ. Nguồn: https://arxiv.org/pdf/2003.10933.pdf

Nguyên nhân sinh học

Các nhà nghiên cứu cho biết rằng phương pháp này được lấy cảm hứng từ quá trình sinh học của “quên chủ động”, nơi người dùng thực hiện hành động mạnh mẽ để xóa tất cả các tế bào engram cho một ký ức cụ thể bằng cách điều khiển một loại dopamine đặc biệt.

Forsaken liên tục tạo ra một gradient mặt nạ sao chép hành động này, với các biện pháp phòng ngừa để làm chậm hoặc dừng quá trình này để tránh việc quên mất dữ liệu không mục tiêu.

Ưu điểm của hệ thống là nó có thể áp dụng cho nhiều loại mạng nơ-ron hiện có, trong khi các công việc tương tự gần đây chỉ thành công chủ yếu trong các mạng tầm nhìn máy tính; và nó không can thiệp vào các thủ tục đào tạo mô hình, nhưng thay vào đó hoạt động như một phụ trợ, mà không yêu cầu kiến trúc cốt lõi phải thay đổi hoặc dữ liệu phải được đào tạo lại.

Giới hạn hiệu ứng

Việc xóa dữ liệu đóng góp có thể có hiệu ứng tiêu cực tiềm tàng đối với chức năng của một thuật toán học máy. Để tránh điều này, các nhà nghiên cứu đã khai thác định chuẩn hóa norm, một tính năng của đào tạo mạng nơ-ron thông thường được sử dụng để tránh quá trình đào tạo. Việc triển khai cụ thể được chọn nhằm đảm bảo rằng Forsaken không thất bại trong việc hội tụ trong đào tạo.

Để thiết lập một sự phân bố dữ liệu có thể sử dụng, các nhà nghiên cứu đã sử dụng dữ liệu ngoài phân phối (OOD) (tức là dữ liệu không bao gồm trong tập dữ liệu thực tế, bắt chước “dữ liệu nhạy cảm” trong tập dữ liệu thực tế) để hiệu chỉnh cách thuật toán nên hoạt động.

Thử nghiệm trên tập dữ liệu

Phương pháp này đã được thử nghiệm trên tám tập dữ liệu tiêu chuẩn và nói chung đã đạt được tỷ lệ quên gần hoặc cao hơn so với việc đào tạo lại hoàn toàn, với ảnh hưởng rất nhỏ đến độ chính xác của mô hình.

Dường như không thể xảy ra rằng việc đào tạo lại hoàn toàn trên một tập dữ liệu đã chỉnh sửa có thể thực sự làm tồi tệ hơn so với bất kỳ phương pháp nào khác, vì dữ liệu mục tiêu hoàn toàn vắng mặt. Tuy nhiên, mô hình đã trừu tượng hóa các tính năng của dữ liệu đã xóa trong một cách “holographic”, theo cách (bằng cách tương tự) mà một giọt mực tái định nghĩa sự hữu ích của một ly nước.

Hiệu ứng của mô hình đã bị ảnh hưởng bởi dữ liệu đã xóa, và cách duy nhất để loại bỏ hoàn toàn ảnh hưởng của nó là đào tạo lại mô hình từ đầu, thay vì cách tiếp cận nhanh hơn nhiều là đào tạo lại mô hình đã được cân nhắc trên một tập dữ liệu đã chỉnh sửa.