Змусити модель машинного навчання забути про вас

Видалення певної частини даних, які внесли свій внесок у модель машинного навчання, схоже на спробу видалити другу ложку цукру з чашки кави. На цей час дані вже стали внутрішньо пов’язаними з багатьма іншими нейронами всередині моделі. Якщо точка даних представляє «визначальні» дані, які були задіяні в самій ранній, багатовимірній частині навчання, тоді її видалення може радикально змінити функціонування моделі або навіть вимагати її повторного навчання з деякими витратами часу та гроші.

Тим не менш, принаймні в Європі стаття 17 Загального регламенту захисту даних (GDPR) Вимагається щоб компанії видаляли такі дані користувачів за запитом. Оскільки акт було сформульовано з розумінням того, що це стирання буде не більш ніж запитом на «скидання» бази даних, законодавство мало вийти з проекту ЄС Закон про штучний інтелект буде ефективно копіювати і вставляти дух GDPR у закони, які застосовуються до навчених систем ШІ, а не до табличних даних.

У всьому світі розглядається подальше законодавство, яке дасть право особам вимагати видалення їхніх даних із систем машинного навчання, тоді як Закон Каліфорнії про конфіденційність споживачів (CCPA) 2018 р. вже надає це право жителям держ.

Чому це має значення

Коли набір даних навчено до дієвої моделі машинного навчання, характеристики цих даних стають узагальненими та абстрактними, оскільки модель розроблена для виведення принципів і широкі тенденції з даних, зрештою створюючи алгоритм, який буде корисним для аналізу конкретних і неузагальнених даних.

Однак такі прийоми, як інверсія моделі виявили можливість повторної ідентифікації внесених даних, які лежать в основі остаточного абстрактного алгоритму, в той час як атаки виведення членства також здатні розкривати вихідні дані, включно з конфіденційними даними, які, можливо, було дозволено включати в набір даних лише за умов анонімності.

Ескалація інтересу до цієї мети не обов’язково покладається на низову активність у сфері конфіденційності: оскільки сектор машинного навчання комерціалізується протягом наступних десяти років, а країни опиняться під тиском, щоб припинити поточний культура laissez faire У зв’язку з використанням сканування екрану для генерації набору даних зростатиме комерційний стимул для організацій (та IP-тролів), які захищають IP, декодувати та переглядати дані, які зробили внесок у власні та високоприбуткові системи класифікації, висновків і генеративних структур ШІ.

Викликання амнезії в моделях машинного навчання

Тому перед нами постає проблема вилучення цукру з кави. Це проблема, яка була докучливий дослідників за останні роки: у 2021 році підтриманий ЄС документ Порівняльне дослідження ризиків конфіденційності бібліотек розпізнавання облич виявили, що кілька популярних алгоритмів розпізнавання облич здатні забезпечувати дискримінацію за ознакою статі чи раси в атаках повторної ідентифікації; у 2015 році дослідження Колумбійського університету запропонований метод «відмови від навчання» на основі оновлення ряду підсумовувань у даних; і в 2019 році дослідники Стенфордського університету запропонований нові алгоритми видалення для реалізацій кластеризації K-середніх.

Тепер дослідницький консорціум із Китаю та США опублікував нову роботу, яка представляє єдину метрику для оцінки успішності підходів до видалення даних разом із новим методом «відмінювання» під назвою Forsaken, який, як стверджують дослідники, здатний досягти понад 90 % коефіцієнта забування з лише 5% втратою точності в загальній продуктивності моделі.

Команда папір це називається Learn to Forget: Machine Unlearning через Neuron Masking, а також дослідники з Китаю та Берклі.

Нейронне маскування, принцип, що лежить в основі Forsaken, використовує a градієнт маски генератор як фільтр для видалення певних даних із моделі, ефективно оновлюючи її, а не змушуючи її перенавчати або з нуля, або зі знімка, який стався до включення даних (у випадку потокових моделей, які постійно оновлюються).

Архітектура генератора градієнта маски. Джерело: https://arxiv.org/pdf/2003.10933.pdf

Біологічне походження

Дослідники стверджують, що цей підхід був натхненний біологічний процес «активного забування», коли користувач вживає різких дій, щоб стерти всі клітинки інграми для певної пам’яті за допомогою маніпуляції з особливим типом дофаміну.

Forsaken постійно викликає градієнт маски, який повторює цю дію, із запобіжними заходами для уповільнення або зупинки цього процесу, щоб уникнути катастрофічного забування нецільових даних.

Переваги системи полягають у тому, що вона застосовна до багатьох типів існуючих нейронних мереж, тоді як останні подібні роботи користуються успіхом переважно в мережах комп’ютерного зору; і що він не заважає процедурам навчання моделі, а скоріше діє як допоміжний засіб, не вимагаючи зміни основної архітектури або перенавчання даних.

Обмеження ефекту

Видалення наданих даних може мати потенційно шкідливий вплив на функціональність алгоритму машинного навчання. Щоб уникнути цього, дослідники використовували регулярізація норми, особливість звичайного навчання нейронної мережі, яка зазвичай використовується, щоб уникнути перенавчання. Конкретна обрана реалізація розроблена для того, щоб Forsaken не зміг зійтися під час навчання.

Щоб встановити корисне розпорошення даних, дослідники використовували дані поза розповсюдженням (OOD) (тобто дані, не включені у фактичний набір даних, імітуючи «чутливі» дані у фактичному наборі даних), щоб відкалібрувати спосіб, яким повинен поводитися алгоритм .

Тестування на наборах даних

Цей метод було перевірено на восьми стандартних наборах даних і загалом було досягнуто показників забування, близьких до або вищих, ніж повне перенавчання, з дуже незначним впливом на точність моделі.

Здається неможливим, щоб повне перенавчання на відредагованому наборі даних справді було гіршим, ніж будь-який інший метод, оскільки цільові дані повністю відсутні. Однак на цей час модель абстрагувала різні характеристики видалених даних у «голографічному» вигляді, таким чином (за аналогією), що крапля чорнила перевизначає корисність склянки води.

По суті, на ваги моделі вже вплинули вирізані дані, і єдиний спосіб повністю усунути цей вплив — це перенавчити модель від абсолютного нуля, а не набагато швидший підхід перенавчання зваженої моделі на відредагованому наборі даних. .