Створення моделі машинного навчання, яка забуває про вас

Видалення певної частини даних, які сприяли створенню моделі машинного навчання, подібне до спроби видалити другу ложку цукру з чашки кави. Ці дані на цей час вже стали невід’ємною частиною багатьох інших нейронів у моделі. Якщо дані представляють собою “визначальні” дані, які брали участь у ранній, високовимірній частині навчання, то їх видалення може суттєво змінити функціонування моделі або навіть вимагати її повторного навчання, що потребує часу та коштів.

Незважаючи на це, в Європі, принаймні, стаття 17 Загального регламенту захисту даних (GDPR) вимагає від компаній видалення таких даних користувачів на запит. Оскільки цей акт був сформульований з розумінням, що таке видалення буде не більше ніж запит на видалення з бази даних, законодавство, яке вийде з проекту Закону ЄС про штучний інтелект, фактично скопіює дух GDPR у закони, які застосовуються до навчених систем штучного інтелекту, а не табличних даних.

Розглядається подальше законодавство у світі, яке надасть особам право вимагати видалення їхніх даних з систем машинного навчання, тоді як Закон про конфіденційність споживачів Каліфорнії (CCPA) 2018 року вже надає це право мешканцям штату.

Чому це важливо

Коли набір даних навчається у діючу модель машинного навчання, характеристики цих даних стають узагальненими та абстрактними, оскільки модель призначена для виведення принципів і широких тенденцій з даних, в результаті чого виникає алгоритм, який буде корисний для аналізу конкретних і неузагальнених даних.

Однак, техніки, такі як інверсія моделі, показали можливість повторної ідентифікації даних, які лежать в основі кінцевого абстрактного алгоритму, тоді як атаки на членство в моделі також здатні розкрити джерельні дані, включаючи конфіденційні дані, які могли бути включені до набору даних лише з умовою анонімності.

Зростаючий інтерес до цього напрямку не потребує підтримки з боку громадських активістів за конфіденційність: оскільки сектор машинного навчання комерціалізується протягом наступних десяти років, і країни піддаються тиску з метою припинити поточну культуру лаззе фер щодо використання скрапінгу екрану для генерації наборів даних, буде зростаючий комерційний інтерес для організацій, які забезпечують захист інтелектуальної власності (та тролів інтелектуальної власності), для розшифрування та перевірки даних, які сприяли появі власницьких та високоприбуткових класифікаційних, висновкових та генеративних кадрів штучного інтелекту.

Індукування амнезії у моделях машинного навчання

Отже, нам залишається завдання видалення цукру з кави. Це проблема, яка бентежить дослідників у останні роки: у 2021 році підтримувана ЄС робота Порівняльне дослідження ризиків бібліотек розпізнавання облич виявила, що кілька популярних алгоритмів розпізнавання облич здатні дозволяти дискримінацію за ознакою статі чи раси під час повторної ідентифікації; у 2015 році дослідження Колумбійського університету пропонувало метод “забування моделі” на основі оновлення кількості підсумовок у даних; а у 2019 році дослідники Стенфордського університету пропонували нові алгоритми видалення для реалізації кластеризації K-середніх.

Тепер дослідницький консорціум з Китаю та США опублікував нову роботу, яка вводить уніфіковану метрику для оцінки успіху підходів до видалення даних, разом з новим методом “забування” під назвою Forsaken, який, на думку дослідників, здатний досягти рівня забування понад 90% з втратою точності всього лише 5%.

Робота називається Навчіться забувати: машинне забування через маскування нейронів і представляє собою дослідників з Китаю та Берклі.

Маскування нейронів, принцип, який лежить в основі Forsaken, використовує генератор градієнта маски як фільтр для видалення конкретних даних з моделі, ефективно оновлюючи її, а не примушуючи її до повторного навчання з нуля або з моментального знімку, який відбувся до включення даних (у випадку моделей, які постійно оновлюються).

Архітектура генератора градієнта маски. Джерело: https://arxiv.org/pdf/2003.10933.pdf

Біологічні походження

Дослідники стверджують, що цей підхід був натхненний біологічним процесом “активного забування”, коли користувач приймає рішучі дії для стирання всіх клітин енограми певної пам’яті шляхом маніпулювання спеціальним типом дофаміну.

Forsaken безперервно викликає градієнт маски, який повторює цю дію, з заходами для сповільнення або зупинки цього процесу, щоб уникнути катастрофічного забування нецільових даних.

Переваги системи полягають у тому, що вона застосовна до багатьох видів існуючих нейронних мереж, тоді як останні подібні роботи мали успіх переважно у мережах комп’ютерного зору; і що вона не втручається у процедури навчання моделі, а діє як допоміжний засіб, не вимагаючи зміни основної архітектури або повторного навчання даних.

Обмеження впливу

Видалення внесених даних може мати потенційно негативний вплив на функціональність алгоритму машинного навчання. Для уникнення цього дослідники використали нормалізацію, особливість нормального навчання нейронної мережі, яка зазвичай використовується для уникнення надтренування. Конкретна реалізація, обрана для цього, призначена для забезпечення того, щоб Forsaken не припинявся під час навчання.

Для встановлення корисного розсіювання даних дослідники використали дані поза розподілом (OOD) (тобто дані, які не входять до фактичного набору даних, імітуючи “чутливі” дані у фактичному наборі даних), щоб калібрувати поведінку алгоритму.

Тестування на наборах даних

Метод був протестований на восьми стандартних наборах даних і загалом досягнув рівня забування, близького до або вищого за повне повторне навчання, з мінімальним впливом на точність моделі.

Здається неможливим, щоб повне повторне навчання на відредагованому наборі даних могло зробити гірше, ніж будь-який інший метод, оскільки цільові дані повністю відсутні. Однак модель на цей час абстрагувала різні особливості видалених даних у “голографічній” формі, так само, як (за аналогією) крапля чорнила переозначає корисність склянки води.

У результаті ваги моделі вже були під впливом видалених даних, і єдиний спосіб повністю видалити їхній вплив – це повторне навчання моделі з абсолютного нуля, а не значно швидший підхід до повторного навчання зваженої моделі на відредагованому наборі даних.