Синтетичні дані не забезпечують надійний захист конфіденційності, стверджують дослідники

Нове дослідження спільної роботи Франції та Великої Британії викликає сумніви щодо зростаючої впевненості галузі в тому, що синтетичні дані можуть вирішити проблеми конфіденційності, якості та доступності (серед інших проблем), які загрожують прогресу в галузі машинного навчання.

Серед кількох ключових моментів, розглянутих у дослідженні, автори стверджують, що синтетичні дані, створені на основі реальних даних, зберігають достатньо справжньої інформації, щоб не забезпечувати надійний захист від інференційних та членських атак, які намагаються деанонімізувати дані та знову пов’язати їх з реальними людьми.

Крім того, особи, які найбільш піддаються ризику таких атак, включаючи тих, хто має важкі медичні умови або високі лікарняні рахунки (у випадку анонімізації медичних записів), через свою “відмінність” найбільш ймовірно будуть повторно ідентифіковані цими методами.

У дослідженні зазначається:

‘Якщо у вас є доступ до синтетичної бази даних, стратегічний противник може з високою впевненістю встановити наявність цільового запису в оригінальних даних.’

Дослідження також зазначає, що диференційно-PRIVATE синтетичні дані, які маскують сигнатуру індивідуальних записів, дійсно забезпечують захист конфіденційності осіб, але тільки за рахунок суттєвого обмеження корисності систем пошуку інформації, які використовують ці дані.

Якщо щось, дослідники спостерігають, диференційно-PRIVATE підходи – які використовують “реальну” інформацію ‘на одному рівні’ через синтетичні дані – роблять безпекову ситуацію гіршою, ніж вона була б інакше:

‘[Синтетичні] набори даних не забезпечують жодної прозорості щодо цього компромісу. Неможливо передбачити, які характеристики даних будуть збережені, а які закономірності будуть придушені.’

Нове дослідження, озаглавлене Синтетичні дані – День анонімізації, проведене двома дослідниками з École Polytechnique Fédérale de Lausanne (EPFL) у Парижі та одним дослідником з University College London (UCL).

Дослідники провели випробування існуючих алгоритмів навчання приватних генеративних моделей та виявили, що певні рішення щодо реалізації порушують формальні гарантії конфіденційності, забезпечені у рамках, залишаючи різноманітні записи відкритими для інференційних атак.

Автори пропонують переглянуту версію кожного алгоритму, який потенційно пом’якшує ці уразливості, та роблять код доступним у вигляді відкритої бібліотеки. Вони стверджують, що це допоможе дослідникам оцінити вигоди конфіденційності синтетичних даних та корисно порівняти популярні методи анонімізації. Нова структура включає два важливі методи атак на конфіденційність, які можна застосувати до будь-якого алгоритму навчання генеративної моделі.

Синтетичні дані

Синтетичні дані використовуються для навчання моделей машинного навчання у різних сценаріях, включаючи випадки, коли відсутність повної інформації потенційно може бути заповнена ерзац-даними. Одним із прикладів цього є можливість використання CGI-генерованих облич для надання “важких” або рідкісних фотографій обличчя для синтезу зображень, де профільні зображення, гострі кути або незвичайні вирази часто рідко зустрічаються у вихідному матеріалі.

Інші типи CGI-зображень були використані для заповнення наборів даних, які згодом будуть використовуватися з несинтетичними даними, такими як набори даних, які містять руки та мебель.

У питаннях захисту конфіденційності синтетичні дані можуть бути створені з реальних даних за допомогою систем Генеративних Адверсарних Мереж (GAN), які витягують особливості з реальних даних та створюють подібні, вигадані записи, які, ймовірно, будуть узагальнені для пізнішої (не баченої, реальної) інформації, але призначені для маскування деталей реальних людей, представлених у вихідних даних.

Методологія

Для цілей нового дослідження автори оцінили вигоди конфіденційності за п’ятьма алгоритмами навчання генеративних моделей. Три з цих моделей не забезпечують явного захисту конфіденційності, тоді як інші дві мають гарантію диференційної конфіденційності. Ці табличні моделі були вибрані для представлення широкого спектра архітектур.

Моделі, які були атаковані, були BayNet, PrivBay (походження від PrivBayes/BayNet), CTGAN, PATEGAN та IndHist.

Фреймворк оцінки моделей був реалізований у вигляді бібліотеки Python з двома основними класами – GenerativeModels та PrivacyAttacks. Останній містить два аспекти – членську інференцію противника та членську інференційну атаку. Фреймворк також здатний оцінювати вигоди конфіденційності “саніфікованих” (тобто анонімізованих) даних та синтетичних даних.

Два набори даних, використані у випробуваннях, були Adult Data Set з репозиторію машинного навчання UCI, та Hospital Discharge Data Public Use Data File від Техаського департаменту державної охорони здоров’я. Версія набору даних Техасу, використана дослідниками, містить 50 000 записів, вибраних з пацієнтських записів за 2013 рік.

Атаки та висновки

Загальна мета дослідження полягає у встановленні “зв’язності” (повторної асоціації реальних даних з синтетичними даними, які були натхненні ними). Моделі атак, використані у дослідженні, включають логістичну регресію, випадкові ліси та сусіди класифікатори.

Автори вибрали дві цільові групи, що складаються з п’яти випадково вибраних записів для “меншинських” категорій населення, оскільки ці останні найбільш схильні до атаки зв’язності. Вони також вибрали записи з “рідкісними категоріальними атрибутами” поза межами 95% квантиля цього атрибута. Прикладами таких записів є записи, пов’язані з високим ризиком смертності, високими лікарняними рахунками та тяжкістю захворювання.

Хоча у дослідженні не роз’яснюється цей аспект, з точки зору ймовірних реальних атакувальників, ці саме “дорогі” або “високоризикові” пацієнти найбільш ймовірно будуть ціллю для інференційних та інших видів підходів до витоку інформації про пацієнтів.

Було навчено кілька моделей атак проти публічної довідкової інформації для розробки “тіньових моделей” для десяти цілей. Результати через ряд експериментів (як описано раніше) свідчать про те, що ряд записів був “високоризиковим” для атак зв’язності, спрямованих проти них дослідниками. Результати також показали, що 20% усіх цілей у випробуваннях отримали вигоду конфіденційності нуль від синтетичних даних, створених методами GAN.

Дослідники зазначають, що результати варіювалися залежно від методу генерації синтетичних даних, вектора атаки та особливостей цільового набору даних. Звіт встановлює, що у багатьох випадках ефективне придушення ідентичності через підходи синтетичних даних знижує корисність системи. Насправді, корисність та точність таких систем можуть бути прямим індексом їх уразливості до повторної ідентифікації.

Дослідники роблять висновок:

‘Якщо синтетична база даних зберігає характеристики оригінальних даних з високою точністю, і тим самим зберігає корисність даних для випадків, для яких вона рекламується, вона одночасно дозволяє противникам витягувати чутливу інформацію про осіб.

‘Високий виграш у конфіденційності через будь-який з механізмів анонімізації, які ми оцінили, може бути досягнутий лише у тому випадку, якщо опублікована синтетична або саніфікована версія оригінальних даних не передає сигнал індивідуальних записів у вихідних даних та фактично придушує їхній запис.’