Data Sintetis Tidak Melindungi Privasi dengan Andal, Klaim Peneliti

Kolaborasi penelitian baru antara Prancis dan Inggris memunculkan keraguan tentang keyakinan industri yang berkembang bahwa data sintetis dapat menyelesaikan masalah privasi, kualitas, dan ketersediaan (di antara masalah lainnya) yang mengancam kemajuan di sektor pembelajaran mesin.

Di antara beberapa poin kunci yang dibahas, penulis menyatakan bahwa data sintetis yang dimodelkan dari data nyata masih mempertahankan cukup banyak informasi asli sehingga tidak menyediakan perlindungan yang andal dari serangan inferensi dan keanggotaan, yang berusaha untuk mendeanonimkan data dan mengasosiasikan kembali dengan orang-orang nyata.

Lebih lanjut, individu yang paling berisiko dari serangan tersebut, termasuk mereka dengan kondisi medis kritis atau biaya rumah sakit yang tinggi (dalam kasus anonimisasi catatan medis), melalui sifat ‘outlier’ dari kondisi mereka, paling mungkin untuk diidentifikasi kembali oleh teknik-teknik ini.

Makalah ini mengamati:

‘Dengan akses ke dataset sintetis, musuh strategis dapat menginfer, dengan kepercayaan tinggi, kehadiran catatan target di data asli.’

Makalah ini juga mencatat bahwa data sintetis yang dilindungi secara diferensial, yang mengaburkan tanda tangan catatan individu, memang melindungi privasi individu, tetapi hanya dengan mengorbankan utilitas sistem pemulihan informasi yang menggunakannya.

Jika ada, peneliti mengamati, pendekatan yang dilindungi secara diferensial – yang menggunakan ‘informasi nyata’ ‘pada satu tingkat’ melalui data sintetis – membuat skenario keamanan lebih buruk daripada yang seharusnya:

‘Dataset sintetis tidak memberikan transparansi tentang tradeoff ini. Mustahil untuk memprediksi apa karakteristik data yang akan dipertahankan dan apa pola yang akan ditekan.’

Makalah baru ini, berjudul Data Sintetis – Anonimisasi Groundhog Day, berasal dari dua peneliti di École Polytechnique Fédérale de Lausanne (EPFL) di Paris dan seorang peneliti dari University College London (UCL).

Peneliti melakukan pengujian algoritma pelatihan model generatif pribadi yang ada, dan menemukan bahwa beberapa keputusan implementasi melanggar jaminan privasi formal yang disediakan dalam kerangka kerja, meninggalkan catatan yang beragam terbuka untuk serangan inferensi.

Penulis menawarkan versi revisi dari setiap algoritma yang berpotensi memitigasi paparan ini, dan membuat kode tersedia sebagai perpustakaan sumber terbuka. Mereka mengklaim bahwa ini akan membantu peneliti untuk mengevaluasi keuntungan privasi dari data sintetis dan membandingkan metode anonimisasi yang populer dengan berguna. Kerangka kerja baru ini mencakup dua metode serangan privasi yang relevan yang dapat diterapkan pada algoritma pelatihan model generatif apa pun.

Data Sintetis

Data sintetis digunakan untuk melatih model pembelajaran mesin dalam berbagai skenario, termasuk kasus di mana kurangnya informasi komprehensif dapat dipenuhi oleh data palsu. Salah satu contoh dari ini adalah kemungkinan menggunakan wajah yang dihasilkan CGI untuk menyediakan ‘sulit’ atau foto wajah yang jarang terlihat untuk sintesis gambar, di mana gambar profil, sudut tajam atau ekspresi yang tidak biasa sering jarang terlihat dalam bahan sumber.

Jenis gambar CGI lainnya telah digunakan untuk memenuhi dataset yang akan dijalankan pada data non-sintetis, seperti dataset yang menampilkan tangan dan perabotan.

Dalam hal perlindungan privasi, data sintetis dapat dihasilkan dari data nyata oleh sistem Jaringan Adversarial Generatif (GAN) yang mengekstrak fitur dari data nyata dan membuat catatan fiksi yang serupa yang kemungkinan akan generalisasi dengan baik ke data nyata (tidak terlihat, nyata) yang kemudian, tetapi dimaksudkan untuk mengaburkan detail orang-orang nyata yang ditampilkan dalam data sumber.

Metodologi

Untuk tujuan penelitian baru ini, penulis mengevaluasi keuntungan privasi di seluruh lima algoritma pelatihan model generatif. Tiga model tidak menawarkan perlindungan privasi yang eksplisit, sedangkan dua lainnya datang dengan jaminan privasi diferensial. Model tabel ini dipilih untuk mewakili berbagai arsitektur.

Model yang diserang adalah BayNet, PrivBay (turunan dari PrivBayes/BayNet), CTGAN, PATEGAN dan IndHist.

Kerangka evaluasi untuk model ini diimplementasikan sebagai perpustakaan Python dengan dua kelas inti – GenerativeModels dan PrivacyAttacks. Yang terakhir ini menampilkan dua aspek – musuh inferensi keanggotaan, dan serangan inferensi keanggotaan. Kerangka ini juga dapat mengevaluasi keuntungan privasi dari ‘data yang disanitasi’ (yaitu, anonim) dan data sintetis.

Kedua dataset yang digunakan dalam pengujian adalah Adult Data Set dari UCI Machine Learning Repository, dan Hospital Discharge Data Public Use Data File dari Texas Department of State Health Services. Dataset Texas yang digunakan oleh peneliti ini berisi 50.000 catatan yang diambil dari catatan pasien untuk tahun 2013.

Serangan dan Temuan

Tujuan umum dari penelitian ini adalah untuk menetapkan ‘linkability’ (pengasosiasian kembali data nyata dengan data sintetis yang terinspirasi olehnya). Model serangan yang digunakan dalam studi ini termasuk Klasifikasi Regresi Logistik, Hutan Acak, dan K-Nearest Neighbors.

Penulis memilih dua kelompok target yang terdiri dari lima catatan yang dipilih secara acak untuk ‘kategori minoritas’ dari populasi, karena ini paling mungkin rentan terhadap serangan pengasosiasian. Mereka juga memilih catatan dengan ‘nilai atribut kategoris yang jarang’ di luar kuantil 95% dari atribut tersebut. Contoh termasuk catatan yang terkait dengan risiko mortalitas tinggi, biaya rumah sakit yang tinggi, dan keparahan penyakit.

Walaupun makalah ini tidak membahas aspek ini, dari sudut pandang penyerang nyata, ini adalah jenis ‘pasien mahal’ atau ‘pasien berisiko tinggi’ yang paling mungkin menjadi target serangan inferensi keanggotaan dan jenis pendekatan eksfiltrasi lainnya terhadap catatan pasien.

Banyak model serangan dilatih melawan informasi referensi publik untuk mengembangkan ‘model bayangan’ lebih dari sepuluh target. Hasilnya di seluruh serangkaian eksperimen (sebagaimana dijelaskan sebelumnya) menunjukkan bahwa sejumlah catatan ‘sangat rentan’ terhadap serangan pengasosiasian yang ditujukan kepada mereka oleh peneliti. Hasilnya juga menemukan bahwa 20% dari semua target dalam percobaan menerima keuntungan privasi nol dari data sintetis yang dihasilkan oleh metode GAN.

Peneliti mencatat bahwa hasilnya bervariasi, tergantung pada metode yang digunakan untuk menghasilkan data sintetis, vektor serangan, dan fitur dari dataset yang ditargetkan. Laporan ini menemukan bahwa dalam banyak kasus, penekanan identitas yang efektif melalui pendekatan data sintetis menurunkan utilitas sistem yang dihasilkan. Secara efektif, utilitas dan akurasi sistem tersebut dapat dalam banyak kasus menjadi indeks langsung dari seberapa rentan mereka terhadap serangan pengidentifikasian kembali.

Peneliti menyimpulkan:

‘Jika dataset sintetis mempertahankan karakteristik data asli dengan akurasi tinggi, dan dengan demikian mempertahankan utilitas data untuk kasus penggunaan yang diiklankan, maka secara bersamaan memungkinkan musuh untuk mengekstrak informasi sensitif tentang individu.

‘Keuntungan privasi yang tinggi melalui salah satu mekanisme anonimisasi yang kami evaluasi hanya dapat dicapai jika versi sintetis atau disanitasi dari data asli yang dipublikasikan tidak membawa sinyal catatan individu dalam data mentah dan pada dasarnya menekan catatan mereka.’