Mencuri Model Pembelajaran Mesin Melalui Keluaran API

Penelitian baru dari Kanada menawarkan metode yang mungkin digunakan oleh penyerang untuk mencuri hasil dari kerangka pembelajaran mesin yang mahal, bahkan ketika akses satu-satunya ke sistem proprietary adalah melalui API yang sangat disanitasi dan tampaknya memiliki pertahanan yang baik (antarmuka atau protokol yang memproses kueri pengguna sisi server, dan hanya mengembalikan respons keluaran).

Saat sektor penelitian semakin memandang ke arah monetisasi pelatihan model yang mahal melalui implementasi Machine Learning as a Service (MLaaS), penelitian baru ini menunjukkan bahwa model Pembelajaran Mandiri (SSL) lebih rentan terhadap jenis eksfiltrasi model ini, karena mereka dilatih tanpa label pengguna, sehingga memudahkan ekstraksi, dan biasanya menyediakan hasil yang mengandung banyak informasi yang berguna bagi seseorang yang ingin mereplikasi model sumber (tersembunyi).

Dalam simulasi uji ‘black box’ (di mana peneliti memberikan akses ke model ‘korban’ lokal yang sama dengan yang dimiliki pengguna akhir melalui API web), peneliti dapat mereplikasi sistem target dengan sumber daya yang relatif rendah:

‘[Serangan kami] dapat mencuri salinan model korban yang mencapai kinerja downstream yang cukup besar dalam kurang dari 1/5 kueri yang digunakan untuk melatih model korban. Melawan model korban yang dilatih pada 1,2 juta sampel tidak berlabel dari ImageNet, dengan akurasi 91,9% pada tugas klasifikasi Fashion-MNIST downstream, serangan ekstraksi langsung kami dengan kerugian InfoNCE mencuri salinan enkoder yang mencapai akurasi 90,5% dalam 200.000 kueri.

‘Demikian pula, melawan model korban yang dilatih pada 50.000 sampel tidak berlabel dari CIFAR10, dengan akurasi 79,0% pada tugas klasifikasi CIFAR10 downstream, serangan ekstraksi langsung kami dengan kerugian SoftNN mencuri salinan yang mencapai akurasi 76,9% dalam 9.000 kueri.’

Peneliti menggunakan tiga metode serangan, menemukan bahwa ‘Ekstraksi Langsung’ adalah metode yang paling efektif. Model-model ini dicuri dari enkoder CIFAR10 korban yang direkayasa ulang secara lokal menggunakan 9.000 kueri dari himpunan uji CIFAR10. Sumber: https://arxiv.org/pdf/2205.07890.pdf

Peneliti juga mencatat bahwa metode yang cocok untuk melindungi model yang dilatih dengan supervisi dari serangan tidak beradaptasi dengan baik dengan model yang dilatih dengan basis tidak terawasi – meskipun model tersebut mewakili beberapa buah hasil yang paling dinantikan dan dirayakan dari sektor sintesis gambar.

Makalah baru ini berjudul Tentang Kesulitan Melindungi Pembelajaran Mandiri dari Ekstraksi Model, dan berasal dari Universitas Toronto dan Institut Vektor untuk Kecerdasan Buatan.

Pengetahuan Diri

Dalam Pembelajaran Mandiri, model dilatih pada data yang tidak berlabel. Tanpa label, model SSL harus belajar asosiasi dan kelompok dari struktur implisit data, mencari fasilitas data yang serupa dan perlahan-lahan mengelompokkannya menjadi node, atau representasi.

Di mana pendekatan SSL memungkinkan, itu sangat produktif, karena itu melewati kebutuhan untuk kategorisasi yang mahal (sering kali diserahkan dan kontroversial) oleh pekerja kerumunan, dan pada dasarnya rasionalisasi data secara otonom.

Tiga pendekatan SSL yang dipertimbangkan oleh penulis makalah baru adalah SimCLR, sebuah Jaringan Siamese; SimSiam, jaringan Siamese lain yang berfokus pada pembelajaran representasi; dan Barlow Twins, sebuah pendekatan SSL yang mencapai kinerja klasifikasi ImageNet yang sangat baik pada rilisnya pada 2021.

Ekstraksi model untuk data yang berlabel (yaitu model yang dilatih melalui pembelajaran yang diawasi) adalah area penelitian yang relatif dokumentasi dengan baik. Ini juga lebih mudah untuk dipertahankan, karena penyerang harus memperoleh label dari model korban untuk mengembalikannya.

Sebuah model ‘knockoff classifier’ serangan terhadap arsitektur pembelajaran yang diawasi. Sumber: https://arxiv.org/pdf/1812.02766.pdf

Tanpa akses white-box, ini bukanlah tugas yang sepele, karena output tipikal dari permintaan API ke model seperti itu mengandung lebih sedikit informasi daripada output tipikal dari API SSL.

Dari makalah*:

‘Penelitian sebelumnya tentang ekstraksi model berfokus pada pengaturan Pembelajaran yang Diawasi (SL), di mana model korban biasanya mengembalikan label atau output rendah-dimensi lain seperti skor kepercayaan atau logit.

‘Sebaliknya, enkoder SSL mengembalikan representasi berdimensi tinggi; de facto output untuk model Sim-CLR ResNet-50, arsitektur yang populer dalam visi, adalah vektor 2048-dimensi.

‘Kami hipotesiskan bahwa kebocoran informasi yang jauh lebih tinggi dari enkoder membuat mereka lebih rentan terhadap serangan ekstraksi daripada model SL.’

Arsitektur dan Data

Peneliti menguji tiga pendekatan untuk inferensi/ekstraksi model SSL: Ekstraksi Langsung, di mana output API dibandingkan dengan output enkoder yang direkayasa ulang melalui fungsi kerugian yang sesuai seperti Mean Squared Error (MSE); mengembalikan kepala proyeksi, di mana fungsi analitis penting dari model, biasanya dibuang sebelum penerapan, direkonstruksi dan digunakan dalam model replika; dan mengakses kepala proyeksi, yang hanya mungkin dalam kasus di mana pengembang asli telah membuat arsitektur tersedia.

Dalam metode #1, Ekstraksi Langsung, output model korban dibandingkan dengan output model lokal; metode #2 melibatkan mengembalikan kepala proyeksi yang digunakan dalam arsitektur pelatihan asli.

Peneliti menemukan bahwa Ekstraksi Langsung adalah metode yang paling efektif untuk mendapatkan replika fungsional dari model target, dan memiliki keuntungan tambahan bahwa metode ini paling sulit untuk diidentifikasi sebagai ‘serangan’ (karena pada dasarnya berperilaku sedikit berbeda dari pengguna akhir yang valid).

Penulis melatih model korban pada tiga himpunan gambar: CIFAR10, ImageNet, dan Stanford’s Street View House Numbers (SVHN). ImageNet dilatih pada ResNet50, sedangkan CIFAR10 dan SVHN dilatih pada ResNet18 dan ResNet24 melalui implementasi PyTorch yang tersedia secara gratis dari SimCLR.

Kinerja downstream (yaitu, diterapkan) model diuji melawan CIFAR100, STL10, SVHN, dan Fashion-MNIST. Peneliti juga bereksperimen dengan metode ‘white box’ yang lebih banyak untuk pengambilalihan model, meskipun ternyata bahwa Ekstraksi Langsung, pendekatan yang paling tidak berprivilese, menghasilkan hasil terbaik.

Untuk mengevaluasi representasi yang diperkirakan dan direplikasi dalam serangan, penulis menambahkan lapisan prediksi linier ke model, yang diperhalus pada himpunan pelatihan berlabel penuh dari tugas downstream, dengan lapisan jaringan lainnya dibekukan. Dengan cara ini, akurasi tes pada lapisan prediksi dapat berfungsi sebagai metrik untuk kinerja. Karena tidak berkontribusi pada proses inferensi, ini tidak mewakili fungsionalitas ‘white box’.

Hasil pada tes, dimungkinkan oleh lapisan Evaluasi Linier (non-kontributif). Skor akurasi dalam tebal.

Komentar tentang hasil, peneliti menyatakan:

‘Kami menemukan bahwa tujuan langsung untuk meniru representasi korban memberikan kinerja yang tinggi pada tugas downstream meskipun serangan hanya memerlukan sebagian kecil (kurang dari 15% dalam beberapa kasus) dari jumlah kueri yang diperlukan untuk melatih enkoder yang dicuri pada awalnya.’

Dan melanjutkan:

‘[Itu] sulit untuk melindungi enkoder yang dilatih dengan SSL karena representasi keluaran bocor sejumlah besar informasi. Metode pertahanan yang paling menjanjikan adalah metode reaktif, seperti pemberian tanda air, yang dapat menyematkan augmentasi tertentu pada enkoder berkapasitas tinggi.’

* Konversi saya dari kutipan dalam teks makalah ke tautan.

Dipublikasikan pertama kali pada 18 Mei 2022.