MLaaS: Mencegah Pencurian Model dengan Autoencoder Variasional

Layanan Machine Learning (MLaaS) mengkomersialkan hasil penelitian dan pelatihan model yang mahal melalui API yang memberikan akses kepada pelanggan untuk mendapatkan wawasan dari sistem. Meskipun alasan sistem tersebut secara tidak langsung terungkap melalui transaksi tersebut, arsitektur model inti, bobot yang mendefinisikan utilitas model, dan data pelatihan spesifik yang membuatnya berguna dijaga ketat karena beberapa alasan.

Pertama, kerangka kerja tersebut kemungkinan besar telah memanfaatkan sejumlah repositori kode sumber terbuka (FOSS), dan pesaing potensial dapat dengan mudah melakukan hal yang sama dalam upaya mencapai tujuan yang sama; kedua, dalam banyak kasus, bobot yang digunakan oleh model tersebut mewakili 95% atau lebih dari kemampuan model untuk menafsirkan data pelatihan lebih baik daripada model saingan, dan secara argumentatif merupakan nilai inti dari investasi yang mahal, baik dalam hal jam penelitian maupun pelatihan model skala besar dengan GPU industri.

Selain itu, campuran data propietary dan publik yang digunakan dalam pelatihan model merupakan masalah yang potensial mengandung api: di mana data tersebut merupakan “karya asli” yang diperoleh melalui metode yang mahal, kemampuan pengguna API untuk menginferensikan struktur data atau konten melalui permintaan API yang diizinkan dapat memungkinkan mereka untuk secara efektif merekonstruksi nilai kerja tersebut, baik dengan memahami skema data (memungkinkan reproduksi praktis) atau dengan mereproduksi bobot yang mengatur fitur data, yang potensial memungkinkan reproduksi arsitektur “kosong” tetapi efektif ke dalam mana bahan selanjutnya dapat diproses dengan berguna.

Pencucian Data

Lebih lanjut, cara data diabstraksi dalam ruang laten model machine learning selama pelatihan secara efektif “mencuci” data tersebut menjadi fungsi yang umum, sehingga sulit bagi pemegang hak cipta untuk memahami apakah karya asli mereka telah diserap tanpa izin ke dalam model.

Saat ini, iklim laissez faire di seluruh dunia mengenai praktik ini kemungkinan besar akan jatuh di bawah regulasi yang semakin ketat dalam 5-10 tahun ke depan. Rancangan regulasi UE untuk AI sudah mengandung ketentuan tentang asal usul data, dan kerangka transparansi yang akan membuatnya sulit bagi perusahaan pengumpul data untuk menghindari regulasi domain tentang web scraping untuk tujuan penelitian. Pemerintah lain, termasuk AS, sekarang berkomitmen untuk kerangka regulasi serupa dalam jangka panjang.

Seiring evolusi bidang machine learning dari budaya proof-of-concept menjadi ekosistem komersial yang layak, model ML yang ditemukan telah melanggar batasan data, bahkan dalam iterasi sebelumnya dari produk mereka, dapat menemukan diri mereka terpapar secara hukum.

Oleh karena itu, risiko menginferensikan sumber data melalui panggilan API tidak hanya terkait dengan spionase industri melalui inversi model dan metode lain, tetapi juga dengan metode forensik yang muncul untuk perlindungan IP yang mungkin menimpa perusahaan setelah era “wild west” penelitian machine learning berakhir.

Ekstraksi Berbasis API sebagai Sarana untuk Mengembangkan Serangan Adversarial

Beberapa kerangka kerja machine learning terus-menerus memperbarui data pelatihan dan algoritma mereka, bukan menghasilkan model definitif dan jangka panjang dari korpus data historis yang besar (seperti GPT-3, misalnya). Ini termasuk sistem yang terkait dengan informasi lalu lintas, dan sektor lain di mana data waktu nyata sangat penting untuk nilai ML yang dimaksud.

Jika logika model atau bobot data dapat “dipetakan” dengan sistematis memanggilnya melalui API, faktor-faktor ini dapat dipergunakan melawan sistem dalam bentuk serangan adversarial, di mana data yang dibuat dengan sengaja dapat ditinggalkan di lapangan, di area di mana sistem target kemungkinan akan mengambilnya; atau dengan menginfiltrasi rutinitas pengadaan data dengan metode lain.

Oleh karena itu, tindakan melawan pemetaan berbasis API memiliki implikasi juga untuk keamanan model machine learning.

Mencegah Ekstraksi Berbasis API

Beberapa inisiatif penelitian telah muncul dalam beberapa tahun terakhir untuk memberikan metodologi yang dapat mencegah inferensi arsitektur model dan data sumber spesifik melalui panggilan API. Yang terbaru dari ini dijelaskan dalam sebuah kolaborasi pra-cetak antara peneliti dari Indian Institute of Science di Bangalore dan Nference, sebuah platform perangkat lunak AI yang berbasis di Cambridge, Massachusetts.

Bertajuk Stateful Detection of Model Extraction Attacks, penelitian tersebut mengusulkan sistem yang disebut VarDetect, untuk yang kode awal telah dibuat tersedia di GitHub.

VarDetect berjalan di sisi server, terus-menerus memantau permintaan pengguna ke API, mencari tiga pola serangan ekstraksi model yang berbeda. Peneliti melaporkan bahwa VarDetect adalah mekanisme pertahanan pertama dari jenisnya yang dapat menahan semua tiga jenis serangan tersebut. Selain itu, VarDetect dapat melawan tindakan balasan penyerang yang menyadari adanya mekanisme pertahanan, dan yang mencoba mengalahkannya dengan menyembunyikan pola serangan dengan jeda, atau meningkatkan volume permintaan untuk mengaburkan permintaan yang mencoba memetakan model.

Arsitektur VarDetect. Sumber: https://arxiv.org/pdf/2107.05166.pdf

VarDetect menggunakan Variational Autoencoders (VAEs) untuk secara efektif membuat probe evaluatif gaya heuristik untuk permintaan masuk. Tidak seperti metode sebelumnya, sistem ini dilatih pada data propietary, menghilangkan kebutuhan untuk mengakses data penyerang, kelemahan dari pendekatan sebelumnya, dan skenario yang tidak mungkin.

Model khusus yang dirancang untuk proyek ini berasal dari tiga dataset atau pendekatan yang tersedia secara publik: karya yang dikembangkan pada 2016 oleh Swiss Federal Institute of Technology dan Cornell Tech; dengan menambahkan noise ke ‘domain masalah’ data, seperti yang pertama kali ditunjukkan dalam makalah PRADA pada 2017 dari Finlandia; dan dengan mengcrawl gambar yang dihadapkan ke publik, terinspirasi oleh penelitian ActiveThief pada 2020 dari Indian Institute of Science.

Perbandingan sampel data yang tidak berbahaya dan ‘berbahaya’ di seluruh lima dataset yang digunakan dalam VarDetect.

Distribusi frekuensi yang cocok dengan karakteristik dari dataset onboard akan diberi tanda sebagai sinyal ekstraksi.

Peneliti mengakui bahwa pola permintaan biasa dari pengguna yang tidak berbahaya dapat memicu false positives dalam sistem, mencegah penggunaan normal. Oleh karena itu, sinyal “aman” yang dipersepsikan tersebut mungkin kemudian ditambahkan ke dataset VarDetect, menjadi bagian dari algoritma melalui jadwal pelatihan bergulir, tergantung pada preferensi sistem host.