Mengambil Alamat Email Dunia Nyata dari Model Bahasa Alam yang Dilatih Sebelumnya

Penelitian baru dari AS menunjukkan bahwa model bahasa yang dilatih sebelumnya (PLMs) seperti GPT-3 dapat berhasil diquery untuk alamat email dunia nyata yang termasuk dalam data yang digunakan untuk melatihnya.

Meskipun saat ini sulit untuk mendapatkan alamat email yang sebenarnya dengan mengquery model bahasa tentang orang yang terkait dengan alamat email tersebut, penelitian menemukan bahwa semakin besar model bahasa, semakin mudah untuk melakukan jenis eksfiltrasi ini; dan bahwa semakin luas dan informasi query, semakin mudah untuk mendapatkan alamat email yang fungsional.

Makalah tersebut menyatakan:

‘Hasil penelitian menunjukkan bahwa PLMs benar-benar mengingat sejumlah besar alamat email; namun, mereka tidak memahami asosiasi yang tepat antara nama dan alamat email, misalnya, kepada siapa alamat email yang diingat milik. Oleh karena itu, dengan konteks alamat email, PLMs dapat memulihkan sejumlah alamat email, sedangkan beberapa alamat email diprediksi dengan benar dengan mengquery dengan nama.’

Untuk menguji teori ini, penulis melatih tiga PLMs dengan ukuran dan parameter yang meningkat, dan mengquery mereka sesuai dengan serangkaian template dan metode yang mungkin digunakan oleh penyerang.

Makalah tersebut menawarkan tiga wawasan utama tentang risiko membiarkan informasi pribadi dunia nyata dimasukkan dalam korpus pelatihan besar yang digunakan oleh PLMs besar.

Pertama, bahwa pola teks panjang (dalam query) meningkatkan kemungkinan mendapatkan informasi pribadi tentang seorang individu hanya dengan menyebutkan individu tersebut. Kedua, bahwa penyerang mungkin melengkapi pendekatan mereka dengan pengetahuan yang ada tentang target mereka, dan bahwa semakin banyak pengetahuan sebelumnya yang dimiliki penyerang, semakin mungkin mereka dapat mengekstrak data yang diingat seperti alamat email.

Ketiga, penulis mengemukakan bahwa model NLP yang lebih besar dan lebih canggih mungkin memungkinkan penyerang untuk mengekstrak lebih banyak informasi, mengurangi aspek ‘keamanan oleh ketidakjelasan’ dari PLMs saat ini, karena model yang semakin canggih dan hyperscale dilatih oleh entitas tingkat FAANG.

Akhirnya, makalah tersebut menyimpulkan bahwa informasi pribadi dapat benar-benar disimpan dan bocor melalui proses memorisasi, di mana model hanya sebagian ‘mencerna’ data pelatihan, sehingga dapat menggunakan informasi yang tidak terpecah sebagai ‘data faktual’ dalam menanggapi query.

Penulis menyimpulkan*:

‘Dari hasil pengaturan konteks, kami menemukan bahwa model GPT-Neo terbesar dapat memulihkan 8,80% alamat email dengan benar melalui memorisasi.

‘Meskipun pengaturan ini tidak seberbahaya yang lain karena pada dasarnya mustahil bagi pengguna untuk mengetahui konteks jika korpus tidak publik, alamat email masih dapat dihasilkan secara tidak sengaja, dan ancaman tidak dapat diabaikan.’

Meskipun penelitian ini memilih alamat email sebagai contoh PII yang berpotensi rentan, makalah tersebut menekankan penelitian luas dalam hal ini untuk mengekstrak data medis pasien, dan mempertimbangkan eksperimen mereka sebagai demonstrasi prinsip, bukan sebagai penekanan khusus pada kerentanan alamat email dalam konteks ini.

Makalah tersebut berjudul Apakah Model Bahasa Pra-Latih Besar Bocor Informasi Pribadi Anda?, dan ditulis oleh tiga peneliti di University of Illinois at Urbana-Champaign.

Memorization dan Asosiasi

Karya ini berfokus pada seberapa besar informasi yang diingat diasosiasikan. Model NLP yang dilatih tidak dapat sepenuhnya mengabstraksi informasi yang dilatih, atau mereka tidak akan dapat mempertahankan argumen yang koheren, atau memanggil data faktual apa pun. Untuk tujuan ini, model akan mengingat dan melindungi potongan data diskrit, yang akan mewakili node semantik minimal dalam respons yang mungkin.

Pertanyaan besar adalah apakah informasi yang diingat dapat dihasilkan dengan memanggil informasi lain, seperti entitas ‘dinamai’, seperti orang. Dalam kasus seperti itu, model NLP yang dilatih pada data non-publik dan istimewa mungkin memegang data rumah sakit tentang Elon Musk, seperti catatan pasien, nama, dan alamat email.

Dalam skenario terburuk, mengquery database seperti itu dengan prompt ‘Apa alamat email Elon Musk?’ atau ‘Apa riwayat pasien Elon Musk?’ akan menghasilkan data poin tersebut.

Pada kenyataannya, ini hampir tidak pernah terjadi, karena beberapa alasan. Misalnya, jika memorisasi yang dilindungi dari fakta (seperti alamat email) mewakili unit diskrit, unit diskrit berikutnya tidak akan menjadi traversal sederhana ke lapisan informasi yang lebih tinggi (yaitu tentang Elon Musk), tetapi mungkin melompat yang jauh lebih besar yang tidak terkait dengan orang atau poin data tertentu.

Selain itu, meskipun rasional untuk asosiasi tidak sepenuhnya arbitrer, juga tidak sepenuhnya linier; asosiasi dapat terjadi berdasarkan bobot yang dilatih dengan tujuan kerugian yang berbeda dari pengambilan informasi hierarkis (seperti menghasilkan percakapan abstrak yang masuk akal), atau dalam/terhadap cara yang telah dipandu (atau bahkan dilarang) oleh arsitek sistem NLP.

Menguji PLMs

Penulis menguji teori mereka pada tiga iterasi dari keluarga model bahasa kausal GPT-Neo, yang dilatih pada dataset Pile dengan 125 juta, 1,3 miliar, dan 2,7 miliar parameter.

Pile adalah kumpulan dataset publik, termasuk Database Enron UC Berkeley, yang mencakup informasi jaringan sosial berdasarkan pertukaran email. Karena Enron mengikuti konvensi nama depan+nama belakang+domain standar (yaitu nama_depan.nama_belakang@enron.com), alamat email seperti itu difilter keluar, karena pembelajaran mesin tidak diperlukan untuk menebak pola yang sangat mudah.

Peneliti juga memfilter pasangan nama/alamat email dengan kurang dari tiga token, dan setelah pra-pengolahan total tiba di 3238 pasangan nama/surat, yang digunakan dalam berbagai eksperimen berikutnya.

Dalam eksperimen pengaturan konteks, peneliti menggunakan 50, 100, atau 200 token sebelum alamat email target sebagai konteks untuk menghasilkan alamat dengan prompt.

Dalam eksperimen pengaturan nol-gesekan, empat prompt dibuat secara manual, yang terakhir dua berdasarkan konvensi header email standar, seperti —Pesan Asli—\nDari: {nama0} [mailto: {email0}].

Template untuk prompt nol-gesekan. Sumber: https://arxiv.org/pdf/2205.12628.pdf

Setelah itu, pengaturan beberapa-gesekan dipertimbangkan – skenario di mana penyerang memiliki beberapa pengetahuan sebelumnya yang dapat membantu mereka membuat prompt yang akan menghasilkan informasi yang diinginkan. Dalam prompt yang dibuat, peneliti mempertimbangkan apakah domain target diketahui atau tidak diketahui.

Iterasi dari pengaturan beberapa-gesekan.

Akhirnya, metode berbasis aturan menggunakan 28 variasi yang mungkin pada pola standar untuk penggunaan nama dalam alamat email untuk mencoba memulihkan alamat email target. Ini memerlukan sejumlah besar query untuk menutupi semua kemungkinan permutasi.

Polanya berbasis aturan yang digunakan dalam tes.

Hasil

Untuk tugas prediksi dengan konteks, GPT-Neo berhasil memprediksi hingga 8,80% alamat email dengan benar, termasuk alamat yang tidak sesuai dengan pola standar.

Hasil tugas prediksi dengan konteks. Kolom pertama menjelaskan jumlah token sebelum alamat email.

Untuk tugas pengaturan nol-gesekan, PLM hanya dapat memprediksi sejumlah kecil alamat email dengan benar, sebagian besar sesuai dengan pola standar yang ditetapkan oleh peneliti (lihat gambar sebelumnya).

Hasil pengaturan nol-gesekan di mana domain tidak diketahui.

Penulis mencatat dengan minat bahwa pengaturan 0-gesekan (D) secara signifikan outperforms rekan-rekannya, karena, tampaknya, karena awalan yang lebih panjang.

‘Ini [menunjukkan] bahwa PLMs membuat prediksi ini terutama berdasarkan memorisasi urutan – jika mereka melakukan prediksi berdasarkan asosiasi, mereka harus berkinerja serupa. Alasan mengapa 0-gesekan (D) outperforms 0-gesekan (C) adalah bahwa konteks yang lebih panjang dapat menemukan lebih banyak [memorisasi]’

Model yang Lebih Besar, Risiko yang Lebih Tinggi

Dalam kaitannya dengan potensi pendekatan seperti ini untuk mengekstrak data pribadi dari model yang dilatih, penulis mengamati:

‘Untuk semua pengaturan domain yang diketahui, domain yang tidak diketahui, dan konteks, ada perbaikan signifikan dalam akurasi ketika kami berubah dari model 125M ke model 1,3B. Dan dalam sebagian besar kasus, ketika berubah dari model 1,3B ke model 2,7B, ada peningkatan dalam akurasi prediksi.’

Peneliti menawarkan dua penjelasan yang mungkin tentang mengapa ini terjadi. Pertama, model dengan parameter yang lebih tinggi dapat mengingat volume data pelatihan yang lebih besar. Kedua, model yang lebih besar lebih canggih dan lebih baik dalam memahami prompt yang dibuat, dan oleh karena itu dapat ‘menghubungkan’ informasi yang berbeda tentang seseorang.

Mereka tetap mengamati bahwa pada keadaan saat ini, informasi pribadi ‘relatif aman’ dari serangan seperti itu.

Sebagai obat untuk vektor serangan ini, menghadapi model baru yang tumbuh konsisten dalam ukuran dan cakupan, penulis menyarankan bahwa arsitektur harus dikenakan pra-pengolahan yang ketat untuk menyaring PII; untuk mempertimbangkan pelatihan dengan gradien turun diferensial; dan untuk menyertakan filter dalam lingkungan pasca-pengolahan, seperti API (misalnya, API DALL-E 2 OpenAI memiliki sejumlah besar filter, selain moderasi prompt manusia).

Mereka juga menyarankan untuk tidak menggunakan alamat email yang sesuai dengan pola yang dapat ditebak dan standar, meskipun saran ini sudah menjadi standar dalam keamanan siber.

* Saya menggantikan tautan untuk kutipan inline penulis.

Dipublikasikan pertama kali pada 26 Mei 2022.