Menganalisis 25 Tahun Kebijakan Privasi dengan Machine Learning

Sebuah studi baru-baru ini telah menggunakan teknik analisis mesin pembelajaran untuk memetakan keterbacaan, kegunaan, panjang, dan kompleksitas lebih dari 50.000 kebijakan privasi di situs web populer dalam periode yang mencakup 25 tahun dari 1996 hingga 2021. Penelitian ini menyimpulkan bahwa pembaca rata-rata memerlukan 400 jam “waktu membaca tahunan” (lebih dari satu jam sehari) untuk menembus peningkatan kata-kata, bahasa yang membingungkan, dan penggunaan bahasa yang tidak jelas yang merupakan ciri khas kebijakan privasi modern di beberapa situs web yang paling sering dikunjungi.

Laporan tersebut menyatakan:

‘Panjang rata-rata kebijakan hampir dua kali lipat dalam 10 tahun terakhir, dengan 2159 kata pada Maret 2011 dan 4191 kata pada Maret 2021, dan hampir empat kali lipat sejak 2000 (1146 kata).’

Rata-rata hitung kata dan kalimat di antara corpus yang dipelajari, selama periode 25 tahun. Sumber: https://arxiv.org/pdf/2201.08739.pdf

Meskipun tingkat peningkatan panjang kebijakan meningkat tajam ketika perlindungan GDPR dan Undang-Undang Privasi Konsumen California (CCPA) mulai berlaku, makalah ini menganggap variasi ini sebagai “ukuran efek kecil” yang tampaknya tidak signifikan dibandingkan dengan tren jangka panjang yang lebih luas. Namun, GDPR diidentifikasi sebagai penyebab potensial peningkatan bahasa yang “tidak jelas” dalam kebijakan (lihat di bawah).

Dengan asumsi kecepatan membaca 250 kata per menit, makalah ini menyatakan bahwa kebijakan privasi rata-rata sekarang memerlukan 17 menit untuk dibaca, sedangkan kebijakan yang lebih populer (yaitu kebijakan yang terkait dengan jumlah pengguna yang tinggi) memerlukan 23 menit untuk diselesaikan.

Kebijakan terpanjang dalam dataset, dari Microsoft, memerlukan 152 menit untuk dikonsumsi, menurut penelitian, yang menggunakan beberapa varian fast-bert pada model bahasa BERT Google.

Pertumbuhan tingkat jam tahunan yang dibutuhkan untuk membaca kebijakan privasi modern, dengan asumsi bahwa pembaca mengunjungi 1462 situs web unik per tahun.

Banyak dari peningkatan baru-baru ini dalam keberatan dan ketidakjelasan dalam kebijakan privasi dikaitkan oleh makalah ini sebagai reaksi terhadap upaya selama dua dekade terakhir untuk mengimposkan peraturan, tetapi juga penggunaan tidak jujur persyaratan kepatuhan peraturan sebagai alasan untuk meningkatkan cakupan dan kekaburan kebijakan privasi.

‘Secara keseluruhan, hasil kami menunjukkan bahwa peraturan privasi baru-baru ini tidak secara substansial meningkatkan privasi pengguna online, tetapi malah menyebabkan kebijakan privasi yang lebih membengkak yang menggambarkan praktik data yang lebih invasif.’

Meskipun beberapa makalah NLP telah membahas keterbacaan dan aspek lain dari kebijakan privasi dalam beberapa tahun terakhir, penulis percaya bahwa ini adalah proyek pertama dari jenisnya yang memberikan gambaran yang begitu luas tentang perkembangan kebijakan dalam beberapa dekade terakhir.

Makalah ini berjudul Kebijakan Privasi di Seluruh Zaman: Isi dan Keterbacaan Kebijakan Privasi 1996-2021, dan berasal dari Isabel Wagner di Institut Teknologi Cyber di Universitas De Montfort di Inggris.

Bahasa yang Tidak Jelas

Laporan tersebut juga menunjukkan bahwa rata-rata jumlah ‘kata yang membingungkan’ (yaitu acceptable, significant, mainly, dan kata-kata lain yang tidak memberikan makna yang pasti) dalam kebijakan privasi meningkat secara stabil hingga 2018, tetapi kemudian melonjak dari median 227 sekitar Maret 2018 menjadi 304 pada Juni 2020.

Penulis berpendapat bahwa kenaikan ini dapat dikaitkan dengan efek GDPR, dan makalah ini menemukan bahwa lebih dari dua pertiga (72%) kalimat dalam kebijakan privasi yang dipelajari mengandung setidaknya satu kata yang membingungkan.

Keterbacaan

Di seluruh tiga ukuran kesulitan membaca yang umum, studi ini menemukan bahwa ‘kebijakan privasi telah menjadi semakin sulit dibaca selama bertahun-tahun’. Penulis memperkirakan bahwa 41% kebijakan yang berlaku saat ini yang tersedia pada 2021 memiliki skor Flesch Reading Ease (FRE, semakin tinggi semakin baik) sebesar 31,8, dengan penulis mengamati ‘Skor ini menunjukkan teks yang sangat sulit dipahami dan paling baik dipahami oleh lulusan universitas’.

Pada saat yang sama, hanya 6,7% kebijakan yang mencapai skor FRE di atas 45 (yang, menurut laporan, merupakan standar membaca yang diperlukan untuk kebijakan asuransi di negara bagian Florida).

Pengetahuan Perubahan Kebijakan

Karya ini juga membahas sejauh mana kebijakan privasi mencakup detail tentang bagaimana calon penerima akan diberitahu dalam hal pembaruan selanjutnya, yang dapat mempengaruhi kemauan pengguna untuk mempertahankan kesepakatan.

Penulis mengamati:

‘Pada 2021, 73% kebijakan mencakup pernyataan tentang perubahan kebijakan. Dari ini, 34% menyatakan bahwa perubahan akan diumumkan dengan pemberitahuan di kebijakan privasi, 37% akan memposting pemberitahuan di situs web, dan 22% akan mengirimkan pemberitahuan pribadi (kebijakan yang tersisa meninggalkan jenis pemberitahuan tidak ditentukan).’

‘Sebagai hasilnya, sebagian besar pengguna tidak mungkin menyadari perubahan dalam kebijakan privasi. ‘

‘Selain itu, pengguna hampir tidak diberikan pilihan yang berarti ketika kebijakan berubah. Dari kebijakan yang memberitahu pengguna tentang perubahan, hanya 12% menawarkan opsi baru, sedangkan 34% tidak memberikan pilihan dan 54% meninggalkannya tidak ditentukan.’

Temuan makalah tentang metode yang digambarkan untuk memberitahu pengguna tentang perubahan kebijakan.

Pilihan Terbatas Mengenai Pelacakan

Menurut studi ini, rentang mekanisme yang jauh lebih besar ditawarkan dalam kebijakan privasi untuk mengakses informasi akun pengguna daripada untuk mengakses data profil pengguna. Data profil dapat dibuat dan diperbarui melalui mekanisme otomatis dan tidak jelas, sedangkan data akun pengguna tidak hanya diberikan secara eksplisit oleh pengguna, tetapi juga wajib diedit di bawah peraturan yurisdiksi yang berbeda.

Pilihan konsumen atas persetujuan cookie dalam kebijakan privasi (topik yang telah memicu perdebatan sengit sejak diberlakukannya GDPR yang menghasilkan ratusan ribu popup persetujuan cookie untuk instance Uni Eropa dari situs web internasional dan Eropa) umumnya dibahas dalam kebijakan, tetapi menyembunyikan lapisan data yang lebih tidak dapat diakses:

‘[Pilihan] tentang cookie tidak cukup untuk melindungi pengguna dari semua pelacakan karena mekanisme pilihan atau kontrol jarang ditawarkan untuk informasi komputer, pengidentifikasi perangkat, dan pengidentifikasi pribadi, yang memungkinkan pelacakan pengguna melalui sidik jari.’

Kontras yang tajam dalam tingkat kontrol yang diberikan oleh kebijakan privasi antara data profil (yang dapat diperoleh dengan cara implisit atau tidak jelas) dan data akun pengguna (di mana beberapa ukuran kontrol sering diwajibkan oleh GDPR, Undang-Undang Privasi Konsumen California (CCPA), dan mekanisme nasional dan regional yang serupa).

Data

Untuk mendapatkan data untuk studi ini, penulis merayapi situs web untuk tautan ke kebijakan privasi mereka, sering kali menemukan perlu untuk memperluas cakupan di luar hasil awal, karena jumlah kebijakan yang tidak integral yang menaut ke kebijakan lebih lanjut (masing-masing memiliki potensi untuk berubah baik bersamaan dengan atau independen dari kebijakan induk atau terkait).

Wayback Machine digunakan untuk mendapatkan kebijakan sejarah, meskipun perlu untuk mempertimbangkan hasil ketika mempertimbangkan kebijakan yang diblokir dari merayapi atau pengarsipan melalui file konfigurasi robots.txt (file teks kecil yang berisi instruksi untuk agen pengindeksan web-crawling tentang halaman dan entitas lain yang tidak boleh dimasukkan dalam indeks publik).

Satu snapshot per bulan diperoleh dari Wayback Machine oleh CDX API untuk setiap kebijakan yang dapat diidentifikasi dan berlaku terus, menggunakan Firefox di bawah Selenium. Melakukan pengenalan karakter optik pada kebijakan yang hanya tersedia dalam format PDF tidak dipertimbangkan untuk proyek ini, yang membatasi diri pada (jauh lebih besar) jumlah kebijakan HTML yang tersedia.

Salah satu hasil menarik dari proyek ini adalah bahwa kejelasan dan keterbacaan situs web pornografi sebenarnya telah meningkat selama interval yang dipelajari – mungkin dalam antisipasi meningkatnya tuntutan untuk regulasi dan kejelasan yang lebih besar. Untuk mengumpulkan dokumen-dokumen ini, perlu untuk mendapatkannya dengan merayapi tambahan dari alamat IP residential, karena protokol pemblokiran konten universitas.

Awalnya 1.068.683 dokumen diperoleh, yang setara dengan 120.265 dokumen unik yang berisi rata-rata 39,1 artikel atau klausa kebijakan dan 4,4 teks kebijakan unik untuk setiap tautan.

Inggris saja

Seperti yang umum dalam studi-studi serupa baru-baru ini, proyek ini tidak dapat membahas kebijakan privasi non-Inggris, yang dibuang selama tahap pembersihan data menggunakan paket PYCLD2.

Untuk membedakan kebijakan privasi dari jenis materi lain, proyek ini menggunakan klasifikasi yang dikembangkan pada 2019 sebagai inisiatif bersama dari Universitas Wisconsin dan École Polytechnique Fédérale de Lausanne.

Arsitektur klasifikasi IS-POLICY. Sumber: https://arxiv.org/pdf/1809.08396.pdf

Meskipun klasifikasi IS-POLICY dilatih pada corpus dokumen yang sama dengan makalah asli, penulis harus mendapatkan dokumen non-kebijakan baru untuk pelatihan, karena sumber asli tidak tersedia.

Setelah penyaringan, data dikurangi menjadi 56.416 kebijakan privasi unik.

* Catatan referensi makalah diubah menjadi tautan di sini, dan pengaturan italic dari makalah.

Dipublikasikan pertama kali pada 31 Januari 2022.