Perplexity Memperkenalkan Benchmark PII-TRACE dan Detektor PII‑Tracer di Perangkat

Perplexity pada 1 September 2026 memperkenalkan PII-TRACE, sebuah benchmark untuk mengevaluasi detektor informasi yang dapat diidentifikasi secara pribadi, dan PII‑Tracer, model kompak dengan 0,6 B parameter yang dibangun untuk menandai PII di perangkat pengguna sebelum teks dikirim ke model cloud. pengumuman menempatkan kedua rilis ini sebagai infrastruktur privasi untuk arsitektur komputasi hibrida perusahaan, di mana agen cloud menangani riset, penalaran, dan perencanaan sementara model lokal bekerja dengan berkas pribadi.

Dengan arsitektur tersebut, gerbang privasi lokal menyimpan konten sensitif di Mac, menyensor informasi pribadi yang terdeteksi, atau meminta persetujuan sebelum mengirimnya ke cloud. Perplexity menyatakan bahwa batasan tersebut hanya melindungi privasi jika perangkat dapat mengenali PII sebelum teks dikirim ke model remote, dan bahwa deteksi menjadi lebih sulit pada percakapan panjang yang multibahasa di mana identifier yang sama dapat muncul beberapa kali pada giliran yang berbeda. Satu penyebutan yang terlewat dapat mengungkap informasi yang seharusnya dilindungi oleh sistem.

PII‑Tracer menyediakan satu sinyal kontrol lokal untuk pengaturan rute model dengan menandai rentang yang diprediksi mengandung PII. Aplikasi kemudian menegakkan kebijakan routing: ia menyimpan input yang relevan secara lokal, menyensor rentang yang terdeteksi, atau meminta persetujuan eksplisit sebelum meningkatkan ke model cloud.

Benchmark PII-TRACE

PII‑TRACE, singkatan dari Tracing Recurring PII Across Conversational Exchanges, berisi 13.148 percakapan sintetis antara pengguna dan asisten dalam 13 bahasa dan 10 sistem penulisan, dengan 37.431 penyebutan identifier yang diberi label pada tingkat karakter meliputi sembilan jenis PII. Sebanyak 41 % percakapan mengandung konten terstruktur. Dari 5.645 percakapan dengan PII berlabel, 63,8 % mencakup identifier yang muncul lebih dari sekali, dan 28,7 % mencakup identifier yang muncul di beberapa giliran.

Perplexity menyatakan bahwa benchmark ini dirancang berdasarkan tiga perilaku yang penting ketika detektor memeriksa percakapan asisten. Yang pertama adalah cakupan konsisten: ketika sebuah identifier muncul beberapa kali atau melintasi giliran pengguna dan asisten, detektor harus menemukan setiap penyebutan. Yang kedua adalah ketahanan terhadap konteks panjang, dengan percakapan yang berkisar dari kurang dari 1.000 hingga lebih dari 100.000 karakter. Yang ketiga adalah penanganan banyak bahasa dan konten format campuran, karena sebuah percakapan dapat beralih bahasa dan menggabungkan prosa dengan kode, tabel, atau catatan terstruktur.

Benchmark mengukur kinerja pada dua tingkat. Pada tingkat identifier, skor deteksi konsisten menilai apakah detektor mencakup setiap karakter dalam setiap penyebutan identifier yang sama, dilaporkan secara terpisah untuk identifier dengan banyak penyebutan dan untuk identifier yang berulang lintas giliran. Pada tingkat karakter, presisi mengukur seberapa banyak teks yang ditandai oleh detektor merupakan PII berlabel, recall mengukur seberapa banyak PII berlabel yang ditemukan, dan F1 menyeimbangkan keduanya.

Dataset tersebut bersifat sintetis namun berasal dari percakapan produksi. Menurut perusahaan, beberapa model bahasa pertama‑tama menandai sembilan jenis PII dalam percakapan produksi antara pengguna dan asisten, dan proses berbasis aturan mengelompokkan identifier yang berulang dengan tipe yang sama ke dalam satu ID entitas. Setiap nilai yang ditandai digantikan dengan placeholder berjenis, setiap giliran diparafrasekan dengan placeholder tetap, dan nilai sintetis yang sesuai dengan tipe dan format masing‑mata identifier disisipkan. Tiga gerbang otomatis memeriksa bahwa penggantian cocok dengan rentang yang disimpan, bahwa penyebutan berulang menggunakan nilai yang sama, dan bahwa nilai sumber yang ditandai tidak ada setelah pemindaian ulang menggunakan Presidio dan ekspresi reguler. Model bahasa kedua mengaudit sampel, dan manusia meninjau apa pun yang ditandainya sebagai PII.

Detektor Kompak untuk Penggunaan Lokal

PII‑Tracer adalah encoder dua arah 0,6 B yang diadaptasi dari kerangka Qwen3. Perplexity menyatakan bahwa penyaringan privasi berbeda dari generasi teks karena memerlukan penemuan rentang PII yang relevan dan pengembalian batasnya, sehingga model menggantikan mask kausal Qwen3 dengan perhatian dua arah yang sadar padding, memungkinkan setiap token mengambil informasi dari giliran sebelumnya dan selanjutnya dalam jendela 4.096 token.

Untuk setiap token, encoder menghasilkan representasi berdimensi 1.024, dan kepala penandaan linear memberi skor pada 37 label kemungkinan dalam skema BIOES untuk pengenalan entitas bernama: satu label untuk teks di luar rentang PII, plus empat label posisi rentang untuk masing‑masing sembilan jenis PII. Kepala tambahan memprediksi apakah percakapan mengandung materi sensitif, seperti informasi kesehatan atau keagamaan. Perusahaan menyatakan bahwa model dilatih selama tiga epoch pada kira‑kira 714.000 sampel pelatihan yang menggabungkan percakapan asisten multibahasa dengan contoh satu catatan. Pada saat inferensi, decoder Viterbi terbatas mencari urutan label valid dengan skor tertinggi dan memetakan hasilnya kembali ke rentang karakter yang tepat untuk penyensoran atau routing lokal.

Hasil Evaluasi

Perplexity melaporkan bahwa PII‑Tracer mencapai F1 karakter tertinggi (0,629) di antara 12 sistem yang dievaluasi, serta F1 tumpang‑sari rentang tertinggi kedua dan F1 penahanan rentang tertinggi kedua. Perusahaan menyatakan bahwa model frontier, yaitu GPT-5.6‑sol dan Claude Sonnet 5, mencapai kinerja keseluruhan yang sebanding, dengan GPT-5.6‑sol memperoleh skor lebih tinggi pada kedua metrik tingkat rentang namun lebih rendah pada F1 karakter. Mereka mencatat bahwa model frontier tersebut memiliki ratusan miliar bahkan triliun parameter dan merupakan model sumber‑tertutup yang dihosting di cloud, sehingga tidak cocok untuk menyaring teks yang harus tetap lokal, sementara detektor PII sumber‑terbuka lainnya tampil jauh lebih buruk dibandingkan PII‑Tracer.

Pada tes konsistensi, set evaluasi berisi 899 identifier yang muncul sekali dan 959 yang muncul lebih dari sekali, dengan 790 di antaranya melintasi beberapa giliran. Perplexity melaporkan bahwa PII‑Tracer menemukan setiap penyebutan pada 79,4 % identifier yang berulang dan 77,6 % identifier lintas giliran, sementara GPT-5.6‑sol mencapai 57,0 % dan 55,1 % pada dua ukuran yang sama. Skor PII‑Tracer menurun dari 0,917 untuk identifier dengan satu penyebutan menjadi 0,691 untuk identifier yang muncul enam hingga sepuluh kali.

Panjang tetap menjadi keterbatasan. Recall satu‑jendela adalah 0,975 untuk percakapan di bawah 1.000 karakter dan 0,955 untuk rentang 1.000 hingga 10.000, namun turun menjadi 0,687 pada atau di atas 10.000 karakter. Perusahaan menyatakan bahwa mendekode checkpoint yang sama dengan jendela geser tumpang‑tindih 50 % meningkatkan recall karakter keseluruhan dari 0,830 menjadi 0,965 dan deteksi konsisten multi‑penyebutan dari 0,794 menjadi 0,954, tanpa pelatihan ulang.

Dalam irisan enam bahasa yang mencakup skrip Latin, Cyrillic, dan Hangul, PII‑Tracer memimpin F1 karakter dalam bahasa Jerman (0,735), Prancis (0,633), Italia (0,676), dan Rusia (0,651), serta berada dalam selisih 0,016 hingga 0,036 dari hasil terbaik dalam bahasa Inggris dan Korea, menurut laporan perusahaan. Pada lima benchmark eksternal satu‑catatan, Perplexity menyatakan bahwa PII‑Tracer mencatat F1 karakter lebih tinggi daripada OpenAI Privacy Filter pada setiap dataset, termasuk 0,950 versus 0,907 pada ai4privacy, 0,847 versus 0,709 pada Nemotron‑PII, dan 0,594 versus 0,350 pada TAB, satu‑satunya benchmark dalam grup yang dibangun dari teks nyata yang berlabel manusia.

makalah penelitian tersebut memperingatkan bahwa percakapan tersebut adalah rekonstruksi sintetis yang diambil dari struktur lalu lintas asisten produksi, sehingga hasilnya harus dibaca sebagai pengukuran deteksi PII dalam percakapan, bukan perkiraan untuk beban kerja produksi tertentu. Makalah tersebut juga mencatat bahwa panggilan alat, pesan antar‑agen, dan masukan multimodal berada di luar ruang lingkup benchmark, dan bahwa setiap baseline dievaluasi dengan konfigurasi inferensi tunggal. Perplexity menyatakan bahwa mereka berencana merilis PII‑TRACE dan PII‑Tracer dalam waktu dekat; makalah menyebutkan bahwa keduanya akan dirilis di bawah lisensi MIT.