Perplexity presenta il benchmark PII-TRACE e il rilevatore PII‑Tracer per dispositivi locali

Perplexity, il 1° settembre 2026, ha presentato PII-TRACE, un benchmark per valutare i rilevatori di informazioni personali identificabili, e PII‑Tracer, un modello compatto da 0,6 B parametri progettato per segnalare i PII sul dispositivo dell’utente prima che il testo venga inviato ai modelli cloud. L’annuncio inquadra entrambe le uscite come infrastruttura per la privacy nell’architettura di calcolo ibrido dell’azienda, in cui gli agenti cloud gestiscono ricerca, ragionamento e pianificazione mentre un modello locale lavora con file privati.

In tale architettura, un gate di privacy locale mantiene i contenuti sensibili sul Mac, redige le informazioni private rilevate o richiede l’approvazione prima di inviarle al cloud. Perplexity ha affermato che la barriera protegge la privacy solo se il dispositivo riesce a riconoscere i PII prima che il testo venga inviato a un modello remoto, e che il rilevamento diventa più difficile in conversazioni lunghe e multilingue, dove lo stesso identificatore può apparire più volte in turni diversi. Un singolo riferimento mancato può esporre le informazioni che il sistema è destinato a proteggere.

PII‑Tracer fornisce un segnale di controllo locale per l’instradamento del modello, segnalando gli intervalli previsti contenenti PII. L’applicazione quindi applica la politica di instradamento: mantiene l’input pertinente in locale, redige gli intervalli rilevati o richiede un’approvazione esplicita prima di passare a un modello cloud.

Il benchmark PII-TRACE

PII-TRACE, abbreviazione di Tracing Recurring PII Across Conversational Exchanges, contiene 13.148 conversazioni sintetiche tra utente e assistente in 13 lingue e 10 sistemi di scrittura, con 37.431 menzioni di identificatori etichettate a livello di carattere su nove tipologie di PII. Il 41 % delle conversazioni contiene contenuti strutturati. Tra le 5.645 conversazioni con PII etichettati, il 63,8 % include un identificatore che appare più di una volta, e il 28,7 % include un identificatore che compare in più turni.

Perplexity ha dichiarato di aver progettato il benchmark attorno a tre comportamenti fondamentali per un rilevatore che analizza le conversazioni con l’assistente. Il primo è la copertura coerente: quando un identificatore appare più volte o attraversa i turni dell’utente e dell’assistente, il rilevatore deve trovare ogni sua occorrenza. Il secondo è la robustezza a contesti lunghi, con conversazioni che vanno da meno di 1.000 a più di 100.000 caratteri. Il terzo è la gestione di più lingue e contenuti a formato misto, poiché una conversazione può cambiare lingua e combinare prosa con codice, tabelle o record strutturati.

Il benchmark misura le prestazioni a due livelli. A livello di identificatore, un punteggio di rilevamento coerente verifica se il rilevatore ha coperto ogni carattere in ogni occorrenza dello stesso identificatore, riportato separatamente per gli identificatori con più menzioni e per quelli che si ripetono in più turni. A livello di carattere, la precisione misura quanto del testo segnalato dal rilevatore sia effettivamente PII, il richiamo misura quanta PII etichettata trova, e l’F1 bilancia i due.

Il dataset è sintetico ma derivato da conversazioni di produzione. Secondo l’azienda, più modelli linguistici marcano inizialmente nove tipologie di PII nelle conversazioni reali tra utente e assistente, e un passaggio basato su regole raggruppa gli identificatori ripetuti dello stesso tipo sotto un unico ID entità. Ogni valore marcato viene sostituito da un segnaposto tipizzato, ogni turno è parafrasato mantenendo intatti i segnaposti, e valori sintetici corrispondenti al tipo e al formato di ciascun identificatore sono inseriti. Tre controlli automatici verificano che le sostituzioni corrispondano agli intervalli memorizzati, che le menzioni ripetute usino lo stesso valore e che i valori sorgente marcati siano assenti dopo una scansione con Presidio e con espressioni regolari. Un secondo modello linguistico revisiona un campione, e gli esseri umani controllano tutto ciò che viene segnalato come PII.

Un rilevatore compatto per l’uso locale

PII‑Tracer è un encoder bidirezionale da 0,6 B adattato da una backbone Qwen3. Perplexity ha spiegato che il filtraggio della privacy differisce dalla generazione di testo perché richiede di individuare gli intervalli pertinenti di PII e restituirne i confini; così il modello sostituisce la maschera causale di Qwen3 con un’attenzione bidirezionale consapevole del padding, consentendo a ogni token di attingere sia ai turni precedenti sia a quelli successivi entro una finestra di 4.096 token.

Per ogni token, l’encoder produce una rappresentazione a 1.024 dimensioni, e una testa di etichettatura lineare assegna 37 possibili etichette secondo lo schema BIOES per il riconoscimento di entità nominate: un’etichetta per il testo al di fuori di un intervallo PII, più quattro etichette di posizione dell’intervallo per ciascuna delle nove tipologie di PII. Una testa ausiliaria prevede se la conversazione contiene materiale sensibile, come informazioni sanitarie o religiose. L’azienda ha dichiarato di aver addestrato il modello per tre epoche su circa 714.000 esempi di addestramento combinando conversazioni multilingue con assistente e esempi di singoli record. In fase di inferenza, un decoder Viterbi vincolato ricerca la sequenza di etichette valida con punteggio più alto e mappa il risultato sugli intervalli di caratteri esatti per la redazione o l’instradamento locale.

Risultati della valutazione

Perplexity ha riportato che PII‑Tracer ha ottenuto il più alto F1 a livello di carattere (0,629) tra i 12 sistemi valutati, oltre al secondo F1 più alto per la sovrapposizione di intervalli e per il contenimento di intervalli. L’azienda ha affermato che i modelli di frontiera, ovvero GPT-5.6-sol e Claude Sonnet 5, hanno mostrato prestazioni complessive comparabili, con GPT-5.6-sol che ottiene punteggi più alti su entrambe le metriche a livello di intervallo ma un F1 a livello di carattere più basso. È stato osservato che tali modelli di frontiera contano centinaia di miliardi o persino trilioni di parametri e sono modelli chiusi ospitati nel cloud, rendendoli inadatti al filtraggio di testi che devono rimanere locali, mentre altri rilevatori di PII open source hanno registrato prestazioni sostanzialmente inferiori rispetto a PII‑Tracer.

Nel test di coerenza, il set di valutazione contiene 899 identificatori che compaiono una sola volta e 959 che compaiono più volte, di cui 790 si estendono su più turni. Perplexity ha segnalato che PII‑Tracer individua ogni menzione del 79,4 % degli identificatori ricorrenti e del 77,6 % di quelli che attraversano i turni, mentre GPT-5.6-sol raggiunge rispettivamente il 57,0 % e il 55,1 %. Il punteggio di PII‑Tracer scende da 0,917 per gli identificatori a menzione singola a 0,691 per quelli che compaiono da sei a dieci volte.

La lunghezza rimane una limitazione. Il richiamo a singola finestra è 0,975 per conversazioni inferiori a 1.000 caratteri e 0,955 per quelle tra 1.000 e 10.000, ma scende a 0,687 per conversazioni pari o superiori a 10.000 caratteri. L’azienda ha dichiarato che la decodifica dello stesso checkpoint con finestre scorrevoli con sovrapposizione del 50 % aumenta il richiamo complessivo a livello di carattere dallo 0,830 al 0,965 e la coerenza di rilevamento multi‑menzione dallo 0,794 al 0,954, senza necessità di riaddestramento.

Su una fetta di sei lingue che comprende script latini, cirillici e Hangul, PII‑Tracer guida il F1 a livello di carattere in tedesco (0,735), francese (0,633), italiano (0,676) e russo (0,651), e si colloca a 0,016‑0,036 dal miglior risultato in inglese e coreano, secondo quanto riportato dall’azienda. Su cinque benchmark esterni a singolo record, Perplexity ha affermato che PII‑Tracer ha ottenuto un F1 a livello di carattere superiore al OpenAI Privacy Filter su tutti i dataset, inclusi 0,950 contro 0,907 su ai4privacy, 0,847 contro 0,709 su Nemotron‑PII e 0,594 contro 0,350 su TAB, l’unico benchmark del gruppo costruito a partire da testi reali etichettati da umani.

Il paper di ricerca avverte che le conversazioni sono ricostruzioni sintetiche derivate dalla struttura del traffico di assistenti in produzione, pertanto i risultati devono essere interpretati come misurazioni del rilevamento di PII in conversazioni piuttosto che come stime per carichi di lavoro di produzione specifici. Il documento osserva inoltre che le chiamate a strumenti, i messaggi inter‑agente e gli input multimodali sono al di fuori dell’ambito del benchmark, e che ogni baseline è stata valutata con una singola configurazione di inferenza. Perplexity ha dichiarato di pianificare il rilascio imminente sia di PII‑TRACE sia di PII‑Tracer; il paper afferma che entrambi saranno rilasciati sotto licenza MIT.