Perplexity prezintă benchmark-ul PII-TRACE și detectorul PII-Tracer pe dispozitiv

Perplexity, pe 1 septembrie 2026, a prezentat PII-TRACE, un benchmark pentru evaluarea detectorilor de informații personale identificabile, și PII-Tracer, un model compact de 0.6B de parametri conceput să marcheze PII pe dispozitivul utilizatorului înainte ca textul să fie trimis către modelele din cloud. Anunțul încadrează ambele lansări ca infrastructură de confidențialitate pentru arhitectura de calcul hibrid a companiei, în care agenții din cloud se ocupă de cercetare, raționament și planificare, în timp ce un model local lucrează cu fișiere private.

În cadrul acestei arhitecturi, o poartă locală de confidențialitate păstrează conținutul sensibil pe Mac, redactează informațiile private detectate sau solicită aprobare înainte de a le trimite în cloud. Perplexity a precizat că granița protejează confidențialitatea numai dacă dispozitivul poate recunoaște PII înainte ca textul să fie trimis către un model remote, iar detectarea devine mai dificilă în conversații lungi și multilingve în care același identificator poate apărea de mai multe ori în diferite tururi. O singură mențiune omisă poate expune informația pe care sistemul trebuie să o protejeze.

PII-Tracer furnizează un semnal de control local pentru rutarea modelului prin marcarea segmentelor prezise a conține PII. Aplicația apoi aplică politica de rutare: păstrează intrarea relevantă locală, redactează segmentele detectate sau solicită aprobare explicită înainte de a escalada către un model din cloud.

Benchmark-ul PII-TRACE

PII-TRACE, prescurtare de la Tracing Recurring PII Across Conversational Exchanges, conține 13.148 de conversații sintetice utilizator-asistent în 13 limbi și 10 sisteme de scriere, cu 37.431 de mențiuni de identificatori etichetate la nivel de caracter în nouă tipuri de PII. Un total de 41% dintre conversații conțin conținut structurat. Dintre cele 5.645 de conversații cu PII etichetat, 63.8% includ un identificator care apare de mai multe ori, iar 28.7% includ un identificator care apare în mai multe tururi.

Perplexity a declarat că a conceput benchmark-ul în jurul a trei comportamente importante când un detector analizează conversațiile asistentului. Primul este acoperirea consistentă: când un identificator apare de mai multe ori sau traversează tururile utilizatorului și ale asistentului, detectorul trebuie să găsească fiecare mențiune. Al doilea este rezistența la context lung, cu conversații care variază de la sub 1.000 la peste 100.000 de caractere. Al treilea este gestionarea mai multor limbi și a conținutului mixt, deoarece o conversație poate schimba limbile și poate combina proză cu cod, tabele sau înregistrări structurate.

Benchmark-ul măsoară performanța la două niveluri. La nivel de identificator, un scor de detectare consistent întreabă dacă detectorul a acoperit fiecare caracter din fiecare mențiune a aceluiași identificator, raportat separat pentru identificatorii cu mențiuni multiple și pentru cei care se repetă în tururi. La nivel de caracter, precizia măsoară cât din textul marcat de detector este etichetat ca PII, recall-ul măsoară cât de mult PII etichetat găsește, iar F1 echilibrează cele două.

Setul de date este sintetic, dar derivat din conversații de producție. Conform companiei, mai multe modele lingvistice marchează mai întâi nouă tipuri de PII în conversațiile de producție utilizator-asistent, iar un pas bazat pe reguli grupează identificatorii repetați de același tip sub un singur ID de entitate. Fiecare valoare marcată este înlocuită cu un substituent tipizat, fiecare tur este parafrazat cu substituenții păstrați, iar valori sintetice care corespund tipului și formatului fiecărui identificator sunt inserate. Trei porți automate verifică că înlocuirile corespund segmentelor stocate, că mențiunile repetate folosesc aceeași valoare și că valorile sursă marcate lipsesc în urma unei revizii cu Presidio și expresii regulate. Un al doilea model lingvistic auditează un eșantion, iar oamenii revizuiesc tot ce este semnalat ca PII.

Un detector compact pentru utilizare locală

PII-Tracer este un codor bidirecțional de 0.6B adaptat dintr-un backbone Qwen3. Perplexity a precizat că filtrarea confidențialității diferă de generarea de text deoarece necesită găsirea segmentelor relevante de PII și returnarea limitelor acestora, astfel că modelul înlocuiește masca cauzală a Qwen3 cu atenție bidirecțională conștientă de padding, permițând fiecărui token să se bazeze atât pe tururile anterioare, cât și pe cele ulterioare într-o fereastră de 4.096 de tokeni.

Pentru fiecare token, codorul produce o reprezentare de 1.024 de dimensiuni, iar o cap de etichetare liniară evaluează 37 de etichete posibile conform schemei BIOES pentru recunoașterea entităților numite: o etichetă pentru textul în afara unui segment PII, plus patru etichete de poziție a segmentului pentru fiecare dintre cele nouă tipuri de PII. O cap suplimentară prezice dacă conversația conține material sensibil, cum ar fi informații de sănătate sau religioase. Compania a declarat că a antrenat modelul timp de trei epoci pe aproximativ 714.000 de mostre de antrenament care combină conversații multilingve ale asistentului cu exemple de înregistrări unice. La inferență, un decodor Viterbi constrâns caută secvența de etichete validă cu cel mai mare scor și mapă rezultatul înapoi la segmente exacte de caractere pentru redactare sau rutare locală.

Rezultatele evaluării

Perplexity a raportat că PII-Tracer a obținut cel mai mare F1 pe caractere (0.629) dintre cele 12 sisteme evaluate, alături de al doilea cel mai mare F1 pentru suprapunerea segmentelor și F1 pentru conținerea segmentelor. Compania a precizat că modelele de frontieră, și anume GPT-5.6-sol și Claude Sonnet 5, au atins performanțe globale comparabile, GPT-5.6-sol obținând scoruri mai mari la ambele metrici de nivel segment, dar mai mici la F1 pe caractere. S-a remarcat că acele modele de frontieră au sute de miliarde sau chiar trilioane de parametri și sunt modele închise, găzduite în cloud, ceea ce le face nepotrivite pentru filtrarea textului care trebuie să rămână local, în timp ce alți detectori PII open-source au avut performanțe semnificativ mai slabe decât PII-Tracer.

În testul de consistență, setul de evaluare conține 899 de identificatori care apar o singură dată și 959 care apar de mai multe ori, dintre care 790 se extind pe mai multe tururi. Perplexity a raportat că PII-Tracer găsește fiecare mențiune a 79.4% dintre identificatorii recurente și 77.6% dintre identificatorii care traversează tururi, în timp ce GPT-5.6-sol atinge 57.0% și respectiv 55.1% la aceleași două măsuri. Scorul PII-Tracer trece de la 0.917 pentru identificatori cu o singură mențiune la 0.691 pentru identificatori care apar de la șase la zece ori.

Lungimea rămâne o limitare. Recall-ul pe fereastră unică este 0.975 pentru conversații sub 1.000 de caractere și 0.955 între 1.000 și 10.000, dar scade la 0.687 la sau peste 10.000 de caractere. Compania a declarat că decodarea aceluiași punct de control cu ferestre glisante cu suprapunere de 50% crește recall-ul total pe caractere de la 0.830 la 0.965 și detectarea consistentă a mențiunilor multiple de la 0.794 la 0.954, fără re-antrenare.

Pe o porțiune de șase limbi care acoperă scripturile latin, chirilic și Hangul, PII-Tracer conduce în F1 pe caractere în germană (0.735), franceză (0.633), italiană (0.676) și rusă (0.651), și se situează la 0.016‑0.036 de cele mai bune rezultate în engleză și coreeană, conform raportului companiei. Pe cinci benchmark-uri externe de înregistrări unice, Perplexity a declarat că PII-Tracer a înregistrat un F1 pe caractere mai mare decât OpenAI Privacy Filter pe fiecare set de date, inclusiv 0.950 versus 0.907 pe ai4privacy, 0.847 versus 0.709 pe Nemotron-PII și 0.594 versus 0.350 pe TAB, singurul benchmark din grup construit din text real etichetat de oameni.

Lucrarea de cercetare avertizează că conversațiile sunt reconstrucții sintetice derivate din structura traficului de asistență de producție, astfel că rezultatele trebuie citite ca măsurători ale detectării PII în conversații, nu ca estimări pentru o sarcină de producție specifică. Lucrarea menționează, de asemenea, că apelurile de instrumente, mesajele inter‑agent și intrările multimodale nu fac parte din domeniul benchmark-ului și că fiecare bază de referință a fost evaluată sub o singură configurație de inferență. Perplexity a anunțat că intenționează să lanseze în curând atât PII-TRACE, cât și PII-Tracer; lucrarea precizează că ambele vor fi publicate sub licența MIT.