Perplexity introduserer PII-TRACE‑benchmark og PII‑Tracer‑detektor på enheten

Perplexity 1. september 2026 introduserte PII-TRACE, en benchmark for evaluering av detektorer av personlig identifiserbar informasjon, og PII‑Tracer, en kompakt 0,6 B‑parameter‑modell bygget for å flagge PII på en brukers enhet før tekst sendes til sky‑modeller. Kunngjøringen rammer begge utgivelser som personvern‑infrastruktur for selskapets hybride beregningsarkitektur, der sky‑agenter håndterer forskning, resonnering og planlegging mens en lokal modell arbeider med private filer.

Under den arkitekturen holder en lokal personvernport sensitivt innhold på Mac-en, fjerner oppdaget privat informasjon, eller ber om godkjenning før den sendes til skyen. Perplexity sa at grensen kun beskytter personvern dersom enheten kan gjenkjenne PII før teksten sendes til en fjernmodell, og at deteksjon blir vanskeligere i lange, flerspråklige samtaler hvor samme identifikator kan forekomme flere ganger i ulike turer. En enkelt savnet forekomst kan avsløre informasjonen systemet er ment å beskytte.

PII‑Tracer gir ett lokalt kontrollsignal for modell‑ruting ved å merke spenner som er forutsagt å inneholde PII. Applikasjonen håndhever deretter rutepolitikken: den holder relevant input lokalt, fjerner oppdagede spenner, eller ber om eksplisitt godkjenning før den eskalerer til en sky‑modell.

PII-TRACE‑benchmarken

PII-TRACE, forkortelse for Tracing Recurring PII Across Conversational Exchanges, inneholder 13 148 syntetiske bruker‑assistent‑samtaler på 13 språk og 10 skriftsystemer, med 37 431 identifikator‑forekomster merket på tegnnivå over ni PII‑typer. Totalt 41 % av samtalene inneholder strukturert innhold. Av de 5 645 samtalene med merket PII, inneholder 63,8 % en identifikator som dukker opp mer enn én gang, og 28,7 % en identifikator som forekommer på tvers av flere turer.

Perplexity sa at benchmarken er designet rundt tre atferder som er viktige når en detektor screen‑er assistentsamtaler. Den første er konsistent dekning: når en identifikator dukker opp flere ganger eller krysser bruker‑ og assistent‑turer, må detektoren finne hver forekomst. Den andre er robusthet mot lang kontekst, med samtaler som varierer fra under 1 000 til over 100 000 tegn. Den tredje er håndtering av flere språk og blandet format, siden en samtale kan bytte språk og kombinere prosa med kode, tabeller eller strukturerte poster.

Benchmarken måler ytelse på to nivåer. På identifikatornivå stiller en konsistent deteksjonsscore spørsmålet om detektoren dekket hvert tegn i hver forekomst av samme identifikator, rapportert separat for identifikatorer med flere forekomster og for identifikatorer som gjentas på tvers av turer. På tegnnivå måler presisjon hvor stor del av teksten merket av en detektor som er merket som PII, recall måler hvor mye merket PII den finner, og F1‑score balanserer de to.

Datasettet er syntetisk, men avledet fra produksjonssamtaler. Ifølge selskapet markerer flere språkmodeller først ni typer PII i produksjons‑bruker‑assistent‑samtaler, og en regelbasert passering grupperer gjentatte identifikatorer av samme type under én entitets‑ID. Hver merket verdi erstattes av en typet plassholder, hver tur blir parafrasert med plassholderne intakte, og syntetiske verdier som matcher hver identifikators type og format settes inn. Tre automatiserte porter sjekker at erstatningene samsvarer med de lagrede spenner, at gjentatte forekomster bruker samme verdi, og at merkede kildeverdier er fraværende under en Presidio‑ og regulær‑uttrykk‑gjennomsøk. En annen språkmodell reviderer et utvalg, og mennesker gjennomgår alt som flagges som PII.

En kompakt detektor for lokal bruk

PII‑Tracer er en 0,6 B‑bidireksjonell enkoder tilpasset fra en Qwen3‑ryggrad. Perplexity sa at personvern‑screening skiller seg fra tekstgenerering fordi den krever å finne relevante PII‑spenner og returnere deres grenser, så modellen erstatter Qwen3‑s kausale maske med polstring‑bevisst bidireksjonell oppmerksomhet, slik at hver token kan hente informasjon fra både tidligere og senere turer innenfor et vindu på 4 096 token.

For hver token produserer enkoderen en 1 024‑dimensjonal representasjon, og et lineært merkings‑hode scorer 37 mulige etiketter under BIOES‑skjemaet for navngitt enhetsgjenkjenning: én etikett for tekst utenfor en PII‑span, pluss fire posisjonsetiketter for hver av de ni PII‑typene. Et hjelpe‑hode forutsier om samtalen inneholder sensitivt materiale, som helse‑ eller religiøs informasjon. Selskapet sa at de trente modellen i tre epoker på omtrent 714 000 trenings‑eksempler som kombinerer flerspråklige assistentsamtaler med enkelt‑post‑eksempler. Ved inferens søker en begrenset Viterbi‑dekoder etter den høyest‑scorende gyldige etikettsekvensen og kartlegger resultatet tilbake til eksakte tegnspenner for redigering eller lokal ruting.

Evalueringsresultater

Perplexity rapporterte at PII‑Tracer oppnådde den høyeste tegn‑F1 (0,629) blant de 12 evaluerte systemene, samt den nest høyeste span‑overlapp‑F1 og span‑inneslutnings‑F1. Selskapet sa at frontmodeller, nemlig GPT‑5.6‑sol og Claude Sonnet 5, oppnådde sammenlignbar samlet ytelse, med GPT‑5.6‑sol som scorer høyere på begge span‑nivå‑målinger men lavere på tegn‑F1. De bemerket at disse frontmodellene har hundrevis av milliarder eller til og med billioner av parametere og er lukkede kildekodemodeller som hostes i skyen, noe som gjør dem uegnet for å screen‑e tekst som må forbli lokal, mens andre åpne‑kilde‑PII‑detektorer presterte betydelig dårligere enn PII‑Tracer.

På konsistens‑testen inneholder evalueringssettet 899 identifikatorer som forekommer én gang og 959 som forekommer mer enn én gang, hvorav 790 spenner over flere turer. Perplexity rapporterte at PII‑Tracer finner hver forekomst av 79,4 % av gjentakende identifikatorer og 77,6 % av kryss‑tur‑identifikatorer, mens GPT‑5.6‑sol når 57,0 % og 55,1 % på de samme to målingene. PII‑Tracer‑scoren går fra 0,917 for enkelt‑forekomst‑identifikatorer til 0,691 for identifikatorer som dukker opp seks til ti ganger.

Lengde forblir en begrensning. Recall for enkelt‑vindu er 0,975 for samtaler under 1 000 tegn og 0,955 fra 1 000 til 10 000, men faller til 0,687 ved 10 000 tegn eller mer. Selskapet sa at dekoding av samme sjekkpunkt med 50 %‑overlappende glidende vinduer øker samlet tegn‑recall fra 0,830 til 0,965 og konsistent deteksjon av flere forekomster fra 0,794 til 0,954, uten ny trening.

På et seks‑språklig utdrag som dekker latinske, kyrilliske og hangul‑skriftsystemer leder PII‑Tracer tegn‑F1 på tysk (0,735), fransk (0,633), italiensk (0,676) og russisk (0,651), og ligger innen 0,016 til 0,036 fra de beste resultatene på engelsk og koreansk, rapporterer selskapet. På fem eksterne enkelt‑post‑benchmarker sa Perplexity at PII‑Tracer oppnådde høyere tegn‑F1 enn OpenAI Privacy Filter på hvert datasett, inkludert 0,950 mot 0,907 på ai4privacy, 0,847 mot 0,709 på Nemotron‑PII, og 0,594 mot 0,350 på TAB, det eneste benchmark‑settet i gruppen bygget på ekte, menneskelig merkede tekster.

Forskningsartikkelen advarer om at samtalene er syntetiske rekonstruksjoner avledet fra strukturen i produksjons‑assistent‑trafikk, så resultatene bør leses som målinger av samtale‑PII‑deteksjon snarere enn estimater for en spesiell produksjons‑arbeidsbelastning. Papiret bemerker også at verktøy‑kall, inter‑agent‑meldinger og multimodale innganger faller utenfor benchmark‑omfanget, og at hver baseline ble evaluert under én inferens‑konfigurasjon. Perplexity sa at de planlegger å slippe både PII‑TRACE og PII‑Tracer snart; papiret oppgir at begge vil bli gjort tilgjengelige under MIT‑lisensen.