Perplexity introducerer PII-TRACE benchmark og PII-Tracer on‑device‑detektor

Perplexity den 1. september 2026 introducerede PII-TRACE, et benchmark til evaluering af detektorer for personligt identificerbare oplysninger, samt PII‑Tracer, en kompakt 0,6 milliard‑parameter‑model bygget til at mærke PII på en brugers enhed, før teksten sendes til sky‑modeller. meddelelsen præsenterer begge udgivelser som privatlivsinfrastruktur for virksomhedens hybride beregningsarkitektur, hvor sky‑agenter håndterer forskning, ræsonnement og planlægning, mens en lokal model arbejder med private filer.

Under denne arkitektur holder en lokal privatlivsgate følsomt indhold på Mac’en, redigerer detekteret privat information eller anmoder om godkendelse, før det sendes til skyen. Perplexity sagde, at grænsen kun beskytter privatliv, hvis enheden kan genkende PII, før teksten sendes til en fjernmodel, og at detektering bliver sværere i lange, flersprogede samtaler, hvor den samme identifikator kan forekomme flere gange på tværs af forskellige udvekslinger. En enkelt overset forekomst kan afsløre den information, som systemet er beregnet til at beskytte.

PII‑Tracer leverer et lokalt kontrolsignal til model‑routing ved at markere de segmenter, der forudsættes at indeholde PII. Applikationen håndhæver derefter routeringspolitikken: den holder den relevante input lokalt, redigerer de detekterede segmenter eller anmoder om eksplicit godkendelse, før den eskalerer til en sky‑model.

PII-TRACE‑benchmarket

PII‑TRACE, en forkortelse for Tracing Recurring PII Across Conversational Exchanges, indeholder 13.148 syntetiske bruger‑assistant‑samtaler på tværs af 13 sprog og 10 skriftsystemer, med 37.431 identifikator‑forekomster mærket på tegnniveau over ni PII‑typer. I alt indeholder 41 % af samtalerne struktureret indhold. Blandt de 5.645 samtaler med mærket PII inkluderer 63,8 % en identifikator, der forekommer mere end én gang, og 28,7 % en identifikator, der forekommer på tværs af flere udvekslinger.

Perplexity oplyste, at benchmarket er designet omkring tre adfærdsmønstre, der er vigtige, når en detektor gennemgår assistant‑samtaler. Den første er konsistent dækning: når en identifikator forekommer flere gange eller krydser bruger‑ og assistant‑udvekslinger, skal detektoren finde hver forekomst. Den anden er robusthed over for lang kontekst, med samtaler der spænder fra under 1.000 til over 100.000 tegn. Den tredje er håndtering af flere sprog og blandet format, da en samtale kan skifte sprog og kombinere prosa med kode, tabeller eller strukturerede poster.

Benchmarket måler ydeevne på to niveauer. På identifikator‑niveau stiller en konsistent detectionscore spørgsmålet om, hvorvidt detektoren dækkede hvert tegn i hver forekomst af den samme identifikator, rapporteret separat for identifikatorer med flere forekomster og for identifikatorer, der gentages på tværs af udvekslinger. På tegn‑niveau måler præcision, hvor stor en del af den af en detektor markerede tekst der er mærket som PPI, recall måler, hvor meget mærket PPI den finder, og F1 balancerer de to.

Datasættet er syntetisk, men afledt af produktionssamtaler. Ifølge virksomheden markerer flere sprogmodeller først ni typer af PII i produktions‑bruger‑assistant‑samtaler, og en regelbaseret gennemgang grupperer gentagne identifikatorer af samme type under én entitets‑ID. Hver markeret værdi erstattes af en typet pladsholder, hver udveksling omskrives med pladsholdere intakte, og syntetiske værdier, der matcher hver identifikators type og format, indsættes. Tre automatiserede porte kontrollerer, at erstatningerne svarer til de lagrede segmenter, at gentagne forekomster bruger den samme værdi, og at markerede kildeværdier er fraværende efter en Presidio‑ og regulær‑udtryk‑genscanning. En anden sprogmodel reviderer et udvalg, og mennesker gennemgår alt, hvad den flagger som PII.

En kompakt detektor til lokalt brug

PII‑Tracer er en 0,6 milliard‑parameter‑bidirektionel encoder tilpasset fra en Qwen3‑ryggrad. Perplexity udtalte, at privatlivsscreening adskiller sig fra tekstgenerering, fordi den kræver at finde relevante PII‑segmenter og returnere deres grænser, så modellen erstatter Qwen3’s kausale maske med padding‑bevidst bidirektionel opmærksomhed, så hver token kan trække på både tidligere og senere udvekslinger inden for et vindue på 4.096 token.

For hver token producerer encoderen en 1.024‑dimensional repræsentation, og et lineært mærknings‑hoved scorer 37 mulige etiketter under BIOES‑skemaet for navngiven entitetsgenkendelse: én etiket for tekst uden for et PII‑segment plus fire segment‑positionsetiketter for hver af de ni PII‑typer. Et hjælper‑hoved forudsiger, om samtalen indeholder følsomt materiale, såsom sundheds‑ eller religiøse oplysninger. Virksomheden oplyste, at den trænede modellen i tre epoker på ca. 714.000 træningsprøver, der kombinerer flersprogede assistant‑samtaler med enkelt‑post‑eksempler. Ved inferens søger en begrænset Viterbi‑dekoder efter den højest scorerende gyldige etiketsekvens og kortlægger resultatet tilbage til præcise tegn‑segmenter for redigering eller lokal routing.

Evalueringsresultater

Perplexity rapporterede, at PII‑Tracer opnåede den højeste karakter‑F1 (0,629) blandt de 12 evaluerede systemer, samt den næsthøjeste span‑overlap‑F1 og span‑containment‑F1. Virksomheden sagde, at frontier‑modeller, nemlig GPT‑5.6‑sol og Claude Sonnet 5, opnåede sammenlignelig samlet ydeevne, hvor GPT‑5.6‑sol scorede højere på begge span‑niveau‑målinger men lavere på karakter‑F1. Den bemærkede, at disse frontier‑modeller har hundredevis af milliarder eller endda trillioner af parametre og er lukkede kildekode‑modeller hostet i skyen, hvilket gør dem uegnet til at screene tekst, der skal forblive lokalt, mens andre open‑source PII‑detektorer præsterede væsentligt dårligere end PII‑Tracer.

I konsistens‑testen indeholder evalueringssættet 899 identifikatorer, der forekommer én gang, og 959, der forekommer flere gange, hvoraf 790 spænder over flere udvekslinger. Perplexity rapporterede, at PII‑Tracer finder hver forekomst af 79,4 % af gentagne identifikatorer og 77,6 % af tvær‑udvekslings‑identifikatorer, mens GPT‑5.6‑sol når 57,0 % og 55,1 % på de samme to mål. PII‑Tracer‑scoren falder fra 0,917 for enkelt‑forekomst‑identifikatorer til 0,691 for identifikatorer, der forekommer seks til ti gange.

Længde forbliver en begrænsning. Recall for enkelt‑vindue er 0,975 for samtaler under 1.000 tegn og 0,955 for 1.000 til 10.000 tegn, men falder til 0,687 ved 10.000 tegn eller mere. Virksomheden oplyste, at dekodning af det samme checkpoint med 50 %‑overlappende glidende vinduer øger den samlede karakter‑recall fra 0,830 til 0,965 og den konsistente multi‑forekomst‑detektion fra 0,794 til 0,954 uden gen‑træning.

På tværs af et seks‑sprogsudsnit, der dækker latinske, kyrilliske og hangul‑skriftsystemer, fører PII‑Tracer karakter‑F1 på tysk (0,735), fransk (0,633), italiensk (0,676) og russisk (0,651) og ligger inden for 0,016 til 0,036 fra de bedste resultater på engelsk og koreansk, rapporterede virksomheden. På fem eksterne enkelt‑post‑benchmark‑sæt sagde Perplexity, at PII‑Tracer opnåede højere karakter‑F1 end OpenAI Privacy Filter på alle datasæt, herunder 0,950 versus 0,907 på ai4privacy, 0,847 versus 0,709 på Nemotron‑PII og 0,594 versus 0,350 på TAB, den eneste benchmark i gruppen bygget på ægte, menneskeligt mærket tekst.

Forsknings‑papiret research paper advarer om, at samtalerne er syntetiske rekonstruktioner afledt af strukturen i produktions‑assistant‑trafik, så resultaterne bør læses som målinger af samtale‑PII‑detektion snarere end som estimater for en specifik produktions‑arbejdsbelastning. Papiret bemærker også, at værktøjs‑opkald, inter‑agent‑meddelelser og multimodale input falder uden for benchmark‑omfanget, og at hver baseline blev evalueret under en enkelt inferens‑konfiguration. Perplexity sagde, at de planlægger at udgive både PII‑TRACE og PII‑Tracer snart; papiret angiver, at begge vil blive udgivet under MIT‑licensen.