Perplexity introducerar PII-TRACE-benchmark och PII-Tracer-detektor för enhet

Perplexity introducerade den 1 september 2026 PII-TRACE, ett benchmark för att utvärdera detektorer av personligt identifierbar information, samt PII‑Tracer, en kompakt modell med 0,6 B parametrar som är byggd för att flagga PII på en användares enhet innan text skickas till molnmodeller. tillkännagivandet presenterar båda releaserna som en integritetsinfrastruktur för företagets hybrid‑beräkningsarkitektur, där molnagenter hanterar forskning, resonemang och planering medan en lokal modell arbetar med privata filer.

I den arkitekturen behåller en lokal integritetsgrind känsligt innehåll på Macen, maskar bort upptäckt privat information eller begär godkännande innan den skickas till molnet. Perplexity sade att gränsen bara skyddar integriteten om enheten kan känna igen PII innan texten skickas till en fjärrmodell, och att detektering blir svårare i långa, flerspråkiga konversationer där samma identifierare kan förekomma flera gånger i olika turer. Ett missat omnämnande kan avslöja den information som systemet är avsett att skydda.

PII‑Tracer tillhandahåller en lokal kontrollsignal för modellruttning genom att flagga spännvidder som förutsägs innehålla PII. Applikationen verkställer sedan routningspolicyn: den behåller relevant indata lokalt, maskar bort upptäckta spännvidder eller begär explicit godkännande innan den eskaleras till en molnmodell.

The PII-TRACE Benchmark

PII‑TRACE, förkortning för Tracing Recurring PII Across Conversational Exchanges, innehåller 13 148 syntetiska användar‑assistent‑konversationer på 13 språk och 10 skriftsystem, med 37 431 identifieringsomnämnanden märkta på teckennivå över nio PII‑typer. Totalt 41 % av konversationerna innehåller strukturerat innehåll. Bland de 5 645 konversationerna med märkt PII inkluderar 63,8 % en identifierare som förekommer mer än en gång, och 28,7 % en identifierare som förekommer över flera turer.

Perplexity uppgav att de utformade benchmarket kring tre beteenden som är viktiga när en detektor granskar assistentkonversationer. Det första är konsekvent täckning: när en identifierare dyker upp flera gånger eller korsar användar‑ och assistent‑turer måste detektorn hitta varje omnämnande. Det andra är robusthet mot lång kontext, med konversationer som varierar från färre än 1 000 till mer än 100 000 tecken. Det tredje är hantering av flera språk och blandat format, eftersom en konversation kan byta språk och kombinera prosa med kod, tabeller eller strukturerade poster.

Benchmarket mäter prestanda på två nivåer. På identifierarnivå frågar ett konsekvent detekteringsresultat om detektorn täckte varje tecken i varje omnämnande av samma identifierare, rapporterat separat för identifierare med flera omnämnanden och för identifierare som upprepas över turer. På teckennivå mäter precision hur stor del av den text som markeras av en detektor som är märkt som PII, återkallelse (recall) hur mycket märkt PII den hittar, och F1‑värdet balanserar de två.

Datamängden är syntetisk men härstammar från produktionskonversationer. Enligt företaget markerar flera språkmodeller först nio typer av PII i produktionskonversationer mellan användare och assistent, och ett regelbaserat steg grupperar upprepade identifierare av samma typ under ett entitets‑ID. Varje markerat värde ersätts med en typad platshållare, varje tur parafraseras med intakta platshållare, och syntetiska värden som matchar varje identifierares typ och format infogas. Tre automatiserade grindar kontrollerar att ersättningar matchar de lagrade spännvidderna, att upprepade omnämnanden använder samma värde, och att markerade källvärden saknas efter en Presidio‑ och reguljära‑uttryck‑återsökning. En andra språkmodell granskar ett urval, och människor granskar allt som flaggas som PII.

A Compact Detector for Local Use

PII‑Tracer är en 0,6 B bidirektionell kodare anpassad från en Qwen3‑bas. Perplexity förklarade att integritetsscreening skiljer sig från textgenerering eftersom den kräver att hitta relevanta PII‑spännvidder och återge deras gränser, så modellen ersätter Qwen3:s kausala mask med en padding‑medveten bidirektionell uppmärksamhet, vilket låter varje token utnyttja både tidigare och senare turer inom ett fönster på 4 096 token.

För varje token producerar kodaren en 1 024‑dimensionell representation, och ett linjärt taggningshuvud ger poäng för 37 möjliga etiketter enligt BIOES‑schemat för namngiven entity‑igenkänning: en etikett för text utanför en PII‑spännvidd, samt fyra spännvidds‑positionsetiketter för var och en av de nio PII‑typerna. Ett hjälphuvud förutsäger om konversationen innehåller känsligt material, såsom hälso‑ eller religiös information. Företaget uppgav att de tränade modellen i tre epoker på cirka 714 000 träningsexempel som kombinerade flerspråkiga assistentkonversationer med enskilda post‑exempel. Vid inferens söker en begränsad Viterbi‑avkodare efter den högst poängsatta giltiga etikettsekvensen och mappar resultatet tillbaka till exakta teckenspännvidder för maskering eller lokal routning.

Evaluation Results

Perplexity rapporterade att PII‑Tracer uppnådde den högsta tecken‑F1 (0,629) bland de 12 system som utvärderades, samt den näst högsta spännvidds‑överlapp‑F1 och spännvidds‑innehålls‑F1. Företaget sade att frontier‑modeller, nämligen GPT‑5.6‑sol och Claude Sonnet 5, levererade jämförbar totalprestanda, där GPT‑5.6‑sol fick högre poäng på båda spännvidds‑metrikarna men lägre på tecken‑F1. Det påpekades att dessa frontier‑modeller har hundratals miljarder eller till och med biljoner parametrar och är slutna källkodsmodeller som hostas i molnet, vilket gör dem olämpliga för att screena text som måste förbli lokal, medan andra öppna källkods‑PII‑detektorer presterade avsevärt sämre än PII‑Tracer.

I konsistens‑testet innehåller utvärderingssetet 899 identifierare som förekommer en gång och 959 som förekommer mer än en gång, varav 790 spänner över flera turer. Perplexity rapporterade att PII‑Tracer hittar varje omnämnande av 79,4 % av återkommande identifierare och 77,6 % av identifierare som korsar turer, medan GPT‑5.6‑sol når 57,0 % respektive 55,1 % på samma två mått. PII‑Tracers poäng sjunker från 0,917 för identifierare med ett enda omnämnande till 0,691 för identifierare som förekommer sex till tio gånger.

Längd förblir en begränsning. Återkallelse i ett enskilt fönster är 0,975 för konversationer under 1 000 tecken och 0,955 för 1 000 till 10 000 tecken, men faller till 0,687 vid 10 000 tecken eller mer. Företaget uppgav att avkodning av samma checkpoint med 50 % överlappande glidande fönster höjer den totala tecken‑återkallelsen från 0,830 till 0,965 och den konsekventa detektionen för flera omnämnanden från 0,794 till 0,954, utan omträning.

Över ett sexspråkigt urval som omfattar latinska, kyrilliska och hangul‑skript leder PII‑Tracer tecken‑F1 på tyska (0,735), franska (0,633), italienska (0,676) och ryska (0,651), och ligger inom 0,016 till 0,036 från de bästa resultaten på engelska och koreanska, rapporterade företaget. På fem externa enkelsats‑benchmarkar sade Perplexity att PII‑Tracer hade högre tecken‑F1 än OpenAI Privacy Filter på varje dataset, inklusive 0,950 mot 0,907 på ai4privacy, 0,847 mot 0,709 på Nemotron‑PII och 0,594 mot 0,350 på TAB, den enda benchmarken i gruppen som bygger på verklig, mänskligt märkt text.

Forskningsrapporten varnar för att konversationerna är syntetiska rekonstruktioner baserade på strukturen i produktionsassistent‑trafik, så resultaten bör läsas som mätningar av konversationell PII‑detektion snarare än uppskattningar för någon specifik produktionsarbetsbelastning. Rapporten noterar också att verktygs‑anrop, inter‑agent‑meddelanden och multimodala indata faller utanför benchmarkens omfattning, och att varje baslinje utvärderades under en enda inferenskonfiguration. Perplexity sade att de planerar att släppa både PII‑TRACE och PII‑Tracer snart; rapporten anger att båda kommer att släppas under MIT‑licensen.