Perplexity introduceert PII-TRACE benchmark en PII-Tracer detector op apparaat

Perplexity op 1 september 2026 introduceerde PII-TRACE, een benchmark voor het evalueren van detectors van persoonlijk identificeerbare informatie, en PII‑Tracer, een compact model van 0,6 B-parameter dat PII op het apparaat van een gebruiker markeert voordat tekst naar cloud‑modellen wordt verzonden. De aankondiging plaatst beide releases als privacy‑infrastructuur voor de hybride compute‑architectuur van het bedrijf, waarin cloud‑agents onderzoek, redeneren en plannen afhandelen terwijl een lokaal model met privé‑bestanden werkt.

Volgens die architectuur houdt een lokale privacy‑poort gevoelige inhoud op de Mac, redigeert gedetecteerde privé‑informatie, of vraagt goedkeuring voordat deze naar de cloud wordt verzonden. Perplexity stelde dat de grens alleen privacy beschermt als het apparaat PII kan herkennen voordat tekst naar een extern model wordt gestuurd, en dat detectie moeilijker wordt bij lange, meertalige gesprekken waarin dezelfde identifier meerdere keren in verschillende beurten kan voorkomen. Eén gemiste vermelding kan de informatie die het systeem moet beschermen blootstellen.

PII‑Tracer levert één lokaal controlesignaal voor model‑routering door segmenten die PII bevatten te markeren. De applicatie handhaaft vervolgens het routeringsbeleid: zij houdt de relevante invoer lokaal, redigeert gedetecteerde segmenten, of vraagt expliciete goedkeuring voordat deze wordt opgeschaald naar een cloud‑model.

De PII-TRACE benchmark

PII‑TRACE, een afkorting voor Tracing Recurring PII Across Conversational Exchanges, bevat 13.148 synthetische gebruikers‑assistant‑gesprekken in 13 talen en 10 schriftsoorten, met 37.431 identifier‑vermeldingen gelabeld op teken‑niveau over negen PII‑typen. In totaal bevat 41 % van de gesprekken gestructureerde inhoud. Van de 5.645 gesprekken met gelabelde PII bevat 63,8 % een identifier die meer dan eens voorkomt, en 28,7 % een identifier die over meerdere beurten verschijnt.

Perplexity gaf aan dat de benchmark is ontworpen rond drie gedragingen die belangrijk zijn wanneer een detector assistent‑gesprekken controleert. De eerste is consistente dekking: wanneer een identifier meerdere keren voorkomt of zowel gebruikers‑ als assistent‑beurten doorkruist, moet de detector elke vermelding vinden. De tweede is robuustheid tegenover lange context, met gesprekken variërend van minder dan 1.000 tot meer dan 100.000 tekens. De derde is het omgaan met meerdere talen en gemengde formaten, aangezien een gesprek van taal kan wisselen en proza kan combineren met code, tabellen of gestructureerde records.

De benchmark meet prestaties op twee niveaus. Op identifier‑niveau vraagt een consistente detectiescore of de detector elk teken in elke vermelding van dezelfde identifier heeft gedekt, gerapporteerd afzonderlijk voor identifiers met meerdere vermeldingen en voor identifiers die over beurten herhalen. Op teken‑niveau meet precisie hoeveel van de door een detector gemarkeerde tekst gelabeld is als PII, recall hoeveel gelabelde PII het vindt, en F1 balanceert beide.

De dataset is synthetisch maar afgeleid van productie‑gesprekken. Volgens het bedrijf markeren meerdere taalmodellen eerst negen typen PII in productie‑gebruikers‑assistant‑gesprekken, en een regelgebaseerde stap groepeert herhaalde identifiers van hetzelfde type onder één entiteit‑ID. Elke gemarkeerde waarde wordt vervangen door een getypeerde placeholder, elke beurt wordt geparafraseerd met behoud van de placeholders, en synthetische waarden die overeenkomen met het type en formaat van elke identifier worden ingevoegd. Drie geautomatiseerde poorten controleren of vervangingen overeenkomen met de opgeslagen segmenten, of herhaalde vermeldingen dezelfde waarde gebruiken, en of gemarkeerde bronwaarden afwezig zijn na een Presidio‑ en reguliere‑expressie‑hercontrole. Een tweede taalmodel controleert een steekproef, en mensen beoordelen alles wat als PII wordt gemarkeerd.

Een compacte detector voor lokaal gebruik

PII‑Tracer is een 0,6 B bidirectionele encoder aangepast van een Qwen3‑backbone. Perplexity stelde dat privacy‑screening verschilt van tekstgeneratie omdat het vereist dat relevante PII‑segmenten worden gevonden en hun grenzen worden geretourneerd, waardoor het model Qwen3’s causale maskering vervangt door padding‑bewuste bidirectionele aandacht, waardoor elk token zowel eerdere als latere beurten binnen een venster van 4.096 tokens kan benutten.

Voor elk token produceert de encoder een 1.024‑dimensionale representatie, en een lineaire tagging‑head kent 37 mogelijke labels toe volgens het BIOES‑schema voor named‑entity‑recognition: één label voor tekst buiten een PII‑segment, plus vier segment‑positionele labels voor elk van de negen PII‑typen. Een auxiliaire head voorspelt of het gesprek gevoelige informatie bevat, zoals gezondheids‑ of religieuze gegevens. Het bedrijf meldde dat het model drie epochs is getraind op ongeveer 714.000 trainingssamples die meertalige assistent‑gesprekken combineren met enkel‑record‑voorbeelden. Tijdens inferentie zoekt een begrensde Viterbi‑decoder naar de best‑scoreende geldige labelreeks en zet het resultaat om naar exacte teken‑segmenten voor redactie of lokale routering.

Evaluatieresultaten

Perplexity meldde dat PII‑Tracer de hoogste karakter‑F1 (0,629) behaalde van de 12 geëvalueerde systemen, evenals de op één na hoogste span‑overlap‑F1 en span‑containment‑F1. Het bedrijf stelde dat frontier‑modellen, namelijk GPT‑5.6‑sol en Claude Sonnet 5, vergelijkbare algehele prestaties leverden, waarbij GPT‑5.6‑sol hoger scoorde op beide span‑niveau‑metriek maar lager op karakter‑F1. Het werd opgemerkt dat die frontier‑modellen honderden miljarden of zelfs triljoenen parameters hebben en gesloten‑source‑modellen zijn die in de cloud worden gehost, waardoor ze ongeschikt zijn voor het screenen van tekst die lokaal moet blijven, terwijl andere open‑source PII‑detectors aanzienlijk slechter presteerden dan PII‑Tracer.

In de consistentietest bevat de evaluatieset 899 identifiers die één keer voorkomen en 959 die meer dan één keer voorkomen, waarvan 790 over meerdere beurten strekt. Perplexity meldde dat PII‑Tracer elke vermelding van 79,4 % van de terugkerende identifiers en 77,6 % van de cross‑turn identifiers vindt, terwijl GPT‑5.6‑sol respectievelijk 57,0 % en 55,1 % behaalt op dezelfde twee metingen. De score van PII‑Tracer daalt van 0,917 voor enkel‑vermelding identifiers naar 0,691 voor identifiers die zes tot tien keer voorkomen.

Lengte blijft een beperking. De recall voor een enkel venster is 0,975 voor gesprekken onder 1.000 tekens en 0,955 voor 1.000 tot 10.000 tekens, maar daalt tot 0,687 bij 10.000 tekens of meer. Het bedrijf meldde dat het decoderen van hetzelfde checkpoint met 50 %‑overlap schuivende vensters de algehele karakter‑recall verhoogt van 0,830 naar 0,965 en de consistente detectie van meerdere vermeldingen van 0,794 naar 0,954, zonder opnieuw te trainen.

Over een zes‑taalensegment dat Latijnse, Cyrillische en Hangul‑schriften omvat, leidt PII‑Tracer in karakter‑F1 in het Duits (0,735), Frans (0,633), Italiaans (0,676) en Russisch (0,651), en ligt binnen 0,016 tot 0,036 van de beste resultaten in het Engels en Koreaans, meldde het bedrijf. Op vijf externe enkel‑record benchmarks zei Perplexity dat PII‑Tracer een hogere karakter‑F1 behaalde dan de OpenAI Privacy Filter op elke dataset, waaronder 0,950 versus 0,907 op ai4privacy, 0,847 versus 0,709 op Nemotron‑PII, en 0,594 versus 0,350 op TAB, de enige benchmark in de groep die is opgebouwd uit echte, door mensen gelabelde tekst.

Het onderzoeksrapport waarschuwt dat de gesprekken synthetische reconstructies zijn die zijn afgeleid van de structuur van productie‑assistant‑verkeer, waardoor de resultaten moeten worden gelezen als metingen van conversationele PII‑detectie in plaats van schattingen voor een specifieke productie‑werkbelasting. Het paper merkt ook op dat tool‑calls, inter‑agent‑berichten en multimodale inputs buiten de scope van de benchmark vallen, en dat elke baseline werd geëvalueerd onder één inferentie‑configuratie. Perplexity zei dat het van plan is zowel PII‑TRACE als PII‑Tracer binnenkort uit te brengen; het paper stelt dat beide onder de MIT‑licentie zullen worden uitgebracht.