Perplexity stellt den PII-TRACE-Benchmark und den PII‑Tracer‑Detektor für das Gerät vor

Perplexity hat am 1. September 2026 den PII-TRACE vorgestellt, einen Benchmark zur Bewertung von Detektoren für persönlich identifizierbare Informationen, sowie den PII‑Tracer, ein kompaktes Modell mit 0,6 Mrd. Parametern, das PII auf dem Gerät des Nutzers kennzeichnet, bevor der Text an Cloud‑Modelle gesendet wird. Die Ankündigung stellt beide Veröffentlichungen als Datenschutz‑Infrastruktur für die Hybrid‑Computing‑Architektur des Unternehmens dar, bei der Cloud‑Agenten Forschung, Argumentation und Planung übernehmen, während ein lokales Modell mit privaten Dateien arbeitet.

Im Rahmen dieser Architektur hält ein lokales Privacy‑Gate sensible Inhalte auf dem Mac, redigiert erkannte private Informationen oder fordert eine Genehmigung, bevor sie in die Cloud gesendet werden. Perplexity erklärte, dass die Grenze den Datenschutz nur dann schützt, wenn das Gerät PII erkennen kann, bevor Text an ein entferntes Modell gesendet wird, und dass die Erkennung bei langen, mehrsprachigen Unterhaltungen schwieriger wird, in denen derselbe Identifier mehrfach in verschiedenen Turns auftauchen kann. Ein einzeln übersehener Hinweis kann die Informationen preisgeben, die das System schützen soll.

PII‑Tracer liefert ein lokales Steuersignal für die Modell‑Weiterleitung, indem es Textabschnitte markiert, die voraussichtlich PII enthalten. Die Anwendung setzt dann die Weiterleitungs‑Policy durch: Sie hält die relevanten Eingaben lokal, redigiert erkannte Abschnitte oder verlangt eine explizite Genehmigung, bevor sie an ein Cloud‑Modell weitergeleitet werden.

Der PII-TRACE-Benchmark

PII‑TRACE, kurz für „Tracing Recurring PII Across Conversational Exchanges“, enthält 13 148 synthetische Nutzer‑Assistent‑Unterhaltungen in 13 Sprachen und 10 Schriftsystemen, wobei 37 431 Identifier‑Erwähnungen auf Zeichenebene über neun PII‑Typen hinweg gekennzeichnet sind. Insgesamt enthalten 41 % der Unterhaltungen strukturierte Inhalte. Von den 5 645 Unterhaltungen mit gekennzeichnetem PII enthalten 63,8 % einen Identifier, der mehr als einmal vorkommt, und 28,7 % einen Identifier, der über mehrere Turns hinweg erscheint.

Perplexity erklärte, dass der Benchmark um drei Verhaltensweisen herum gestaltet wurde, die bei der Durchsicht von Assistent‑Unterhaltungen wichtig sind. Erstens konsistente Abdeckung: Wenn ein Identifier mehrfach oder über Nutzer‑ und Assistent‑Turns hinweg erscheint, muss der Detektor jede Erwähnung finden. Zweitens Robustheit gegenüber langem Kontext, wobei Unterhaltungen von weniger als 1 000 bis über 100 000 Zeichen reichen. Drittens die Handhabung mehrerer Sprachen und gemischter Formatinhalte, da eine Unterhaltung die Sprache wechseln und Prosa mit Code, Tabellen oder strukturierten Datensätzen kombinieren kann.

Der Benchmark misst die Leistung auf zwei Ebenen. Auf Identifier‑Ebene fragt ein konsistenter Erkennungs‑Score, ob der Detektor jedes Zeichen jeder Erwähnung desselben Identifiers erfasst hat; dieser wird getrennt für Identifier mit mehreren Erwähnungen und für Identifier, die über Turns hinweg wiederholt werden, ausgewiesen. Auf Zeichen‑Ebene misst die Präzision, wie viel des vom Detektor markierten Textes tatsächlich PII ist, der Recall misst, wie viel gekennzeichnetes PII gefunden wird, und der F1‑Wert balanciert beide.

Der Datensatz ist synthetisch, leitet sich jedoch aus produktiven Unterhaltungen ab. Laut Unternehmen markieren mehrere Sprachmodelle zunächst neun PII‑Typen in produktiven Nutzer‑Assistent‑Unterhaltungen, und ein regelbasierter Durchlauf gruppiert wiederholte Identifier desselben Typs unter einer Entitäts‑ID. Jeder markierte Wert wird durch einen typisierten Platzhalter ersetzt, jeder Turn wird mit intakten Platzhaltern umformuliert, und synthetische Werte, die dem Typ und Format jedes Identifiers entsprechen, werden eingefügt. Drei automatisierte Prüfungen stellen sicher, dass Ersetzungen den gespeicherten Spannen entsprechen, dass wiederholte Erwähnungen denselben Wert verwenden und dass markierte Quellwerte nach einem Presidio‑ und regulären‑Ausdruck‑Scan nicht mehr vorhanden sind. Ein zweites Sprachmodell prüft eine Stichprobe, und Menschen überprüfen alles, was als PII gekennzeichnet wird.

Ein kompakter Detektor für den lokalen Einsatz

PII‑Tracer ist ein 0,6 B‑Parameter‑Bidirektional‑Encoder, der von einem Qwen‑3‑Backbone adaptiert wurde. Perplexity erklärte, dass die Datenschutz‑Durchsicht sich von der Textgenerierung unterscheide, weil sie das Auffinden relevanter PII‑Spannen und die Rückgabe ihrer Grenzen erfordere; daher ersetze das Modell die kausale Maske von Qwen‑3 durch eine padding‑bewusste bidirektionale Aufmerksamkeit, sodass jedes Token sowohl auf frühere als auch spätere Turns innerhalb eines Fensters von 4 096 Token zurückgreifen kann.

Für jedes Token erzeugt der Encoder eine 1 024‑dimensionale Repräsentation, und ein linearer Tag‑Kopf bewertet 37 mögliche Labels nach dem BIOES‑Schema für die Erkennung benannter Entitäten: ein Label für Text außerhalb einer PII‑Spanne sowie vier Positions‑Labels für jede der neun PII‑Typen. Ein zusätzlicher Kopf sagt voraus, ob die Unterhaltung sensibles Material wie Gesundheits‑ oder Religions‑Informationen enthält. Das Unternehmen gab an, das Modell für drei Epochen auf etwa 714 000 Trainingsbeispielen trainiert zu haben, die mehrsprachige Assistent‑Unterhaltungen mit Einzeldatensatz‑Beispielen kombinieren. Zur Inferenz sucht ein eingeschränkter Viterbi‑Decoder nach der höchstbewerteten gültigen Label‑Sequenz und wandelt das Ergebnis zurück in exakte Zeichen‑Spannen für Redaktion oder lokale Weiterleitung.

Ergebnisse der Bewertung

Perplexity berichtete, dass PII‑Tracer das höchste Zeichen‑F1 (0,629) unter den 12 getesteten Systemen erreichte, zusammen mit dem zweithöchsten Span‑Overlap‑F1 und Span‑Containment‑F1. Das Unternehmen nannte Frontier‑Modelle, nämlich GPT‑5.6‑sol und Claude Sonnet 5, die eine vergleichbare Gesamtleistung zeigten, wobei GPT‑5.6‑sol bei beiden Span‑Metriken besser, aber beim Zeichen‑F1 schlechter abschnitt. Es wurde darauf hingewiesen, dass diese Frontier‑Modelle Hunderte Milliarden bis sogar Billionen Parameter besitzen und geschlossene Quellcode‑Modelle sind, die in der Cloud gehostet werden, was sie für die Durchsicht von Text, der lokal bleiben muss, ungeeignet macht, während andere Open‑Source‑PII‑Detektoren deutlich schlechter als PII‑Tracer abschnitten.

Im Konsistenz‑Test enthält das Evaluations‑Set 899 Identifier, die einmal vorkommen, und 959, die mehr als einmal auftreten, davon 790 über mehrere Turns hinweg. Perplexity berichtete, dass PII‑Tracer 79,4 % der wiederkehrenden Identifier und 77,6 % der über‑Turn‑Identifier vollständig erkennt, während GPT‑5.6‑sol 57,0 % bzw. 55,1 % erreichte. Der PII‑Tracer‑Score fällt von 0,917 für Einzel‑Mention‑Identifier auf 0,691 für Identifier, die sechs‑ bis zehnmal vorkommen.

Länge bleibt eine Einschränkung. Der Single‑Window‑Recall liegt bei 0,975 für Unterhaltungen unter 1 000 Zeichen und bei 0,955 für 1 000 bis 10 000 Zeichen, sinkt jedoch auf 0,687 bei 10 000 Zeichen oder mehr. Das Unternehmen erklärte, dass das Dekodieren desselben Checkpoints mit 50 %‑Überlappungs‑Sliding‑Windows den gesamten Zeichen‑Recall von 0,830 auf 0,965 und die konsistente Erkennung bei Mehrfach‑Mentions von 0,794 auf 0,954 steigere, ohne erneutes Training.

Über einen sechs‑Sprachen‑Slice, der lateinische, kyrillische und Hangul‑Schriften umfasst, führt PII‑Tracer das Zeichen‑F1 in Deutsch (0,735), Französisch (0,633), Italienisch (0,676) und Russisch (0,651) an und liegt bei Englisch und Koreanisch nur 0,016 bzw. 0,036 Punkte hinter den besten Ergebnissen, berichtete das Unternehmen. Auf fünf externen Einzel‑Datensatz‑Benchmarks erzielte PII‑Tracer laut Perplexity höhere Zeichen‑F1‑Werte als der OpenAI Privacy Filter bei jedem Datensatz, darunter 0,950 gegenüber 0,907 bei ai4privacy, 0,847 gegenüber 0,709 bei Nemotron‑PII und 0,594 gegenüber 0,350 bei TAB, dem einzigen Benchmark der Gruppe, der aus realen, menschlich gekennzeichneten Texten besteht.

Das Forschungs­papier weist darauf hin, dass die Unterhaltungen synthetische Rekonstruktionen sind, die aus der Struktur produktiver Assistent‑Datenströme abgeleitet wurden; die Ergebnisse sollten daher als Messungen der konversationellen PII‑Erkennung und nicht als Schätzungen für einen konkreten Produktions‑Workload verstanden werden. Das Papier merkt zudem an, dass Werkzeug‑Aufrufe, Inter‑Agent‑Nachrichten und multimodale Eingaben außerhalb des Benchmark‑Umfangs liegen und dass jede Basislinie unter einer einzigen Inferenz‑Konfiguration evaluiert wurde. Perplexity sagte, dass beide, PII‑TRACE und PII‑Tracer, bald veröffentlicht werden sollen; das Papier gibt an, dass beide unter der MIT‑Lizenz veröffentlicht werden.