Perplexity wprowadza benchmark PII-TRACE i detektor PII‑Tracer działający na urządzeniu

Perplexity 1 września 2026 r. wprowadziło PII-TRACE, benchmark służący do oceny detektorów danych osobowych, oraz PII‑Tracer, kompaktowy model o 0,6 miliardzie parametrów, zaprojektowany do wykrywania PII na urządzeniu użytkownika, zanim tekst zostanie wysłany do modeli w chmurze. ogłoszenie przedstawia oba wydania jako infrastrukturę prywatności w ramach architektury hybrydowych obliczeń firmy, w której agenci w chmurze zajmują się badaniami, rozumowaniem i planowaniem, a lokalny model pracuje na prywatnych plikach.

W ramach tej architektury lokalna brama prywatności utrzymuje wrażliwe treści na komputerze Mac, redaguje wykryte prywatne informacje lub żąda zatwierdzenia przed ich wysłaniem do chmury. Perplexity podkreśliło, że granica chroni prywatność jedynie wtedy, gdy urządzenie potrafi rozpoznać PII przed przesłaniem tekstu do zdalnego modelu, a wykrywanie staje się trudniejsze w długich, wielojęzycznych konwersacjach, w których ten sam identyfikator może pojawiać się wielokrotnie w różnych turach. Jedno pominięcie może ujawnić informacje, które system ma chronić.

PII‑Tracer dostarcza jednego lokalnego sygnału sterującego dla routingu modeli, oznaczając fragmenty przewidywane jako zawierające PII. Aplikacja następnie egzekwuje politykę routingu: utrzymuje odpowiednie wejście lokalnie, redaguje wykryte fragmenty lub żąda wyraźnej zgody przed przekazaniem do modelu w chmurze.

The PII-TRACE Benchmark

PII‑TRACE, skrót od Tracing Recurring PII Across Conversational Exchanges, zawiera 13 148 syntetycznych konwersacji użytkownik‑asystent w 13 językach i 10 systemach pisma, z 37 431 wzmianką o identyfikatorach oznaczonych na poziomie znaków w dziewięciu typach PII. Łącznie 41 % konwersacji zawiera treści strukturalne. Spośród 5 645 konwersacji z oznaczoną PII, 63,8 % zawiera identyfikator pojawiający się więcej niż raz, a 28,7 % zawiera identyfikator występujący w wielu turach.

Perplexity zaprojektowało benchmark wokół trzech zachowań istotnych przy przeglądaniu konwersacji asystenta. Pierwsze to spójne pokrycie: gdy identyfikator pojawia się wielokrotnie lub przechodzi między turami użytkownika i asystenta, detektor musi wykryć każdą wzmiankę. Drugie to odporność na długi kontekst, przy konwersacjach od mniej niż 1 000 do ponad 100 000 znaków. Trzecie to obsługa wielu języków i mieszanej zawartości, ponieważ rozmowa może przełączać się między językami i łączyć prozę z kodem, tabelami lub rekordami strukturalnymi.

Benchmark mierzy wydajność na dwóch poziomach. Na poziomie identyfikatora, spójny wynik wykrywania pyta, czy detektor objął każdy znak w każdej wzmiance tego samego identyfikatora, podawany osobno dla identyfikatorów z wieloma wzmiankami i dla identyfikatorów powtarzających się w różnych turach. Na poziomie znaku, precyzja mierzy, jaka część tekstu oznaczonego przez detektor jest rzeczywiście PII, czułość mierzy, jaką część oznaczonej PII wykryto, a F1 równoważy oba wskaźniki.

Zbiór danych jest syntetyczny, ale wywodzi się z rzeczywistych konwersacji. Według firmy, wiele modeli językowych najpierw oznacza dziewięć typów PII w produkcyjnych konwersacjach użytkownik‑asystent, a regułowy etap grupuje powtarzające się identyfikatory tego samego typu pod jednym identyfikatorem encji. Każda oznaczona wartość zostaje zastąpiona typowanym placeholderem, każda tura jest parafrazowana przy zachowanych placeholderach, a syntetyczne wartości pasujące do typu i formatu identyfikatora są wstawiane. Trzy automatyczne bramy sprawdzają, czy zamiany pasują do przechowywanych fragmentów, czy powtarzające się wzmianki używają tej samej wartości oraz czy oznaczone wartości źródłowe nie występują po ponownym skanowaniu przy użyciu Presidio i wyrażeń regularnych. Drugi model językowy audytuje próbkę, a ludzie przeglądają wszystko, co zostanie oznaczone jako PII.

A Compact Detector for Local Use

PII‑Tracer to 0,6 miliarda dwukierunkowy enkoder oparty na szkieletie Qwen3. Perplexity podkreśliło, że filtrowanie prywatności różni się od generowania tekstu, ponieważ wymaga znalezienia odpowiednich fragmentów PII i zwrócenia ich granic, więc model zastępuje przyczynową maskę Qwen3 maską dwukierunkową uwzględniającą padding, pozwalając każdemu tokenowi korzystać zarówno z wcześniejszych, jak i późniejszych tur w oknie 4 096 tokenów.

Dla każdego tokenu enkoder generuje reprezentację o wymiarze 1 024, a liniowa głowa tagująca ocenia 37 możliwych etykiet w schemacie BIOES dla rozpoznawania nazwanych jednostek: jedną etykietę dla tekstu poza fragmentem PII oraz cztery etykiety pozycji fragmentu dla każdego z dziewięciu typów PII. Dodatkowa głowa przewiduje, czy konwersacja zawiera wrażliwe materiały, takie jak informacje zdrowotne lub religijne. Firma poinformowała, że model został wytrenowany przez trzy epoki na około 714 000 próbkach treningowych, łącząc wielojęzyczne konwersacje asystenta z przykładami pojedynczych rekordów. W czasie inferencji ograniczony dekoder Viterbiego szuka najkorzystniejszej poprawnej sekwencji etykiet i mapuje wynik z powrotem na dokładne fragmenty znaków w celu redagowania lub lokalnego routingu.

Evaluation Results

Perplexity podało, że PII‑Tracer osiągnął najwyższe F1 na poziomie znaków (0,629) spośród 12 ocenianych systemów, a także drugie pod względem F1 nakładania fragmentów i F1 zawierania fragmentów. Firma zaznaczyła, że modele wiodące, czyli GPT‑5.6‑sol i Claude Sonnet 5, uzyskały porównywalną ogólną wydajność, przy czym GPT‑5.6‑sol uzyskał wyższe wyniki w obu miarach na poziomie fragmentu, ale niższe F1 na poziomie znaków. Zauważono, że te wiodące modele liczą setki miliardów, a nawet biliony parametrów i są zamkniętymi modelami hostowanymi w chmurze, co czyni je nieodpowiednimi do filtrowania tekstu, który musi pozostać lokalny, podczas gdy inne otwarto‑źródłowe detektory PII wypadały znacznie gorzej niż PII‑Tracer.

W teście spójności zestaw ewaluacyjny zawierał 899 identyfikatorów pojawiających się jednorazowo oraz 959 pojawiających się wielokrotnie, z czego 790 rozciągało się na wiele tur. Perplexity podało, że PII‑Tracer wykrywa każde wystąpienie 79,4 % powtarzających się identyfikatorów i 77,6 % identyfikatorów przekraczających tury, podczas gdy GPT‑5.6‑sol osiąga 57,0 % i 55,1 % w tych samych miarach. Wynik PII‑Tracer spada z 0,917 dla identyfikatorów jednorazowych do 0,691 dla identyfikatorów pojawiających się od sześciu do dziesięciu razy.

Długość pozostaje ograniczeniem. Czułość w jednym oknie wynosi 0,975 dla konwersacji poniżej 1 000 znaków i 0,955 w przedziale od 1 000 do 10 000 znaków, ale spada do 0,687 przy 10 000 znakach lub więcej. Firma poinformowała, że dekodowanie tego samego punktu kontrolnego przy użyciu okien o 50 % nakładaniu podnosi ogólną czułość znaków z 0,830 do 0,965 oraz spójne wykrywanie wielokrotnych wzmianków z 0,794 do 0,954, bez ponownego treningu.

W sześciojęzycznym podzbiorze obejmującym skrypty łacińskie, cyrylicę i hangul, PII‑Tracer prowadzi pod względem F1 znaków w języku niemieckim (0,735), francuskim (0,633), włoskim (0,676) i rosyjskim (0,651), a w języku angielskim i koreańskim znajduje się w odległości 0,016–0,036 od najlepszych wyników, jak podała firma. Na pięciu zewnętrznych benchmarkach pojedynczych rekordów Perplexity stwierdziło, że PII‑Tracer uzyskał wyższe F1 znaków niż OpenAI Privacy Filter w każdym zestawie danych, w tym 0,950 kontra 0,907 w ai4privacy, 0,847 kontra 0,709 w Nemotron‑PII oraz 0,594 kontra 0,350 w TAB, jedynym benchmarku w grupie opartym na rzeczywistym, ręcznie oznakowanym tekście.

artykuł naukowy ostrzega, że konwersacje są syntetycznymi rekonstrukcjami opartymi na strukturze produkcyjnego ruchu asystenta, więc wyniki należy interpretować jako pomiary wykrywania PII w konwersacjach, a nie jako szacunki dla konkretnego obciążenia produkcyjnego. Praca również zauważa, że wywołania narzędzi, wiadomości między agentami i wejścia multimodalne wykraczają poza zakres benchmarku, a każdy baseline został oceniony w jednej konfiguracji inferencji. Perplexity zapowiedziało, że wkrótce udostępni zarówno PII‑TRACE, jak i PII‑Tracer; w dokumencie stwierdzono, że oba zostaną wydane na licencji MIT.