Perplexity představuje benchmark PII-TRACE a detektor PII-Tracer na zařízení

Perplexity dne 1. září 2026 představila PII-TRACE, benchmark pro hodnocení detektorů osobně identifikovatelných informací, a PII-Tracer, kompaktní model s 0,6 miliardou parametrů určený k označování PII na zařízení uživatele před odesláním textu do cloudových modelů. oznámení představuje oba vydání jako soukromí infrastrukturu pro hybridní výpočetní architekturu, ve které cloudoví agenti zajišťují výzkum, uvažování a plánování, zatímco lokální model pracuje s privátními soubory.

V rámci této architektury lokální soukromá brána uchovává citlivý obsah na Macu, zakrývá detekované soukromé informace nebo požaduje schválení před odesláním do cloudu. Perplexity uvedla, že hranice chrání soukromí pouze tehdy, pokud zařízení dokáže rozpoznat PII před odesláním textu do vzdáleného modelu, a že detekce se ztěžuje u dlouhých, vícejazykových konverzací, kde se stejný identifikátor může objevit několikrát v různých tazích. Jedna opomenutá zmínka může odhalit informace, které má systém chránit.

PII-Tracer poskytuje jeden lokální řídící signál pro směrování modelu tím, že označuje úseky předpokládané jako obsahující PII. Aplikace pak vynutí politiku směrování: uchová relevantní vstup lokálně, zakryje detekované úseky nebo požádá o explicitní schválení před předáním cloudovému modelu.

Benchmark PII-TRACE

PII-TRACE, zkratka pro Tracing Recurring PII Across Conversational Exchanges, obsahuje 13 148 syntetických konverzací uživatel‑asistent napříč 13 jazyky a 10 psacími systémy, s 37 431 výskyty identifikátorů označenými na úrovni znaků v devíti typech PII. Celkem 41 % konverzací obsahuje strukturovaný obsah. Z 5 645 konverzací s označeným PII zahrnuje 63,8 % identifikátor, který se objevuje více než jednou, a 28,7 % identifikátor, který se vyskytuje napříč více tahy.

Perplexity uvedla, že benchmark byl navržen kolem tří chování, která jsou důležitá při prověřování konverzací asistenta detektorem. Prvním je konzistentní pokrytí: když se identifikátor objeví několikrát nebo překročí tahy uživatele a asistenta, detektor musí najít každou zmínku. Druhým je odolnost vůči dlouhému kontextu, přičemž konverzace se pohybují od méně než 1 000 do více než 100 000 znaků. Třetím je zpracování více jazyků a smíšeného formátu obsahu, protože konverzace může přepínat jazyky a kombinovat prózu s kódem, tabulkami nebo strukturovanými záznamy.

Benchmark měří výkonnost na dvou úrovních. Na úrovni identifikátoru se konzistentní skóre detekce ptá, zda detektor zachytil každý znak ve všech výskytech stejného identifikátoru, přičemž jsou uváděny samostatně pro identifikátory s více výskyty a pro identifikátory, které se opakují napříč tahy. Na úrovni znaků měří přesnost, kolik textu označeného detektorem je skutečně PII, odvolání (recall) měří, kolik označeného PII detektor nalezne, a F1 skóre vyvažuje oba ukazatele.

Datová sada je syntetická, ale odvozená z reálných konverzací. Podle společnosti nejprve několik jazykových modelů označí devět typů PII v reálných konverzacích uživatel‑asistent a pravidlový průchod seskupí opakované identifikátory stejného typu pod jedním ID entity. Každá označená hodnota je nahrazena typovým zástupcem, každý tah je parafrázován se zachovanými zástupci a jsou vloženy syntetické hodnoty odpovídající typu a formátu identifikátoru. Tři automatizované brány kontrolují, že nahrazení odpovídá uloženým úsekům, že opakované výskyty používají stejnou hodnotu, a že označené zdrojové hodnoty chybí po přezkoumání pomocí Presidio a regulárních výrazů. Druhý jazykový model audituje vzorek a lidé kontrolují vše, co označí jako PII.

Kompaktní detektor pro lokální použití

PII-Tracer je 0,6 miliardový obousměrný enkodér přizpůsobený z architektury Qwen3. Perplexity uvedla, že soukromé skenování se liší od generování textu, protože vyžaduje nalezení relevantních úseků PII a vrácení jejich hranic, takže model nahrazuje kauzální masku Qwen3 maskou s ohledem na padding a obousměrnou pozorností, což umožňuje každému tokenu čerpat jak z předchozích, tak z následujících tahů v okně o 4 096 tokenů.

Pro každý token enkodér vytvoří 1 024‑rozměrnou reprezentaci a lineární tagovací hlava přiřadí 37 možných štítků podle schématu BIOES pro rozpoznávání pojmenovaných entit: jeden štítek pro text mimo úsek PII a čtyři štítky pro pozici úseku u každého z devíti typů PII. Pomocná hlava předpovídá, zda konverzace obsahuje citlivý materiál, například zdravotní nebo náboženské informace. Společnost uvedla, že model byl trénován po dobu tří epoch na přibližně 714 000 tréninkových vzorků kombinujících vícejazykové konverzace asistenta s příklady jednorázových záznamů. V době inferencí omezený Viterbiho dekodér hledá sekvenci štítků s nejvyšším skóre a převádí výsledek zpět na přesné úseky znaků pro zakrytí nebo lokální směrování.

Výsledky hodnocení

Perplexity oznámila, že PII-Tracer dosáhl nejvyššího znakového F1 (0,629) mezi 12 hodnocenými systémy, a také druhého nejvyššího F1 pro překrytí úseků a F1 pro zahrnutí úseků. Společnost uvedla, že špičkové modely, konkrétně GPT-5.6-sol a Claude Sonnet 5, dosáhly srovnatelného celkového výkonu, přičemž GPT-5.6-sol získal vyšší skóre u obou metrik úrovně úseků, ale nižší u znakového F1. Uvedlo se, že tyto špičkové modely mají stovky miliard či dokonce biliony parametrů a jsou uzavřené modely hostované v cloudu, což je činí nevhodnými pro skenování textu, který musí zůstat lokální, zatímco ostatní open‑source detektory PII podávaly podstatně horší výsledky než PII‑Tracer.

V testu konzistence evaluační sada obsahuje 899 identifikátorů, které se objeví jednou, a 959, které se objeví více než jednou, z nichž 790 zasahuje více tahů. Perplexity uvedla, že PII‑Tracer najde každou zmínku u 79,4 % opakujících se identifikátorů a 77,6 % identifikátorů napříč tahy, zatímco GPT‑5.6‑sol dosahuje 57,0 % a 55,1 % u stejných dvou měřítek. Skóre PII‑Tracer se pohybuje od 0,917 pro identifikátory s jednou zmínkou až na 0,691 pro identifikátory objevující se šest až desetkrát.

Délka zůstává omezením. Recall v jednom okně je 0,975 pro konverzace pod 1 000 znaků a 0,955 pro rozsah 1 000 až 10 000, ale klesá na 0,687 při 10 000 a více znacích. Společnost uvedla, že dekódování stejného kontrolního bodu s posuvnými okny s 50 % překrytím zvyšuje celkový recall znaků z 0,830 na 0,965 a konzistentní detekci více výskytů z 0,794 na 0,954, aniž by bylo nutné model znovu trénovat.

V šesti‑jazykovém výřezu zahrnujícím latinské, cyrilické a hangulské písmo vede PII‑Tracer v znakovém F1 v němčině (0,735), francouzštině (0,633), italštině (0,676) a ruštině (0,651) a je vzdálen jen 0,016 až 0,036 od nejlepších výsledků v angličtině a korejštině, uvedla společnost. Na pěti externích benchmarkech s jedním záznamem Perplexity uvedla, že PII‑Tracer dosáhl vyššího znakového F1 než OpenAI Privacy Filter u všech datových sad, včetně 0,950 proti 0,907 na ai4privacy, 0,847 proti 0,709 na Nemotron‑PII a 0,594 proti 0,350 na TAB, jediném benchmarku ve skupině vytvořeném z reálného, lidsky označeného textu.

výzkumná studie varuje, že konverzace jsou syntetické rekonstrukce odvozené ze struktury reálného provozu asistenta, takže výsledky by měly být chápány jako měření detekce konverzačního PII, nikoli jako odhady pro konkrétní produkční zátěž. Studie také uvádí, že volání nástrojů, mezia­gentní zprávy a multimodální vstupy spadají mimo rozsah benchmarku a že každá základní metoda byla hodnocena pod jedinou konfigurační nastavením inferencí. Perplexity uvedla, že brzy vydá jak PII‑TRACE, tak PII‑Tracer; studie uvádí, že oba budou vydány pod licencí MIT.