Perplexity apresenta o benchmark PII-TRACE e o detector PII‑Tracer no dispositivo

Perplexity, em 1 de setembro de 2026, apresentou o PII-TRACE, um benchmark para avaliar detectores de informações pessoalmente identificáveis, e o PII‑Tracer, um modelo compacto de 0,6 bilhão de parâmetros desenvolvido para sinalizar PII no dispositivo do usuário antes que o texto seja enviado a modelos na nuvem. O anúncio enquadra ambos os lançamentos como infraestrutura de privacidade para a arquitetura de computação híbrida da empresa, na qual agentes na nuvem lidam com pesquisa, raciocínio e planejamento, enquanto um modelo local trabalha com arquivos privados.

Nessa arquitetura, um portão de privacidade local mantém o conteúdo sensível no Mac, censura informações privadas detectadas ou solicita aprovação antes de enviá‑las para a nuvem. A Perplexity afirmou que a barreira só protege a privacidade se o dispositivo puder reconhecer PII antes que o texto seja enviado a um modelo remoto, e que a detecção se torna mais difícil em conversas longas e multilíngues, onde o mesmo identificador pode aparecer várias vezes em diferentes turnos. Uma menção perdida pode expor a informação que o sistema pretende proteger.

O PII‑Tracer fornece um sinal de controle local para roteamento de modelo ao marcar trechos previstos como contendo PII. O aplicativo então impõe a política de roteamento: mantém a entrada relevante local, censura os trechos detectados ou solicita aprovação explícita antes de encaminhar para um modelo na nuvem.

O Benchmark PII-TRACE

PII-TRACE, abreviação de Tracing Recurring PII Across Conversational Exchanges, contém 13.148 conversas sintéticas entre usuário e assistente em 13 idiomas e 10 sistemas de escrita, com 37.431 menções de identificadores rotuladas ao nível de caractere em nove tipos de PII. Um total de 41 % das conversas contém conteúdo estruturado. Entre as 5.645 conversas com PII rotulada, 63,8 % incluem um identificador que aparece mais de uma vez, e 28,7 % incluem um identificador que aparece em múltiplos turnos.

A Perplexity disse que projetou o benchmark em torno de três comportamentos relevantes quando um detector analisa conversas de assistente. O primeiro é cobertura consistente: quando um identificador aparece várias vezes ou atravessa turnos de usuário e assistente, o detector precisa encontrar cada menção. O segundo é robustez a contexto longo, com conversas que variam de menos de 1.000 a mais de 100.000 caracteres. O terceiro é lidar com múltiplos idiomas e conteúdo de formato misto, já que uma conversa pode mudar de idioma e combinar prosa com código, tabelas ou registros estruturados.

O benchmark mede desempenho em dois níveis. No nível de identificador, a pontuação de detecção consistente verifica se o detector cobriu cada caractere em cada menção do mesmo identificador, relatada separadamente para identificadores com múltiplas menções e para identificadores que se repetem em turnos diferentes. No nível de caractere, a precisão mede quanto do texto marcado pelo detector é realmente PII, a revocação mede quanto da PII rotulada ele encontra, e o F1 equilibra os dois.

O conjunto de dados é sintético, mas derivado de conversas de produção. Segundo a empresa, múltiplos modelos de linguagem primeiro marcam nove tipos de PII em conversas reais entre usuário e assistente, e uma etapa baseada em regras agrupa identificadores repetidos do mesmo tipo sob um único ID de entidade. Cada valor marcado é substituído por um placeholder tipado, cada turno é parafraseado mantendo os placeholders intactos, e valores sintéticos que correspondem ao tipo e formato de cada identificador são inseridos. Três verificações automatizadas conferem se as substituições correspondem aos trechos armazenados, se as menções repetidas usam o mesmo valor e se os valores de origem marcados estão ausentes após uma nova varredura com Presidio e expressões regulares. Um segundo modelo de linguagem audita uma amostra, e humanos revisam tudo o que ele sinaliza como PII.

Um Detector Compacto para Uso Local

PII‑Tracer é um codificador bidirecional de 0,6 B adaptado a partir de um backbone Qwen3. A Perplexity afirmou que a triagem de privacidade difere da geração de texto porque requer encontrar trechos relevantes de PII e devolver seus limites, de modo que o modelo substitui a máscara causal do Qwen3 por atenção bidirecional sensível ao preenchimento, permitindo que cada token se baseie tanto em turnos anteriores quanto posteriores dentro de uma janela de 4.096 tokens.

Para cada token, o codificador produz uma representação de 1.024 dimensões, e uma cabeça de marcação linear pontua 37 rótulos possíveis sob o esquema BIOES para reconhecimento de entidades nomeadas: um rótulo para texto fora de um trecho de PII, mais quatro rótulos de posição de trecho para cada um dos nove tipos de PII. Uma cabeça auxiliar prevê se a conversa contém material sensível, como informações de saúde ou religiosas. A empresa disse que treinou o modelo por três épocas em cerca de 714.000 amostras de treinamento combinando conversas multilíngues de assistente com exemplos de registro único. No momento da inferência, um decodificador Viterbi restrito busca a sequência de rótulos válida de maior pontuação e mapeia o resultado de volta aos trechos exatos de caracteres para censura ou roteamento local.

Resultados da Avaliação

A Perplexity informou que o PII‑Tracer alcançou o maior F1 de caractere (0,629) entre os 12 sistemas avaliados, além do segundo maior F1 de sobreposição de trechos e F1 de contenção de trechos. A empresa afirmou que modelos de ponta, nomeadamente GPT-5.6-sol e Claude Sonnet 5, obtiveram desempenho geral comparável, com o GPT-5.6-sol pontuando mais alto em ambas as métricas de nível de trecho, mas mais baixo no F1 de caractere. Observou‑se que esses modelos de ponta possuem centenas de bilhões ou até trilhões de parâmetros e são modelos de código fechado hospedados na nuvem, tornando‑os inadequados para triagem de texto que deve permanecer local, enquanto outros detectores de PII de código aberto tiveram desempenho substancialmente pior que o PII‑Tracer.

No teste de consistência, o conjunto de avaliação contém 899 identificadores que aparecem uma vez e 959 que aparecem mais de uma vez, 790 deles abrangendo múltiplos turnos. A Perplexity relatou que o PII‑Tracer encontra cada menção de 79,4 % dos identificadores recorrentes e 77,6 % dos identificadores que atravessam turnos, enquanto o GPT-5.6-sol atinge 57,0 % e 55,1 % nas mesmas duas métricas. A pontuação do PII‑Tracer varia de 0,917 para identificadores de menção única a 0,691 para identificadores que aparecem de seis a dez vezes.

O comprimento continua sendo uma limitação. A revocação de janela única é 0,975 para conversas com menos de 1.000 caracteres e 0,955 de 1.000 a 10.000, mas cai para 0,687 em 10.000 caracteres ou mais. A empresa afirmou que decodificar o mesmo ponto de verificação com janelas deslizantes de 50 % de sobreposição eleva a revocação geral de caracteres de 0,830 para 0,965 e a detecção consistente de múltiplas menções de 0,794 para 0,954, sem necessidade de re‑treinamento.

Em um recorte de seis idiomas que abrange scripts latino, cirílico e Hangul, o PII‑Tracer lidera o F1 de caractere em alemão (0,735), francês (0,633), italiano (0,676) e russo (0,651), e fica a apenas 0,016‑0,036 dos melhores resultados em inglês e coreano, conforme relatado pela empresa. Em cinco benchmarks externos de registro único, a Perplexity disse que o PII‑Tracer obteve F1 de caractere superior ao OpenAI Privacy Filter em todos os conjuntos de dados, incluindo 0,950 versus 0,907 em ai4privacy, 0,847 versus 0,709 em Nemotron‑PII e 0,594 versus 0,350 em TAB, o único benchmark do grupo construído a partir de texto real rotulado por humanos.

O artigo de pesquisa alerta que as conversas são reconstruções sintéticas derivadas da estrutura do tráfego de assistentes em produção, de modo que os resultados devem ser interpretados como medições da detecção de PII em conversas, e não como estimativas para qualquer carga de trabalho de produção específica. O documento também observa que chamadas de ferramentas, mensagens entre agentes e entradas multimodais ficam fora do escopo do benchmark, e que cada linha de base foi avaliada sob uma única configuração de inferência. A Perplexity disse que planeja lançar o PII‑TRACE e o PII‑Tracer em breve; o artigo afirma que ambos serão lançados sob a licença MIT.