Perplexity presenta el benchmark PII-TRACE y el detector PII-Tracer en el dispositivo

Perplexity, el 1 de septiembre de 2026, presentó PII-TRACE, un benchmark para evaluar detectores de información de identificación personal, y PII-Tracer, un modelo compacto de 0,6 B de parámetros diseñado para marcar PII en el dispositivo del usuario antes de que el texto se envíe a modelos en la nube. El anuncio enmarca ambos lanzamientos como infraestructura de privacidad para la arquitectura de cómputo híbrido de la compañía, en la que los agentes en la nube manejan la investigación, el razonamiento y la planificación, mientras que un modelo local trabaja con archivos privados.

Según esa arquitectura, una puerta de privacidad local mantiene el contenido sensible en el Mac, redacta la información privada detectada o solicita aprobación antes de enviarla a la nube. Perplexity afirmó que la barrera solo protege la privacidad si el dispositivo puede reconocer PII antes de que el texto se envíe a un modelo remoto, y que la detección se vuelve más difícil en conversaciones largas y multilingües donde el mismo identificador puede aparecer varias veces en diferentes turnos. Una mención omitida puede exponer la información que el sistema pretende proteger.

PII-Tracer proporciona una señal de control local para el enrutamiento de modelos al marcar los fragmentos que se predice contienen PII. La aplicación entonces aplica la política de enrutamiento: mantiene la entrada relevante local, redacta los fragmentos detectados o solicita una aprobación explícita antes de escalar a un modelo en la nube.

El benchmark PII-TRACE

PII-TRACE, abreviatura de Tracing Recurring PII Across Conversational Exchanges, contiene 13 148 conversaciones sintéticas entre usuario y asistente en 13 idiomas y 10 sistemas de escritura, con 37 431 menciones de identificadores etiquetadas a nivel de carácter en nueve tipos de PII. Un total del 41 % de las conversaciones contiene contenido estructurado. Entre las 5 645 conversaciones con PII etiquetada, el 63,8 % incluye un identificador que aparece más de una vez, y el 28,7 % incluye un identificador que aparece en varios turnos.

Perplexity afirmó que diseñó el benchmark en torno a tres comportamientos que importan cuando un detector revisa conversaciones con el asistente. El primero es la cobertura consistente: cuando un identificador aparece varias veces o cruza turnos de usuario y asistente, el detector debe encontrar cada mención. El segundo es la robustez ante contextos extensos, con conversaciones que van desde menos de 1 000 hasta más de 100 000 caracteres. El tercero es el manejo de múltiples idiomas y contenido de formato mixto, ya que una conversación puede cambiar de idioma y combinar prosa con código, tablas o registros estructurados.

El benchmark mide el rendimiento en dos niveles. A nivel de identificador, una puntuación de detección consistente pregunta si el detector cubrió cada carácter en cada mención del mismo identificador, informada por separado para los identificadores con múltiples menciones y para los que se repiten en varios turnos. A nivel de carácter, la precisión mide qué proporción del texto marcado por el detector está etiquetada como PII, la exhaustividad mide cuánta PII etiquetada encuentra, y la métrica F1 equilibra ambos.

El conjunto de datos es sintético pero derivado de conversaciones de producción. Según la empresa, varios modelos de lenguaje primero marcan nueve tipos de PII en conversaciones reales entre usuario y asistente, y una pasada basada en reglas agrupa los identificadores repetidos del mismo tipo bajo una única ID de entidad. Cada valor marcado se reemplaza por un marcador tipado, cada turno se parafrasea manteniendo los marcadores intactos, y se insertan valores sintéticos que coinciden con el tipo y formato de cada identificador. Tres filtros automatizados verifican que los reemplazos coincidan con los fragmentos almacenados, que las menciones repetidas usen el mismo valor y que los valores fuente marcados estén ausentes tras un nuevo escaneo con Presidio y expresiones regulares. Un segundo modelo de lenguaje audita una muestra, y humanos revisan cualquier elemento que se marque como PII.

Un detector compacto para uso local

PII-Tracer es un codificador bidireccional de 0,6 B adaptado a partir de una arquitectura Qwen3. Perplexity afirmó que la filtración de privacidad difiere de la generación de texto porque requiere encontrar fragmentos de PII relevantes y devolver sus límites, por lo que el modelo sustituye la máscara causal de Qwen3 por una atención bidireccional consciente del relleno, permitiendo que cada token se base tanto en turnos anteriores como posteriores dentro de una ventana de 4 096 tokens.

Para cada token, el codificador genera una representación de 1 024 dimensiones, y una cabeza de etiquetado lineal asigna puntuaciones a 37 etiquetas posibles bajo el esquema BIOES para el reconocimiento de entidades nombradas: una etiqueta para texto fuera de un fragmento de PII, más cuatro etiquetas de posición del fragmento para cada uno de los nueve tipos de PII. Una cabeza auxiliar predice si la conversación contiene material sensible, como información de salud o religiosa. La empresa indicó que entrenó el modelo durante tres épocas con aproximadamente 714 000 muestras de entrenamiento que combinan conversaciones multilingües con el asistente y ejemplos de registro único. En tiempo de inferencia, un decodificador Viterbi restringido busca la secuencia de etiquetas válida con mayor puntuación y convierte el resultado en fragmentos de caracteres exactos para la redacción o el enrutamiento local.

Resultados de la evaluación

Perplexity informó que PII-Tracer obtuvo el F1 de carácter más alto (0,629) entre los 12 sistemas evaluados, junto con el segundo F1 más alto de solapamiento de fragmentos y de contención de fragmentos. La compañía indicó que los modelos de vanguardia, a saber GPT-5.6-sol y Claude Sonnet 5, lograron un rendimiento global comparable, con GPT-5.6-sol obteniendo puntuaciones superiores en ambas métricas a nivel de fragmento pero inferior en el F1 de carácter. Señaló que esos modelos de vanguardia poseen cientos de miles de millones o incluso billones de parámetros y son modelos de código cerrado alojados en la nube, lo que los hace inadecuados para filtrar texto que debe permanecer local, mientras que otros detectores de PII de código abierto tuvieron un desempeño sustancialmente peor que PII-Tracer.

En la prueba de consistencia, el conjunto de evaluación contiene 899 identificadores que aparecen una sola vez y 959 que aparecen más de una vez, 790 de los cuales abarcan varios turnos. Perplexity informó que PII-Tracer encuentra cada mención del 79,4 % de los identificadores recurrentes y del 77,6 % de los identificadores que cruzan turnos, mientras que GPT-5.6-sol alcanza el 57,0 % y el 55,1 % en esas mismas dos métricas. La puntuación de PII-Tracer pasa de 0,917 para identificadores con una sola mención a 0,691 para identificadores que aparecen de seis a diez veces.

La longitud sigue siendo una limitación. La exhaustividad de ventana única es 0,975 para conversaciones con menos de 1 000 caracteres y 0,955 entre 1 000 y 10 000, pero cae a 0,687 a partir de 10 000 caracteres. La empresa afirmó que decodificar el mismo punto de control con ventanas deslizantes con un solapamiento del 50 % eleva la exhaustividad de carácter global de 0,830 a 0,965 y la detección consistente de menciones múltiples de 0,794 a 0,954, sin necesidad de reentrenamiento.

En una fracción de seis idiomas que abarca escrituras latina, cirílica y Hangul, PII-Tracer lidera el F1 de carácter en alemán (0,735), francés (0,633), italiano (0,676) y ruso (0,651), y se sitúa a entre 0,016 y 0,036 del mejor resultado en inglés y coreano, según informó la compañía. En cinco benchmarks externos de registro único, Perplexity señaló que PII-Tracer obtuvo un F1 de carácter superior al OpenAI Privacy Filter en todos los conjuntos de datos, incluyendo 0,950 frente a 0,907 en ai4privacy, 0,847 frente a 0,709 en Nemotron-PII y 0,594 frente a 0,350 en TAB, el único benchmark del grupo construido a partir de texto real etiquetado por humanos.

El documento de investigación advierte que las conversaciones son reconstrucciones sintéticas derivadas de la estructura del tráfico de asistentes en producción, por lo que los resultados deben interpretarse como mediciones de detección de PII conversacional y no como estimaciones para una carga de trabajo de producción específica. El artículo también señala que las llamadas a herramientas, los mensajes entre agentes y las entradas multimodales quedan fuera del alcance del benchmark, y que cada línea base se evaluó bajo una única configuración de inferencia. Perplexity indicó que planea lanzar pronto tanto PII-TRACE como PII-Tracer; el documento afirma que ambos se publicarán bajo la licencia MIT.