Perplexity lance le benchmark PII-TRACE et le détecteur PII‑Tracer sur appareil

Perplexity, le 1er septembre 2026, a présenté PII-TRACE, un benchmark destiné à évaluer les détecteurs d’informations personnellement identifiables, ainsi que PII‑Tracer, un modèle compact de 0,6 milliard de paramètres conçu pour signaler les PII sur l’appareil d’un utilisateur avant que le texte ne soit envoyé aux modèles cloud. Lnnounce présente les deux sorties comme une infrastructure de confidentialité pour larchitecture de calcul hybride de l’entreprise, dans laquelle les agents cloud gèrent la recherche, le raisonnement et la planification tandis qu’un modèle local travaille avec les fichiers privés.

Dans le cadre de cette architecture, une porte de confidentialité locale conserve le contenu sensible sur le Mac, masque les informations privées détectées ou demande une approbation avant de les envoyer au cloud. Perplexity a indiqué que la frontière ne protège la confidentialité que si l’appareil peut reconnaître les PII avant que le texte ne soit envoyé à un modèle distant, et que la détection devient plus difficile lors de longues conversations multilingues où le même identifiant peut apparaître plusieurs fois à différents tours. Une mention manquée peut exposer les informations que le système est censé protéger.

PII‑Tracer fournit un signal de contrôle local pour le routage des modèles en signalant les segments prévus contenir des PII. L’application applique ensuite la politique de routage : elle conserve l’entrée concernée localement, masque les segments détectés ou demande une approbation explicite avant de la transmettre à un modèle cloud.

Le benchmark PII-TRACE

PII‑TRACE, abréviation de Tracing Recurring PII Across Conversational Exchanges, comprend 13 148 conversations synthétiques entre utilisateur et assistant couvrant 13 langues et 10 systèmes d’écriture, avec 37 431 mentions d’identifiants étiquetées au niveau du caractère pour neuf types de PII. Au total, 41 % des conversations contiennent du contenu structuré. Parmi les 5 645 conversations contenant des PII étiquetées, 63,8 % comprennent un identifiant apparaissant plusieurs fois, et 28,7 % comprennent un identifiant apparaissant sur plusieurs tours.

Perplexity a indiqué qu’elle a conçu le benchmark autour de trois comportements importants lorsqu’un détecteur examine les conversations d’assistant. Le premier est une couverture cohérente : lorsqu’un identifiant apparaît plusieurs fois ou traverse les tours de l’utilisateur et de l’assistant, le détecteur doit trouver chaque mention. Le deuxième est la robustesse face à un contexte long, avec des conversations allant de moins de 1 000 à plus de 100 000 caractères. Le troisième est la prise en charge de plusieurs langues et de contenus à format mixte, car une conversation peut changer de langue et combiner du texte avec du code, des tableaux ou des enregistrements structurés.

Le benchmark mesure la performance à deux niveaux. Au niveau de l’identifiant, un score de détection cohérente vérifie si le détecteur a couvert chaque caractère de chaque mention du même identifiant, rapporté séparément pour les identifiants avec plusieurs mentions et pour ceux qui se répètent sur plusieurs tours. Au niveau du caractère, la précision mesure la proportion du texte marqué par le détecteur qui est réellement des PII, le rappel mesure la proportion de PII étiquetées qu’il trouve, et le F1 équilibre les deux.

Le jeu de données est synthétique mais dérivé de conversations en production. Selon l’entreprise, plusieurs modèles multilingues marquent d’abord neuf types de PII dans les conversations réelles entre utilisateur et assistant, puis un passage basé sur des règles regroupe les identifiants répétés du même type sous un même ID d’entité. Chaque valeur marquée est remplacée par un espace réservé typé, chaque tour est paraphrasé en conservant les espaces réservés, et des valeurs synthétiques correspondant au type et au format de chaque identifiant sont insérées. Trois filtres automatisés vérifient que les remplacements correspondent aux segments stockés, que les mentions répétées utilisent la même valeur, et que les valeurs sources marquées sont absentes après un nouveau passage avec Presidio et des expressions régulières. Un second modèle linguistique audite un échantillon, et des humains examinent tout ce que celui‑ci signale comme PII.

Un détecteur compact pour une utilisation locale

PII‑Tracer est un encodeur bidirectionnel de 0,6 milliard de paramètres adapté d’une architecture Qwen3. Perplexity a indiqué que le filtrage de la confidentialité diffère de la génération de texte car il nécessite de repérer les segments PII pertinents et de renvoyer leurs limites, ainsi le modèle remplace le masque causal de Qwen3 par une attention bidirectionnelle consciente du remplissage, permettant à chaque jeton de s’appuyer à la fois sur les tours précédents et suivants dans une fenêtre de 4 096 jetons.

Pour chaque jeton, l’encodeur génère une représentation de 1 024 dimensions, et une tête de balisage linéaire attribue 37 étiquettes possibles selon le schéma BIOES pour la reconnaissance d’entités nommées : une étiquette pour le texte hors d’un segment PII, plus quatre étiquettes de position de segment pour chacun des neuf types de PII. Une tête auxiliaire prédit si la conversation contient du matériel sensible, tel que des informations de santé ou religieuses. L’entreprise a déclaré avoir entraîné le modèle pendant trois époques sur environ 714 000 exemples d’entraînement combinant des conversations multilingues d’assistant avec des exemples à enregistrement unique. Au moment de l’inférence, un décodeur Viterbi contraint recherche la séquence d’étiquettes valide la mieux notée et reconvertit le résultat en segments de caractères exacts pour le masquage ou le routage local.

Résultats de l’évaluation

Perplexity a indiqué que PII‑Tracer a obtenu le meilleur score F1 au niveau des caractères (0,629) parmi les 12 systèmes évalués, ainsi que le deuxième meilleur F1 de recouvrement de segment et de containment de segment. L’entreprise a précisé que les modèles de pointe, à savoir GPT‑5.6‑sol et Claude Sonnet 5, ont atteint des performances globales comparables, GPT‑5.6‑sol obtenant de meilleurs scores sur les deux métriques de niveau segment mais un F1 caractère inférieur. Elle a souligné que ces modèles de pointe comptent des centaines de milliards voire des billions de paramètres et sont des modèles propriétaires hébergés dans le cloud, les rendant inadaptés au filtrage de texte qui doit rester local, tandis que d’autres détecteurs PII open source ont nettement sous-performé par rapport à PII‑Tracer.

Dans le test de cohérence, le jeu d’évaluation comprend 899 identifiants apparaissant une fois et 959 apparaissant plusieurs fois, dont 790 s’étendent sur plusieurs tours. Perplexity a rapporté que PII‑Tracer trouve chaque mention de 79,4 % des identifiants récurrents et de 77,6 % des identifiants traversant les tours, tandis que GPT‑5.6‑sol atteint respectivement 57,0 % et 55,1 % sur ces deux mesures. Le score de PII‑Tracer passe de 0,917 pour les identifiants à mention unique à 0,691 pour ceux apparaissant de six à dix fois.

La longueur demeure une limitation. Le rappel en fenêtre unique est de 0,975 pour les conversations de moins de 1 000 caractères et de 0,955 entre 1 000 et 10 000, mais chute à 0,687 à partir de 10 000 caractères. L’entreprise a indiqué que décoder le même point de contrôle avec des fenêtres glissantes à chevauchement de 50 % augmente le rappel global des caractères de 0,830 à 0,965 et la détection cohérente multi‑mention de 0,794 à 0,954, sans réentraînement.

Sur un sous‑ensemble de six langues couvrant les scripts latin, cyrillique et hangul, PII‑Tracer obtient le meilleur F1 caractères en allemand (0,735), français (0,633), italien (0,676) et russe (0,651), et se situe à 0,016‑0,036 du meilleur résultat en anglais et coréen, selon l’entreprise. Sur cinq benchmarks externes à enregistrement unique, Perplexity a indiqué que PII‑Tracer a affiché un F1 caractères supérieur à celui du OpenAI Privacy Filter sur chaque jeu de données, notamment 0,950 contre 0,907 sur ai4privacy, 0,847 contre 0,709 sur Nemotron‑PII, et 0,594 contre 0,350 sur TAB, le seul benchmark du groupe construit à partir de textes réels annotés par des humains.

Larticle de recherche avertit que les conversations sont des reconstructions synthétiques dérivées de la structure du trafic d’assistants en production, de sorte que les résultats doivent être interprétés comme des mesures de détection de PII en conversation plutôt que comme des estimations pour une charge de travail de production particulière. L’article précise également que les appels d’outils, les messages inter‑agents et les entrées multimodales ne relèvent pas du champ du benchmark, et que chaque référence de base a été évaluée sous une configuration d’inférence unique. Perplexity a annoncé son intention de publier prochainement à la fois PII‑TRACE et PII‑Tracer ; l’article indique que les deux seront diffusés sous licence MIT.