Perplexity 推出 PII-TRACE 基准和 PII-Tracer 本地设备检测器

Perplexity 于 2026 年 9 月 1 日推出了 PII-TRACE，这是一项用于评估个人可识别信息检测器的基准，以及 PII‑Tracer，这是一款 0.6B 参数的紧凑模型，旨在在文本发送至云模型之前在用户设备上标记 PII。该 公告将两项发布定位为公司 混合计算架构的隐私基础设施，在该架构中，云代理负责研究、推理和规划，而本地模型处理私有文件。

在该架构下，本地隐私门将敏感内容保留在 Mac 上，对检测到的私人信息进行编辑，或在发送至云端之前请求批准。Perplexity 表示，只有当设备能够在文本发送至远程模型之前识别 PII 时，这一道路才真正保护隐私；而在长篇多语言对话中，同一标识符可能在不同轮次出现多次，检测难度会随之增加。一次漏检就可能泄露本应受保护的信息。

PII‑Tracer 通过标记预测包含 PII 的文本片段，为模型路由提供本地控制信号。随后，应用程序执行路由策略：将相关输入保留本地、编辑检测到的片段，或在提升至云模型前请求明确批准。

PII-TRACE 基准

PII‑TRACE（Tracing Recurring PII Across Conversational Exchanges 的缩写）包含 13,148 条合成的用户‑助理对话，覆盖 13 种语言和 10 种书写系统，标注了 37,431 条字符级别的标识符提及，涉及九种 PII 类型。其中 41% 的对话包含结构化内容。在 5,645 条标注了 PII 的对话中，63.8% 包含出现多次的标识符，28.7% 的标识符跨多个轮次出现。

Perplexity 表示，基准围绕检测器在助理对话中筛选时的三种关键行为设计。第一是覆盖一致性：当标识符在多个位置或跨用户与助理轮次出现时，检测器必须捕获每一次提及。第二是对长上下文的鲁棒性，对话长度从不足 1,000 字符到超过 100,000 字符不等。第三是处理多语言和混合格式内容，因为对话可能在语言之间切换，并将散文与代码、表格或结构化记录混合。

基准在两个层面衡量性能。标识符层面，一致检测分数评估检测器是否覆盖同一标识符的每个字符，分别针对出现多次的标识符和跨轮次重复的标识符进行报告。字符层面，精确率衡量检测器标记的文本中有多少是真正的 PII，召回率衡量检测器找到了多少标注的 PII，F1 分数则在两者之间取得平衡。

该数据集虽为合成，但来源于真实的生产对话。公司称，多个语言模型首先在生产的用户‑助理对话中标记九种 PII 类型，随后基于规则的处理将同类型的重复标识符归为同一实体 ID。每个标记值被替换为相应类型的占位符，每轮对话在保留占位符的情况下进行改写，并插入与标识符类型和格式匹配的合成值。三道自动检查确保替换与存储的片段一致、重复提及使用相同值、并在 Presidio 与正则表达式重新扫描下不存在标记的源值。第二个语言模型对抽样进行审计，人工审查所有被标记为 PII 的内容。

本地使用的紧凑检测器

PII‑Tracer 是基于 Qwen3 骨干改造的 0.6B 双向编码器。Perplexity 表示，隐私筛选不同于文本生成，因为它需要定位相关的 PII 片段并返回其边界，因此模型用支持填充感知的双向注意力取代了 Qwen3 的因果掩码，使每个 token 能在 4,096 token 窗口内同时关注前后轮次。

对于每个 token，编码器生成 1,024 维的表示向量，线性标注头在 BIOES 方案下为 37 种可能标签打分，以实现命名实体识别：一个标签用于 PII 片段之外的文本，另外为每种九类 PII 提供四个片段位置标签。辅助头预测对话是否包含敏感信息，如健康或宗教信息。公司称，模型在约 714,000 条训练样本上训练了三个 epoch，这些样本将多语言助理对话与单条记录示例相结合。推理时，受约束的 Viterbi 解码器搜索得分最高的合法标签序列，并将结果映射回精确的字符片段，以实现编辑或本地路由。

评估结果

Perplexity 报告称，PII‑Tracer 在 12 种系统中实现了最高的字符 F1（0.629），并在片段重叠 F1 与片段包含 F1 上排名第二。公司指出，前沿模型（即 GPT-5.6-sol 与 Claude Sonnet 5）整体表现相当，GPT-5.6-sol 在两项片段层面指标上得分更高，但字符 F1 较低。报告还提到，这些前沿模型拥有数千亿甚至万亿级参数，且为云端闭源模型，不适合用于必须本地处理的文本筛选，而其他开源 PII 检测器的表现则远逊于 PII‑Tracer。

在一致性测试中，评估集包含 899 个仅出现一次的标识符和 959 个出现多次的标识符，其中 790 个跨多个轮次。Perplexity 报告称，PII‑Tracer 能捕获 79.4% 的重复标识符和 77.6% 的跨轮次标识符的全部提及，而 GPT-5.6-sol 在同两项指标上分别为 57.0% 和 55.1%。PII‑Tracer 的得分从单次提及标识符的 0.917 降至出现 6 至 10 次的标识符的 0.691。

长度仍是限制因素。单窗口召回率在对话字符数低于 1,000 时为 0.975，1,000 至 10,000 之间为 0.955，但在 10,000 字符及以上时下降至 0.687。公司称，使用 50% 重叠滑动窗口对同一检查点进行解码，可将整体字符召回率从 0.830 提升至 0.965，且多提及一致检测率从 0.794 提升至 0.954，且无需重新训练。

在覆盖拉丁文、西里尔文和韩文等六种语言的切片中，PII‑Tracer 在德语（0.735）、法语（0.633）、意大利语（0.676）和俄语（0.651）的字符 F1 上领先，并且在英语和韩语上仅落后 0.016 至 0.036，报告称。 在五个外部单记录基准上，Perplexity 表示 PII‑Tracer 在每个数据集上的字符 F1 均高于 OpenAI 隐私过滤器，包括在 ai4privacy 上 0.950 对 0.907、在 Nemotron-PII 上 0.847 对 0.709、以及在 TAB（唯一基于真实人工标注文本的基准）上 0.594 对 0.350。

该 研究论文 警示，这些对话是基于生产助理流量结构的合成重建，因而结果应被视为对话式 PII 检测的度量，而非针对特定生产工作负载的估计。论文还指出，工具调用、代理间消息以及多模态输入不在基准范围之内，且每个基线均在单一推理配置下进行评估。Perplexity 表示计划近期发布 PII-TRACE 与 PII‑Tracer，论文声明两者均将采用 MIT 许可证发布。