Perplexity、PII-TRACEベンチマークとPII‑Tracerオンデバイス検出器を発表

Perplexityは2026年9月1日に、個人情報検出器の評価用ベンチマークであるPII-TRACEと、テキストがクラウドモデルに送信される前にユーザーのデバイス上でPIIを検出するよう設計された0.6BパラメータのコンパクトモデルであるPII‑Tracerを発表しました。発表では、これらのリリースが同社のハイブリッドコンピュートアーキテクチャ向けのプライバシーインフラストラクチャとして位置付けられ、クラウドエージェントが研究・推論・計画を担当し、ローカルモデルがプライベートファイルを扱うと説明されています。

このアーキテクチャでは、ローカルプライバシーゲートがMac上で機密コンテンツを保持し、検出された個人情報をマスクするか、クラウドへ送信する前に承認を求めます。Perplexityは、テキストがリモートモデルに送信される前にデバイスがPIIを認識できなければプライバシーは保護されないと述べ、同一識別子が複数のターンで何度も出現する長大かつ多言語の会話では検出が困難になると指摘しています。1回の見落としでも、システムが保護すべき情報が漏洩する可能性があります。

PII‑Tracerは、PIIが含まれると予測されたスパンにフラグを付けることで、モデルルーティング用のローカル制御信号を提供します。アプリケーションはこのルーティングポリシーを実行し、該当する入力をローカルに保持し、検出されたスパンをマスクするか、クラウドモデルへエスカレーションする前に明示的な承認を求めます。

PII-TRACEベンチマーク

PII‑TRACE（Tracing Recurring PII Across Conversational Exchanges の略称）は、13言語・10文字体系にわたる13,148件の合成ユーザー‑アシスタント会話を収録し、9種類のPIIに対して文字レベルでラベル付けされた37,431件の識別子言及を含みます。会話の41％は構造化コンテンツを含んでいます。ラベル付けされたPIIを含む5,645件の会話のうち、63.8％は同一識別子が複数回出現し、28.7％は複数ターンにわたって出現する識別子を含みます。

Perplexityは、アシスタント会話をスクリーニングする際に重要となる3つの振る舞いを基にベンチマークを設計したと述べています。1つ目は一貫したカバレッジで、識別子が複数回出現したりユーザーとアシスタントのターンを跨いだ場合でも、検出器はすべての言及を見つける必要があります。2つ目は長文コンテキストへのロバスト性で、会話は1,000文字未満から100,000文字以上まで幅広くあります。3つ目は多言語および混在フォーマットへの対応で、会話は言語が切り替わったり、文章とコード、表、構造化レコードが組み合わさることがあります。

ベンチマークは2つのレベルで性能を測定します。識別子レベルでは、一貫した検出スコアが同一識別子のすべての言及に対してすべての文字がカバーされたかを評価し、複数回言及される識別子とターンを跨いで繰り返す識別子に分けて報告します。文字レベルでは、精度が検出器がマークしたテキストのうちPIIとラベル付けされた割合を測り、再現率がラベル付けされたPIIをどれだけ検出したかを測定し、F1スコアが両者のバランスを示します。

このデータセットは合成データですが、実際の会話から派生しています。同社によれば、複数の言語モデルがまず実運用のユーザー‑アシスタント会話で9種類のPIIにマークを付け、ルールベースの処理で同一タイプの繰り返し識別子を1つのエンティティIDにまとめます。マークされた各値は型付きプレースホルダーに置き換えられ、各ターンはプレースホルダーを保持したままパラフレーズされ、識別子のタイプと形式に合致する合成値が挿入されます。3つの自動ゲートが、置換が保存されたスパンと一致しているか、繰り返し言及が同一値を使用しているか、Presidio と正規表現による再スキャンでマークされた元データが残っていないかをチェックします。2番目の言語モデルがサンプルを監査し、PII とフラグされたものは人間がレビューします。

ローカル利用向けコンパクト検出器

PII‑Tracerは、Qwen3バックボーンを元に適応させた0.6B規模の双方向エンコーダです。Perplexityは、プライバシースクリーニングはテキスト生成とは異なり、関連するPIIスパンを検出しその境界を返す必要があるため、Qwen3の因果マスクをパディング対応の双方向アテンションに置き換え、4,096トークンのウィンドウ内で各トークンが前後のターンの情報を参照できるようにしたと述べています。

各トークンについて、エンコーダは1,024次元の表現を生成し、線形タグ付けヘッドが名前エンティティ認識用のBIOESスキームに基づく37種類のラベルをスコア付けします。これは、PIIスパン外のテキスト用ラベル1つと、9種類のPIIそれぞれに対する4つのスパン位置ラベルから構成されます。補助ヘッドは、会話に健康情報や宗教情報などの機微情報が含まれるかを予測します。同社は、マルチリンガルなアシスタント会話と単一レコード例を組み合わせた約714,000件の訓練サンプルで3エポック学習させたと述べています。推論時には、制約付きViterbiデコーダが最もスコアの高い有効なラベル列を探索し、結果を正確な文字スパンにマッピングしてマスクやローカルルーティングに利用します。

評価結果

Perplexityは、評価された12システムの中でPII‑Tracerが文字レベルのF1スコア（0.629）で最高を記録し、スパン重複F1とスパン包含F1でも2位に入ったと報告しました。同社は、最先端モデルであるGPT‑5.6‑sol と Claude Sonnet 5 が全体的に同等の性能を示し、GPT‑5.6‑sol はスパンレベルの指標でより高いスコアを示すものの文字F1は低いと述べています。これらの最先端モデルは数千億から数兆パラメータ規模のクローズドソースでクラウド上にホストされており、ローカルに保持すべきテキストのスクリーニングには不適切であると指摘しています。一方、他のオープンソースPII検出器はPII‑Tracerに比べて大幅に性能が劣ります。

一貫性テストでは、評価セットに1回だけ出現する識別子が899件、複数回出現する識別子が959件、そのうち790件が複数ターンに跨っています。Perplexityは、PII‑Tracerが繰り返し出現する識別子の79.4％、ターンを跨ぐ識別子の77.6％のすべての言及を検出したと報告し、同じ指標でGPT‑5.6‑sol はそれぞれ57.0％と55.1％にとどまったと述べています。PII‑Tracerのスコアは、単一言及識別子で0.917から、6〜10回出現する識別子で0.691へと変化します。

長さは依然として制約となります。単一ウィンドウでの再現率は、1,000文字未満の会話で0.975、1,000〜10,000文字で0.955ですが、10,000文字以上になると0.687に低下します。同社は、同一チェックポイントを50％オーバーラップのスライディングウィンドウでデコードすることで、再学習なしに文字全体の再現率を0.830から0.965へ、複数言及の一貫検出を0.794から0.954へ向上させると述べています。

ラテン文字、キリル文字、ハングル文字を含む6言語のスライスにおいて、PII‑Tracerはドイツ語（0.735）、フランス語（0.633）、イタリア語（0.676）、ロシア語（0.651）で文字F1のトップを占め、英語と韓国語では最良結果との差がそれぞれ0.016〜0.036以内であると同社は報告しています。5つの外部単一レコードベンチマークでは、PerplexityはPII‑TracerがすべてのデータセットでOpenAI Privacy Filter を上回る文字F1を示し、ai4privacy では0.950 対 0.907、Nemotron-PII では0.847 対 0.709、そして実際の人手ラベルテキストから構築された唯一のベンチマークであるTAB では0.594 対 0.350 という結果を示したと述べています。

研究論文は、会話が実運用のアシスタントトラフィックの構造から派生した合成再構築であるため、結果は特定の実運用ワークロードの推定ではなく、会話におけるPII検出の測定値として解釈すべきだと警告しています。また、ベンチマークの範囲外としてツール呼び出し、エージェント間メッセージ、マルチモーダル入力が含まれないこと、各ベースラインが単一の推論設定で評価されたことも指摘しています。Perplexityは、PII‑TRACE と PII‑Tracer の両方を近日中にリリースする予定であり、論文では両者がMITライセンスの下で公開されると述べています。