Perplexity представляет бенчмарк PII-TRACE и локальный детектор PII-Tracer

Perplexity 1 сентября 2026 года представила PII-TRACE, бенчмарк для оценки детекторов персонально идентифицируемой информации, и PII‑Tracer, компактную модель с 0,6 млрд параметров, предназначенную для пометки PII на устройстве пользователя до отправки текста в облачные модели. Объявление позиционирует оба выпуска как инфраструктуру конфиденциальности для гибридной вычислительной архитектуры компании, в которой облачные агенты занимаются исследованием, рассуждением и планированием, а локальная модель работает с приватными файлами.

В рамках этой архитектуры локальный «privacy gate» удерживает чувствительный контент на Mac, редактирует обнаруженную приватную информацию или запрашивает одобрение перед отправкой в облако. Perplexity заявила, что граница защищает конфиденциальность только тогда, когда устройство способно распознать PII до передачи текста удалённой модели, а обнаружение усложняется в длительных многократных разговорах, где один и тот же идентификатор может появляться несколько раз в разных репликах. Одна пропущенная упоминание может раскрыть информацию, которую система должна защищать.

PII‑Tracer предоставляет один локальный управляющий сигнал для маршрутизации модели, помечая диапазоны, предсказанные как содержащие PII. Приложение затем применяет политику маршрутизации: сохраняет соответствующий ввод локально, редактирует обнаруженные диапазоны или запрашивает явное одобрение перед передачей в облачную модель.

Бенчмарк PII-TRACE

PII‑TRACE (Tracing Recurring PII Across Conversational Exchanges) содержит 13 148 синтетических диалогов пользователь‑ассистент на 13 языках и 10 системах письма, с 37 431 упоминанием идентификаторов, размеченных на уровне символов, по девяти типам PII. В 41 % диалогов присутствует структурированный контент. Среди 5 645 диалогов с размеченной PII, 63,8 % включают идентификатор, встречающийся более одного раза, и 28,7 % — идентификатор, появляющийся в нескольких репликах.

Perplexity заявила, что бенчмарк построен вокруг трёх ключевых поведения, важных при проверке диалогов ассистента. Первое — согласованное покрытие: когда идентификатор появляется несколько раз или пересекает реплики пользователя и ассистента, детектор должен найти каждое упоминание. Второе — устойчивость к длинному контексту, при диалогах от менее 1 000 до более 100 000 символов. Третье — обработка нескольких языков и смешанного формата контента, поскольку разговор может переключаться между языками и сочетать прозу с кодом, таблицами или структурированными записями.

Бенчмарк измеряет производительность на двух уровнях. На уровне идентификатора согласованный показатель обнаружения проверяет, нашёл ли детектор каждый символ в каждом упоминании одного и того же идентификатора, с отдельными расчётами для идентификаторов с множественными упоминаниями и для идентификаторов, повторяющихся в разных репликах. На уровне символов точность измеряет, какая часть текста, помеченного детектором, действительно является PII, полнота — какую часть размеченной PII он нашёл, а F1‑баланс сочетает эти два показателя.

Набор данных синтетический, но получен из реальных диалогов. По заявлению компании, несколько языковых моделей сначала отмечают девять типов PII в производственных диалогах пользователь‑ассистент, а правило‑базированный проход группирует повторяющиеся идентификаторы одного типа под одним ID сущности. Каждое отмеченное значение заменяется типизированным заполнителем, каждая реплика перефразируется с сохранёнными заполнителями, а синтетические значения, соответствующие типу и формату каждого идентификатора, вставляются. Три автоматических контроля проверяют, что замены соответствуют сохранённым диапазонам, что повторные упоминания используют одно и то же значение, и что отмеченные исходные значения отсутствуют после повторного сканирования Presidio и регулярных выражений. Второй языковой моделью проводится аудит выборки, а люди проверяют всё, что система помечает как PII.

Компактный детектор для локального использования

PII‑Tracer — это 0,6 млрд параметров двунаправленный энкодер, адаптированный от основы Qwen3. Perplexity отметила, что проверка конфиденциальности отличается от генерации текста тем, что требует находить релевантные диапазоны PII и возвращать их границы, поэтому модель заменяет причинную маску Qwen3 на двунаправанное внимание, учитывающее паддинг, позволяя каждому токену обращаться как к предыдущим, так и к последующим репликам в окне в 4 096 токенов.

Для каждого токена энкодер генерирует 1 024‑мерное представление, а линейный слой тегирования оценивает 37 возможных меток по схеме BIOES для распознавания именованных сущностей: одна метка для текста вне диапазона PII и четыре метки позиции диапазона для каждого из девяти типов PII. Дополнительный слой предсказывает, содержит ли разговор чувствительный материал, например, сведения о здоровье или религии. Компания сообщила, что обучала модель три эпохи на примерно 714 000 обучающих примеров, объединяющих многоязычные диалоги ассистента с примерами одиночных записей. При выводе ограниченный декодер Витерби ищет последовательность меток с наивысшим баллом и преобразует результат обратно в точные диапазоны символов для редактирования или локальной маршрутизации.

Результаты оценки

Perplexity сообщила, что PII‑Tracer достиг наивысшего символического F1 (0,629) среди 12 оценённых систем, а также второго по величине F1 по перекрытию диапазонов и по удержанию диапазонов. Компания отметила, что передовые модели, а именно GPT‑5.6‑sol и Claude Sonnet 5, продемонстрировали сопоставимую общую производительность: GPT‑5.6‑sol показал более высокие результаты по метрикам диапазонов, но более низкий символический F1. Было отмечено, что такие передовые модели имеют сотни миллиардов или даже триллионы параметров и являются закрытыми моделями, размещёнными в облаке, что делает их непригодными для проверки текста, который должен оставаться локальным, тогда как другие открытые детекторы PII показали существенно худшие результаты, чем PII‑Tracer.

В тесте согласованности набор оценки содержит 899 идентификаторов, встречающихся один раз, и 959, встречающихся более одного раза, из которых 790 охватывают несколько реплик. Perplexity сообщила, что PII‑Tracer обнаруживает каждое упоминание 79,4 % повторяющихся идентификаторов и 77,6 % идентификаторов, пересекающих реплики, тогда как GPT‑5.6‑sol достигает 57,0 % и 55,1 % соответственно. Показатель PII‑Tracer снижается с 0,917 для одиночных упоминаний до 0,691 для идентификаторов, встречающихся от шести до десяти раз.

Длина остаётся ограничением. Полнота в одном окне составляет 0,975 для диалогов менее 1 000 символов и 0,955 для диапазона от 1 000 до 10 000, но падает до 0,687 при 10 000 и более символах. Компания заявила, что декодирование того же чекпоинта с 50 %‑перекрывающими скользящими окнами повышает общую символическую полноту с 0,830 до 0,965 и согласованное обнаружение многократных упоминаний с 0,794 до 0,954 без переобучения.

По шестиязычному срезу, охватывающему латинский, кириллический и хангыль, PII‑Tracer лидирует по символическому F1 в немецком (0,735), французском (0,633), итальянском (0,676) и русском (0,651), а также находится в диапазоне 0,016–0,036 от лучших результатов в английском и корейском, как сообщает компания. На пяти внешних бенчмарках с одиночными записями Perplexity заявила, что PII‑Tracer показал более высокий символический F1, чем OpenAI Privacy Filter на каждом наборе данных, включая 0,950 против 0,907 на ai4privacy, 0,847 против 0,709 на Nemotron‑PII и 0,594 против 0,350 на TAB, единственном бенчмарке группы, построенном на реальном, размеченном людьми тексте.

Исследовательская статья предупреждает, что диалоги являются синтетическими реконструкциями, полученными из структуры реального трафика ассистента, поэтому результаты следует воспринимать как измерения обнаружения PII в диалогах, а не как оценки для конкретных производственных нагрузок. В статье также отмечается, что вызовы инструментов, межагентские сообщения и мультимодальные вводы находятся за пределами охвата бенчмарка, и что каждый базовый метод оценивался в единой конфигурации вывода. Perplexity заявила, что планирует вскоре выпустить как PII‑TRACE, так и PII‑Tracer; в статье указано, что оба проекта будут опубликованы под лицензией MIT.