Η Perplexity παρουσιάζει το benchmark PII‑TRACE και τον ανιχνευτή PII‑Tracer εντός συσκευής

Η Perplexity στις 1 Σεπτεμβρίου 2026 παρουσίασε το PII‑TRACE, ένα benchmark για την αξιολόγηση ανιχνευτών προσωπικών δεδομένων, και το PII‑Tracer, ένα συμπαγές μοντέλο 0,6 δισεκατομμυρίων παραμέτρων που έχει σχεδιαστεί για να εντοπίζει PII στη συσκευή του χρήστη πριν το κείμενο αποσταλεί σε μοντέλα νέφους. Η ανακοίνωση τοποθετεί και τις δύο κυκλοφορίες ως υποδομή απορρήτου για την υβριδική υπολογιστική αρχιτεκτονική της εταιρείας, στην οποία οι πράκτορες του νέφους διαχειρίζονται την έρευνα, τη λογική και τον προγραμματισμό, ενώ ένα τοπικό μοντέλο εργάζεται με ιδιωτικά αρχεία.

Στο πλαίσιο αυτής της αρχιτεκτονικής, μια τοπική πύλη απορρήτου διατηρεί το ευαίσθητο περιεχόμενο στον Mac, διαγράφει τις εντοπισμένες ιδιωτικές πληροφορίες ή ζητά έγκριση πριν το στείλει στο νέφος. Η Perplexity δήλωσε ότι το όριο προστατεύει το απόρρητο μόνο εάν η συσκευή μπορεί να αναγνωρίσει το PII πριν το κείμενο αποσταλεί σε απομακρυσμένο μοντέλο, και ότι η ανίχνευση γίνεται πιο δύσκολη σε μακροσκελείς, πολύγλωσσες συνομιλίες όπου το ίδιο αναγνωριστικό μπορεί να εμφανιστεί πολλές φορές σε διαφορετικές ανταλλαγές. Μία μη εντοπισμένη αναφορά μπορεί να εκθέσει τις πληροφορίες που το σύστημα προορίζεται να προστατεύει.

Το PII‑Tracer παρέχει ένα τοπικό σήμα ελέγχου για τη δρομολόγηση του μοντέλου, σηματοδοτώντας τα τμήματα που προβλέπεται ότι περιέχουν PII. Η εφαρμογή στη συνέχεια εφαρμόζει την πολιτική δρομολόγησης: διατηρεί την αντίστοιχη είσοδο τοπικά, διαγράφει τα εντοπισμένα τμήματα ή ζητά ρητή έγκριση πριν προχωρήσει σε μοντέλο νέφους.

Το benchmark PII‑TRACE

Το PII‑TRACE, συντομογραφία του “Tracing Recurring PII Across Conversational Exchanges”, περιλαμβάνει 13 148 συνθετικές συνομιλίες χρήστη‑βοηθού σε 13 γλώσσες και 10 συστήματα γραφής, με 37 431 αναφορές αναγνωριστικών που έχουν επισημανθεί σε επίπεδο χαρακτήρα για εννέα τύπους PII. Συνολικά το 41 % των συνομιλιών περιέχει δομημένο περιεχόμενο. Από τις 5 645 συνομιλίες με επισημασμένο PII, το 63,8 % περιλαμβάνει αναγνωριστικό που εμφανίζεται περισσότερες από μία φορές, και το 28,7 % περιλαμβάνει αναγνωριστικό που εμφανίζεται σε πολλαπλές ανταλλαγές.

Η Perplexity ανέφερε ότι σχεδίασε το benchmark γύρω από τρεις συμπεριφορές που έχουν σημασία όταν ένας ανιχνευτής ελέγχει συνομιλίες βοηθού. Η πρώτη είναι η συνεπής κάλυψη: όταν ένα αναγνωριστικό εμφανίζεται πολλές φορές ή διασχίζει τις ανταλλαγές χρήστη και βοηθού, ο ανιχνευτής πρέπει να βρει κάθε αναφορά. Η δεύτερη είναι η ανθεκτικότητα σε μακρύ πλαίσιο, με συνομιλίες που κυμαίνονται από λιγότερους από 1 000 έως πάνω από 100 000 χαρακτήρες. Η τρίτη είναι η διαχείριση πολλαπλών γλωσσών και μεικτού περιεχομένου, καθώς μια συνομιλία μπορεί να αλλάζει γλώσσες και να συνδυάζει πρόζα με κώδικα, πίνακες ή δομημένα αρχεία.

Το benchmark μετρά την απόδοση σε δύο επίπεδα. Στο επίπεδο του αναγνωριστικού, ένας συνεπής δείκτης ανίχνευσης ελέγχει εάν ο ανιχνευτής κάλυψε κάθε χαρακτήρα σε κάθε αναφορά του ίδιου αναγνωριστικού, αναφερόμενος ξεχωριστά σε αναγνωριστικά με πολλαπλές αναφορές και σε αναγνωριστικά που επαναλαμβάνονται σε διαφορετικές ανταλλαγές. Στο επίπεδο του χαρακτήρα, η ακρίβεια μετρά πόσο από το κείμενο που σημειώνει ο ανιχνευτής είναι επισημασμένο ως PII, η ανάκληση μετρά πόσο επισημασμένο PII εντοπίζει, και το F1 ισορροπεί τα δύο.

Το σύνολο δεδομένων είναι συνθετικό αλλά προέρχεται από παραγωγικές συνομιλίες. Σύμφωνα με την εταιρεία, πολλαπλά μοντέλα γλώσσας πρώτα επισημαίνουν εννέα τύπους PII σε παραγωγικές συνομιλίες χρήστη‑βοηθού, και μια κανόνιση ομαδοποιεί τα επαναλαμβανόμενα αναγνωριστικά του ίδιου τύπου κάτω από ένα μοναδικό ID οντότητας. Κάθε επισημασμένη τιμή αντικαθίσταται από έναν τυποποιημένο placeholder, κάθε ανταλλαγή παραφράζεται διατηρώντας τα placeholders, και εισάγονται συνθετικές τιμές που ταιριάζουν στον τύπο και τη μορφή του κάθε αναγνωριστικού. Τρία αυτοματοποιημένα φίλτρα ελέγχουν ότι οι αντικαταστάσεις ταιριάζουν με τα αποθηκευμένα τμήματα, ότι οι επαναλαμβανόμενες αναφορές χρησιμοποιούν την ίδια τιμή, και ότι οι αρχικές τιμές δεν εμφανίζονται μετά από επανεξέταση με Presidio και κανονική έκφραση. Ένα δεύτερο μοντέλο γλώσσας ελέγχει ένα δείγμα, και άνθρωποι ελέγχουν οτιδήποτε σηματοδοτείται ως PII.

Ένας συμπαγής ανιχνευτής για τοπική χρήση

Το PII‑Tracer είναι ένας διπλής κατεύθυνσης κωδικοποιητής 0,6 δισεκατομμυρίων παραμέτρων προσαρμοσμένος από το πυρήνα Qwen3. Η Perplexity δήλωσε ότι ο έλεγχος απορρήτου διαφέρει από τη δημιουργία κειμένου επειδή απαιτεί την εύρεση σχετικών τμημάτων PII και την επιστροφή των ορίων τους, έτσι το μοντέλο αντικαθιστά τη αιτιώδη μάσκα του Qwen3 με προσοχή που λαμβάνει υπόψη το padding, επιτρέποντας σε κάθε token να αντλεί πληροφορίες τόσο από προηγούμενες όσο και από επόμενες ανταλλαγές εντός παραθύρου 4 096 token.

Για κάθε token, ο κωδικοποιητής παράγει μια αναπαράσταση διαστάσεων 1 024, και μια γραμμική κεφαλή σήμανσης αξιολογεί 37 πιθανές ετικέτες σύμφωνα με το σχήμα BIOES για αναγνώριση οντοτήτων: μία ετικέτα για κείμενο εκτός τμήματος PII, συν τέσσερις ετικέτες θέσης τμήματος για καθέναν από τους εννέα τύπους PII. Μία βοηθητική κεφαλή προβλέπει εάν η συνομιλία περιέχει ευαίσθητο υλικό, όπως πληροφορίες υγείας ή θρησκευτικές. Η εταιρεία ανέφερε ότι εκπαιδεύτηκε το μοντέλο για τρεις εποχές με περίπου 714 000 δείγματα εκπαίδευσης που συνδυάζουν πολύγλωσσες συνομιλίες βοηθού με παραδείγματα μονοεγγραφών. Κατά την εκτέλεση, ένας περιορισμένος αποκωδικοποιητής Viterbi αναζητά τη σειρά ετικετών με τη μεγαλύτερη βαθμολογία και μετατρέπει το αποτέλεσμα πίσω σε ακριβή τμήματα χαρακτήρων για διαγραφή ή τοπική δρομολόγηση.

Αποτελέσματα αξιολόγησης

Η Perplexity ανέφερε ότι το PII‑Tracer πέτυχε το υψηλότερο F1 χαρακτήρων (0,629) μεταξύ των 12 συστημάτων που αξιολογήθηκαν, καθώς και το δεύτερο υψηλότερο F1 επικάλυψης τμημάτων και F1 περιεκτικότητας τμημάτων. Η εταιρεία δήλωσε ότι τα μοντέλα αιχμής, συγκεκριμένα το GPT‑5.6‑sol και το Claude Sonnet 5, παρουσίασαν συγκρίσιμη συνολική απόδοση, με το GPT‑5.6‑sol να σημειώνει υψηλότερο σκορ και στις δύο μετρικές επιπέδου τμήματος αλλά χαμηλότερο στο F1 χαρακτήρων. Σημειώθηκε ότι αυτά τα μοντέλα αιχμής διαθέτουν εκατοντάδες δισεκατομμύρια ή ακόμη και τρισεκατομμύρια παραμέτρους και είναι κλειστού κώδικα που φιλοξενούνται στο νέφος, καθιστώντας τα ακατάλληλα για έλεγχο κειμένου που πρέπει να παραμείνει τοπικό, ενώ άλλα ανοιχτού κώδικα ανιχνευτές PII αποδείχθηκαν σημαντικά χαμηλότερα από το PII‑Tracer.

Στο τεστ συνέπειας, το σύνολο αξιολόγησης περιέχει 899 αναγνωριστικά που εμφανίζονται μία φορά και 959 που εμφανίζονται περισσότερες από μία φορές, εκ των οποίων τα 790 διασχίζουν πολλαπλές ανταλλαγές. Η Perplexity ανέφερε ότι το PII‑Tracer εντοπίζει κάθε αναφορά του 79,4 % των επαναλαμβανόμενων αναγνωριστικών και του 77,6 % των δια-ανταλλαγής αναγνωριστικών, ενώ το GPT‑5.6‑sol φθάνει στο 57,0 % και 55,1 % στις ίδιες δύο μετρήσεις. Το σκορ του PII‑Tracer κυμαίνεται από 0,917 για αναγνωριστικά με μία μόνο αναφορά έως 0,691 για αναγνωριστικά που εμφανίζονται από έξι έως δέκα φορές.

Το μήκος παραμένει περιορισμός. Η ανάκληση μονής παραθύρου είναι 0,975 για συνομιλίες κάτω από 1 000 χαρακτήρες και 0,955 από 1 000 έως 10 000, αλλά πέφτει στο 0,687 για 10 000 χαρακτήρες ή περισσότερο. Η εταιρεία δήλωσε ότι η αποκωδικοποίηση του ίδιου σημείου ελέγχου με παράθυρα ολίσθησης 50 % επικάλυψης αυξάνει τη συνολική ανάκληση χαρακτήρων από 0,830 σε 0,965 και την συνεπή ανίχνευση πολλαπλών αναφορών από 0,794 σε 0,954, χωρίς επανεκπαίδευση.

Σε ένα τμήμα έξι γλωσσών που καλύπτει τα λατινικά, κυριλλικά και Hangul, το PII‑Tracer κυριαρχεί στο F1 χαρακτήρων στα γερμανικά (0,735), γαλλικά (0,633), ιταλικά (0,676) και ρωσικά (0,651), και βρίσκεται εντός 0,016‑0,036 από τα καλύτερα αποτελέσματα στα αγγλικά και κορεατικά, σύμφωνα με την εταιρεία. Σε πέντε εξωτερικά benchmarks μονοεγγραφών, η Perplexity δήλωσε ότι το PII‑Tracer πέτυχε υψηλότερο F1 χαρακτήρων από το OpenAI Privacy Filter σε κάθε σύνολο δεδομένων, συμπεριλαμβανομένου 0,950 έναντι 0,907 στο ai4privacy, 0,847 έναντι 0,709 στο Nemotron‑PII, και 0,594 έναντι 0,350 στο TAB, το μοναδικό benchmark στην ομάδα που δημιουργήθηκε από πραγματικό, ανθρώπινα επισημασμένο κείμενο.

Το ερευνητικό άρθρο προειδοποιεί ότι οι συνομιλίες είναι συνθετικές ανακατασκευές που προέρχονται από τη δομή της παραγωγικής κίνησης βοηθού, οπότε τα αποτελέσματα πρέπει να διαβαστούν ως μετρήσεις ανίχνευσης PII σε συνομιλίες και όχι ως εκτιμήσεις για οποιοδήποτε συγκεκριμένο παραγωγικό φορτίο εργασίας. Το άρθρο σημειώνει επίσης ότι κλήσεις εργαλείων, μηνύματα μεταξύ πρακτόρων και πολυμορφικές εισόδους εκτός του πεδίου του benchmark, και ότι κάθε βάση αξιολογήθηκε υπό μία ενιαία διαμόρφωση εκτέλεσης. Η Perplexity δήλωσε ότι σκοπεύει να κυκλοφορήσει σύντομα τόσο το PII‑TRACE όσο και το PII‑Tracer· το άρθρο αναφέρει ότι και τα δύο θα κυκλοφορήσουν υπό την άδεια MIT.