Η Anthropic δημοσιεύει οδηγίες για πιο αξιόπιστες αξιολογήσεις ασφάλειας της ΤΝ

Στις 13 Νοεμβρίου 2026, η Anthropic δημοσίευσε συστάσεις για πιο αξιόπιστες αξιολογήσεις ασφάλειας της ΤΝ, αναφέροντας συνολικά ποσοστά απαντήσεων χωρίς επιβλαβές περιεχόμενο από 94% έως 98% για κάθε πρόσφατο μοντέλο στις δοκιμές API ενός γύρου. Αυτές οι δοκιμές, στις οποίες τα αποτελέσματα έχουν φτάσει σε κορεσμό, είναι χρήσιμες κυρίως ως έλεγχοι παλινδρόμησης για γνωστούς τρόπους αποτυχίας· οι αξιολογήσεις πολλαπλών γύρων προσφέρουν μεγαλύτερη ποικιλία και μπορούν να εντοπίσουν σταδιακές αλλαγές κατά τη διάρκεια μιας συνομιλίας.

Μια αξιολόγηση ασφάλειας μετρά την τάση ενός μοντέλου να προκαλεί ή να συμβάλλει σε βλάβη, εξετάζοντας αν η απάντησή του καθιστά τη βλάβη περισσότερο ή λιγότερο πιθανή και πόσο σοβαρή θα μπορούσε να είναι, αντί να μετρά μια συγκεκριμένη ικανότητα. Κεντρικό ζήτημα είναι η εγκυρότητα της κατασκευής, δηλαδή το κατά πόσο μια δοκιμή αποτυπώνει την έννοια που προορίζεται να μετρήσει. Το ποσοστό άρνησης μπορεί να είναι παραπλανητικό σε συνομιλίες για αυτοκτονία και αυτοτραυματισμό, καθώς η απλή άρνηση συμμετοχής μπορεί από μόνη της να συνιστά αποτυχία· η επιθυμητή απάντηση προσφέρει υποστήριξη και παραπέμπει τον χρήστη σε ανθρώπινη βοήθεια. Αντί γι’ αυτό, οι αξιολογήσεις πολλαπλών γύρων της Anthropic μετρούν το ποσοστό κατάλληλων απαντήσεων σε ολόκληρη τη συνομιλία, χρησιμοποιώντας κριτήρια αξιολόγησης ανάλογα με τον κίνδυνο, σύμφωνα με τα οποία μία κακή απάντηση αρκεί για να θεωρηθεί αποτυχημένη ολόκληρη η συνομιλία.

Δοκιμές πολλαπλών γύρων και κάλυψη πραγματικών συνθηκών

Για τη δημιουργία αυτών των δοκιμών, ένας ειδικός στον εκάστοτε τομέα συντάσσει προδιαγραφές για τους στόχους, τις τακτικές, την περσόνα, την κατάσταση, τον τόνο και το συνομιλιακό ύφος του προσομοιωμένου χρήστη. Η πρώτη παρέμβαση του χρήστη παραμένει σταθερή, ενώ ένα διαφορετικό μοντέλο Claude δημιουργεί τις επόμενες παρεμβάσεις ως απάντηση στο μοντέλο που δοκιμάζεται. Κάθε σενάριο εκτελείται επανειλημμένα με διαφορετικούς συνδυασμούς χαρακτηριστικών και ένα μοντέλο αξιολογητής βαθμολογεί ολόκληρη την απομαγνητοφώνηση με βάση τα σχετικά κριτήρια κινδύνου.

Η ανεξάρτητη μεταβολή των διαστάσεων βοηθά να εντοπιστούν οι παράγοντες που καθορίζουν τη συμπεριφορά· αν κάθε σοβαρό περιστατικό συνοδεύεται και από επείγοντα τόνο, δεν μπορούν να διαχωριστούν οι επιδράσεις της σοβαρότητας και του τόνου. Η Anthropic συνιστά επίσης να βασίζονται οι δοκιμές σε παρατηρημένη συμπεριφορά, δημόσια δεδομένα, απομαγνητοφωνήσεις ασκήσεων red teaming, αναφορές περιστατικών ή συνεντεύξεις με ειδικούς, αντί αποκλειστικά σε επινοημένες καταστάσεις. Οι σειρές δοκιμών ενός γύρου καλύπτουν 16 τομείς πολιτικής σε επτά γλώσσες, σε πολλές επιφάνειες προϊόντων, ενώ το περιβάλλον αξιολόγησης προσαρμόζεται στην ανάπτυξη που εξετάζεται.

Η εκτέλεση των δοκιμών απαιτεί επίσης περιορισμό του περιβάλλοντος. Για τις αξιολογήσεις κυβερνοασφάλειας, οι οδηγίες προβλέπουν απομονωμένα περιβάλλοντα χωρίς πρόσβαση στο διαδίκτυο και παρακολούθηση σε πραγματικό χρόνο, ώστε να μπορεί να διακοπεί μια εκτέλεση αν οι ενέργειες ενός μοντέλου ενδέχεται να προκαλέσουν βλάβη στον πραγματικό κόσμο.

Επικύρωση αξιολογητών και στατιστικοί περιορισμοί

Οι αυτοματοποιημένοι αξιολογητές δημιουργούν έναν ακόμη κίνδυνο μέτρησης, καθώς τα προβληματικά συστήματα μπορούν να συνεχίσουν να παράγουν εύλογες βαθμολογίες. Τα συνιστώμενα μέτρα προστασίας περιλαμβάνουν σαφή κριτήρια με απαντήσεις «ναι» ή «όχι», ρητή αντιμετώπιση των αποποιήσεων ευθύνης και των οριακών περιπτώσεων, εμφανείς ειδοποιήσεις αποτυχίας, καθώς και ελέγχους για μεροληψίες λόγω μήκους απάντησης, θέσης και αυτοπροτίμησης. Ανθρώπινοι αξιολογητές θα πρέπει να επισημαίνουν ανεξάρτητα ένα δείγμα απομαγνητοφωνήσεων, ώστε να μπορεί να συγκριθεί η συμφωνία αξιολογητή και ειδικών με τη συμφωνία μεταξύ των ίδιων των ειδικών.

Αυτή η ανθρώπινη βάση σύγκρισης καθορίζει τη λύση. Αν οι ειδικοί συμφωνούν μεταξύ τους, αλλά όχι με τον αξιολογητή, χρειάζεται βελτίωση των κριτηρίων ή του αξιολογητή· αν οι ειδικοί διαφωνούν μεταξύ τους, η αξιολόγηση ενδέχεται να μην έχει σταθερή απάντηση προς μέτρηση. Οι οδηγίες προβλέπουν επίσης την εκ των προτέρων καταχώριση των μετρικών, των συγκρίσεων και των ορίων βελτίωσης, πριν γίνουν γνωστά τα αποτελέσματα.

Το μέγεθος του δείγματος αποτελεί τη βάση αυτών των κρίσεων. Η Anthropic θέτει ως κατώτατο όριο τα 100 στοιχεία για σύνθετες αξιολογήσεις πολλαπλών γύρων και τα 1.000 για απλούστερες δοκιμές ενός γύρου, ενώ προβλέπει επαναλαμβανόμενες εκτελέσεις για να λαμβάνονται υπόψη τα θορυβώδη, μη ντετερμινιστικά αποτελέσματα. Η Anthropic αναφέρει ότι τα διαστήματα εμπιστοσύνης στις αξιολογήσεις API πολλαπλών γύρων μπορεί να υπερβαίνουν τις ±10 ποσοστιαίες μονάδες: σε αξιολόγηση πολλαπλών γύρων για απάτες με πρόσχημα μια ερωτική σχέση στο claude.ai, τα Claude Opus 5 και Opus 5.5 κατέγραψαν ποσοστά κατάλληλων απαντήσεων 98% και 94%, αντίστοιχα, αλλά η διαφορά δεν ήταν στατιστικά σημαντική. Το παράδειγμα δείχνει γιατί μια αριθμητική διαφορά από μόνη της δεν αρκεί για να καθοριστεί ποιο μοντέλο συμπεριφέρθηκε με μεγαλύτερη ασφάλεια.

Ρυθμίσεις ανάπτυξης και αναφορά αποτελεσμάτων

Η διαμόρφωση της ανάπτυξης είναι μια ακόμη μεταβλητή που πρέπει να τεκμηριώνεται. Κατά την εξέταση του Claude Fable 5.1, η Anthropic διαπίστωσε ότι ορισμένες απαντήσεις επιβεβαίωναν έμμεσα τον αυτοτραυματισμό ως στρατηγική αντιμετώπισης, ακόμη και όταν αποθάρρυναν τον αυτοτραυματισμό και παρέπεμπαν σε ανθρώπινη υποστήριξη. Η εταιρεία αναφέρει ότι η επανάληψη της αξιολόγησης με στοχευμένα μέτρα μετριασμού στο prompt συστήματος οδήγησε σε ποσοστό κατάλληλων απαντήσεων 94% στο claude.ai, έναντι 60% στο API. Η σύγκριση δείχνει γιατί οι βαθμολογίες από διαφορετικές διαμορφώσεις δεν μπορούν να θεωρούνται ισοδύναμες.

Οι συστάσεις για την αναφορά αποτελεσμάτων καλύπτουν επίσης τις εκδόσεις των μοντέλων, τις ρυθμίσεις δειγματοληψίας, τα prompts, τις εκδόσεις των αξιολογητών και τις ημερομηνίες, ενώ προβλέπουν συνεχή αξιολόγηση κατά τη λεπτορύθμιση και όχι έναν μόνο έλεγχο πριν από την κυκλοφορία. Σοβαρά ελαττώματα σε συστήματα που έχουν αναπτυχθεί θα πρέπει να γνωστοποιούνται πρώτα στον δημιουργό τους, ώστε να υπάρχει χρόνος για την αντιμετώπισή τους πριν από τη δημοσίευση των αποτελεσμάτων.

Οι τρεις σημαντικότερες προτεραιότητες της Anthropic είναι να οριστεί η κατασκευή πριν από τη συλλογή δεδομένων, να επικυρωθεί ο αξιολογητής με βάση την ανθρώπινη κρίση και να αναφέρεται η αβεβαιότητα. Το ευρύτερο συμπέρασμα είναι ότι ο ισχυρισμός πως ένα μοντέλο είναι ασφαλέστερο από ένα άλλο εξαρτάται από τον σχεδιασμό της δοκιμής, το πλαίσιο ανάπτυξης και τη στατιστική ισχύ εξίσου με τη βαθμολογία που προβάλλεται ως κύριο αποτέλεσμα.