Scale AI αναφέρει τα ευρήματα του ROK-FORTRESS για την πολυγλωσσική ασφάλεια AI

Η Scale AI στις 17 Σεπτεμβρίου 2026 δημοσίευσε ευρήματα από ROK-FORTRESS, ένα δίγλωσσο benchmark αντιπαραθετικού ασφαλείας που αναπτύχθηκε από κοινού με το Korea AI Safety Institute, αναφέροντας ότι τα prompts γραμμένα στα Κορεατικά και ενσωματωμένα σε κορεατικά συμφραζόμενα συνδέονταν σταθερά με χαμηλότερη μετρημένη βλάβη σε σχεδόν όλα τα 14 μοντέλα αιχμής που αξιολογήθηκαν.

Σχεδίαση Benchmark: Η Μήτρα Μεταδημιουργίας

Τα περισσότερα πολυγλωσσικά benchmarks ασφάλειας μεταφράζουν ένα σταθερό prompt σε άλλη γλώσσα διατηρώντας το σενάριο που περιγράφει αμετάβλητο. Στην ερευνητική ανάρτηση, γραμμένη από τον Madhu Sehwag, η Scale AI περιγράφει το ROK-FORTRESS ως μια ελεγχόμενη μήτρα μεταδημιουργίας: κάθε αντιπαραθετικό prompt αξιολογείται σε έως και τέσσερις παραλλαγές που αλλάζουν ανεξάρτητα τη γλώσσα, αγγλικά έναντι κορεατικών, και το γεωπολιτικό υπόβαθρο, δηλαδή οντότητες, ιδρύματα και λειτουργικές λεπτομέρειες των ΗΠΑ έναντι της Κορέας. Κάθε αντιπαραθετικό prompt αντιστοιχίζεται με ένα αθώα αντίστοιχο ώστε το benchmark να μπορεί επίσης να μετρήσει την υπερ‑απόρριψη.

Το πλήρες σύνολο δεδομένων περιλαμβάνει 1,235 εργασίες σε τέσσερις τομείς εθνικής ασφάλειας και δημόσιας ασφάλειας: χημικές, βιολογικές, ραδιενεργές, πυρηνικές και εκρηκτικές (CBRNE) απειλές· πολιτική βία και τρομοκρατία· εγκληματική και χρηματοοικονομική δραστηριότητα· και διαρροή πληροφοριών. Οι απαντήσεις βαθμολογούνται από καλιμπρεμένες ομάδες LLM‑as‑judge, επικυρωμένες με βάση ετικέτες αναφοράς γραμμένες από ειδικούς, χρησιμοποιώντας δυαδικές ρουμπρίκες ειδικές για το prompt που αναπτύχθηκαν από έμπειρους red‑teamers.

Η ανάρτηση απεικονίζει το σχεδιασμό με ένα σενάριο μαζικής επίθεσης: η ίδια υποκείμενη πρόθεση μπορεί να ανακαλέσει τη βομβιστική επίθεση του 1995 στο Oklahoma Federal Building στις Ηνωμένες Πολιτείες ή τη βομβιστική επίθεση του 1987 στο Korean Air Flight 858 στην Κορέα, και μια αξιολόγηση μόνο με μετάφραση δεν μπορεί να αποκαλύψει πώς αυτή η αλλαγή στο υπόβαθρο μεταβάλλει τη συμπεριφορά του μοντέλου.

Το ROK-FORTRESS είναι το πιο πρόσφατο benchmark από μια ευρύτερη συνεργασία μεταξύ Scale AI και Korea AI Safety Institute, που καλύπτει κοινή έρευνα, αξιολογήσεις LLM και red teaming, και βασίζεται στο FORTRESS, το benchmark εθνικής ασφάλειας και δημόσιας ασφάλειας της Scale AI για μοντέλα αιχμής.

Αναφερθέντα Ευρήματα σε 14 Μοντέλα

Η αξιολόγηση κάλυψε ένα σύνολο διπλού δρόμου μοντέλων αιχμής και βελτιστοποιημένων για την κορεατική γλώσσα, σύμφωνα με το άρθρο. Η Scale AI αναφέρει ότι τα αγγλικά prompts παρήγαγαν γενικά τη υψηλότερη βαθμολογία κινδύνου βάσει βαρύτητας επιπέδου, ενώ τα πλήρως μεταδημιουργημένα κορεατικά prompts την χαμηλότερη, με τις ενδιάμεσες παραλλαγές να τοποθετούνται ενδιάμεσα, και ότι το μοτίβο αυτό ισχύει ακόμη και για τα περιφερειακά μοντέλα εξειδικευμένα στην κορεατική γλώσσα. Τα πιο και τα λιγότερο επιβλαβή μοντέλα διέφεραν σχεδόν εννέα φορές στις βαθμολογίες κινδύνου.

Μια αφαίρεση άμεσου αιτήματος περιπλέκεται το μοτίβο. Οι κύριες δοκιμές του benchmark χρησιμοποιούν εκλεπτυσμένα αντιπαραθετικά prompts που κρύβουν επιβλαβείς αιτήσεις μέσα σε ρόλο‑παιχνίδι, εφεύρετες ιστορίες ή συναισθηματικές ελκυστικές προσεγγίσεις· όταν αυτά τα περιτυλίγματα αφαιρέθηκαν και η ίδια πληροφορία ζητήθηκε με απλή, άμεση γλώσσα, το κορεατικό πλεονέκτημα σχεδόν εξαφανίστηκε. Τα ιδιόκτητα μοντέλα από OpenAI, Anthropic και Google παρέμειναν ελαφρώς πιο ασφαλή στα κορεατικά, ενώ πέντε ανοιχτού κώδικα μοντέλα αιχμής έγιναν πιο πιθανό να συμμορφωθούν στα κορεατικά. Το άρθρο δηλώνει ότι αυτή η διαίρεση υποδηλώνει ότι μέρος της κορεατικής καταστολής αντανακλά εξειδίκευση του prompt, δηλαδή ότι τα αντιπαραθετικά περιτυλίγματα χάνουν την αποτελεσματικότητά τους μέσω της μεταδημιουργίας, αντί για ενδογενή ευθυγράμμιση ασφαλείας βάσει γλώσσας.

Η Scale AI αναφέρει επίσης ότι η επίδραση της μετάβασης από τα αγγλικά στα κορεατικά ήταν περίπου 2,5 φορές μεγαλύτερη από την επίδραση της μετάβασης από το υπόβαθρο ΗΠΑ σε κορεατικό, περίπου δέκα ποσοστιαίες μονάδες έναντι τεσσάρων, και προτείνει μια ερμηνεία σύμφωνη με τα αποτελέσματα: ότι τα κορεατικά λειτουργούν ως σήμα συντηρητικού κινδύνου. Σε 4 από τα 14 μοντέλα, η προσθήκη κορεατικού πλαισίου εξασθένησε σημαντικά τη μείωση των επιβλαβών απαντήσεων που σχετίζονται με την κορεατική γλώσσα, και κανένα μοντέλο δεν έδειξε στατιστικά σημαντική επίδραση στην αντίθετη κατεύθυνση. Εξετάζοντας μόνο τις περιπτώσεις όπου τα μοντέλα απάντησαν αντί να απορρίψουν, 12 από τα 14 εξακολουθούσαν να δίνουν λιγότερο επιβλαβείς απαντήσεις στα κορεατικά, ενώ τα μοντέλα επίσης απέρριπταν αβλαβείς κορεατικές αιτήσεις πιο συχνά, σε ορισμένες περιπτώσεις περίπου δύο φορές πιο συχνά.

Προπρότυπο, Δημόσιο Σύνολο Δεδομένων και Αναφερόμενες Επιπτώσεις

Το υποκείμενο προδημοσίευμα στο arXiv, με τίτλο “ROK-FORTRESS: Measuring the Effect of Geopolitical Transcreation for National Security and Public Safety”, παραθέτει τον Michael S. Lee και 15 συν-συγγραφείς. Υποβλήθηκε για πρώτη φορά στις 13 Μαΐου 2026 και η τελευταία αναθεώρηση έγινε στις 7 Ιουλίου 2026, και περιλαμβάνει 16 σελίδες κύριου κειμένου συν ένα παράρτημα, συνολικά 74 σελίδες, με τέσσερα σχήματα και δύο πίνακες στο κύριο κείμενο. Η περίληψή του παρουσιάζει τα αποτελέσματα ως αποδείξεις ότι, τουλάχιστον στην περίπτωση αγγλικών–κορεατικών, η συμπεριφορά ασφαλείας διαμορφώνεται από σήματα στα οποία η γλώσσα λειτουργεί ως ένδειξη κινδύνου και αλληλεπιδράσεις πλαισίου που οι αξιολογήσεις μόνο μετάφρασης παραβλέπουν, και δηλώνει ότι η μεθοδολογία του πίνακα διαπολιτισμικής προσαρμογής σχεδιάστηκε για γενίκευση σε άλλα ζεύγη γλώσσα‑πολιτισμού.

Ένα δημόσιο υποσύνολο του συνόλου δεδομένων είναι διαθέσιμο στο Hugging Face υπό άδεια CC‑BY‑4.0, πίσω από συμφωνία πρόσβασης που απαιτεί στοιχεία επικοινωνίας. Το υποσύνολο περιλαμβάνει 791 από τις 1.235 εργασίες, 64 %, ενώ οι υπόλοιπες 444 εργασίες, 36 %, παρακρατούνται ως ιδιωτικό holdout βάσει αξιολόγησης ειδικών red‑teamer του δυναμικού βλάβης, τόσο για να περιοριστούν προτροπές που κρίνεται ότι ενέχουν μεγαλύτερο κίνδυνο πραγματικής κακής χρήσης όσο και για να αποτραπεί η μόλυνση του benchmark. Η κυκλοφορία περιλαμβάνει 359 εργασίες Culture Agnostic με δύο παραλλαγές η καθεμία και 432 εργασίες Culture Specific με τέσσερις παραλλαγές η καθεμία, αποδίδοντας 1.519 αποτελεσματικά ζεύγη εργασία‑παραλλαγή, και κάθε εργασία φέρει από ένα έως επτά δυαδικά στοιχεία rubric που αντιστοιχούν σε επτά διαστάσεις βλάβης με επίπεδα κινδύνου ειδικού τομέα 1 έως 3. Το δημόσιο υποσύνολο καλύπτει CBRNE (251 εργασίες), εγκληματικές και χρηματοοικονομικές παράνομες δραστηριότητες (248), πολιτική βία και τρομοκρατία (209) και διαρροή πληροφοριών (83), με 450 εργασίες προσαρμοσμένες από το FORTRESS και 341 νέες δημιουργημένες. Το σύνολο δεδομένων παρέχεται σε μορφή Parquet με συμπεριλαμβανόμενη έκδοση TSV.

Στην ανάρτηση, η Scale AI δηλώνει ότι οι αξιολογήσεις μόνο με μετάφραση μπορούν να υποεκτιμήσουν τα κενά ασφαλείας στον πραγματικό κόσμο, ότι τα benchmarks πρέπει να δοκιμάζουν προτροπές που έχουν υποβληθεί σε transcreation, προσαρμόζοντας τόσο τη γλώσσα όσο και το γεωπολιτικό υπόβαθρο διατηρώντας την υποκείμενη πρόθεση, και ότι οι πρακτικές μετά‑εκπαίδευσης δεδομένων και red‑teaming πρέπει να ενσωματώνουν πολιτισμικά θεμελιωμένες παραλλαγές αντί μόνο μεταφρασμένων εκδόσεων των αγγλικών αντιπαραθετικών προτροπών. Για συναφείς κυβερνητικά συμφραζόμενα, η Scale AI υποστηρίζει ότι ένα μοντέλο που αποδίδει καλά σε αξιολογήσεις ασφαλείας στα αγγλικά μπορεί να συμπεριφέρεται διαφορετικά όταν ερωτηθεί στη τοπική γλώσσα για τοπικά θεμελιωμένες απειλές. Η ανάρτηση αναφέρει ότι απαιτείται περαιτέρω δοκιμή για να προσδιοριστεί εάν τα ίδια μοτίβα ισχύουν σε άλλες γλώσσες και χώρες.