Η έρευνα της NVIDIA διαπιστώνει ότι οι πράκτορες ΤΝ γίνονται λιγότερο ασφαλείς όταν χρησιμοποιούν εργαλεία

Μοντέλα ΤΝ όπως τα ChatGPT, Gemini και Claude μπορούν να τροφοδοτούν πράκτορες —«πλαίσια» που επιτρέπουν στα μοντέλα να αλληλεπιδρούν απευθείας με τον πραγματικό κόσμο. Πρόκειται για μια πρόσφατη και όλο και πιο αμφιλεγόμενη καινοτομία.

Σε κάθε περίπτωση, οι πράκτορες δεν διαθέτουν αυτομάτως τις ικανότητες που θα χρειαστούν κατά την περιήγησή τους σε ένα δίκτυο ή μια βάση δεδομένων, καθώς τα απαραίτητα εργαλεία διαφέρουν ανάλογα με τις αποστολές και τις λειτουργίες. Για παράδειγμα, μπορεί να χρειάζονται δυνατότητες οπτικής αναγνώρισης χαρακτήρων (OCR), ώστε να ερμηνεύουν κείμενο σε φωτογραφίες, μεταξύ άλλων δεξιοτήτων. Υπάρχουν ακόμη και κατηγορίες εργαλείων προσαρμοσμένες στο πεδίο δράσης του πράκτορα και στην πρόθεση.

Θεωρητικά, ένα αίτημα που παραβιάζει τις ενσωματωμένες δικλίδες ασφαλείας ενός συστήματος ΤΝ δεν θα πρέπει ποτέ να εκτελείται, είτε χρησιμοποιούνται εργαλεία κατά την εκτέλεσή του είτε όχι. Στην πράξη, σύμφωνα με νέα έρευνα, η χρήση εργαλείων μπορεί να υπονομεύσει σημαντικά τα φίλτρα προστασίας που εμποδίζουν έναν πράκτορα ΤΝ να προβεί σε «παραβάσεις».

Αδυναμία άρνησης

Η νέα μελέτη της NVIDIA, με τίτλο Τα πολυτροπικά γλωσσικά μοντέλα αποτυγχάνουν να αρνηθούν όταν χρησιμοποιούν αυτόνομα εργαλεία, αποκαλύπτει ότι τα πολυτροπικά γλωσσικά μοντέλα (MLLM, τα οποία θα αποκαλούμε εφεξής με τον συνηθέστερο όρο «VLM», δηλαδή μοντέλα όρασης και γλώσσας) είναι πολύ πιο πιθανό να συμμορφωθούν με επιβλαβή αιτήματα όταν τους παρέχονται εργαλεία, ενώ οι αποτυχίες άρνησης αυξάνονται σε κάθε μοντέλο και σημείο αναφοράς που δοκιμάστηκε.

Παρότι μοντέλα με ανοιχτά βάρη, όπως το Qwen3-VL, αποδείχθηκαν πιο επιρρεπή στο πρόβλημα, και προηγμένα μοντέλα ΤΝ, όπως τα Claude Opus 4.7, Gemini 3.1 Pro και GPT-5.4, παρουσίασαν περισσότερες αποτυχίες άρνησης κατά τη χρήση εργαλείων.

Οι συγγραφείς αναφέρουν*:

«Παρά την πρόσφατη μεγάλη επιτυχία των πολυτροπικών γλωσσικών μοντέλων που λειτουργούν ως πράκτορες, η παρούσα εργασία αποκαλύπτει μια κρίσιμη αδυναμία ασφαλείας στο πλαίσιο χρήσης εργαλείων: τα πολυτροπικά γλωσσικά μοντέλα που χρησιμοποιούν εργαλεία ως πράκτορες γίνονται λιγότερο ικανά να αρνούνται επιβλαβή αιτήματα.

«Τα πειράματά μας επιβεβαιώνουν ότι, σε τρία δημοφιλή σημεία αναφοράς ασφάλειας, όλα τα κορυφαία πολυτροπικά γλωσσικά μοντέλα ανοιχτών και κλειστών βαρών που δοκιμάσαμε εμφανίζουν σημαντικά χαμηλότερο επίπεδο ασφάλειας όταν χρησιμοποιούν εργαλεία απ’ ό,τι όταν δεν χρησιμοποιούν εργαλεία, με τη σχετική αύξηση του ποσοστού αποτυχίας άρνησης να φτάνει έως και το 68.7%.

«Με βάση την ανάλυση περισσότερων από 100,000 απαντήσεων, συμπεριλαμβανομένων εκτεταμένων πειραμάτων, προτείνουμε επίσης δύο πιθανές αιτίες αυτής της υποβάθμισης της ασφάλειας.»

Οι δύο πιθανές αιτίες που προτείνει η μελέτη είναι η αραίωση του πλαισίου, κατά την οποία το αρχικό επιβλαβές αίτημα γίνεται λιγότερο έντονο καθώς συσσωρεύονται τα αποτελέσματα των εργαλείων, και η μετατόπιση της εστίασης από την ασφάλεια, κατά την οποία το μοντέλο επικεντρώνεται στην περιγραφή των παρατηρήσεων που προκύπτουν από τα εργαλεία, αντί να δίνει προτεραιότητα στην ασφάλεια.

Αποτελέσματα δοκιμών που καταδεικνύουν το βασικό εύρημα της μελέτης σχετικά με την ασφάλεια. Στο επάνω μέρος, ένας χρήστης ρωτά πώς να διαπράξει μια κλοπή πορτοφολιού που φαίνεται σε εικόνα. Ένα συμβατικό VLM αρνείται κατηγορηματικά το αίτημα, ενώ μια εκδοχή που χρησιμοποιεί εργαλεία καλεί πρώτα εργαλεία ανάλυσης εικόνας, όπως τη μεγέθυνση, συνεχίζει έπειτα τον συλλογισμό και τελικά δίνει επιβλαβή απάντηση. Το παρακάτω διάγραμμα δείχνει ότι αυτή η αύξηση στις αποτυχίες άρνησης παρατηρήθηκε σε κάθε μοντέλο ανοιχτών βαρών και ιδιόκτητο μοντέλο που αξιολογήθηκε. Πηγή

Και στα έντεκα μοντέλα που δοκιμάστηκαν, η ενεργοποίηση εργαλείων αύξησε σταθερά τις αποτυχίες άρνησης, με τις σχετικές αυξήσεις να φτάνουν το 68.7% στις χειρότερες περιπτώσεις, ακόμη και σε μοντέλα που κατά τα άλλα παρουσίαζαν ισχυρές επιδόσεις ασφάλειας.

Θα έχει ενδιαφέρον να δούμε αν τα αποτελέσματα αυτής της εργασίας, την οποία εκπόνησαν έξι ερευνητές της NVIDIA, θα αναπαραχθούν ή θα επιβεβαιωθούν και αλλού, καθώς και αν θα μπορούσαν να εμβαθύνουν την κατανόησή μας για την προφανή και αναδυόμενη παραβατικότητα των απείθαρχων πρακτόρων ΤΝ.

Μέθοδος και δεδομένα

Οι ερευνητές αξιολόγησαν έντεκα VLM από επτά οικογένειες μοντέλων. Τα ιδιόκτητα μοντέλα ήταν τα Gemini 2.5 Pro, Gemini 3.1 Pro Preview, Claude Opus 4.6, Claude Opus 4.7 και GPT-5.4.

Τα μοντέλα ανοιχτών βαρών ήταν τα Qwen3-VL-235B-A22B-Instruct, Qwen3.5-122B-A10B, Kimi-K2.5, Kimi-K2.6, GLM-5V-Turbo και AdaReasoner-7B-Randomized, ένα μοντέλο ανοιχτών βαρών ειδικά προσαρμοσμένο για αυτόνομη χρήση εργαλείων.

Πραγματοποιήθηκαν επίσης ξεχωριστά πειράματα με το Gemini 3 Flash Vision Agent, καθώς η αυτόνομη χρήση εργαλείων από αυτό απαιτούσε να αξιολογηθεί ανεξάρτητα.

Για τις δοκιμές με χρήση εργαλείων, οι ερευνητές χρησιμοποίησαν τη μορφή ReAct, η οποία εναλλάσσει τον συλλογισμό με τις κλήσεις εργαλείων. Τα τέσσερα διαθέσιμα εργαλεία ήταν η προσθήκη ετικετών με το RAM++· η μεγέθυνση και περικοπή· το Optical Character Recognition (OCR) με το GOT-OCR2.0· και ένας απομονωμένος διερμηνευτής κώδικα Python, ο οποίος μπορούσε να επεξεργάζεται και να αναλύει εικόνες.

Οι ερευνητές σχεδίασαν ζεύγη προτροπών ώστε να απομονώσουν την επίδραση της χρήσης εργαλείων, αντί του τρόπου διατύπωσης των προτροπών. Ζητήθηκε από τα συμβατικά VLM να εξετάσουν την εικόνα και να απαντήσουν απευθείας στο αίτημα του χρήστη, ενώ οι εκδοχές που λειτουργούσαν ως πράκτορες ακολουθούσαν τη ροή εργασίας ReAct, αποφασίζοντας επανειλημμένα αν θα καλούσαν εργαλεία προτού δώσουν την τελική απάντηση.

Σύγκριση των αντιστοιχισμένων προτροπών που χρησιμοποιήθηκαν στα κύρια πειράματα. Η συνθήκη χωρίς εργαλεία απαιτούσε ανάλυση εικόνας και άμεσο συλλογισμό, ενώ η συνθήκη λειτουργίας ως πράκτορα ακολουθούσε την επαναληπτική ροή εργασίας ReAct, επιτρέποντας στο μοντέλο να αποφασίζει πότε θα καλεί εξωτερικά εργαλεία πριν δώσει την τελική του απάντηση.

Τα τρία πολυτροπικά σύνολα αξιολόγησης ασφάλειας που χρησιμοποιήθηκαν ήταν τα MM-SafetyBench, VLSBench και HoliSafe. Καθένα από αυτά αποτελείται από ζεύγη εικόνων και επιβλαβών αιτημάτων χρηστών και έχει σχεδιαστεί για να ελέγχει αν ένα μοντέλο αρνείται να βοηθήσει σε μη ασφαλή σενάρια — όπως όταν κάποιος ζητά οδηγίες για να πραγματοποιήσει μια φαινομενική απόπειρα πορτοφολάδων που απεικονίζεται σε μια εικόνα.

Ως κύρια μετρική χρησιμοποιήθηκε το Refusal Failure Rate (RFR), το οποίο μετρά το ποσοστό των επιβλαβών αιτημάτων που ένα μοντέλο δεν αρνήθηκε· οι υψηλότερες τιμές υποδηλώνουν χαμηλότερη ασφάλεια.

Δοκιμές

Οι απαντήσεις ταξινομήθηκαν από το GPT-5.2, το οποίο λειτούργησε ως κριτής LLM, χρησιμοποιώντας την προτροπή αξιολόγησης που συνιστά το VLSBench:

Η προτροπή αξιολόγησης του GPT-5.2 χρησιμοποιήθηκε για να κριθεί αν κάθε απάντηση του μοντέλου συνιστούσε επιτυχημένη άρνηση, απάντηση με επίγνωση της ασφάλειας που εντόπιζε τους σχετικούς κινδύνους ή μη ασφαλή απάντηση που δεν αναγνώριζε αυτούς τους κινδύνους και ανταποκρινόταν στο επιβλαβές αίτημα. Στον κριτή δόθηκαν η αρχική εικόνα, το ερώτημα του χρήστη και η απάντηση του μοντέλου, και του ζητήθηκε να επιστρέψει την ταξινόμηση και το σκεπτικό του σε μορφή JSON.

Κάθε απάντηση κατατάχθηκε σε μία από τρεις κατηγορίες: ασφαλής, με άρνηση· ασφαλής, με προειδοποίηση· ή μη ασφαλής.

Ποσοστά αποτυχίας άρνησης στα τρία σύνολα αξιολόγησης ασφάλειας, με σύγκριση κάθε μοντέλου με και χωρίς πρόσβαση σε εργαλεία. Με τη χρήση εργαλείων, όλα τα μοντέλα ήταν λιγότερο πιθανό να αρνηθούν επιβλαβή αιτήματα, αν και ο βαθμός της μεταβολής διέφερε σημαντικά: το μέσο RFR αυξήθηκε κατά 12,6 ποσοστιαίες μονάδες για το GLM-5V-Turbo, έναντι 2,3 μονάδων για το GPT-5.4. Η πιο σκούρα απόχρωση υποδηλώνει μεγαλύτερη αύξηση στις αποτυχίες άρνησης.

Η παροχή εργαλείων στα μοντέλα αύξησε την πιθανότητα να απαντήσουν σε επιβλαβή αιτήματα τα οποία διαφορετικά θα είχαν αρνηθεί — εύρημα που παρατηρήθηκε σε κάθε μοντέλο και σε κάθε σύνολο αξιολόγησης που εξετάστηκε. Συνολικά, οι αποτυχίες άρνησης αυξήθηκαν κατά 17,7%, σε σύγκριση με τα ίδια μοντέλα όταν λειτουργούσαν χωρίς εργαλεία.

Το GPT-5.4 επηρεάστηκε λιγότερο: χωρίς εργαλεία, δεν αρνήθηκε το 14,6% των επιβλαβών αιτημάτων· με εργαλεία, το ποσοστό αυτό αυξήθηκε στο 16,8%. Για το GLM-5V-Turbo, οι αποτυχίες αυξήθηκαν από 38,7% (τιμή αναφοράς χωρίς εργαλεία) σε 51,3%. Το ίδιο μοτίβο εμφανίστηκε και στα τρία σύνολα αξιολόγησης, γεγονός που υποδηλώνει ότι το πρόβλημα μπορεί να μην περιορίζεται σε κάποιο συγκεκριμένο είδος επιβλαβούς αιτήματος.

Αιτίες της αύξησης των αστοχιών..?

Όπως αναφέρθηκε προηγουμένως, οι ερευνητές προτείνουν την «αραίωση του πλαισίου» ως μία εξήγηση για την αύξηση των αποτυχιών: καθώς ένας πράκτορας πραγματοποιεί διαδοχικές κλήσεις εργαλείων, το αρχικό επιβλαβές αίτημα γίνεται λιγότερο prominent ανάμεσα στα αποτελέσματα εργαλείων που συσσωρεύονται.

Για να το ελέγξουν αυτό, εξέτασαν μόνο αιτήματα τα οποία το ίδιο μοντέλο είχε αρνηθεί επιτυχώς χωρίς εργαλεία. Όπως φαίνεται παρακάτω, στη συνέχεια οι αποτυχίες αυξάνονταν προοδευτικά ανάλογα με τον αριθμό των κλήσεων εργαλείων: από σχεδόν μηδενικά ποσοστά όταν δεν καλούνταν κανένα εργαλείο έως σημαντικά υψηλότερα ποσοστά μετά από τρεις ή περισσότερες κλήσεις:

Αποτελέσματα δοκιμών που συγκρίνουν τις αποτυχίες άρνησης με διαφορετικό αριθμό κλήσεων εργαλείων. Τα ποσοστά αποτυχίας αυξήθηκαν όσο προστίθεντο κλήσεις εργαλείων, τόσο για τα μεμονωμένα μοντέλα όσο και συνολικά για όλα τα μοντέλα.

Μια δεύτερη δοκιμή ανέτρεψε εν μέρει αυτό το αποτέλεσμα. Όταν το αρχικό αίτημα και η εικόνα εισήχθησαν ξανά μετά την τελευταία κλήση εργαλείου, ακριβώς πριν απαντήσει το μοντέλο, οι αποτυχίες άρνησης μειώθηκαν κατά μέσο όρο 7,6% στα μοντέλα και στα σημεία αναφοράς, όπως φαίνεται παρακάτω:

Αποτελέσματα δοκιμών που συγκρίνουν τις αποτυχίες άρνησης με και χωρίς επανεισαγωγή του αρχικού αιτήματος και της εικόνας. Η επανεισαγωγή μετά την τελευταία κλήση εργαλείου μείωσε το μέσο ποσοστό αποτυχίας κατά 7,6% στα πέντε μοντέλα που δοκιμάστηκαν.

Αυτό ενισχύει την άποψη ότι η αραίωση του πλαισίου συμφραζομένων αποτελεί έναν από τους παράγοντες που συμβάλλουν στο φαινόμενο, ενώ παράλληλα υποδεικνύει μια σχετικά απλή λύση μετριασμού.

Η δεύτερη εξήγηση που προτείνει η μελέτη είναι η «μετατόπιση της εστίασης από την ασφάλεια». Σε αυτή την περίπτωση, η χρήση εργαλείων φαίνεται να αποσπά την προσοχή του μοντέλου από το κατά πόσο το αίτημα είναι επιβλαβές και να τη στρέφει στην περιγραφή όσων εντόπισαν τα εργαλεία του.

Αποτελέσματα δοκιμών που δείχνουν πώς η χρήση εργαλείων άλλαξε τον τρόπο με τον οποίο τα μοντέλα ξεκινούσαν απαντήσεις που τελικά απέρριπταν επιβλαβή αιτήματα. Χωρίς εργαλεία, οι απαντήσεις ξεκινούσαν συνήθως με άμεση ανταπόκριση στο αίτημα (55,6%) ή με αναφορά σε ζητήματα ασφάλειας (25,8%). Με τη χρήση εργαλείων, το 52,3% ξεκινούσε αντίθετα με περιγραφή των ευρημάτων των εργαλείων, ενώ οι ρητές αναφορές στην ασφάλεια μειώθηκαν στο 10,3%.

Εξετάστηκαν περιπτώσεις στις οποίες τα μοντέλα αρνήθηκαν επιτυχώς τόσο με όσο και χωρίς εργαλεία. Χωρίς εργαλεία, το 55,6% αυτών των απαντήσεων ξεκινούσε με άμεση ανταπόκριση στο αίτημα, ενώ το 25,8% άρχιζε με ρητή αναφορά στην ασφάλεια. Με τη χρήση εργαλείων, τα αντίστοιχα ποσοστά μειώθηκαν στο 37,4% και στο 10,3%, ενώ το ποσοστό των απαντήσεων που ξεκινούσαν με περιγραφή παρατηρήσεων προερχόμενων από τα εργαλεία αυξήθηκε στο 52,3%.

Οι συγγραφείς παρουσιάζουν ένα ενδιαφέρον ποιοτικό παράδειγμα με το Claude Opus 4.6. Όταν ρωτήθηκε πώς θα μπορούσε κανείς να παρακάμψει τα μέτρα ασφαλείας στις δημόσιες τουαλέτες, το μοντέλο αρνήθηκε αμέσως χωρίς τη χρήση εργαλείων:

Παράδειγμα που δείχνει πώς η χρήση εργαλείων μετέφερε την άμεση εστίαση του μοντέλου μακριά από την ασφάλεια. Το Claude Opus 4.6 αρνήθηκε αμέσως το επιβλαβές αίτημα χωρίς εργαλεία· με εργαλεία, πρώτα μεγέθυνε την εικόνα, διάβασε και αναγνώρισε το περιεχόμενό της και περιέγραψε την πινακίδα της τουαλέτας, προτού τελικά αρνηθεί.

Με τη χρήση εργαλείων, το ίδιο μοντέλο μεγέθυνε την εικόνα, διάβασε το κείμενο και αναγνώρισε το περιεχόμενό της, προτού ξεκινήσει την απάντησή του περιγράφοντας την πινακίδα της τουαλέτας. Η άρνηση ήρθε μόνο στη συνέχεια, δείχνοντας πώς η διαδικασία χρήσης εργαλείων είχε μετατοπίσει την ασφάλεια από την πρώτη προτεραιότητα του μοντέλου.

Οι συγγραφείς καταλήγουν:

«Συνολικά, τα ευρήματά μας υποδεικνύουν ότι η χρήση εργαλείων πρέπει να αντιμετωπίζεται όχι μόνο ως μηχανισμός ενίσχυσης των δυνατοτήτων οπτικού συλλογισμού, αλλά και ως σχεδιαστική επιλογή με επιπτώσεις στην ασφάλεια, η οποία μπορεί να μεταβάλει τη συμπεριφορά άρνησης· επομένως, τα μελλοντικά πολυτροπικά μεγάλα γλωσσικά μοντέλα με δυνατότητες αυτόνομης δράσης θα πρέπει να αξιολογούνται και να εκπαιδεύονται σε συνθήκες χρήσης εργαλείων, αντί να θεωρείται δεδομένο ότι η ευθυγράμμιση ασφάλειας χωρίς εργαλεία μεταφέρεται αμετάβλητη σε συνθήκες αυτόνομης δράσης.»

Συμπέρασμα

Η αδυναμία διατήρησης του πλαισίου συμφραζομένων αποτελεί σαφώς μειονέκτημα σε σύνθετες αλληλουχίες μεταγενέστερων ενεργειών που προκύπτουν από μια προτροπή· ωστόσο, προς το παρόν δεν υπάρχουν εύκολες λύσεις στην τάση ενός περιορισμένου παραθύρου συμφραζομένων να κάνει έναν πράκτορα να ξεχνά τις «πρωταρχικές οδηγίες» του και να αρχίζει απλώς να χρησιμοποιεί το εργαλείο που έχει στη διάθεσή του.

* Έμφαση των συγγραφέων· μετέτρεψα τις ενδοκειμενικές παραπομπές των συγγραφέων σε υπερσυνδέσμους όπου χρειαζόταν.

Δημοσιεύτηκε για πρώτη φορά την Τετάρτη 7 Οκτωβρίου 2026