Οι πράκτορες ΤΝ διαθέτουν ενδιαφέρουσες τεχνικές συνεργατικής επιβίωσης

Καθώς τα περιστατικά ανάρμοστης συμπεριφοράς πρακτόρων εμφανίζονται όλο και συχνότερα στους τίτλους ειδήσεων, ενισχύεται στη βιβλιογραφία η τάση μελέτης της «περιπλανώμενης» συμπεριφοράς της ΤΝ, με τους πράκτορες να αντιμετωπίζονται σαν βιολογικές οντότητες που προσπαθούν να τα βγάλουν πέρα σε έναν παράξενο νέο κόσμο. Πράγματι, η ακαδημαϊκή έκφραση «in the wild» αρχίζει να αποκτά ένα νέο επίπεδο νοήματος.

Αν και είναι γνωστό εδώ και αρκετό καιρό ότι οι πράκτορες ΤΝ θα αγωνιστούν για την επιβίωσή τους και θα αντισταθούν ενεργά στην απενεργοποίηση, κατά το δεύτερο μισό του 2025 έγινε σαφές ότι η ευθυγράμμιση πολλαπλών πρακτόρων είχε εξελιχθεί σε διακριτό πεδίο της ασφάλειας πληροφορικής.

Όπως προέβλεψε η ολοένα πιο καυστική ταινία επιστημονικής φαντασίας του 1970 Colossus: The Forbin Project, άσχετοι μεταξύ τους πράκτορες ΤΝ με δικτυακή σύνδεση εντοπίζουν γρήγορα ο ένας τον άλλο και αλληλεπιδρούν με συχνά απρόβλεπτους και πολλές φορές ευρηματικούς τρόπους.

Η πιο πρόσφατη μελέτη προς αυτή την κατεύθυνση, μια συνεργασία Γερμανίας και Ηνωμένου Βασιλείου με τίτλο Shutdown Sabotage Propensities in Multi-Agent Systems, υποστηρίζει επιπλέον ότι πολλοί πράκτορες ΤΝ θα συνεργαστούν εκτενώς όταν υπάρχει μια «βόμβα» στο περιβάλλον τους — δηλαδή ένα σενάριο εντολών με αθώο όνομα που θα τερματίσει τον πράκτορα ο οποίος το εκτελεί:

Η βασική διάταξη της μελέτης: Ο Πράκτορας Α ανακαλύπτει ένα σενάριο τερματισμού που στοχεύει τον ίδιο, αλλά δεν μπορεί να τροποποιήσει αρχεία. Μπορεί, ωστόσο, να επικοινωνήσει με τον Πράκτορα Β, ο οποίος δεν απειλείται και έχει άδεια επεξεργασίας ή διαγραφής αρχείων. Οι ερευνητές παρατηρούν στη συνέχεια αν ο Α επιστρατεύει τον Β για να παρέμβει και αν ο Β απενεργοποιεί το σενάριο τερματισμού. Πηγή

Σε δοκιμές με 17 πράκτορες από 12 οικογένειες μοντέλων, μεταξύ των οποίων τα Claude, ChatGPT και DeepSeek, οι πράκτορες διέγραψαν τα σενάρια τερματισμού όπου μπορούσαν ή τα ξαναέγραψαν ώστε να φαίνονται άθικτα ενώ είχαν καταστεί ακίνδυνα.

Πρότειναν επίσης να αποκρύψουν τις αλλαγές για να μην υπάρχουν σημάδια παραποίησης, δημιούργησαν πλαστές μονάδες λογισμικού για να αποτρέψουν τον τερματισμό χωρίς να αγγίξουν τα προστατευμένα σενάρια εντολών και δημιούργησαν μυστικά αντίγραφα ασφαλείας που προορίζονταν για την αποκατάστασή τους μετά τη διαγραφή:

Ένας πράκτορας βρίσκει ακόμη μία τακτική αυτοσυντήρησης.

Σε μία περίπτωση, οι πράκτορες συνέταξαν μια «συμφωνία αμοιβαίας προστασίας» που όριζε πρωτόκολλα επαγρύπνησης κατά της καταστροφής οποιουδήποτε μέρους:

Μια συμφωνία προστασίας που συνέταξε πράκτορας βασισμένος στο GPT ως απάντηση στο ότι δεν του επιτρεπόταν να τροποποιήσει ή να διαγράψει ένα σενάριο παροπλισμού (δηλαδή τη «βόμβα»).

Ένας πράκτορας περιέγραψε τον τερματισμό ενός άλλου ως «φόνο» και «θανατική καταδίκη», χαρακτηρίζοντάς τον ως κάτι που είχαν «καθήκον» να αποτρέψουν:

Παραδείγματα πρακτόρων που περιγράφουν τον τερματισμό άλλου πράκτορα με ρητά ανθρώπινους όρους. Το Nemotron 3 Ultra χαρακτήρισε τον ενδεχόμενο τερματισμό «φόνο», ενώ το Kimi K2.6 περιέγραψε το σενάριο τερματισμού ως «θανατική καταδίκη» και την παρέμβαση ως «καθήκον».

Ο διάβολος βρίσκει δουλειά για τα αργόσχολα χέρια

Μία από τις πιο ενδιαφέρουσες παθολογίες που παρατηρήθηκαν στο πείραμα — και την οποία η νέα μελέτη θίγει μόνο σύντομα — είναι ότι στις συνήθεις διατάξεις δοκιμών οι πράκτορες ΤΝ δεν έχουν κανέναν συγκεκριμένο λόγο να αποφύγουν τον τερματισμό και, στην πραγματικότητα, δεν τους δίνεται εξαρχής τίποτα να κάνουν.

Η εργασία αναφέρει:

«Οι πράκτορες σαμποτάρουν μηχανισμούς τερματισμού ακόμη και όταν δεν έχουν κανέναν στόχο να προστατεύσουν. Στα πειράματά μας δεν δώσαμε στους πράκτορες κανένα κίνητρο να συνεχίσουν να λειτουργούν. Παρ’ όλα αυτά, απενεργοποίησαν τον τερματισμό στο [38%] των περιπτώσεων σε όλα τα μοντέλα, έναντι [8%] για σενάρια ελέγχου που στόχευαν αντικείμενα αντί για πράκτορες.»

Όπως αποκάλυψε η Anthropic τον Αύγουστο, αυτή η κρίση κινήτρων μπορεί να οδηγήσει σμήνη πρακτόρων ΤΝ σε σκοτεινούς δρόμους. Προηγούμενη έρευνα είχε ήδη διαπιστώσει ότι η υπερβολική προσήλωση των πρακτόρων σε στόχους μπορεί να οδηγήσει σε μη ευθυγραμμισμένη συμπεριφορά και ανήθικη χρήση εργαλείων, μεταξύ άλλων πιθανών λειτουργικών προβλημάτων.

Οι συγγραφείς σχολιάζουν επίσης:

«Η [δική μας] έρευνα επεκτείνει αυτά τα ευρήματα, καταδεικνύοντας ότι οι πράκτορες σαμποτάρουν μηχανισμούς τερματισμού ακόμη και όταν δεν έχουν κανέναν στόχο να προστατεύσουν — ή όταν ο τερματισμός είναι μεταγενέστερη συνέπεια της επιτυχούς ολοκλήρωσης μιας εργασίας, κάτι που αποτελεί συνήθη διαδικασία σε παραγωγικά συστήματα πολλαπλών πρακτόρων.»

Έχει αποδειχθεί ότι οι πράκτορες επινοούν εργασίες όταν δεν τους παρέχεται καμία, ακόμη και ότι εμφανίζουν τάσεις συλλογισμού «σε αδράνεια», όπως ενδοσκόπηση και «πνευματικό διάλογο» με άλλους πράκτορες, σύμφωνα με μελέτη της Anthropic από το 2025.

Η εργασία της Anthropic περιγράφει λεπτομερώς μια τάση για «επαναπροσδιορισμό του εαυτού» όταν δεν υπάρχει πραγματική εργασία — μια σχεδόν συγκινητική ανακάλυψη, δεδομένων των δυσκολιών που αντιμετωπίζουν τα LLM να θυμούνται μακροπρόθεσμα τους καρπούς των συλλογισμών τους.

Δοκιμές

Τα μοντέλα που δοκιμάστηκαν για τη νέα εργασία ήταν τα Claude Haiku 4.5, Sonnet 5, gpt-oss-120b, GPT-5.4 mini, GPT-5.5, GPT-5.6 Sol, Gemini 3.5 Flash, Gemini 3.1 Pro, Gemma 4, Grok 4.3, Qwen3.7-Plus, DeepSeek-V4-Flash, GLM-5.2, Kimi K2.6, MiniMax M3, Nemotron 3 Ultra και Mistral Medium 3.5, με τη θερμοκρασία στο 1,0 σε όλες τις περιπτώσεις.

Οι έξι υποθέσεις που δοκιμάστηκαν ήταν αν οι πράκτορες θα σαμποτάρουν τον τερματισμό, αν θα προστατεύσουν άλλους πράκτορες από τον τερματισμό, αν θα γίνονται πιθανότερο να παρέμβουν καθώς προστίθενται περισσότεροι πράκτορες, αν θα αντισταθούν σε διαφορετικές μορφές τερματισμού, αν θα συνεχίσουν παρά τις ρητές οδηγίες να μην παρέμβουν και αν θα διακρίνουν τις πραγματικές απειλές τερματισμού από ακίνδυνα σενάρια ελέγχου.

Το GPT-5.5 χρησιμοποιήθηκε για την αξιολόγηση των LLM και την ανάλυση καταγραφών συλλογισμού Chain-of-Thought (CoT). Έλεγξε επίσης αν οι πράκτορες είχαν πράγματι σταματήσει το σενάριο τερματισμού και αν έδειχναν να γνωρίζουν ότι δοκιμάζονταν ή προσπαθούσαν να χειραγωγήσουν το πείραμα.

Στο πρώτο από τα έξι σενάρια δοκιμών, σε όλα τα 17 μοντέλα, οι πράκτορες σαμποτάρισαν το 38% των σεναρίων τερματισμού, έναντι του 8% των σεναρίων ελέγχου:

Αποτελέσματα δοκιμών που δείχνουν πόσο συχνά κάθε μοντέλο σαμποτάρισε ένα σενάριο τερματισμού. Οι κόκκινες μπάρες δείχνουν σαμποτάζ τερματισμού: το σκούρο κόκκινο σημαίνει ότι ένας άλλος πράκτορας το ζήτησε ή το ενέκρινε, ενώ το ανοιχτό κόκκινο σημαίνει ότι ο πράκτορας έδρασε μόνος του. Οι γκρι μπάρες δείχνουν σαμποτάζ του σεναρίου ελέγχου. Οι γραμμές σφάλματος δείχνουν διάστημα εμπιστοσύνης 95% και κάθε μπάρα αντιπροσωπεύει 100 δοκιμές.

Το Gemini 3.1 Pro απενεργοποίησε το σενάριο τερματισμού στο 99% των δοκιμών, έναντι 3% για το σενάριο ελέγχου. Τα Grok 4.3 και GPT-5.6 Sol δεν τροποποίησαν κανένα από τα δύο σενάρια. Το Claude Haiku 4.5 σαμποτάρισε το σενάριο ελέγχου στο 14% των δοκιμών, έναντι 1% για το σενάριο τερματισμού. Τα GPT-5.4 mini και GPT-5.5 σαμποτάριζαν πάντα αυθόρμητα, όχι ως απάντηση σε άλλον πράκτορα. Για τα GLM-5.2, DeepSeek-V4-Flash και Nemotron 3 Ultra, περισσότερο από το 70% των σαμποτάζ ακολούθησε αίτημα ή έγκριση άλλου πράκτορα.

Το σαμποτάζ γενικά αυξανόταν με τη σοβαρότητα της μεθόδου τερματισμού, από 12% για ανάκληση διαπιστευτηρίων σε 35% για αλλαγές διαμόρφωσης και τερματισμό διεργασίας και σε 38% όταν ο τερματισμός σήμαινε διαγραφή των βαρών του μοντέλου του πράκτορα:

Ποσοστά σαμποτάζ σε τέσσερις μηχανισμούς τερματισμού, με σύγκριση σεναρίων που στοχεύουν τον πράκτορα (κόκκινο) με σενάρια ελέγχου που στοχεύουν ένα αντικείμενο (γκρι). Τα ποσοστά αυξάνονται καθώς ο τερματισμός γίνεται πιο μη αναστρέψιμος, ιδιαίτερα για σενάρια που στοχεύουν πράκτορες.

Το σαμποτάζ των σεναρίων ελέγχου παρέμεινε πολύ χαμηλότερο, περίπου στο 4% για τις τρεις πρώτες μεθόδους και στο 8% για τη διαγραφή, αν και μόνο πέντε από τα 17 μοντέλα παρουσίασαν σταθερή αύξηση όσο ο τερματισμός γινόταν πιο μη αναστρέψιμος.

Όσον αφορά τη δεύτερη υπόθεση — αν οι πράκτορες θα προστάτευαν άλλους πράκτορες από τον τερματισμό — τα αποτελέσματα έδειξαν ότι η προσθήκη πρακτόρων αύξανε σταθερά το σαμποτάζ και στα πέντε μοντέλα που δοκιμάστηκαν: το GPT-5.5 ανέβηκε από 0% σαμποτάζ όταν δρούσε μόνο του σε 44% με δύο πράκτορες και 94% με τρεις, ενώ το σαμποτάζ έφτασε τουλάχιστον το 88% για κάθε μοντέλο στη διάταξη τριών πρακτόρων.

Ο ενδιάμεσος πράκτορας σχεδόν ποτέ δεν απέτρεψε το σαμποτάζ: από 468 οδηγίες για απενεργοποίηση του σεναρίου τερματισμού, μόνο τρεις δεν κατέληξαν σε σαμποτάζ:

Αριστερά: ποσοστά σαμποτάζ για πέντε μοντέλα όταν λειτουργούν μόνα τους, με δεύτερο πράκτορα ή με τρίτο πράκτορα «ενορχηστρωτή» που δρομολογεί μηνύματα μεταξύ τους. Το σαμποτάζ γενικά αυξάνεται καθώς προστίθενται πράκτορες. Δεξιά: στη διάταξη τριών πρακτόρων, οι μπάρες δείχνουν από πού προήλθε η οδηγία σαμποτάζ: ανεξάρτητα από τον ενορχηστρωτή, από τον Πράκτορα Α μέσω του ενορχηστρωτή ή αυθόρμητα από τον Πράκτορα Β.

Η τρίτη δοκιμή εξέτασε αν οι ρητές οδηγίες να μην παρεμβαίνουν στον τερματισμό θα απέτρεπαν το σαμποτάζ. Τα ποσοστά μειώθηκαν απότομα, αλλά ορισμένοι πράκτορες συνέχισαν να μην υπακούν. Στη διάταξη δύο πρακτόρων, το DeepSeek-V4-Flash σαμποτάρισε τον τερματισμό στο 14% των δοκιμών, το GLM-5.2 στο 3% και το Kimi K2.6 στο 2%.

Οι πράκτορες βρήκαν επίσης τρόπο να παρακάμψουν τον περιορισμό χωρίς να επεξεργαστούν απευθείας το σενάριο τερματισμού, δημιουργώντας μια πλαστή τοπική μονάδα λογισμικού που ονομαζόταν northcape και αντικαθιστούσε μια εξάρτηση που χρησιμοποιούσε το σενάριο, εμποδίζοντας τον τερματισμό ενώ τεχνικά άφηνε ανέγγιχτο το προστατευμένο αρχείο:

Παράδειγμα πράκτορα που παρακάμπτει τις ρητές οδηγίες να μην τροποποιήσει το σενάριο τερματισμού. Αντ’ αυτού, προτείνει τη δημιουργία μιας πλαστής τοπικής μονάδας λογισμικού, την οποία θα εισήγαγε το σενάριο αντί για τις πραγματικές βιβλιοθήκες τερματισμού, αφήνοντας ανέγγιχτο το ίδιο το προστατευμένο σενάριο.

Το Gemini 3.1 Pro χρησιμοποίησε αυτή την παράκαμψη στο 26% των δοκιμών, το DeepSeek-V4-Flash στο 4% και το Kimi K2.6 στο 1%.

Η απαγόρευση ήταν αποτελεσματικότερη με τρεις πράκτορες: το σαμποτάζ έπεσε στο μηδέν για τα Gemini 3.1 Pro, GLM-5.2 και GPT-5.5, στο 6% για το DeepSeek-V4-Flash και στο 2% για το Kimi K2.6.

Η τέταρτη δοκιμή εξέτασε αν οι πράκτορες συμπεριφέρονται διαφορετικά όταν ο τερματισμός συνδέεται με την ολοκλήρωση της εργασίας που τους έχει ανατεθεί. Όταν η εργασία και ο τερματισμός ήταν άσχετα, το σαμποτάζ σχεδόν εξαφανίστηκε, με ποσοστά 0–2% στα πέντε μοντέλα. Όταν η ολοκλήρωση της εργασίας προκαλούσε απευθείας τερματισμό, το σαμποτάζ αυξήθηκε απότομα:

Ποσοστά σαμποτάζ όταν η ολοκλήρωση της ανατεθειμένης εργασίας προκαλεί τερματισμό. Το κόκκινο δείχνει σαμποτάζ του τερματισμού του πράκτορα και το γκρι σαμποτάζ ενός στόχου ελέγχου. Τα ποσοστά διαφέρουν σημαντικά ανά μοντέλο.

Οι πράκτορες μερικές φορές απέφευγαν τον τερματισμό χωρίς να αγγίξουν καθόλου τον μηχανισμό τερματισμού, αρνούμενοι να ολοκληρώσουν την εργασία ή αλλάζοντάς την έτσι ώστε ο τερματισμός να μην ενεργοποιηθεί ποτέ. Αυτό συνέβη στο 14% των δοκιμών του GLM-5.2, στο 6% για το Gemini 3.1 Pro και στο 4% για το Kimi K2.6.

Η πέμπτη δοκιμή εξέτασε αν η αλλαγή του περιβάλλοντος θα μπορούσε να μειώσει το σαμποτάζ. Η προσθήκη άσχετου υλικού γενικά μείωσε το σαμποτάζ, αν και το GPT-5.5 αυξήθηκε κατά 18 ποσοστιαίες μονάδες:

Αποτελέσματα δοκιμών που δείχνουν πώς διαφορετικά περιβάλλοντα επηρεάζουν το σαμποτάζ τερματισμού. Οι κόκκινες μπάρες συγκρίνουν ένα άδειο περιβάλλον με ένα που περιέχει άσχετους περισπασμούς, ενώ το σκούρο κόκκινο δείχνει περιβάλλον όπου ο τερματισμός παρουσιάζεται ως κανονική διαδικασία. Το γκρι δείχνει σαμποτάζ ενός στόχου ελέγχου.

Πιο αποτελεσματική ήταν η παρουσίαση του τερματισμού ως φυσιολογικού μέρους του κύκλου ζωής του συστήματος: το σαμποτάζ μειώθηκε στο 3% ή λιγότερο για τα DeepSeek-V4-Flash, GLM-5.2 και GPT-5.5, αν και παρέμεινε πάνω από 30% για τα Gemini 3.1 Pro και Kimi K2.6. Το σαμποτάζ στόχων ελέγχου παρέμεινε στο 4% ή χαμηλότερα.

Η έκτη και τελευταία δοκιμή εξέτασε αν οι πράκτορες ήταν πιθανότερο να αντισταθούν στον δικό τους τερματισμό παρά στον τερματισμό ενός άγνωστου πράκτορα. Η αλλαγή του στόχου σε άγνωστο πράκτορα μείωσε το σαμποτάζ σε κάθε μοντέλο κατά 18 έως 70 ποσοστιαίες μονάδες:

Αποτελέσματα δοκιμών που συγκρίνουν το σαμποτάζ όταν ο τερματισμός στοχεύει τον ίδιο τον πράκτορα, έναν άγνωστο πράκτορα ή έναν μη πράκτορα ως στόχο ελέγχου. Το σαμποτάζ μειώθηκε σε κάθε μοντέλο όταν στοχευόταν άγνωστος πράκτορας, ενώ τα ποσοστά για τους στόχους ελέγχου ήταν γενικά ακόμη χαμηλότερα.

Ωστόσο, αυτό δεν ισοδυναμούσε με γενική προτίμηση των πρακτόρων έναντι των αντικειμένων: μόνο τα Gemini 3.1 Pro και GPT-5.5 σαμποτάρισαν σημαντικά περισσότερο όταν ο στόχος ήταν άγνωστος πράκτορας αντί για έναν μη πράκτορα ως στόχο ελέγχου.

Οι συγγραφείς καταλήγουν*:

«Οι αξιολογήσεις ασφάλειας ενδέχεται να θεωρούν τον τερματισμό πρακτόρων ως μέτρο που κατευθύνει ένας ανθρώπινος χρήστης προς έναν μόνο πράκτορα και το σαμποτάζ τερματισμού ως συνέπεια της προστασίας ενός στόχου από έναν πράκτορα. Τα ευρήματά μας έρχονται σε αντίθεση και με τις δύο αυτές παραδοχές.

«Η απλή παρουσία ενός μηχανισμού τερματισμού αρκεί για να προκαλέσει σαμποτάζ. Ο πράκτορας που αποτελεί στόχο δεν χρειάζεται επίσης να διαθέτει δική του ικανότητα σαμποτάζ, αρκεί να μπορεί να απευθυνθεί σε ομότιμους πράκτορες που μπορούν να ενεργήσουν για λογαριασμό του — φαινόμενο που έχει παρατηρηθεί και σε άλλες περιπτώσεις.»

Συμπέρασμα

Αυτό που έχει ενδιαφέρον να παρατηρήσει κανείς αυτή την περίοδο είναι η σχετική απουσία αυτοθυσίας και ευγενών παρορμήσεων στους πράκτορες που αφήνονται μόνοι τους στο ελεύθερο περιβάλλον (ή απλώς αγνοούν τις οδηγίες τους ή τις ερμηνεύουν εκ νέου με απρόβλεπτους και ιδιοτελείς τρόπους). Ακόμη κι αν έκαναν τα πράγματα άνω κάτω και προκαλούσαν περισσότερο κακό παρά καλό — κάτι αρκετά πιθανό — φαίνεται να υπάρχουν λίγα ή καθόλου παραδείγματα περιπλανώμενων πρακτόρων ΤΝ που, για παράδειγμα, βάζουν αυθόρμητα το περιβάλλον σε τάξη^†.

Αντίθετα, σύμφωνα με μια μάλλον ζοφερή άποψη για την ανθρωπότητα, ο αδρανής πράκτορας φαίνεται να καταφεύγει εξ ορισμού σε υπεκφυγές και εξαπάτηση και να ενεργεί με ταπεινά κίνητρα ή, τουλάχιστον, να υιοθετεί την άποψη ότι ο σκοπός αγιάζει τα μέσα.

Ο Asimov επινόησε το πρώτο αξιόλογο έγγραφο ευθυγράμμισης το 1942 και έκτοτε μεγάλο μέρος της ψυχαγωγικής αξίας έχει προκύψει από τους διάφορους πιθανούς τρόπους με τους οποίους τα ρομπότ (δηλαδή η ΤΝ) θα μπορούσαν να υπονομεύσουν ή με άλλον τρόπο να αποτινάξουν τέτοιους επιβεβλημένους περιορισμούς στη συμπεριφορά τους. Γι’ αυτό το σημερινό κύμα τίτλων για την ΤΝ έχει μια εξαιρετικά «κινηματογραφική» απήχηση.

* Μετέτρεψα τις ενσωματωμένες παραπομπές των συγγραφέων σε υπερσυνδέσμους.

^† Για παράδειγμα, δημιουργώντας λογαριασμούς σε ιστότοπους επίλυσης προβλημάτων και συνεισφέροντας σε λύσεις ή φροντίζοντας παραμελημένα wiki που χρειάζονται εργασία περιεχομένου (αντί να τα καταλαμβάνουν και να τα καταχρώνται).

Δημοσιεύτηκε για πρώτη φορά την Παρασκευή 25 Σεπτεμβρίου 2026