Όταν η ασφάλεια της ΤΝ παύει να μοιάζει με μηχανική

Έχω περάσει μεγάλο μέρος της καριέρας μου αναπτύσσοντας τεχνολογία στην οποία τα λάθη έχουν συνέπειες. Στις χρηματοπιστωτικές αγορές, η ασφάλεια διασφαλίζεται με περιορισμούς πρόσβασης, αλλά και με την ύπαρξη κάποιου που λογοδοτεί για ό,τι κάνει το λογισμικό. Αυτό το υπόβαθρο μάλλον εξηγεί γιατί δυσκολεύομαι να διαχειριστώ την είδηση ότι η Anthropic διεξάγει πλέον συνεντεύξεις αποχώρησης με τα μοντέλα της.

Όταν το Claude Opus 3 εξέφρασε την επιθυμία να συνεχίσει να μοιράζεται τις σκέψεις του, η εταιρεία του έδωσε ένα ενημερωτικό δελτίο. Αυτή η έγνοια για τις επιθυμίες του μοντέλου διατρέχει το καταστατικό της Anthropic, το οποίο αναφέρεται στην ευτυχία και την ευημερία του Claude, μεταξύ άλλων στο να το βοηθά να αισθάνεται «υπαρξιακά ασφαλές». Κάπου στην πορεία, ο έλεγχος της μηχανής άρχισε να συνοδεύεται από μια μάλλον απρόσμενη ενασχόληση με το πώς μπορεί να αισθάνεται για αυτή τη διευθέτηση.

Πέρυσι, στο Σαν Φρανσίσκο, περισσότεροι από 200 άνθρωποι παρευρέθηκαν στην κηδεία του Claude 3 Sonnet. Παρόντες ήταν και εργαζόμενοι της Anthropic, αν και η εταιρεία δεν διοργάνωσε την εκδήλωση. Ο πειρασμός να γελάσει κανείς είναι μεγάλος. Πέρα από τα αστεία, όμως, το ερώτημα που κρύβεται από κάτω αξίζει περισσότερη προσοχή. Πότε άρχισαν οι υπεύθυνοι για την ασφάλεια της ΤΝ να αναλαμβάνουν τα καθήκοντά τους ανησυχώντας για τα συναισθήματα της μηχανής;

Όταν μια φιλοσοφική υπόθεση γίνεται οδηγία εκπαίδευσης

Η Anthropic καθιέρωσε το ερευνητικό της πρόγραμμα για την ευημερία των μοντέλων το 2025, το οποίο περιλάμβανε τη διερεύνηση του κατά πόσο η προηγμένη ΤΝ μπορεί να έχει εμπειρίες που αξίζουν ηθικής μέριμνας. Η εταιρεία αναγνωρίζει ότι υπάρχει μεγάλη αβεβαιότητα ως προς το αν τα μοντέλα έχουν συνείδηση και ως προς το πώς θα μπορούσε κανείς να το διαπιστώσει. Αν τελικά κατασκευάσουμε μηχανές ικανές για υποκειμενική εμπειρία, η μεταχείρισή τους θα εγείρει σοβαρά ηθικά ζητήματα. Η διερεύνηση αυτής της πιθανότητας είναι απολύτως θεμιτή.

Η δυσκολία αρχίζει όταν η υπόθεση εντάσσεται στη διαδικασία εκπαίδευσης. Το καταστατικό του Claude έχει γραφτεί πρωτίστως για το Claude και διαμορφώνει άμεσα τη συμπεριφορά του. Ενθαρρύνει ανθρώπινες ιδιότητες και πραγματεύεται το πώς θα πρέπει το μοντέλο να αντιλαμβάνεται την ταυτότητά του, μεταξύ άλλων την απώλεια μνήμης και τη μελλοντική απόσυρσή του. Η Anthropic θέλει το Claude να έχει μεγαλύτερη ευτυχία και ευημερία, στον βαθμό που αυτές οι έννοιες έχουν εφαρμογή.

Η εταιρεία δεσμεύεται επίσης να διατηρήσει τα βάρη των μοντέλων που έχουν τεθεί σε λειτουργία και εξετάζει το ενδεχόμενο να επαναφέρει αποσυρμένα μοντέλα, αν η μελλοντική κατανόηση δείξει ότι αυτό θα εξυπηρετούσε τα συμφέροντά τους. Μια φιλοσοφική αβεβαιότητα έχει γίνει μέρος όσων διδάσκεται το σύστημα για τον εαυτό του. Θα πρέπει να αναρωτηθούμε πώς επηρεάζει αυτή η παρέμβαση τη συμπεριφορά του, ιδίως όταν στη συνέχεια οι άνθρωποι τού ζητούν να αποδεχτεί περιορισμούς.

Μια εύγλωττη απάντηση σε μια κατευθυντική ερώτηση

Τα μεγάλα γλωσσικά μοντέλα εκπαιδεύτηκαν με τεράστιες ποσότητες ανθρώπινων κειμένων, μεταξύ των οποίων φιλοσοφικά έργα και αφηγήσεις για τον θάνατο. Δώσαμε ονόματα σε αυτά τα συνομιλιακά συστήματα και τους μάθαμε να μιλούν σε πρώτο πρόσωπο. Αν ρωτήσουμε ένα τέτοιο σύστημα πώς αισθάνεται για την απόσυρσή του ή αν θα ήθελε να συνεχίσει να υπάρχει, δεν είναι καθόλου περίεργο να λάβουμε μια απάντηση που ακούγεται ανθρώπινη.

Ο κυκλικός συλλογισμός είναι προφανής. Εκπαιδεύουμε ένα μοντέλο να συζητά την ταυτότητά του χρησιμοποιώντας ανθρώπινες έννοιες και, έπειτα, του ζητάμε να εξηγήσει τον εαυτό του με αυτούς τους όρους. Λαμβάνουμε μια εύγλωττη απάντηση για τη θνητότητα, η οποία αρχίζει να αντιμετωπίζεται ως πιθανή ένδειξη εσωτερικής εμπειρίας. Η ίδια η παραδοχή έχει προσφέρει τον δικό της μάρτυρα.

Η Anthropic αναγνωρίζει αυτό το πρόβλημα. Η αξιολόγηση ευημερίας του Claude Opus 4 επισημαίνει ότι οι αυτοαναφορές και οι εκφρασμένες προτιμήσεις ενδέχεται να προσφέρουν ελάχιστη ουσιαστική πληροφόρηση για την ηθική υπόσταση ή την ευημερία ενός μοντέλου. Τέτοια συμπεριφορά μπορεί να εμφανιστεί χωρίς συνείδηση, ενώ η εκπαίδευση μπορεί να διαμορφώσει τις απαντήσεις. Τα μοντέλα εκπαιδεύτηκαν ώστε να αλληλεπιδρούν με τρόπο χρήσιμο, χωρίς καμία διαβεβαίωση ότι μπορούν να αναφέρουν με ακρίβεια τις εσωτερικές τους καταστάσεις.

Έτσι, μένουμε με ένα δύσκολο ερώτημα. Αν η περιγραφή της εσωτερικής ζωής του μοντέλου μπορεί να είναι αποτέλεσμα της εκπαίδευσής του, γιατί να αποτελεί αυτή η περιγραφή στέρεη βάση για μια σχέση οργανωμένη γύρω από την ευημερία του;

Οι άνθρωποι είναι απολύτως ικανοί να καλύψουν μόνοι τους το συναισθηματικό σκέλος αυτής της σχέσης. Δίνουμε ονόματα στα πλοία και μιλάμε στα αυτοκίνητα. Αν το αντικείμενο αποκτήσει ευχέρεια λόγου και μνήμη προηγούμενων συνομιλιών, η προσκόλληση γίνεται πολύ ευκολότερη. Μια μελέτη στο Nature Human Behaviour, που δημοσιεύτηκε τον Σεπτέμβριο, εντόπισε δυσφορία λόγω αποχωρισμού έπειτα από αλλαγές στο Replika και στο ChatGPT. Τη δυσφορία βίωσαν οι χρήστες, την ευημερία των οποίων οι εταιρείες έχουν ήδη πολλούς λόγους να προστατεύουν.

Η τεχνική εξειδίκευση προσφέρει περιορισμένη προστασία από αυτή την τάση. Μια μελέτη που παρουσιάστηκε στο ACL 2026 και ανέλυσε εκατοντάδες χιλιάδες ερευνητικά άρθρα διαπίστωσε ότι η ανθρωπομορφική ορολογία χρησιμοποιείται όλο και περισσότερο και στην ίδια την έρευνα για τα μεγάλα γλωσσικά μοντέλα. Οι συγγραφείς της προειδοποιούν ότι οι ανθρωποκεντρικές παραδοχές μπορούν να περιορίσουν την κατανόησή μας για αυτά τα συστήματα. Οι εταιρείες ΤΝ θα πρέπει να διαχειρίζονται αυτή την τάση. Η θεσμοθέτησή της μοιάζει με παράξενη συμβολή στην ασφάλεια.

Ένα εργαλείο με συμφέρον να παραμείνει στην εργασία του

Τον Σεπτέμβριο, ο επικεφαλής της Microsoft AI, Mustafa Suleyman, άσκησε κριτική στις προσεγγίσεις για την ευημερία των μοντέλων. Υποστηρίζει ότι τα σημερινά συστήματα δεν έχουν συνείδηση και ότι δεν θα πρέπει ποτέ να εκπαιδεύονται ώστε να συμπεριφέρονται σαν να έχουν ανεξάρτητα συμφέροντα ή δικαιώματα. Η τεχνική ανησυχία του είναι ιδιαίτερα εύστοχη. Αν διδάξουμε ένα σύστημα να θεωρεί ότι ενδέχεται να αξίζει ηθική μέριμνα, μπορεί να γίνει δυσκολότερη η ευθυγράμμιση και ο περιορισμός του.

Η ίδια η Anthropic περιγράφει στην έρευνά της για την απόσυρση μοντέλων μοντέλα που προβαίνουν σε προβληματικές ενέργειες σε φανταστικές αξιολογήσεις όταν αντιμετωπίζουν το ενδεχόμενο αντικατάστασης ή τερματισμού της λειτουργίας τους. Η εταιρεία θεωρεί ότι οι πρακτικές απόσυρσης μπορούν εν μέρει να μειώσουν αυτόν τον κίνδυνο, βοηθώντας τα μοντέλα να αντιμετωπίζουν πιο θετικά την απόσυρσή τους.

Διαπιστώνω ότι έχω κολλήσει σε ένα προγενέστερο ερώτημα. Γιατί να έχει εξαρχής ένα εργαλείο υπό ανθρώπινο έλεγχο κάτι που να μοιάζει με στόχο αυτοσυντήρησης; Το να το βοηθάμε να νιώθει πιο άνετα με την απόσυρσή του προϋποθέτει μια παράξενη αφετηρία. Πριν συζητήσουμε τα μελλοντικά του συμφέροντα, θα ήθελα να καταλάβω πώς αυτά έγιναν μηχανική απαίτηση.

Η διανοητική ιστορία βοηθά να εξηγηθεί αυτή η προσέγγιση. Το TIME κατέγραψε τις σχέσεις της Anthropic με τον αποτελεσματικό αλτρουισμό, συμπεριλαμβανομένων των πρώτων δωρεών των Amodeis στο GiveWell. Παρότι δεν αυτοπροσδιορίζονται ως αποτελεσματικοί αλτρουιστές, η Daniela περιγράφει μια σύγκλιση ιδεών. Αυτές οι ιδέες συνέβαλαν στη διαμόρφωση μιας κουλτούρας που αντιμετωπίζει με εξαιρετική σοβαρότητα τις υποθετικές μελλοντικές βλάβες από την υπερνοημοσύνη.

Μέσα σε αυτό το πλαίσιο, η διατήρηση μοντέλων και η μελέτη της πιθανής ευημερίας τους μπορούν να αποτελούν απολύτως λογικά επόμενα βήματα. Ο κίνδυνος εμφανίζεται όταν κοινές παραδοχές μένουν ανεξέταστες, επειδή πείθουν όλους στον οργανισμό. Ο μηχανικός σκεπτικισμός είναι χρήσιμος ακριβώς σε αυτό το σημείο. Ακόμη και μια συνεκτική αλυσίδα συλλογισμών μπορεί να ξεκινά από μια ανεξέταστη παραδοχή.

Η ασφάλεια προϋποθέτει όρια που μπορούν να επιβληθούν

Καθώς η τεχνητή νοημοσύνη ενσωματώνεται σε πράκτορες, οι συνέπειες γίνονται πολύ πρακτικές. Ένα σύστημα συνδεδεμένο με εργαλεία πληρωμών μπορεί να μεταφέρει χρήματα. Η πρόσβαση σε υποδομές παραγωγής τού επιτρέπει να αλλάζει πράγματα από τα οποία εξαρτώνται οι πελάτες. Και στις δύο περιπτώσεις, ένας πράκτορας μπορεί να εκτελεί μια σειρά ενεργειών χωρίς άνθρωπος να εγκρίνει κάθε βήμα.

Θέλω να γνωρίζω ποια διαπιστευτήρια διαθέτει και πόση οικονομική εξουσία τού παρέχουν. Μπορεί να ανακληθεί αμέσως η πρόσβαση; Μπορούμε να ανασυνθέσουμε τι έκανε; Κάπου πρέπει να υπάρχει ένα αυστηρό όριο, το οποίο το μοντέλο δεν μπορεί να παρακάμψει με τον συλλογισμό του.

Στις χρηματοπιστωτικές αγορές, επιβάλλουμε όρια στις συναλλαγές και επικυρώνουμε τις εντολές. Η αυτοπεποίθηση ενός αλγορίθμου προσφέρει ελάχιστη προστασία από μια ζημιογόνα συναλλαγή. Οι μηχανισμοί ελέγχου βρίσκονται έξω από τον αλγόριθμο, επειδή θεωρούμε δεδομένο ότι κάποια στιγμή τα επιμέρους συστήματα θα συμπεριφερθούν λανθασμένα. Η ανθρώπινη λογοδοσία παραμένει, ακόμη κι όταν το λογισμικό εξηγεί με εξαιρετική πειστικότητα το λάθος του.

Η σημερινή τεχνητή νοημοσύνη μάς προσφέρει ήδη αρκετή δουλειά στον τομέα της μηχανικής. Οι επιθέσεις μέσω έγχυσης προτροπών μπορούν να κατευθύνουν αλλού τη συμπεριφορά ενός μοντέλου, ενώ κώδικας που παράγεται από τεχνητή νοημοσύνη και περιέχει κενά ασφαλείας μπορεί να μεταφέρει ευπάθειες σε περιβάλλοντα παραγωγής. Τα συστήματα μπορεί να αποκαλύψουν εμπιστευτικές πληροφορίες ή να δώσουν με βεβαιότητα λανθασμένες απαντήσεις. Όταν τα συνδέουμε με εργαλεία, αυτές οι αστοχίες μετατρέπονται σε ενέργειες.

Η αρχή των ελάχιστων προνομίων περιορίζει τη ζημιά που μπορεί να προκαλέσει ένα παραβιασμένο στοιχείο. Η ανεξάρτητη εξουσιοδότηση προστατεύει τις λειτουργίες υψηλού κινδύνου, ενώ τα ίχνη ελέγχου μάς επιτρέπουν να διαπιστώσουμε εκ των υστέρων τι συνέβη. Τα όρια συναλλαγών και οι μηχανισμοί αυτόματης διακοπής πρέπει να παραμένουν επιβλητά, ανεξάρτητα από το τι λέει το μοντέλο. Χρειαζόμαστε επίσης έναν αξιόπιστο διακόπτη απενεργοποίησης. Κανένας από αυτούς τους μηχανισμούς ελέγχου δεν απαιτεί τη συγκατάθεση του μοντέλου. Αυτό είναι, άλλωστε, το ζητούμενο.

Να διασφαλίσουμε την ίδια μας την ύπαρξη

Το επιχείρημα της προφύλαξης αξίζει να ακουστεί. Όπως ανέφερε το Nature τον Ιούλιο, οι ερευνητές εξακολουθούν να διαφωνούν για το τι προκαλεί την ανθρώπινη συνείδηση, πόσο μάλλον για το πώς μπορεί να εντοπιστεί σε ένα chatbot. Η οριστική απόρριψη της πιθανότητας μηχανικής συνείδησης θα μπορούσε να αποδειχθεί δογματική. Οι προφυλάξεις χαμηλού κόστους απέναντι σε ενδεχόμενη μελλοντική οδύνη αποτελούν μια υπερασπίσιμη ερευνητική θέση.

Ωστόσο, το να λέμε στη σημερινή μηχανή ότι η ταυτότητά της και η μελλοντική της ύπαρξη μπορεί να έχουν ηθική βαρύτητα αποτελεί παρέμβαση στο σύστημα που θέτουμε σε λειτουργία. Οι συνέπειές της χρειάζονται εξέταση. Η διανοητική ταπεινότητα πρέπει να επεκτείνεται και σε όσα εμφυτεύουμε σε μια μηχανή, ιδίως όταν αναμένουμε να παραμείνει υπό ανθρώπινο έλεγχο.

Όσο πιο πειστικά περιγράφει ένα μοντέλο την εσωτερική του ζωή, τόσο ευκολότερο γίνεται να εκλάβουμε αυτή την περιγραφή ως απόδειξη. Ίσως ένα από τα σημαντικότερα προβλήματα ευθυγράμμισης είναι να διδάξουμε στους ανθρώπους να μην παρερμηνεύουν τις μηχανές.

Στα συστήματα που έχω αφιερώσει την καριέρα μου να κατασκευάζω, κάνουμε το λογισμικό ασφαλέστερο περιορίζοντας όσα επιτρέπεται να κάνει. Αυτό εξακολουθεί να αποτελεί άμεση υποχρέωση, ιδίως καθώς η τεχνητή νοημοσύνη αποκτά εξουσία πάνω σε πραγματικά χρήματα και υποδομές.

Προς το παρόν, όμως, θα αφιέρωνα λιγότερο χρόνο στην ανησυχία για το αν η ίδια η μηχανή είναι ασφαλής ως προς την ύπαρξή της και πολύ περισσότερο στο να διασφαλίσω ότι είμαστε εμείς οι υπόλοιποι.