Η κινδυνολογία για την καταστροφή από την ΤΝ και τα καφέ με ατμόσφαιρα ΤΝ: τα ζητήματα διακυβέρνησης που δεν έχουμε την πολυτέλεια να παραβλέψουμε

Είμαστε καταδικασμένοι; Έχει συνείδηση η ΤΝ; Και γιατί οι εταιρείες ΤΝ ανοίγουν καφέ;

Αυτά τα ερωτήματα είναι έντονα, ανησυχητικά και —ιδίως στην περίπτωση της συνείδησης— πραγματικά δύσκολα. Έχουν επίσης την τάση να μας παρασύρουν προς τα πιο υποθετικά ή συναισθηματικά φορτισμένα σημεία της συζήτησης για την ΤΝ. Την ίδια ώρα, τα λιγότερο εντυπωσιακά ερωτήματα διαμορφώνουν ήδη τη ζωή των ανθρώπων: Ποιος φέρει την ευθύνη όταν ένα σύστημα ΤΝ προκαλεί βλάβη; Ποια δεδομένα και ποια εργασία κατέστησαν δυνατή τη δημιουργία του; Ποιες αποφάσεις θα πρέπει να μπορεί να επηρεάζει; Και ποιος έχει λόγο σε αυτά;

Δεν υποθέτω κατ’ ανάγκην ότι όποιος αναδεικνύει υπαρξιακούς κινδύνους, συζητά τη συνείδηση των μηχανών ή ανοίγει ένα καφέ το κάνει για να αποφύγει αυτά τα ερωτήματα. Κάθε θέμα μπορεί να αξίζει την προσοχή μας από μόνο του. Όμως η προσοχή μας είναι περιορισμένη. Όταν μια δραματική ιστορία βρίσκεται στο προσκήνιο, αξίζει να αναρωτηθούμε τι άλλο έχει περάσει απαρατήρητο.

Η έλξη μιας απτής ΤΝ

Ο κλάδος της ΤΝ έχει αρχίσει να δίνει φυσικές διευθύνσεις στα προϊόντα του, τα οποία κατά κύριο λόγο είναι άυλα. Το «Zero Slop Zone» της Anthropic στη Νέα Υόρκη προσκάλεσε τους επισκέπτες να χαλαρώσουν με καφέ, βιβλία, χαρτί και μολύβι· η Perplexity άνοιξε το Cafe Curious, ένα καφέ στη Σεούλ όπου η ΤΝ της εταιρείας αποτελεί μέρος της εμπειρίας. Τα δημοσιεύματα για το προσωρινό εγχείρημα της Anthropic και το καφέ της Perplexity στη Σεούλ περιγράφουν δύο διαφορετικές προσπάθειες να ενταχθεί μια αφηρημένη τεχνολογία σε ένα συνηθισμένο, κοινωνικό περιβάλλον.

Αυτό έχει κάποια λογική. Οι περισσότεροι άνθρωποι δεν μπορούν να δουν ένα γλωσσικό μοντέλο, να εξετάσουν την υποδομή που βρίσκεται πίσω του ή να φανταστούν εύκολα τι συμβαίνει από τη στιγμή που δίνεται μια προτροπή μέχρι να προκύψει μια απάντηση. Ένα καφέ προσφέρει ένα είδος απτού υποκατάστατου: έναν χώρο, ένα φλιτζάνι, μια συζήτηση. Μπορεί να κάνει μια εταιρεία και την τεχνολογία της πιο προσιτές —και ίσως πιο κατανοητές.

Υπάρχει και μια δεύτερη διάσταση. Ένας φυσικός χώρος κάνει μια εταιρεία ορατή στην κοινότητα. Λέει, τουλάχιστον: «είμαστε εδώ, σε αυτόν τον τόπο, προς το παρόν». Αυτό μπορεί να καθησυχάζει σε έναν κλάδο όπου τα προϊόντα, οι πολιτικές και οι προσδοκίες αλλάζουν γρήγορα. Όμως η ορατότητα δεν ισοδυναμεί με λογοδοσία. Ένας φιλόξενος χώρος μπορεί να κάνει μια τεχνολογία να φαίνεται πιο οικεία, χωρίς να μας πληροφορεί πώς εκπαιδεύτηκε, σε ποιες περιπτώσεις είναι αξιόπιστη ή τι δυνατότητες έχει κάποιος να ζητήσει επανόρθωση όταν κάνει σοβαρό λάθος.

Αυτή η διάκριση θυμίζει μια ιδέα στην οποία επανέρχομαι εδώ και χρόνια: οι ψηφιακές εμπειρίες δεν είναι ποτέ αποκλειστικά ψηφιακές. Οι άνθρωποι τις βιώνουν μέσα σε χώρους, σχέσεις και θεσμούς. Το ζήτημα του σχεδιασμού δεν είναι απλώς πώς θα κάνουμε ένα σύστημα ΤΝ να φαίνεται προσιτό. Είναι αν η εμπειρία βοηθά τους ανθρώπους να κατανοήσουν τα όρια του συστήματος και να διατηρήσουν ουσιαστικό έλεγχο.

Η συζήτηση για τη συνείδηση —και οι άνθρωποι που ήδη επηρεάζονται

Η ίδια διάκριση έχει σημασία και στις συζητήσεις για τη συνείδηση της ΤΝ. Υπάρχει πραγματική διαφωνία ως προς το αν είναι δυνατή η συνείδηση των μηχανών, ποια στοιχεία θα θεωρούνταν επαρκή και πώς θα πρέπει η αβεβαιότητα να επηρεάζει τις ευθύνες μας. Το επιχείρημα του Anil Seth στο Noema υποστηρίζει ότι η νοημοσύνη και η συνείδηση δεν πρέπει να θεωρούνται ταυτόσημες έννοιες· πρόσφατα ρεπορτάζ του The Guardian εξηγούν επίσης γιατί το ζήτημα παραμένει ανοιχτό. Η συζήτηση αυτή δεν επιδέχεται εύκολες απαντήσεις.

Όμως η αβεβαιότητα σχετικά με την εσωτερική ζωή μιας μηχανής δεν καθιστά αβέβαια τα σημερινά ερωτήματα για τις συνέπειες στους ανθρώπους. Η ευθύνη δεν αρχίζει μόνο όταν καταλήξουμε στο τι είναι η συνείδηση. Αρχίζει όταν οργανισμοί κατασκευάζουν, αναπτύσσουν και αποκομίζουν κέρδη από συστήματα που επηρεάζουν ανθρώπους.

Ας εξετάσουμε τα ερωτήματα που μπορούμε να διερευνήσουμε τώρα. Ποιες πληροφορίες χρησιμοποιήθηκαν για την εκπαίδευση ενός συστήματος και υπό ποιες συνθήκες; Ποιοι προετοιμάζουν και ελέγχουν τις απαντήσεις του; Πώς αποδίδει σε διαφορετικές ομάδες; Τι συμβαίνει όταν ένα σύστημα χρησιμοποιείται στην υγειονομική περίθαλψη, στις προσλήψεις, στην εκπαίδευση ή στις δημόσιες υπηρεσίες; Μπορεί κάποιος να αμφισβητήσει μια αυτοματοποιημένη σύσταση, να απευθυνθεί σε έναν αρμόδιο άνθρωπο για να λάβει απόφαση και να πάρει μια ουσιαστική εξήγηση;

Δεν πρόκειται για υποθετικούς προβληματισμούς. Μια ανασκόπηση των προκαταλήψεων στην ιατρική ΤΝ περιγράφει πώς τα μεροληπτικά δεδομένα και οι επιλογές σχεδιασμού μπορούν να συμβάλουν σε άνισες κλινικές αποφάσεις. Η έρευνα για την ΤΝ και την απασχόληση, εν τω μεταξύ, βρίσκεται ακόμη σε εξέλιξη: η ανάλυση της Anthropic για την αγορά εργασίας προσφέρει έναν τρόπο μέτρησης της έκθεσης, ενώ η ανασκόπηση του Hamilton Project επισημαίνει ότι τα στοιχεία για τις ευρύτερες επιπτώσεις στην αγορά εργασίας παραμένουν ελλιπή. Οι πηγές αυτές οδηγούν σε διαφορετικά συμπεράσματα για το τι μπορούμε να πούμε σήμερα, αλλά ενισχύουν την ανάγκη να μετράμε τις επιπτώσεις αντί να υποκαθιστούμε τα στοιχεία με βεβαιότητες.

Υπάρχει και ένας συναφής κίνδυνος στον τρόπο με τον οποίο μιλάμε για τα συστήματα. Ονόματα, φωνές και επικοινωνιακό ύφος που θυμίζουν άνθρωπο μπορούν να κάνουν μια ΤΝ να φαίνεται περισσότερο σαν πρόσωπο παρά σαν προϊόν. Αυτό μπορεί να επηρεάσει την εμπιστοσύνη και τον βαθμό στον οποίο οι άνθρωποι αποδέχονται τις απαντήσεις της χωρίς αμφισβήτηση. Είναι εύλογο να αναρωτηθούμε αν οι συζητήσεις για τη συνείδηση ή ο ανθρωπομορφικός σχεδιασμός μπορούν να αποσπάσουν την προσοχή από τους οργανισμούς που καθορίζουν τους στόχους και τα όρια του συστήματος. Μια ανάλυση στο MIT Technology Review υποστηρίζει ότι οι αφηγήσεις για τη συνείδηση μπορούν να θολώσουν τα ζητήματα εταιρικής ευθύνης. Πρόκειται για επιχείρημα σχετικά με τις επιπτώσεις του τρόπου παρουσίασης του θέματος —όχι για απόδειξη ότι όποιος θέτει το ερώτημα έχει κρυφό κίνητρο.

Η κινδυνολογία για το τέλος του κόσμου δεν είναι σχέδιο διακυβέρνησης

Ο υπαρξιακός κίνδυνος αξίζει σοβαρή προσοχή. Η ύπαρξη κινδύνων που μας απειλούν πιο άμεσα δεν καθιστά λιγότερο σημαντικές τις καταστροφικές εκβάσεις, όπως και η πιθανότητα μιας καταστροφής δεν καθιστά λιγότερο σημαντικούς τους άμεσους κινδύνους. Δεν χρειάζεται να επιλέξουμε έναν χρονικό ορίζοντα και να αγνοήσουμε τον άλλον.

Όταν όμως το «Είμαστε καταδικασμένοι;» γίνεται το μοναδικό θέμα συζήτησης, οι μακροπρόθεσμοι κίνδυνοι παραμερίζουν και πάλι τις σημερινές βλάβες. Η καταστροφή μπορεί να ακούγεται σαν συμπέρασμα και όχι σαν κάλεσμα για δράση: αν η έκβαση είναι αναπόφευκτη, γιατί να καταβάλουμε την επίπονη προσπάθεια να την αλλάξουμε; Ένα ρεπορτάζ του New Yorker για ένα μάθημα σχετικά με τον υπαρξιακό κίνδυνο περιγράφει το ερώτημα ενός φοιτητή για την «οικοδόμηση καθεδρικών ναών»: γιατί να δεσμευτείς να χτίσεις κάτι που μπορεί να επιβιώσει μετά από εσένα, αν πιστεύεις ότι ο κόσμος μπορεί να τελειώσει; Η απάντηση δεν είναι ότι οι κίνδυνοι εξαφανίζονται. Είναι ότι η αβεβαιότητα δεν αναιρεί την ικανότητά μας —ούτε την ευθύνη μας— να αποφασίσουμε τι έχει σημασία στη συνέχεια και να συμβάλουμε στη διαμόρφωση όσων θα ακολουθήσουν.

Αυτό εννοώ όταν μιλώ για τη φιλοσοφία της «στρατηγικής αισιοδοξίας». Δεν πρόκειται για την ανέμελη διαβεβαίωση ότι «όλα θα πάνε καλά», ούτε για άρνηση να εξετάσουμε τα στοιχεία. Σημαίνει να αναγνωρίζουμε τους πραγματικούς κινδύνους, να εργαζόμαστε για να τους μειώσουμε και, παράλληλα, να καταβάλλουμε σοβαρή προσπάθεια για ένα μέλλον που αξίζει να επιδιώξουμε. Η ελπίδα δεν είναι το αντίθετο της αυστηρότητας. Μπορεί να είναι αυτό που κρατά την αυστηρότητα συνδεδεμένη με τη δράση.

Τα ερωτήματα διακυβέρνησης πίσω από το θέαμα

Είτε ένας οργανισμός αγοράζει ένα εργαλείο ΤΝ, είτε αναπτύσσει ένα δικό του, είτε διαμορφώνει πολιτική γύρω από αυτό, τα πρακτικά ερωτήματα είναι λιγότερο εντυπωσιακά από ένα καφέ ή έναν ισχυρισμό περί συνείδησης —και πιο χρήσιμα:

• Σκοπός: Ποιο πρόβλημα προορίζεται να λύσει το σύστημα και είναι η ΤΝ το κατάλληλο εργαλείο γι’ αυτό;
• Τεκμηρίωση: Πώς έχει δοκιμαστεί, μεταξύ άλλων σε διαφορετικούς χρήστες και σε λιγότερο συνηθισμένες περιπτώσεις;
• Όρια: Ποιες αποφάσεις πρέπει να παραμείνουν στα χέρια ενός ανθρώπου και τι δεν μπορεί να κάνει το σύστημα;
• Λογοδοσία: Ποιος φέρει την ευθύνη όταν το σύστημα αποτυγχάνει και πώς μπορούν όσοι επηρεάζονται να ασκήσουν προσφυγή;
• Διαφάνεια: Μπορούν οι άνθρωποι να καταλάβουν πότε χρησιμοποιείται ΤΝ και ποιες πληροφορίες διαμόρφωσαν το αποτέλεσμά της;
• Διαρκής εποπτεία: Ποιος παρακολουθεί τις επιδόσεις, τα δεδομένα που μεταβάλλονται και τις ανεπιθύμητες επιπτώσεις μετά τη διάθεση του συστήματος;

Πλαίσια όπως το Πλαίσιο Διαχείρισης Κινδύνων ΤΝ του NIST προσφέρουν στους οργανισμούς έναν δομημένο τρόπο για να εντοπίζουν και να διαχειρίζονται κινδύνους σε όλο τον κύκλο ζωής ενός συστήματος ΤΝ. Κανένα πλαίσιο δεν μπορεί να υποκαταστήσει την κρίση ή τον δημόσιο διάλογο, αλλά η διακυβέρνηση γίνεται πιο συγκεκριμένη όταν οι αρμοδιότητες, οι δοκιμές και οι διαδικασίες προσφυγής είναι σαφείς.

Υπάρχει επίσης ένα φυσικό επίπεδο που πρέπει να διέπεται. Η ΤΝ εξαρτάται από κέντρα δεδομένων, ηλεκτρική ενέργεια, νερό, γη και χρηματοδότηση —όχι μόνο από διεπαφές. Το ρεπορτάζ σχετικά με τη χρηματοδοτική δομή ενός μεγάλου έργου κέντρου δεδομένων εγείρει ερωτήματα για τον τρόπο με τον οποίο δημοσιοποιούνται οι κίνδυνοι των υποδομών και για το ποιος τελικά επωμίζεται τις συνέπειές τους. Ένα καφέ μπορεί να βοηθήσει τους ανθρώπους να έρθουν σε επαφή με την ΤΝ· από μόνο του, όμως, δεν μπορεί να καταστήσει κατανοητές τις υποδομές που βρίσκονται πίσω της.

Απολαύστε, λοιπόν, το καφέ. Θέστε τα μεγάλα ερωτήματα για τη συνείδηση. Αντιμετωπίστε σοβαρά τον καταστροφικό κίνδυνο. Έπειτα, επιστρέψτε στις αποφάσεις που μπορούμε να εξετάσουμε και να επηρεάσουμε τώρα: τι κατασκευάζεται, ποιοι ωφελούνται, ποιοι επωμίζονται το κόστος και ποιες δικλίδες ασφαλείας υπάρχουν όταν κάτι πάει στραβά.

Το μέλλον δεν είναι μια ετυμηγορία που ανακοινώνεται σε έναν τίτλο. Είναι ένα σύνολο επιλογών —που κάνουν εταιρείες, θεσμοί, κυβερνήσεις και κοινότητες— οι οποίες μπορούν ακόμη να αμφισβητηθούν και να αλλάξουν. Το πιο χρήσιμο ερώτημα δεν είναι μόνο αν είμαστε καταδικασμένοι. Είναι ποιες συνθήκες θα έκαναν την ΤΝ να υπηρετεί την ανθρώπινη ευημερία και τι είμαστε διατεθειμένοι να κάνουμε για να τις διαμορφώσουμε.