Το πρόβλημα της διασκορπισμένης ευθύνης στην υγεία

Στην υγεία, το AI είναι πλέον εμβυθισμένο σε όλα, από τις κλινικές αποφάσεις μέχρι την HR και τις финάνσεις. Ωστόσο, πολλές οργανώσεις ακόμη λείπουν από την απαραίτητη διαχείριση του κινδύνου για να εξασφαλίσουν ότι τα εργαλεία AI δεν θα προκαλέσουν ζημιά. Η απουσία δομημένης εποπτείας σημαίνει ότι οι αποφάσεις που σχετίζονται με το AI λαμβάνονται χωρίς σαφή ευθύνη, εκθέτοντας τις οργανώσεις στο κίνδυνο παραβιάσεων ηθικής και κανονιστικής φύσεως.

Όταν κανείς δεν είναι υπεύθυνος για τις αποφάσεις και τις ενέργειες του AI, τα τυφλά σημεία θα επεκταθούν γρήγορα. Οι συνέπειες ενός συστήματος AI που λαμβάνει αποφάσεις υψηλού κινδύνου χωρίς εποπτεία είναι πολλές και εκτεταμένες, ιδιαίτερα όταν οι ζωές των ανθρώπων κρέμονται από μια κλωστή.

Σήμερα, τα κενά διακυβέρνησης του AI μοιάζουν πολύ με προηγούμενες σημειακές στιγμές όπου η τεχνολογική καμπύλη έγινε πιο απότομη από την ικανότητα της επιχείρησης να την διαχειριστεί. Πέρασα από αυτό με την υπολογιστική στο cloud: οι ομάδες υιοθέτησαν SaaS, IaaS και “σκιώδη IT” για να προχωρήσουν γρηγορότερα, ενώ η διακυβέρνηση έμεινε πίσω σε βασικά θέματα όπως η ταξινόμηση δεδομένων, η διαχείριση ταυτότητας και πρόσβασης, η εποπτεία προμηθευτών, η καταγραφή/παρακολούθηση και η σαφήνεια των κοινών ευθυνών—τσι η ευθύνη διασκορπίστηκε σε IT, ασφάλεια, προμήθειες και επιχείρηση. Έχουμε επίσης δει αυτό με την ταχεία καταναλωτική εξέλιξη της τεχνολογίας και των mobile/BYOD, όπου οι εργαζόμενοι έφεραν новые συσκευές και εφαρμογές σε ρυθμιζόμενους περιβάλλοντες πολύ πριν οι οργανώσεις είχαν ωριμές πολιτικές για κρυπτογράφηση, έλεγχο τελικού σημείου, έλεγχο εφαρμογών και αναζήτηση ηλεκτρονικών αρχείων. Σε κάθε περίπτωση, η υιοθέτηση ήταν ορθολογική και συχνά δημιουργούσε αξία — αλλά η απουσία σαφούς ιδιοκτησίας, τυποποιημένων ελέγχων και εποπτείας ζωής κυκλώματος δημιούργησε προβλέψιμες αποτυχίες. Η διδαχή για το AI είναι απλή: η διακυβέρνηση δεν μπορεί να είναι μια δευτερεύουσα σκέψη που προστίθεται στην καινοτομία· πρέπει να χτιστεί όπως και άλλα κρίσιμα υποδομή—σκόπιμα, με καθορισμένα δικαιώματα αποφάσεων, συνεχή παρακολούθηση και επιβαλλόμενες φραγμούς.

Το πρόβλημα της διασκορπισμένης ευθύνης

Η ταχεία ανάπτυξη του AI έχει ξεπεράσει την ανάπτυξη προτύπων διακυβέρνησης και ευθύνης, οδηγώντας σε ένα “κενό διασκορπισμένης ευθύνης” όπου δεν υπάρχει ένα ενιαίο όργανο που να αναλαμβάνει την ευθύνη όταν το AI αποτυγχάνει.

Η ευθύνη είναι ήδη ένα πανταχού παρούμενο ζήτημα στην υγεία, και το AI έχει μόνο φέρει νέες προκλήσεις. Τα εργαλεία AI δεν έχουν αναγνωρισμένη νομική ταυτότητα, που σημαίνει ότι δεν μπορούν να μηνυθούν ή να ασφαλιστούν, ούτε μπορούν να πληρώσουν νομική αποζημίωση σε θύματα. Σε νομικές διαδικασίες, η ευθύνη πρέπει να μεταφερθεί σε ανθρώπινο δράστη ή σε εταιρεία, όχι σε ένα εργαλείο.

Ερευνητές στο The Lancet, einem ηγετικό ιατρικό ερευνητικό περιοδικό, αργά επιχειρηματολογούσαν ότι “οι δομές ευθύνης των ιδρυμάτων πρέπει να ανακατανέμουν την ευθύνη από τους κλινικούς γιατρούς στις οργανώσεις που σχεδιάζουν και αναπτύσσουν [εργαλεία AI]”. Είναι σαφές ότι τέτοιου είδους ερωτήματα σχετικά με την ευθύνη θα παραμείνουν για πολύ καιρό.

Η Ευρωπαϊκή Ένωση προσπαθεί να αντιμετωπίσει αυτά τα ζητήματα σε περιφερειακό επίπεδο. Η ένωση έχει εισαγάγει δύο σημαντικά νομοθετικά όργανα: τον νόμο για το AI, ο οποίος ρυθμίζει τη χρήση του AI ανάλογα με το βαθμό κινδύνου και τονίζει τη διατήρηση της ανθρώπινης εποπτείας· και την οδηγία ευθύνης του AI, η οποία καθιερώνει новые κανόνες που διευκολύνουν τους ανθρώπους να ζητήσουν αποζημίωση για ζημίες που προκαλούνται από το AI.

Αλλά η ρύθμιση μόνο δεν θα λύσει το πρόβλημα. Τα νοσοκομεία λειτουργούν μέσα σε ένα σύνθετο δίκτυο προμηθευτών, κλινικών, διοικητικών και ομάδων IT, οπότε όταν ένα σύστημα AI παράγει einen βλαβερό ή προκατειλημμένο αποτέλεσμα, η ευθύνη μεταφέρεται σαν μπάλα μεταξύ ενδιαφερόμενων: ο προμηθευτής μπορεί να指ει στην ακατάλληλη χρήση, οι κλινικοί γιατροί μπορεί να πούνε ότι ο σχεδιασμός είναι ελαττωματικός, και η ηγεσία μπορεί να κατηγορήσει την αμφιβολία των κανονισμών.

Όλα αυτά σημαίνουν ότι η ευθύνη είναι διασκορπισμένη, αφήνοντας τα νοσοκομεία ευάλωτα σε μεγάλες νομικές μάχες.

Πρακτικά βήματα για την κλείσιμο των κενών διακυβέρνησης

Η καλή είδηση είναι ότι ακόμη και χωρίς ολοκληρωμένους κανονισμούς, οι οργανώσεις υγείας μπορούν να κλείσουν τα κενά διακυβέρνησης του AI. Για να αρχίσουν, οι ηγέτες μπορούν να ξεκινήσουν με την αναφορά του Παγκόσμιου Οργανισμού Υγείας, “Ηθική και Διακυβέρνηση του Artificial Intelligence για την Υγεία,” η οποία επιδιώκει να μεγιστοποιήσει την υπόσχεση του AI ενώ ελαχιστοποιεί τον κίνδυνο.

Τα βήματα που περιγράφονται σε αυτήν την αναφορά αποσκοπούν να προστατεύσουν την αυτονομία, να προωθήσουν την ανθρώπινη ευημερία και την ασφάλεια του κοινού, να διασφαλίσουν τη διαφάνεια και την εξηγήσιμη, και να προάγουν την ευθύνη και την ευθύνη. Για να αντιμετωπίσουμε τα κενά διακυβέρνησης, ας εστιάσουμε στα δύο τελευταία σημεία.

Εφαρμόστε μια ενιαία προσέγγιση για τη διακυβέρνηση του AI, διασφαλίζοντας ότι είναι κατευθυνμένη από την κορυφή από τις διοικήσεις ή τους εμπειρογνώμονες. Hiện, πολλές οργανώσεις αφήνουν τα τμήματα να χρησιμοποιούν το AI όπου το βλέπουν合适, αφήνοντας τους ηγέτες ανίκανοι να εξηγήσουν πώς και πού η οργάνωση χρησιμοποιεί αυτά τα εργαλεία. Η ορατότητα είναι απαραίτητη, οπότε βεβαιωθείτε ότι έχετε μια λίστα με τα ακριβή εργαλεία που χρησιμοποιούνται πού και για ποιο σκοπό.

Είναι εξίσου σημαντικό να καθορίσετε σαφείς γραμμές ευθύνης σε όλη τη διάρκεια ζωής του AI. Αυτό σημαίνει να καθορίσετε ένα πρόσωπο ή τμήμα υπεύθυνο για όλα, από την προμήθεια και την επικύρωση έως την αναπτύξη, την παρακολούθηση και την ανταπόκριση σε περιστατικά. Τα νοσοκομεία πρέπει να απαιτήσουν από τους προμηθευτές να πληρούν ορισμένα πρότυπα διαφάνειας και ελέγχου, και να διασφαλίσουν ότι οι εσωτερικές ομάδες είναι εκπαιδευμένες να κατανοούν τόσο τις ικανότητες όσο και τους περιορισμούς των συστημάτων AI.

Τέλος, η διακυβέρνηση πρέπει να λειτουργηθεί, όχι μόνο να καταγραφεί. Εισαγάγετε τις πολιτικές στις ροές εργασίας ενσωματώνοντας τις αξιολογήσεις κινδύνου του AI στις διαδικασίες προμήθειας, διεξάγοντας τακτικές ελέγχους της απόδοσης του AI, και δημιουργώντας μηχανισμούς για το προσωπικό να αναφέρει τις ανησυχίες χωρίς τριβή.

Στην πράξη, η κλείσιμο του κενού διακυβέρνησης είναι λιγότερο για την εισαγωγή νέων αρχών και περισσότερο για την επιβολή πειθαρχίας: τυποποιήστε τον τρόπο με τον οποίο το AI εισέρχεται στην οργάνωση, καθορίστε ποιος είναι ο ιδιοκτήτης του σε κάθε στάδιο, και διασφαλίστε ότι η απόδοσή του είναι συνεχώς ελεγχόμενη. Χωρίς αυτήν την πειθαρχία, τα εργαλεία AI θα συνεχίσουν να ξεπερνούν τις δομές που έχουν σχεδιαστεί για να τα κρατήσουν ασφαλή.

Ο κρυφός κίνδυνος: η ποιότητα των δεδομένων

Ακόμη και όταν υπάρχουν δομές ευθύνης, ένας άλλος κίνδυνος συχνά υποτιμάται: η ακεραιότητα των δεδομένων που τροφοδοτούν τα συστήματα AI και πώς αυτά τα συστήματα εξελίσσονται με τον καιρό. Κάθε σύστημα AI είναι τόσο αξιόπιστο όσο τα δεδομένα στα οποία έχει εκπαιδευτεί και συνεχίζει να μαθαίνει, και τα περιβάλλοντα δεδομένων των νοσοκομείων είναι γνωστά για την κατακερματισμένη, ασυνέπεδη και προσηλωμένη φύση τους.

Τα ηλεκτρονικά ιατρικά αρχεία, τα συστήματα εικόνας και οι διοικητικές πλατφόρμες λειτουργούν συχνά σε θύλακες, δημιουργώντας ασυμφωνίες που μπορούν να επηρεάσουν直接τικά τα αποτελέσματα του AI. Ένα μοντέλο που έχει εκπαιδευτεί σε непλήρη ή προκατειλημμένα σύνολα δεδομένων μπορεί να παράγει ελαττωματικές συστάσεις που μπορεί να μην γίνουν αντιληπτές μέχρι να έχει ήδη γίνει η ζημιά. Είναι ιδιαίτερα επικίνδυνο σε κλινικές ρυθμίσεις, όπου μικρές αποκλίσεις στην ακρίβεια μπορούν να μεταφραστούν σε σημαντικές συνέπειες για τους ασθενείς.

Ο συνδυασμός αυτού του ζητήματος είναι η “παρέκκλιση του μοντέλου”: η τάση των μοντέλων AI να απομακρύνονται από τις οδηγίες και το контέκστ ως περισσότερα δεδομένα εισέρχονται στο σύστημα. Όσο οι πληθυσμοί των ασθενών εξελίσσονται, νέες πρωτόκολλα θεραπείας εισαγωγής και εξωτερικοί παράγοντες επηρεάζουν τις λειτουργίες, οι βασικές υποθέσεις των εργαλείων AI μπορούν να μετατοπιστούν. Χωρίς συνεχή παρακολούθηση και επανακαλιμπράρισμα, ένα σύστημα AI που λειτουργούσε παλαιότερα με αξιοπιστία μπορεί να αρχίσει να λαμβάνει αποφάσεις ή να προτείνει λύσεις που απομακρύνονται από την εκπαίδευσή του.

Για να αντιμετωπίσουμε την παρέκκλιση του μοντέλου, τα νοσοκομεία πρέπει να αντιμετωπίσουν τα συστήματα AI ως δυναμικά, υψηλού κινδύνου περιουσιακά στοιχεία και όχι ως στατικά εργαλεία. Αυτό σημαίνει την εφαρμογή συνεχούς παρακολούθησης της απόδοσης, την καθορισμό σαφών ορίων για αποδεκτή ακρίβεια, και την καθορισμό της ιδιοκτησίας για την επαναεκπαίδευση και την επικύρωση. Η διακυβέρνηση των δεδομένων πρέπει επίσης να ενισχυθεί, με τυποποιημένες πρακτικές για την ποιότητα των δεδομένων, την διαλειτουργικότητα και την ανίχνευση προκαταλήψεων.

Χωρίς να αντιμετωπίσουμε τους κινδύνους που συνδέονται με την ποιότητα των δεδομένων και την παρέκκλιση του μοντέλου, ακόμη και τα καλύτερα πλαίσια διακυβέρνησης του AI θα αποτύχουν. Για τα συστήματα AI υγείας, τα οποία είναι τόσο καλά όσο τα δεδομένα που τα υποστηρίζουν, η παραβλέψη αυτού του επιπέδου κινδύνου δημιουργεί την δυνατότητα για μια συστημική αποτυχία σε κάποιο σημείο.

Κάντε το σωστά πριν το ξεκινήσετε

Το AI έχει την δυνατότητα να μεταμορφώσει την υγεία βελτιώνοντας την αποτελεσματικότητα, την ακρίβεια και τα αποτελέσματα των ασθενών. Αλλά χωρίς σαφή ιδιοκτησία των κινδύνων που προκύπτουν, αυτή η δυνατότητα μπορεί να γίνει γρήγορα ένα πρόβλημα.

Τα νοσοκομεία δεν μπορούν να αντιμετωπίσουν τη διακυβέρνηση του AI ως μια άσκηση συμμόρφωσης. Πρέπει να αντιμετωπίζεται ως μια βασική λειτουργική προτεραιότητα: καθορίστε την ιδιοκτησία, δομήστε την εποπτεία και αξιολογήστε συνεχώς. Γιατί στην υγεία, όταν κάτι πάει λάθος, οι συνέπειες μπορούν να είναι πολύ χειρότερες από το ποιος είναι ο ένοχος.