Η Υγεία AI Έχει Ένα Πρόβλημα Ευθύνης

Στην υγεία, η τεχνητή νοημοσύνη είναι τώρα ενσωματωμένη σε όλα, από τις κλινικές αποφάσεις μέχρι την HR και τις финанси. Ωστόσο, πολλές οργανώσεις ακόμη λείπουν από την απαραίτητη αντιπρόσωπος διαχείρισης ρίσκου για να διασφαλίσουν ότι τα εργαλεία AI δεν θα προκαλέσουν ζημιά. Η απουσία δομημένης εποπτείας σημαίνει ότι οι αποφάσεις που σχετίζονται με την τεχνητή νοημοσύνη λαμβάνονται χωρίς σαφή ευθύνη, εκθέτοντας τις οργανώσεις στον κίνδυνο παραβιάσεων ηθικής και ρυθμιστικών προδιαγραφών.

Όταν κανείς δεν είναι υπεύθυνος για τις αποφάσεις και τις ενέργειες της τεχνητής νοημοσύνης, τα τυφλά σημεία θα επεκταθούν γρήγορα. Οι συνέπειες ενός συστήματος τεχνητής νοημοσύνης που λαμβάνει αποφάσεις υψηλού κινδύνου χωρίς εποπτεία είναι πολλές και μακροπρόθεσμες, ιδιαίτερα όταν οι ζωές των ανθρώπων είναι στο στόχο.

Σήμερα, οι κενές διορθώσεις της διακυβέρνησης της τεχνητής νοημοσύνης μοιάζουν πολύ με προηγούμενες σημεία όπου η τεχνολογική καμπύλη έγινε πιο απότομη από την ικανότητα της επιχείρησης να τη διαχειριστεί. Πέρασα από αυτό με την υπολογιστική στο cloud: οι ομάδες υιοθέτησαν SaaS, IaaS και “σκιώδη IT” για να κινηθούν πιο γρήγορα, ενώ η διακυβέρνηση παρέμεινε πίσω σε βασικά στοιχεία όπως η ταξινόμηση δεδομένων, η διαχείριση ταυτότητας και πρόσβασης, η εποπτεία προμηθευτών, η καταγραφή/παρακολούθηση και η σαφήνεια των κοινών ευθυνών—ώστε η ευθύνη να διασκορπистεί σε IT, ασφάλεια, προμήθειες και επιχείρηση. Έχουμε επίσης δει αυτό με τη γρήγορη καταναλωτική εξέλιξη της τεχνολογίας και των mobile/BYOD, όπου οι εργαζόμενοι έφεραν νέα συσκευές και εφαρμογές σε ρυθμισμένα περιβάλλοντα πολύ πριν οι οργανώσεις είχαν ωριμές πολιτικές για κρυπτογράφηση, έλεγχο τελικού σημείου, έλεγχο εφαρμογών και e-ανακάλυψη. Σε κάθε περίπτωση, η υιοθέτηση ήταν ορθολογική και συχνά δημιουργική αξίας — αλλά η απουσία σαφούς ιδιοκτησίας, τυποποιημένων ελέγχων και εποπτείας ζωής κυκλώματος δημιούργησε προβλέψιμες αποτυχίες. Η διδασκαλία για την τεχνητή νοημοσύνη είναι απλή: η διακυβέρνηση δεν μπορεί να είναι ένα επιπρόσθετο στοιχείο που προστίθεται στην καινοτομία· πρέπει να κατασκευαστεί όπως και άλλα κρίσιμα υποδομή—σκόπιμα, με ορισμένα δικαιώματα αποφάσεων, συνεχής παρακολούθηση και επιβαλλόμενες φρουρές.

Το πρόβλημα με τη διασκορπισμένη ευθύνη

Η ταχεία ανάπτυξη της τεχνητής νοημοσύνης έχει ξεπεράσει την ανάπτυξη προτύπων διακυβέρνησης και ευθύνης, οδηγώντας σε ένα “διασκορπισμένο κενό ευθύνης” όπου κανείς δεν αναλαμβάνει την ευθύνη όταν η τεχνητή νοημοσύνη αποτυγχάνει.

Η ευθύνη είναι ήδη ένα πανταχού παρούμενο ζήτημα στην υγεία, και η τεχνητή νοημοσύνη έχει μόνο φέρει новые προκλήσεις. Τα εργαλεία της τεχνητής νοημοσύνης δεν έχουν αναγνωρισμένη νομική ταυτότητα, που σημαίνει ότι δεν μπορούν να μηνυθούν ή να ασφαλιστούν, ούτε μπορούν να πληρώσουν νομική αποζημίωση σε θύματα. Σε νομικές διαδικασίες, η ευθύνη πρέπει να μεταφερθεί σε ανθρώπινη ενέργεια ή σε εταιρεία, όχι σε εργαλείο.

Ερευνητές στο The Lancet, einem από τα κορυφαία ιατρικά ερευνητικά περιοδικά, αργά επιχειρηματολογούν ότι “οι ιδρυματικές ευθύνες πρέπει να αναδιανέμουν την ευθύνη από τους κλινικούς για τις οργανώσεις που σχεδιάζουν και αναπτύσσουν [εργαλεία AI]”. Είναι σαφές ότι τέτοιου είδους ερωτήσεις σχετικά με την ευθύνη θα παραμείνουν πολύ καιρό στο μέλλον.

Η Ευρωπαϊκή Ένωση προσπαθεί να αντιμετωπίσει αυτά τα ζητήματα σε περιφερειακό επίπεδο. Η ένωση έχει εισαγάγει δύο σημαντικά νομοθετικά όργανα: τον νόμο για την τεχνητή νοημοσύνη, ο οποίος ρυθμίζει τη χρήση της τεχνητής νοημοσύνης ανάλογα με το βαθμό κινδύνου και τονίζει τη διατήρηση της ανθρώπινης εποπτείας· και τον οδηγό ευθύνης της τεχνητής νοημοσύνης, ο οποίος καθορίζει новые κανόνες που κάνουν ευκολότερο για τους ανθρώπους να ζητήσουν αποζημίωση για ζημίες που προκαλούνται από την τεχνητή νοημοσύνη.

Αλλά η ρύθμιση μόνο δεν θα λύσει το πρόβλημα. Τα νοσοκομεία λειτουργούν μέσα σε ένα σύνθετο δίκτυο προμηθευτών, κλινικών, διοικητικών και ομάδων IT, ώστε όταν ένα σύστημα τεχνητής νοημοσύνης παράγει một βλαβερό ή προκατειλημμένο αποτέλεσμα, η ευθύνη μεταφέρεται σαν μπάλα μεταξύ ενδιαφερόμενων: ο προμηθευτής μπορεί να指ει σε λανθασμένη χρήση, οι κλινικοί μπορεί να λένε ότι ο σχεδιασμός είναι ελαττωματικός, και η ηγεσία μπορεί να κατηγορήσει την αμφιβολία των ρυθμίσεων.

Όλα αυτά σημαίνουν ότι η ευθύνη είναι διασκορπισμένη, αφήνοντας τα νοσοκομεία ευάλωτα σε μεγάλες νομικές μάχες.

Πρακτικά βήματα για την κλείσιμο των κενών διακυβέρνησης

Η καλή είδηση είναι ότι ακόμη και χωρίς ολοκληρωμένες ρυθμίσεις, οι οργανώσεις υγείας μπορούν να κλείσουν τα κενά στη διακυβέρνηση της τεχνητής νοημοσύνης. Για να αρχίσουν, οι ηγέτες μπορούν να αρχίσουν με την αναφορά του Παγκόσμιου Οργανισμού Υγείας, “Ηθική και Διακυβέρνηση της Τεχνητής Νοημοσύνης για την Υγεία,” η οποία επιδιώκει να μεγιστοποιήσει την υπόσχεση της τεχνητής νοημοσύνης ενώ μειώνει τον κίνδυνο.

Τα βήματα που περιγράφονται σε αυτήν την αναφορά αποσκοπούν στην προστασία της αυτονομίας, την προώθηση της ευημερίας και της ασφάλειας των ανθρώπων, την διασφάλιση της διαφάνειας και της ερμηνευσιμότητας, και την προώθηση της ευθύνης και της ευθύνης. Για να αντιμετωπίσουμε τα κενά διακυβέρνησης, ας εστιάσουμε στις δύο τελευταίες σημεία.

Εφαρμόστε μια ενοποιημένη προσέγγιση στη διακυβέρνηση της τεχνητής νοημοσύνης, διασφαλίζοντας ότι είναι κατευθυνόμενη από την κορυφή από διοικητικά συμβούλια ή εμπειρογνώμονες. Τώρα, πολλές οργανώσεις αφήνουν τα τμήματα να χρησιμοποιούν την τεχνητή νοημοσύνη όπου το βλέπουν合适, αφήνοντας τους ηγέτες ανίκατους να εξηγήσουν πώς και πού η οργάνωση χρησιμοποιεί αυτά τα εργαλεία. Η ορατότητα είναι परमουθέντη, ώστε να διασφαλίσετε ότι έχετε μια λίστα με τα ακριβή εργαλεία που χρησιμοποιούνται όπου και για ποιο σκοπό.

Είναι εξίσου σημαντικό να καθορίσετε σαφείς γραμμές ευθύνης σε όλη τη διάρκεια ζωής της τεχνητής νοημοσύνης. Αυτό σημαίνει να καθορίσετε ένα πρόσωπο ή τμήμα υπεύθυνο για όλα, από την προμήθεια και την επικύρωση έως την ανάπτυξη, την παρακολούθηση και την ανταπόκριση σε περιστατικά. Τα νοσοκομεία πρέπει να απαιτούν από τους προμηθευτές να πληρούν ορισμένα πρότυπα διαφάνειας και ελέγχου, και να διασφαλίσουν ότι οι εσωτερικές ομάδες είναι εκπαιδευμένες να κατανοούν και τις ικανότητες και τους περιορισμούς των συστημάτων τεχνητής νοημοσύνης.

Τέλος, η διακυβέρνηση πρέπει να λειτουργηθεί, όχι μόνο ναγγραφεί. Εισαγάγετε τις πολιτικές στις ροές εργασίας με την ενσωμάτωση των αξιολογήσεων κινδύνου της τεχνητής νοημοσύνης στις διαδικασίες προμήθειας, την πραγματοποίηση τακτικών ελέγχων της απόδοσης της τεχνητής νοημοσύνης, και τη δημιουργία μηχανισμών για τους εργαζόμενους να αναφέρουν ανησυχίες χωρίς τριβές.

Στην πράξη, η κλείσιμο του κενού διακυβέρνησης είναι λιγότερο για την εισαγωγή νέων αρχών και περισσότερο για την επιβολή πειθαρχίας: τυποποιήστε πώς η τεχνητή νοημοσύνη εισέρχεται στην οργάνωση, ορίστε ποιος την κατέχει σε κάθε στάδιο, και διασφαλίστε ότι η απόδοσή της είναι συνεχώς ελεγχόμενη. Χωρίς αυτήν την πειθαρχία, τα εργαλεία της τεχνητής νοημοσύνης θα συνεχίσουν να ξεπερνούν τις δομές που έχουν σχεδιαστεί για να τις κρατήσουν ασφαλείς.

Το κρυφό κίνδυνο: η ποιότητα των δεδομένων

Ακόμη και όταν οι δομές ευθύνης είναι στη θέση τους, ένας άλλος κίνδυνος συχνά υποτιμάται: η ακεραιότητα των δεδομένων που τροφοδοτούν τα συστήματα τεχνητής νοημοσύνης και πώς αυτά τα συστήματα εξελίσσονται με τον καιρό. Κάθε σύστημα τεχνητής νοημοσύνης είναι τόσο αξιόπιστο όσο και τα δεδομένα στα οποία έχει εκπαιδευτεί και συνεχίζει να μαθαίνει, και τα περιβάλλοντα δεδομένων των νοσοκομείων είναι γνωστά για την κατακερματισμένη, ασυνέπεδη και προβληματική τους φύση.

Τα ηλεκτρονικά ιατρικά αρχεία, τα συστήματα εικόνων και οι διοικητικές πλατφόρμες λειτουργούν συχνά σε θύλακες, δημιουργώντας διακρίσεις που μπορούν να επηρεάσουν直接τικά τα αποτελέσματα της τεχνητής νοημοσύνης. Ένα μοντέλο που έχει εκπαιδευτεί σε ελλιπή ή προκατειλημμένα σύνολα δεδομένων μπορεί να παράγει ελαττωματικές συστάσεις που μπορεί να μην γίνουν αντιληπτές μέχρις ότου η ζημιά έχει ήδη γίνει. Είναι ιδιαίτερα επικίνδυνο σε κλινικά περιβάλλοντα, όπου μικρές αποκλίσεις στην ακρίβεια μπορούν να μεταφραστούν σε σημαντικές συνέπειες για τους ασθενείς.

Ο συνδυασμός αυτού του ζητήματος είναι η ” παρακμή του μοντέλου“: η τάση των μοντέλων της τεχνητής νοημοσύνης να απομακρύνθηκαν από τις οδηγίες και το контекスト καθώς περισσότερα δεδομένα εισέρχονται στο σύστημα. Όταν οι πληθυσμίες των ασθενών εξελίσσονται,新的 θεραπευτικές πρωτόκολλα εισαγωγής και εξωτερικοί παράγοντες επηρεάζουν τις λειτουργίες, οι βασικές υποθέσεις των εργαλείων της τεχνητής νοημοσύνης μπορούν να αλλάξουν. Χωρίς συνεχή παρακολούθηση και επανακαλιμπραίωση, ένα σύστημα τεχνητής νοημοσύνης που λειτουργούσε πάντα με αξιοπιστία μπορεί να αρχίσει να λαμβάνει αποφάσεις ή να προτείνει λύσεις που απομακρύνονται από την εκπαίδευσή του.

Για να αντιμετωπίσουμε την παρακμή του μοντέλου, τα νοσοκομεία πρέπει να αντιμετωπίσουν τα συστήματα της τεχνητής νοημοσύνης ως δυναμικά, υψηλού κινδύνου περιουσιακά στοιχεία και όχι ως στατικά εργαλεία. Αυτό σημαίνει την εφαρμογή συνεχούς παρακολούθησης της απόδοσης, την καθορισμό σαφών ορίων για την αποδεκτή ακρίβεια, και τον καθορισμό της ιδιοκτησίας για την επαναεκπαίδευση και την επικύρωση. Η διακυβέρνηση των δεδομένων πρέπει επίσης να ενισχυθεί, με τυποποιημένες πρακτικές για την ποιότητα των δεδομένων, την διαλειτουργικότητα και την ανίχνευση προκαταλήψεων.

Χωρίς να αντιμετωπίσουμε τους κινδύνους που συνδέονται με την ποιότητα των δεδομένων και την παρακμή του μοντέλου, ακόμη και τα καλύτερα πλαίσια διακυβέρνησης της τεχνητής νοημοσύνης θα αποτύχουν. Για τα συστήματα της τεχνητής νοημοσύνης της υγείας, τα οποία είναι τόσο καλά όσο και τα δεδομένα που τα υποστηρίζουν, η παραβλέψη αυτής της στρώσης του κινδύνου δημιουργεί την πιθανότητα μιας συστημικής αποτυχίας σε κάποιο σημείο.

Κάνε το σωστό πριν το κάνεις να λειτουργήσει

Η τεχνητή νοημοσύνη έχει την δυνατότητα να μεταμορφώσει την υγεία βελτιώνοντας την αποτελεσματικότητα, την ακρίβεια και τα αποτελέσματα των ασθενών. Αλλά χωρίς σαφή ιδιοκτησία των κινδύνων που προκύπτουν, αυτή η δυνατότητα μπορεί να γίνει γρήγορα ένα μειονέκτημα.

Τα νοσοκομεία δεν μπορούν να αντιμετωπίσουν τη διακυβέρνηση της τεχνητής νοημοσύνης ως μια άσκηση συμμόρφωσης. Πρέπει να αντιμετωπίζεται ως một πυρήνα λειτουργική προτεραιότητα: ορίστε την ιδιοκτησία, δομήστε την εποπτεία και αξιολογήστε συνεχώς. Γιατί στην υγεία, όταν κάτι πάει λάθος, οι συνέπειες μπορούν να είναι πολύ χειρότερες από το ποιος είναι υπεύθυνος.