Οι Ρητίνες των Οφθαλμών Αποκαλύπτουν Φυλή, Επεκτείνοντας τον Χώρο για Προκαταλήψεις Φυλής στο AI

Εμπνευσμένοι από τις πρόσφατες αποκαλύψεις ότι τα ιατρικά AI εικόνων μπορούν να αποκαλύψουν φυλή, ένα ερευνητικό συνέδριο στις ΗΠΑ και στο Ηνωμένο Βασίλειο έχει διεξαγάγει μια μελέτη για να δει αν οι μοτίβα των φλεβών της ρητίνης είναι ενδεικτικά φυλής και έχει καταλήξει στο συμπέρασμα ότι πράγματι είναι, με το AI να μπορεί να προβλέψει τη φυλή που αναφέρει ο γονέας σε βρέφη από εικόνες της ρητίνης – εικόνες που δεν θα αποκάλυπταν φυλετική ταυτότητα σε ένα ανθρώπινο γιατρό που τις μελετά, και που πιστευόταν ότι δεν περιείχαν κανένα δυνατό για φυλετική αποκάλυψη.

Η ομάδα έχει εκφράσει ανησυχίες ότι αυτή η πρόσθετη διαδικασία φυλετικής στρωματοποίησης στις ιατρικές εικόνες ανοίγει την πιθανότητα για αυξημένες προκαταλήψεις στη χρήση των συστημάτων τεχνητής νοημοσύνης στην υγεία.

Εικόνες ρητίνης από ένα μαύρο και ένα λευκό άτομο. Πάνω, μια πλήρης εικόνα ρητίνης από κάθε φυλή已经 έχει χαρακτηριστικά που διακρίνουν φυλή σε σχέση με τη χρωματική διάθεση. Κάτω, οι χάρτες των αγγείων της ρητίνης που προέρχονται από αυτές τις εικόνες, που υποτίθεται ότι ‘ισοπεδώνουν’ αυτά τα σημάδια φυλής, στην πραγματικότητα περιέχουν χαρακτηριστικά που ταυτοποιούν φυλή, σύμφωνα με τη νέα μελέτη. Πηγή: https://arxiv.org/ftp/arxiv/papers/2109/2109.13845.pdf

Οι συγγραφείς σημειώνουν επίσης την πιθανότητα ότι U-Net, το πλαίσιο μάθησης με μηχανή που έχει οριστεί σε αυτόν τον τομέα της ιατρικής AI, και που έχει εκπαιδευτεί σε πřevážně λευκούς υποκειμένους*, μπορεί να έχει επίδραση σε αυτό το φαινόμενο. Ωστόσο, οι συγγραφείς δηλώνουν ότι δεν είναι ‘ακόμη δεν μπορούν να εξηγήσουν πλήρως αυτά τα ευρήματα με βάση την υπόθεση U-Net’.

Σχολιάζοντας τα ευρήματα στο συνδεδεμένο репозиторί GitHub, οι συγγραφείς δηλώνουν:

‘Το AI μπορεί να ανιχνεύσει φυλή από εικόνες ρητίνης που δεν περιέχουν φυλετική πληροφορία. Δύο πιθανές εξηγήσεις για αυτά τα ευρήματα είναι ότι: τα αγγεία της ρητίνης διαφέρουν φυσιολογικά μεταξύ μαύρων και λευκών βρεφών ή το U-Net τμηματογραφεί τα αγγεία της ρητίνης διαφορετικά για διάφορες πιγκμενταції.

‘…Είτε τρόπος, οι επιπτώσεις παραμένουν οι ίδιες: τα αλγόριθμοι AI έχουν δυνατότητα να δείξουν φυλετική προκατάληψη στην πράξη, ακόμη και όταν οι αρχικές προσπάθειες να αφαιρέσουν τέτοιες πληροφορίες από τις υποκείμενες εικόνες φαίνονται να είναι επιτυχείς.’

Το έγγραφο έχει τον τίτλο Δεν Είναι Χρωματίζοντας: Το AI Προβλέπει Φυλετική Ταυτότητα από Μαύρες και Λευκές Εικόνες Ρητίνης, και είναι μια ισότιμη συνεργασία μεταξύ γιατρών και ερευνητών από πέντε ιδρύματα και ερευνητικά τμήματα στις ΗΠΑ, και ενός στο Ηνωμένο Βασίλειο.

Οι γιατροί που συμμετέχουν στην ερευνητική ομάδα περιλαμβάνουν R.V. Paul Chan, MD, MSc, FACS, πιστοποιημένο σε οφθαλμολογία, και συνεργάτη του Αμερικανικού Κολλεγίου Χειρουργών; Michael F. Chiang, M.D., Διευθυντής του Εθνικού Ινστιτούτου Οφθαλμολογίας στο Εθνικό Ίδρυμα Υγείας στο Μπεθέσδα, Μέριλαντ; και J. Peter Campbell M.D., M.P.H., Αναπληρωτής Καθηγητής Οφθαλμολογίας στη Σχολή Ιατρικής στο Πανεπιστήμιο του Όρεγκον στο Πόρτλαντ.

Τα Μάτια Έχουν Αυτό

Το έγγραφο σημειώνει την προηγουμένως αποδεδειγμένη δυνατότητα για προκαταλήψεις ανθρώπινης προέλευσης να μεταφερθούν σε ιατρικά συστήματα AI, όχι μόνο στη μελέτη των οφθαλμών*. Οι εικόνες ρητίνης (RFI, βλέπε σύγκριση εικόνων παραπάνω), που χρησιμοποιούνται για την αξιολόγηση οφθαλμικών παθήσεων, είναι εικόνες πλήρους χρώματος που περιέχουν αρκετή πληροφορία χρωματισμού για να αναγνωρίσουν φυλή.

Οι χάρτες των αγγείων της ρητίνης (RVMs) απορρίπτουν την περισσότερη από αυτή την πληροφορία για να εξαγάγουν το υποκείμενο μοτίβο των καπιλαρίων που πιθανότατα να ορίσουν πολλές παθήσεις. Πάντα θεωρήθηκε, σε αυτό το επίπεδο απόσταξης, ότι δεν υπάρχουν φυλετικές χαρακτηριστικές σε τέτοιες ελάττωμα ιατρικές εικόνες.

Οι συγγραφείς έχουν δοκιμάσει αυτή την υπόθεση με τη χρήση ενός συνόλου δεδομένων RFI (πλήρεις εικόνες ρητίνης) που λήφθηκαν από βρέφη που ελέγχθηκαν για μια πιθανώς τυφλώνα ασθένεια. Ο έλεγχος για τέτοιες εικόνες, σημειώνουν οι συγγραφείς, εμφανίζεται όλο και περισσότερο εκτός προσωπικών συνεδριών, σε τηλειατρική και άλλες απομακρυσμένες διαγνωστικές περιπτώσεις, και γίνεται όλο και περισσότερο αντικείμενο ανάλυσης με μάθηση με μηχανή.

Η νέα μελέτη εξετάζει αν διάφορες μορφές ελαττωματικών εκδόσεων των εικόνων ρητίνης που αναγνωρίζουν φυλή διατηρούν φυλετική πληροφορία, όπως αναφέρεται από τους γονείς των βρεφών, και έχει βρει ότι ακόμη και οι πιο καταστροφικές αποστάξεις των RFI (thresholded, skeletonized και binarized) επιτρέπουν κάποιο επίπεδο αναγνώρισης φυλής.

Δεδομένα και Μεθοδολογία

Δεδομένα από 245 βρέφη, συλλεγμένα μεταξύ Ιανουαρίου 2012 και Ιουλίου 2020 ως μέρος μιας μελέτης i-ROP, χωρίστηκαν σε συνόλου δεδομένων εκπαίδευσης, επικύρωσης και δοκιμής με αναλογία 50/20/30, αντίστοιχα, με φυσική κατανομή φυλών που διατηρήθηκε όσο το δυνατόν καλύτερα.

Οι εικόνες ρητίνης σε χρώμα μειώθηκαν σε τρεις προαναφερθέντες ελαττωματικούς τύπους εικόνων, ώστε τα ‘πρόδηλα’ σημάδια φυλής να αφαιρεθούν τεχνικά από τα δεδομένα.

Πολλαπλά Δίκτυα Νοημοσύνης (CNNs) εκπαιδεύτηκαν για να επιτύχουν δίτιμη ταξινόμηση (‘μαύρο’/’λευκό’, με βάση τη φυλή που αναφέρουν οι γονείς) χρησιμοποιώντας PyTorch. Τα CNNs έτρεξαν τα δεδομένα σε όλες τις εκδόσεις των εικόνων, από RFI μέχρι τις σκελετωμένες εκδόσεις, εφαρμόζοντας τις συνήθεις τυχαίες αναστροφές και περιστροφές, με τις παραγώμενες εικόνες να έχουν ανάλυση 224×244 εικονοστοιχείων.

Τα μοντέλα εκπαιδεύτηκαν με στατιστική καθοδήγηση για μέχρι δέκα επαναλήψεις με σταθερό ρυθμό μάθησης 0,001, και νωρίς διακοπή εφαρμόστηκε και η εκπαίδευση σταμάτησε όπου θεωρήθηκε σύγκλιση μετά από πέντε επαναλήψεις (δηλαδή το μοντέλο δεν θα γινόταν πιο ακριβές με περαιτέρω εκπαίδευση).

Καθώς υπήρχε φυσική αsymmetρία μεταξύ λευκών και μαύρων υποκειμένων, εφαρμόστηκε αντιστάθμιση για να διασφαλιστεί ότι οι μειονοτικές πηγές δεν θα αποκλείονταν συστηματικά ως περιθωριακά, και τα αποτελέσματα ελέγχθηκαν για να επιβεβαιώσουν ότι δεν συνέβη keine διαρροή δεδομένων μεταξύ των πειραμάτων.

Δείγματα χαρτών ρητίνης από τη μελέτη σε διάφορες στάθμες αντοχής.

Αποτελέσματα

Οι χάρτες των αγγείων της ρητίνης (RVMs), που εξάγουν τα αγγεία και τα καπιλάρια από τις εικόνες ρητίνης σε χρώμα, δεν θα πρέπει θεωρητικά να είναι αναγνωρίσιμοι από ένα CNN, σύμφωνα με τους συγγραφείς. Ωστόσο, τα αποτελέσματα έχουν δείξει ότι ένας μεγαλύτερος αριθμός μεγάλων αρτηριών έχει τμηματογραφηθεί από το U-Net για λευκά μάτια παρά για μαύρα.

Στις τελικές παρατηρήσεις, οι ερευνητές παρατηρούν ‘Βρήκαμε ότι το AI ήταν σε θέση να προβλέψει τη φυλή των βρεφών από χάρτες αγγείων ρητίνης που δεν περιέχουν ορατή πληροφορία σχετικά με χρωματισμό‘, και ότι ‘ακόμη και εικόνες που φαίνονταν να лишены πληροφοριών για το γυμνό μάτι διατηρούσαν προβλεπτική πληροφορία για τη φυλή του αρχικού βρέφους’. Οι ερευνητές προσφέρουν επίσης τη δυνατότητα ότι τα αγγεία της ρητίνης των μαύρων και λευκών βρεφών διαφέρουν ‘σε κάποιο τρόπο που το AI μπορεί να εκτιμήσει, αλλά οι άνθρωποι δεν μπορούν’.

Προηγούμενη Προκατάληψη;

Οι συγγραφείς επίσης προτείνουν ότι η διάκριση μπορεί να είναι μια λειτουργία των δεδομένων που κυριαρχούν στα λευκά, στα οποία το U-Net εκπαιδεύτηκε αρχικά. Αν και περιγράφουν αυτό ως την ‘ηγετική θεωρία’ τους, επίσης παραδέχονται ότι οι ικανότητες των αισθητήρων μπορεί να είναι ένας παράγοντας στο φαινόμενο, εάν αποδειχθεί ότι η ανακαλυφθείσα προκατάληψη είναι μια παράγωγη των τεχνικών аспектών των πρακτικών απεικόνισης ρητίνης, ή της προκατάληψης δεδομένων στο U-Net που αυτοαναπαράγεται με τα χρόνια. Διευθύνοντας αυτές τις δυνατότητες, το έγγραφο παραδέχεται:

‘Ωστόσο, το U-Net εκπαιδεύτηκε σε RFI που πρώτα μετατράπηκαν σε εικόνες σε χρώμα και υποβέθηκαν σε điều chỉnh αντίθεσης — συγκεκριμένα, σε ισοποίηση ιστογράμματος με περιορισμένη αντίθεση (CLAHE) — και因此 δεν εκπαιδεύτηκε ποτέ σε χρωματικές RFI. Έτσι, δεν μπορούμε ακόμη να εξηγήσουμε πλήρως αυτά τα ευρήματα με βάση την υπόθεση U-Net.’

Ωστόσο, οι συγγραφείς δηλώνουν ότι η αιτία είναι λιγότερο ανησυχητική από το αποτέλεσμα, δηλώνοντας ότι η ικανότητα των μοντέλων AI να διακρίνουν φυλή συνεπάγεται ένα πιθανό ‘κίνδυνο προκατάληψης στα ιατρικά αλγόριθμοι AI που τα χρησιμοποιούν ως είσοδο’.

Οι συγγραφείς σημειώνουν την υψηλή αντίθεση της φυλής που μελετήθηκε, και υποθέτουν ότι ‘μεσολαβικές’ φυλετικές ομάδες μπορεί να είναι πιο δύσκολο να αναγνωριστούν με παρόμοιους τρόπους, και ότι αυτό είναι ένα аспект που σκοπεύουν να μελετήσουν σε συνεχιζόμενες και συναφείς εργασίες.

* Όλοι οι συνδεδεμένοι σύνδεσμοι που παρέχονται από το έγγραφο και περιλαμβάνονται σε αυτό το άρθρο έχουν μετατραπεί από περιορισμένους σύνδεσμους PaperPile σε δημόσιες διαθέσιμες εκδόσεις, όπου αυτό είναι δυνατό.