Các Tĩnh mạch Mạng lưới Mống mắt Tiết lộ Chủng tộc, Mở rộng Phạm vi cho Sự thiên vị Chủng tộc của Trí tuệ Nhân tạo

Được启发 bởi những tiết lộ gần đây rằng hình ảnh y tế trí tuệ nhân tạo có thể tiết lộ chủng tộc, một tập đoàn nghiên cứu tại Mỹ và Anh đã thực hiện một nghiên cứu để xem liệu các mẫu tĩnh mạch mống mắt có phải là chỉ số của chủng tộc hay không, và họ đã kết luận rằng điều này确 thực là như vậy, với trí tuệ nhân tạo có thể dự đoán chủng tộc của trẻ sơ sinh từ hình ảnh mống mắt – những hình ảnh mà không tiết lộ danh tính chủng tộc cho một bác sĩ nghiên cứu chúng, và trước đây được cho là không chứa thông tin về chủng tộc.

Nhóm nghiên cứu đã bày tỏ mối quan ngại rằng việc này có thể mở ra khả năng tăng cường thiên vị chủng tộc trong việc sử dụng hệ thống trí tuệ nhân tạo trong chăm sóc sức khỏe.

Hình ảnh mống mắt từ một người da đen và một người da trắng. Trên, hình ảnh mống mắt toàn màu từ mỗi chủng tộc đã có đặc điểm phân biệt chủng tộc liên quan đến sự phân bố màu sắc. Dưới, bản đồ tĩnh mạch mống mắt được dẫn xuất từ những hình ảnh này, vốn được cho là ‘cân bằng’ những điểm neo chủng tộc, thực sự chứa đặc điểm nhận dạng chủng tộc, theo báo cáo mới. Nguồn: https://arxiv.org/ftp/arxiv/papers/2109/2109.13845.pdf

Các tác giả lưu ý rằng U-Net, khuôn khổ học máy đã trở thành tiêu chuẩn trong lĩnh vực này của trí tuệ nhân tạo y tế, và được đào tạo trên chủ yếu là đối tượng da trắng*, có thể có ảnh hưởng đến hiện tượng này. Tuy nhiên, các tác giả khẳng định rằng họ ‘vẫn chưa thể giải thích đầy đủ những phát hiện này dựa trên giả thuyết U-Net alone’.

Bình luận về những phát hiện tại kho lưu trữ GitHub liên quan đến dự án, các tác giả cho biết:

‘Trí tuệ nhân tạo có thể phát hiện chủng tộc từ bản đồ tĩnh mạch mống mắt màu xám [Bản đồ tĩnh mạch mống mắt] không được cho là chứa thông tin về chủng tộc. Hai giải thích có thể cho những phát hiện này là: tĩnh mạch mống mắt khác nhau về mặt sinh lý giữa trẻ sơ sinh da đen và da trắng hoặc U-Net phân đoạn tĩnh mạch mống mắt khác nhau cho các loại sắc tố mống mắt khác nhau.

‘Dù thế nào đi nữa, ý nghĩa vẫn giống nhau: các thuật toán trí tuệ nhân tạo có khả năng thể hiện thiên vị chủng tộc trong thực tế, ngay cả khi những nỗ lực sơ bộ để loại bỏ thông tin này từ hình ảnh cơ bản dường như đã thành công.’

Báo cáo này có tiêu đề Không Màu盲: Trí tuệ nhân tạo Dự đoán Danh tính Chủng tộc từ Phân đoạn Tĩnh mạch Mống mắt Đen và Trắng, và là một sự hợp tác bình đẳng giữa các bác sĩ và nhà nghiên cứu từ năm cơ sở và phòng ban nghiên cứu tại Mỹ, và một tại Anh.

Các bác sĩ tham gia nghiên cứu bao gồm R.V. Paul Chan, MD, MSc, FACS, được chứng nhận bởi hội đồng quản trị về nhãn khoa, và là thành viên của Học viện Phẫu thuật viên Mỹ; Michael F. Chiang, M.D., Giám đốc Viện Mắt Quốc gia tại Viện Y tế Quốc gia ở Bethesda, Maryland; và J. Peter Campbell M.D., M.P.H., Phó giáo sư Nhãn khoa tại Trường Y khoa tại Đại học Y tế và Khoa học Oregon ở Portland.

Mống mắt Có Thể

Báo cáo lưu ý rằng tiềm năng đã được chứng minh trước đây cho thiên vị nguồn gốc từ con người để lan truyền vào hệ thống y tế trí tuệ nhân tạo, không chỉ trong nghiên cứu về mắt*. Hình ảnh mống mắt toàn màu (RFI, xem hình ảnh so sánh trên), được sử dụng để đánh giá bệnh về mắt, là hình ảnh màu đầy đủ chứa đủ thông tin về sắc tố để xác định chủng tộc.

Hình ảnh bản đồ tĩnh mạch mống mắt màu xám (RVM) loại bỏ hầu hết thông tin này để trích xuất mẫu cơ bản của mao mạch có khả năng định nghĩa nhiều tình trạng bệnh. Luôn luôn được cho là rằng, ở mức chiết xuất này, không còn đặc điểm chủng tộc trong những hình ảnh y tế giảm này.

Các tác giả đã kiểm tra giả định này bằng cách sử dụng một tập dữ liệu hình ảnh mống mắt toàn màu (hình ảnh mống mắt đầy màu) thu được từ trẻ sơ sinh được sàng lọc cho một bệnh có thể gây mù. Việc sàng lọc cho những hình ảnh này, các tác giả lưu ý, ngày càng được giới thiệu bên ngoài tư vấn cá nhân, trong chẩn đoán từ xa và các ngữ cảnh chẩn đoán từ xa khác, và đang trở thành chủ đề của phân tích học máy.

Nghiên cứu mới này xem xét liệu các phiên bản giảm của hình ảnh toàn màu xác định chủng tộc có giữ lại thông tin về chủng tộc hay không, như được báo cáo bởi phụ huynh của trẻ sơ sinh, và đã phát hiện ra rằng thậm chí những phiên bản giảm thông tin nhất của RFI (ngưỡng, xương hóa và nhị phân hóa) cho phép một số mức độ xác định chủng tộc.

Dữ liệu và Phương pháp

Dữ liệu từ 245 trẻ sơ sinh, thu thập từ tháng 1 năm 2012 đến tháng 7 năm 2020 như một phần của nghiên cứu i-ROP đa trung tâm, được chia thành tập dữ liệu đào tạo, xác thực và kiểm tra trên cơ sở 50/20/30, tương ứng, với sự phân bố chủng tộc tự nhiên được bảo tồn tốt nhất có thể.

Hình ảnh mống mắt toàn màu được giảm xuống ba phong cách giảm khác nhau, để ‘dấu hiệu chủng tộc rõ ràng’ về mặt kỹ thuật đã được loại bỏ khỏi dữ liệu.

Nhiều Mạng nơ-ron tích chập (CNN) đã được đào tạo để đạt được phân loại nhị phân (‘đen’/’trắng’, dựa trên chủng tộc được báo cáo từ phụ huynh) bằng cách sử dụng PyTorch. Các CNN đã chạy dữ liệu trên tất cả các phiên bản của hình ảnh, từ RFI xuống các phiên bản xương hóa, áp dụng các phép lật và xoay ngẫu nhiên, với hình ảnh dẫn xuất có độ phân giải 224×244 pixel.

Các mô hình được đào tạo với sự giảm gradient ngẫu nhiên trong tối đa mười kỷ với tốc độ học cố định là 0,001, và ngừng sớm được thực hiện và đào tạo ngừng khi hội tụ được nhận thức sau năm kỷ (tức là mô hình sẽ không chính xác hơn với đào tạo thêm).

Vì có sự mất cân bằng dân số tự nhiên giữa các đối tượng da trắng và da đen, việc bù đắp đã được áp dụng để đảm bảo rằng các nguồn thiểu số không bị hệ thống loại bỏ như các ngoại lệ, và kết quả đã được kiểm tra chéo để xác minh rằng không có sự rò rỉ dữ liệu xảy ra trên các thí nghiệm.

Mẫu bản đồ tĩnh mạch mống mắt từ nghiên cứu ở các mức ngưỡng khác nhau.

Kết quả

Bản đồ tĩnh mạch mống mắt (RVM), trích xuất tĩnh mạch và mao mạch từ hình ảnh mống mắt toàn màu, về mặt lý thuyết không nên phân biệt được chủng tộc bởi một CNN, theo các tác giả. Tuy nhiên, kết quả đã chỉ ra rằng số lượng động mạch chính được phân đoạn bởi U-Net cho mắt da trắng nhiều hơn so với mắt da đen.

Trong lời bình luận kết thúc, các nhà nghiên cứu quan sát ‘Chúng tôi đã phát hiện ra rằng trí tuệ nhân tạo có thể dễ dàng dự đoán chủng tộc của trẻ sơ sinh từ phân đoạn tĩnh mạch mống mắt không chứa thông tin về sắc tố‘, và rằng ‘thậm chí những hình ảnh dường như không chứa thông tin cho mắt thường cũng giữ lại thông tin dự đoán về chủng tộc của trẻ sơ sinh ban đầu’. Các nhà nghiên cứu cũng đưa ra khả năng rằng tĩnh mạch mống mắt của trẻ sơ sinh da đen và da trắng khác nhau ‘theo một cách nào đó mà trí tuệ nhân tạo có thể đánh giá cao, nhưng con người không thể’.

Thiên vị Trước?

Các tác giả cũng đề xuất rằng sự phân biệt này có thể là một chức năng của dữ liệu chủ yếu là da trắng mà U-Net được đào tạo ban đầu. Mặc dù họ mô tả đây là ‘lý thuyết hàng đầu’ của mình, họ cũng thừa nhận rằng khả năng của cảm biến chụp có thể là một yếu tố trong hiện tượng này, nếu nó trở nên rõ ràng rằng thiên vị được phát hiện là một hệ quả của các khía cạnh kỹ thuật của các phương pháp chụp mống mắt, hoặc thiên vị dữ liệu trong U-Net đang tự duy trì trong nhiều năm. Để giải quyết những khả năng này, báo cáo thừa nhận:

‘Tuy nhiên, U-Net được đào tạo trên RFI đã được chuyển đổi sang hình ảnh màu xám và điều chỉnh độ tương phản – cụ thể là, điều chỉnh histogram giới hạn tương phản (CLAHE) – và do đó không bao giờ được đào tạo trên RFI màu. Vì vậy, chúng tôi vẫn chưa thể giải thích đầy đủ những phát hiện này dựa trên giả thuyết U-Net alone.’

Tuy nhiên, các tác giả khẳng định rằng nguyên nhân ít đáng lo ngại hơn so với hiệu ứng, tuyên bố rằng khả năng của các mô hình trí tuệ nhân tạo để phân biệt chủng tộc bao gồm một ‘rủi ro thiên vị trong các thuật toán trí tuệ nhân tạo y tế sử dụng chúng làm đầu vào’.

Các tác giả chỉ ra bản chất tương phản cao của các chủng tộc được nghiên cứu, và đưa ra giả thuyết rằng ‘các nhóm chủng tộc trung gian’ có thể sẽ khó xác định hơn bằng các phương tiện tương tự, và rằng đây là một khía cạnh mà họ có ý định nghiên cứu trong các công việc liên tục và liên quan.

* Tất cả các liên kết hỗ trợ được cung cấp bởi báo cáo và được включ vào bài viết này đã được chuyển đổi từ các liên kết PaperPile hạn chế truy cập sang các phiên bản trực tuyến công khai, khi có thể.