Trí tuệ nhân tạo trong chăm sóc sức khỏe có vấn đề về trách nhiệm

Trong chăm sóc sức khỏe, trí tuệ nhân tạo (AI) hiện đã được tích hợp vào mọi thứ, từ quyết định lâm sàng đến nhân sự và tài chính. Tuy nhiên, nhiều tổ chức vẫn thiếu sự phân bổ quản lý rủi ro cần thiết để đảm bảo các công cụ AI không gây ra thiệt hại. Sự thiếu hụt của sự giám sát có cấu trúc có nghĩa là các quyết định liên quan đến AI được thực hiện mà không có sự trách nhiệm rõ ràng, khiến các tổ chức dễ bị tổn thương trước các vi phạm về đạo đức và quy định.

Khi không ai chịu trách nhiệm về các quyết định và hành động của AI, các điểm mù sẽ mở rộng nhanh chóng. Hậu quả của một hệ thống AI đưa ra quyết định quan trọng mà không có sự giám sát là rất nhiều và sâu rộng, đặc biệt khi tính mạng con người đang bị đe dọa.

Hôm nay, các khoảng trống trong quản lý AI看似 giống như những điểm chuyển đổi trước đó, nơi mà đường cong công nghệ trở nên dốc hơn khả năng quản lý của doanh nghiệp. Chúng ta đã trải qua điều này với điện toán đám mây: các đội đã áp dụng SaaS, IaaS và “shadow IT” để di chuyển nhanh hơn, trong khi quản lý bị tụt lại phía sau về các vấn đề cơ bản như phân loại dữ liệu, quản lý danh tính và truy cập, giám sát nhà cung cấp, ghi nhật ký / giám sát và sự rõ ràng về trách nhiệm chung – vì vậy trách nhiệm bị phân tán trên toàn bộ IT, bảo mật, mua sắm và kinh doanh. Chúng ta cũng đã thấy điều này với sự tiêu dùng nhanh chóng của công nghệ và di động / BYOD, nơi nhân viên đưa thiết bị và ứng dụng mới vào môi trường được quản lý lâu trước khi các tổ chức có chính sách trưởng thành về mã hóa, kiểm soát điểm cuối, kiểm tra ứng dụng và khám phá điện tử. Trong mỗi trường hợp, việc áp dụng là hợp lý và thường tạo ra giá trị – nhưng sự thiếu hụt của sự sở hữu rõ ràng, các kiểm soát tiêu chuẩn và giám sát chu kỳ sống đã tạo ra những thất bại có thể dự đoán. Bài học cho AI là rõ ràng: quản lý không thể là một suy nghĩ sau khi gắn vào đổi mới; nó phải được xây dựng như các cơ sở hạ tầng quan trọng khác – có chủ đích, với các quyền quyết định được xác định, giám sát liên tục và rào cản có thể thực thi.

Vấn đề với trách nhiệm phân tán

Việc triển khai nhanh chóng AI đã vượt qua sự phát triển của các tiêu chuẩn quản lý và trách nhiệm, dẫn đến một khoảng trống “trách nhiệm phân tán” nơi không có thực thể đơn lẻ nào chịu trách nhiệm khi AI thất bại.

Trách nhiệm pháp lý đã là một vấn đề hiện hữu trong chăm sóc sức khỏe, và AI chỉ mang lại những thách thức mới. Các công cụ AI không có danh tính pháp lý được công nhận, có nghĩa là chúng không thể bị kiện hoặc bảo hiểm, cũng không thể trả tiền bồi thường pháp lý cho các nạn nhân. Trong các thủ tục pháp lý, lỗi phải được chuyển đến một diễn viên con người hoặc một công ty, không phải một công cụ.

Các nhà nghiên cứu trong The Lancet, một tạp chí nghiên cứu y học hàng đầu, đã lập luận gần đây rằng “các cấu trúc trách nhiệm pháp lý của tổ chức phải phân phối lại trách nhiệm từ các bác sĩ lâm sàng đến các tổ chức thiết kế và triển khai [công cụ AI]”. Rõ ràng là những câu hỏi về trách nhiệm pháp lý sẽ tồn tại trong tương lai.

Liên minh Châu Âu đang cố gắng giải quyết những vấn đề này trên quy mô khu vực. Khối đã giới thiệu hai công cụ lập pháp chính: Đạo luật AI, điều chỉnh việc sử dụng AI theo mức độ rủi ro và nhấn mạnh việc bảo tồn sự giám sát của con người; và hướng dẫn trách nhiệm pháp lý của AI, thiết lập các quy tắc mới giúp người dân dễ dàng tìm kiếm bồi thường cho những thiệt hại do AI gây ra.

Tuy nhiên, quy định alone sẽ không giải quyết vấn đề. Các bệnh viện hoạt động trong một mạng lưới phức tạp của các nhà cung cấp, bác sĩ lâm sàng, quản lý và đội ngũ IT, vì vậy khi một hệ thống AI tạo ra đầu ra có hại hoặc thiên vị, trách nhiệm sẽ được chuyển như một quả bóng giữa các bên liên quan: nhà cung cấp có thể chỉ ra việc sử dụng không đúng, bác sĩ lâm sàng có thể nói rằng thiết kế bị lỗi, và lãnh đạo có thể đổ lỗi cho sự không rõ ràng của quy định.

Tất cả những điều này có nghĩa là trách nhiệm được phân tán, khiến các bệnh viện dễ bị tổn thương trước các trận chiến pháp lý lớn.

Các bước thực tế để đóng khoảng trống quản lý

Tin tốt là ngay cả khi không có quy định toàn diện, các tổ chức chăm sóc sức khỏe có thể chủ động đóng khoảng trống quản lý AI. Để bắt đầu, các nhà lãnh đạo có thể bắt đầu với báo cáo của Tổ chức Y tế Thế giới, “Đạo đức và Quản lý Trí tuệ nhân tạo cho Sức khỏe,” nhằm tối đa hóa tiềm năng của AI trong khi giảm thiểu rủi ro.

Các bước được nêu trong báo cáo này nhằm bảo vệ tự chủ, thúc đẩy sự thịnh vượng của con người và an toàn công cộng, đảm bảo tính minh bạch và giải thích, và thúc đẩy trách nhiệm và trách nhiệm. Để giải quyết khoảng trống quản lý, hãy tập trung vào hai điểm cuối cùng.

Thực hiện một phương pháp thống nhất để quản lý AI, đảm bảo nó được chỉ đạo từ trên cao bởi các hội đồng hoặc chuyên gia. Hiện tại, nhiều tổ chức cho phép các bộ phận riêng lẻ sử dụng AI khi họ thấy fit, khiến các nhà lãnh đạo không thể giải thích cách và nơi tổ chức đang sử dụng những công cụ này. Tính minh bạch là tối quan trọng, vì vậy hãy đảm bảo bạn có một danh sách chính xác về các công cụ đang được sử dụng ở đâu và cho mục đích gì.

Điều quan trọng không kém là thiết lập các dòng trách nhiệm rõ ràng trên toàn bộ vòng đời AI. Điều này có nghĩa là chỉ định một người hoặc bộ phận chịu trách nhiệm về mọi thứ, từ mua sắm và xác thực đến triển khai, giám sát và phản hồi sự cố. Các bệnh viện phải yêu cầu các nhà cung cấp đáp ứng các tiêu chuẩn minh bạch và kiểm toán được xác định, và đảm bảo các đội ngũ nội bộ được đào tạo để hiểu cả khả năng và hạn chế của các hệ thống AI.

Cuối cùng, quản lý phải được vận hành, không chỉ được ghi lại. Nhúng các chính sách vào các quy trình làm việc bằng cách tích hợp các đánh giá rủi ro AI vào các quy trình mua sắm, thực hiện các cuộc kiểm toán thường xuyên về hiệu suất AI, và tạo cơ chế cho nhân viên tuyến đầu báo cáo các mối quan ngại mà không gặp khó khăn.

Trong thực tế, việc đóng khoảng trống quản lý ít hơn là giới thiệu các nguyên tắc mới và nhiều hơn là thực thi kỷ luật: tiêu chuẩn hóa cách AI进入 tổ chức, xác định ai sở hữu nó tại mọi giai đoạn, và đảm bảo hiệu suất của nó được liên tục kiểm tra. Nếu không có kỷ luật đó, các công cụ AI sẽ tiếp tục vượt qua các cấu trúc được thiết kế để giữ chúng an toàn.

Rủi ro ẩn: chất lượng dữ liệu

Ngay cả khi các cấu trúc trách nhiệm đã được thiết lập, một rủi ro khác thường bị đánh giá thấp: tính toàn vẹn của dữ liệu cho ăn vào các hệ thống AI và cách các hệ thống đó phát triển theo thời gian. Bất kỳ hệ thống AI nào chỉ đáng tin cậy như dữ liệu nó được đào tạo và học liên tục, và môi trường dữ liệu của bệnh viện thường bị phân mảnh, không nhất quán và dễ bị khoảng trống.

Các hệ thống hồ sơ sức khỏe điện tử, hình ảnh và nền tảng quản lý thường hoạt động trong các silo, tạo ra các sự không nhất quán có thể ảnh hưởng trực tiếp đến đầu ra AI. Một mô hình được đào tạo trên các tập dữ liệu không đầy đủ hoặc thiên vị có thể tạo ra các khuyến nghị bị lỗi mà có thể không được chú ý cho đến khi thiệt hại đã được thực hiện. Điều này đặc biệt nguy hiểm trong các môi trường lâm sàng, nơi các sai lệch nhỏ về độ chính xác có thể dịch thành các hậu quả quan trọng cho bệnh nhân.

Khiến cho vấn đề này trở nên trầm trọng hơn là ” sự trôi dạt của mô hình “: xu hướng của các mô hình AI để đi chệch khỏi hướng dẫn và ngữ cảnh khi nhiều dữ liệu hơn được nhập vào hệ thống. Khi các quần thể bệnh nhân phát triển, các giao thức điều trị mới được giới thiệu và các yếu tố bên ngoài ảnh hưởng đến hoạt động, các giả định cơ bản của các công cụ AI có thể thay đổi. Nếu không có giám sát và hiệu chỉnh liên tục, một hệ thống AI từng hoạt động đáng tin cậy có thể bắt đầu thực hiện các hành động hoặc đề xuất các giải pháp đi chệch khỏi đào tạo của nó.

Để giải quyết sự trôi dạt của mô hình, các bệnh viện phải đối xử với các hệ thống AI như các tài sản động và có rủi ro cao, chứ không phải các công cụ tĩnh. Điều này có nghĩa là thực hiện giám sát hiệu suất liên tục, thiết lập các ngưỡng rõ ràng cho độ chính xác chấp nhận được, và xác định quyền sở hữu cho việc đào tạo lại và xác thực. Quản lý dữ liệu cũng phải được tăng cường, với các phương pháp tiêu chuẩn hóa về chất lượng dữ liệu, khả năng tương tác và phát hiện thiên vị.

Nếu không giải quyết các rủi ro gắn liền với chất lượng dữ liệu và sự trôi dạt của mô hình, ngay cả các khuôn khổ quản lý AI tốt nhất cũng sẽ không đạt được. Đối với các hệ thống AI chăm sóc sức khỏe, chỉ tốt như dữ liệu cơ bản của chúng, việc bỏ qua lớp rủi ro này tạo ra tiềm năng cho một sự thất bại hệ thống sớm hay muộn.

Làm đúng trước khi chạy

AI có tiềm năng chuyển đổi chăm sóc sức khỏe bằng cách cải thiện hiệu quả, độ chính xác và kết quả bệnh nhân. Nhưng nếu không có sự sở hữu rõ ràng về các rủi ro mà nó tạo ra, tiềm năng đó có thể nhanh chóng trở thành một trách nhiệm.

Các bệnh viện không thể đủ khả năng để đối xử với quản lý AI như một bài tập tuân thủ. Nó phải được đối xử như một ưu tiên hoạt động cốt lõi: xác định quyền sở hữu, cấu trúc giám sát và đánh giá liên tục. Bởi vì trong chăm sóc sức khỏe, khi điều gì đó đi sai, hậu quả có thể tồi tệ hơn nhiều so với ai có lỗi.