¿Quién es responsable si falla la IA en el cuidado de la salud?

¿Quién es responsable cuando los errores de IA en la atención médica causan accidentes, lesiones o algo peor? Dependiendo de la situación, podría ser el desarrollador de IA, un profesional de la salud o incluso el paciente. La responsabilidad es una preocupación cada vez más compleja y seria a medida que la IA se vuelve más común en el cuidado de la salud. ¿Quién es responsable de que la IA falle y cómo se pueden prevenir los accidentes?

El riesgo de errores de IA en el cuidado de la salud

Hay muchos beneficios sorprendentes para la IA en el cuidado de la salud, desde una mayor precisión y exactitud hasta tiempos de recuperación más rápidos. AI está ayudando a los médicos a realizar diagnósticos, realizar cirugías y brindar la mejor atención posible a sus pacientes. Desafortunadamente, los errores de IA siempre son una posibilidad.

Hay una amplia gama de escenarios en los que la IA salió mal en el cuidado de la salud. Los médicos y los pacientes pueden usar la IA como una herramienta de toma de decisiones puramente basada en software o la IA puede ser el cerebro de dispositivos físicos como los robots. Ambas categorías tienen sus riesgos.

Por ejemplo, ¿qué sucede si un robot quirúrgico impulsado por IA no funciona correctamente durante un procedimiento? Esto podría causar una lesión grave o potencialmente incluso matar al paciente. Del mismo modo, ¿qué sucede si un algoritmo de diagnóstico de medicamentos recomienda el medicamento incorrecto para un paciente y este sufre un efecto secundario negativo? Incluso si el medicamento no daña al paciente, un diagnóstico erróneo podría retrasar el tratamiento adecuado.

En la raíz de errores de IA como estos está la naturaleza de los propios modelos de IA. La mayoría de las IA de hoy en día utilizan la lógica de "caja negra", lo que significa que nadie puede ver cómo el algoritmo toma decisiones. La IA de caja negra carece de transparencia, lo que lleva a riesgos como el sesgo lógico, discriminación y resultados inexactos. Desafortunadamente, es difícil detectar estos factores de riesgo hasta que ya han causado problemas.

AI salió mal: ¿Quién tiene la culpa?

¿Qué sucede cuando ocurre un accidente en un procedimiento médico impulsado por IA? La posibilidad de que la IA salga mal siempre estará en las cartas hasta cierto punto. Si alguien sale herido o algo peor, ¿tiene la culpa la IA? No necesariamente.

Cuando el desarrollador de IA tiene la culpa

Es importante recordar que la IA no es más que un programa de computadora. Es un programa informático muy avanzado, pero sigue siendo un código, como cualquier otra pieza de software. Dado que la IA no es sensible ni independiente como un ser humano, no se la puede responsabilizar por accidentes. Una IA no puede ir a juicio ni ser sentenciada a prisión.

Los errores de IA en el cuidado de la salud probablemente serían responsabilidad del desarrollador de IA o del profesional médico que supervisa el procedimiento. La parte que tiene la culpa de un accidente puede variar de un caso a otro.

Por ejemplo, es probable que el desarrollador tenga la culpa si el sesgo de los datos hace que una IA dé decisiones o un trato injusto, inexacto o discriminatorio. El desarrollador es responsable de garantizar que la IA funcione según lo prometido y brinde a todos los pacientes el mejor tratamiento posible. Si la IA funciona mal debido a negligencia, descuido o errores por parte del desarrollador, el médico no sería responsable.

Cuando el médico o el médico tiene la culpa

Sin embargo, todavía es posible que el médico o incluso el paciente sean responsables de que la IA haya fallado. Por ejemplo, el desarrollador puede hacer todo bien, dar instrucciones detalladas al médico y describir todos los riesgos posibles. Cuando llega el momento del procedimiento, el médico puede estar distraído, cansado, olvidadizo o simplemente negligente.

Las encuestas muestran más del 40% de los médicos experimentar agotamiento en el trabajo, lo que puede provocar falta de atención, reflejos lentos y falta de memoria. Si el médico no atiende sus propias necesidades físicas y psicológicas y su condición provoca un accidente, es culpa del médico.

Dependiendo de las circunstancias, el empleador del médico podría ser culpado en última instancia por los errores de IA en la atención médica. Por ejemplo, ¿qué sucede si un gerente de un hospital amenaza con negarle un ascenso a un médico si no acepta trabajar horas extra? Esto los obliga a trabajar demasiado, lo que los lleva al agotamiento. El empleador del médico probablemente sería responsable en una situación única como esta. 

Cuando el paciente tiene la culpa

Sin embargo, ¿qué pasa si tanto el desarrollador de IA como el médico hacen todo bien? Cuando el paciente utiliza de forma independiente una herramienta de IA, un accidente puede ser su culpa. La IA que salió mal no siempre se debe a un error técnico. También puede ser el resultado de un uso deficiente o inadecuado.

Por ejemplo, tal vez un médico explique minuciosamente una herramienta de IA a su paciente, pero ignora las instrucciones de seguridad o ingresa datos incorrectos. Si este uso negligente o inapropiado resulta en un accidente, es culpa del paciente. En este caso, fueron responsables de usar la IA correctamente o proporcionar datos precisos y no lo hicieron.

Incluso cuando los pacientes conocen sus necesidades médicas, es posible que no sigan las instrucciones de un médico por una variedad de razones. Por ejemplo, 24% de los estadounidenses que toman medicamentos recetados reportan tener dificultades para pagar sus medicamentos. Un paciente puede saltarse la medicación o mentirle a un AI acerca de tomar uno porque se avergüenza de no poder pagar su receta.

Si el uso indebido del paciente se debió a la falta de orientación de su médico o del desarrollador de IA, la culpa podría estar en otra parte. En última instancia, depende de dónde ocurrió el accidente o error raíz.

Regulaciones y Posibles Soluciones

¿Hay alguna manera de prevenir los errores de IA en el cuidado de la salud? Si bien ningún procedimiento médico está completamente libre de riesgos, existen formas de minimizar la probabilidad de resultados adversos.

Las regulaciones sobre el uso de IA en la atención médica pueden proteger a los pacientes de herramientas y procedimientos impulsados ​​por IA de alto riesgo. La FDA ya tiene marcos regulatorios para dispositivos médicos de IA, describiendo los requisitos de prueba y seguridad y el proceso de revisión. Las principales organizaciones de supervisión médica también pueden intervenir para regular el uso de datos de pacientes con algoritmos de IA en los próximos años.

Además de regulaciones estrictas, razonables y exhaustivas, los desarrolladores deben tomar medidas para evitar situaciones en las que la IA salga mal. La IA explicable, también conocida como IA de caja blanca, puede resolver los problemas de transparencia y sesgo de datos. Los modelos de IA explicables son algoritmos emergentes que permiten a los desarrolladores y usuarios acceder a la lógica del modelo.

Cuando los desarrolladores de IA, los médicos y los pacientes pueden ver cómo una IA llega a sus conclusiones, es mucho más fácil identificar el sesgo de los datos. Los médicos también pueden detectar inexactitudes de hechos o información faltante más rápidamente. Mediante el uso de IA explicable en lugar de IA de caja negra, los desarrolladores y proveedores de atención médica pueden aumentar la confiabilidad y la eficacia de la IA médica.

IA sanitaria segura y eficaz

La inteligencia artificial puede hacer cosas asombrosas en el campo de la medicina, y potencialmente incluso salvar vidas. Siempre habrá cierta incertidumbre asociada con la IA, pero los desarrolladores y las organizaciones de atención médica pueden tomar medidas para minimizar esos riesgos. Cuando ocurren errores de IA en la atención médica, es probable que los asesores legales determinen la responsabilidad en función del error raíz del accidente.