La inteligencia artificial en la atención médica tiene un problema de responsabilidad

En la atención médica, la inteligencia artificial (IA) ahora está integrada en todo, desde decisiones clínicas hasta recursos humanos y finanzas. Sin embargo, muchas organizaciones todavía carecen de la delegación de gestión de riesgos necesaria para garantizar que las herramientas de IA no causen daño. La falta de supervisión estructurada significa que las decisiones relacionadas con la IA se toman sin una clara responsabilidad, lo que expone a las organizaciones al riesgo de violaciones éticas y regulatorias.

Cuando nadie es responsable de las decisiones y acciones que toma la IA, los puntos ciegos se expandirán rápidamente. Las consecuencias de que un sistema de IA tome decisiones de alto riesgo sin supervisión son numerosas y de gran alcance, especialmente cuando las vidas de las personas están en juego.

Hoy en día, las brechas de gobernanza de la IA se parecen mucho a puntos de inflexión anteriores en los que la curva tecnológica se estrechó más rápido que la capacidad de la empresa para gestionarla. Pasamos por esto con la computación en la nube: los equipos adoptaron SaaS, IaaS y “shadow IT” para moverse más rápido, mientras que la gobernanza se retrasó en aspectos básicos como la clasificación de datos, la gestión de identidad y acceso, la supervisión de proveedores, el registro/monitoreo y la claridad de responsabilidad compartida, por lo que la responsabilidad se dispersó en todo el departamento de TI, seguridad, compras y negocio. También hemos visto esto con la rápida consumerización de la TI y la movilidad/BYOD, donde los empleados trajeron nuevos dispositivos y aplicaciones a entornos regulados mucho antes de que las organizaciones tuvieran políticas maduras para la cifrado, el control de puntos finales, la verificación de aplicaciones y la e-discovery. En cada caso, la adopción fue racional y a menudo creadora de valor, pero la falta de una clara propiedad, controles estandarizados y supervisión del ciclo de vida creó fallos predecibles. La lección para la IA es directa: la gobernanza no puede ser un ejercicio de cumplimiento agregado a la innovación; debe ser construida como otra infraestructura crítica, intencionalmente, con derechos de decisión definidos, monitoreo continuo y salvaguardias ejecutables.

El problema de la responsabilidad difusa

La rápida implementación de la IA ha superado el desarrollo de normas de gobernanza y responsabilidad, lo que ha llevado a una brecha de “responsabilidad difusa” en la que ninguna entidad única asume la responsabilidad cuando la IA falla.

La responsabilidad ya es un tema omnipresente en la atención médica, y la IA solo ha traído nuevos desafíos. Las herramientas de IA no tienen una identidad legal reconocida, lo que significa que no pueden ser demandadas ni aseguradas, ni pueden pagar compensación legal a las víctimas. En los procedimientos legales, la culpa debe transferirse a un actor humano o a una corporación, no a una herramienta.

Investigadores en The Lancet, una revista líder en investigación médica, argumentaron recientemente que “las estructuras de responsabilidad institucional deben redistribuir la responsabilidad de los clínicos a las organizaciones que diseñan y despliegan [herramientas de IA]”. Está claro que tales preguntas sobre la responsabilidad persistirán bien en el futuro.

La Unión Europea está tratando de abordar estos temas a escala regional. El bloque ha introducido dos instrumentos legislativos importantes: la Ley de IA, que regula el uso de la IA por grado de riesgo y enfatiza la preservación de la supervisión humana; y la directiva de responsabilidad de la IA, que establece nuevas reglas que facilitan a las personas buscar compensación por daños causados por la IA.

Pero la regulación sola no resolverá el problema. Los hospitales operan dentro de una red compleja de proveedores, clínicos, administradores y equipos de TI, por lo que cuando un sistema de IA produce una salida perjudicial o sesgada, la responsabilidad se pasa como una pelota entre las partes interesadas: el proveedor puede señalar un uso incorrecto, los clínicos pueden decir que el diseño es defectuoso, y el liderazgo puede culpar la ambigüedad regulatoria.

Todo esto significa que la responsabilidad está difusa, lo que deja a los hospitales vulnerables a importantes batallas legales.

Pasos prácticos para cerrar las brechas de gobernanza

La buena noticia es que incluso sin regulaciones comprehensivas, las organizaciones de atención médica pueden cerrar las brechas de gobernanza de la IA de manera proactiva. Para empezar, los líderes pueden comenzar con el informe de la Organización Mundial de la Salud, “Ética y gobernanza de la inteligencia artificial para la salud,” que busca maximizar la promesa de la IA mientras minimiza el riesgo.

Los pasos descritos en este informe apuntan a proteger la autonomía, promover el bienestar humano y la seguridad pública, garantizar la transparencia y la explicabilidad, y fomentar la responsabilidad y la rendición de cuentas. Para abordar las brechas de gobernanza, centrémonos en los dos últimos puntos.

Implemente un enfoque unificado para la gobernanza de la IA, asegurándose de que esté dirigido desde arriba por consejos o expertos. Actualmente, muchas organizaciones permiten que los departamentos individuales utilicen la IA donde lo consideren oportuno, lo que deja a los líderes incapaces de explicar cómo y dónde la organización está utilizando estas herramientas. La visibilidad es fundamental, así que asegúrese de tener una lista de las herramientas exactas que se están utilizando, dónde y para qué propósito.

Es igualmente importante establecer líneas claras de responsabilidad en todo el ciclo de vida de la IA. Esto significa hacer que una persona o departamento sea responsable de todo, desde la adquisición y validación hasta la implementación, el monitoreo y la respuesta a incidentes. Los hospitales deben exigir que los proveedores cumplan con estándares de transparencia y auditoría definidos, y asegurarse de que los equipos internos estén capacitados para comprender tanto las capacidades como las limitaciones de los sistemas de IA.

Finalmente, la gobernanza debe ser operativa, no solo documentada. Incorpore las políticas en los flujos de trabajo integrando las evaluaciones de riesgo de la IA en los procesos de adquisición, realizando auditorías regulares del rendimiento de la IA y creando mecanismos para que el personal de primera línea informe preocupaciones sin fricciones.

En la práctica, cerrar la brecha de gobernanza es menos sobre introducir nuevos principios y más sobre aplicar disciplina: estandarice cómo la IA entra en la organización, defina quién es el propietario en cada etapa y asegúrese de que su rendimiento sea continuamente examinado. Sin esa disciplina, las herramientas de IA seguirán superando las estructuras diseñadas para mantenerlas seguras.

El riesgo oculto: la calidad de los datos

Incluso cuando las estructuras de responsabilidad están en su lugar, otro riesgo a menudo subestimado es la integridad de los datos que alimentan los sistemas de IA y cómo esos sistemas evolucionan con el tiempo. Cualquier sistema de IA es solo tan confiable como los datos en los que se entrena y aprende continuamente, y los entornos de datos de los hospitales son notoriamente fragmentados, inconsistentes y propensos a lagunas.

Los registros de salud electrónicos, los sistemas de imágenes y las plataformas administrativas a menudo operan en silos, creando discrepancias que pueden impactar directamente en las salidas de la IA. Un modelo entrenado en conjuntos de datos incompletos o sesgados puede producir recomendaciones defectuosas que pueden pasar desapercibidas hasta que el daño ya se ha hecho. Es particularmente peligroso en entornos clínicos, donde pequeñas desviaciones en la precisión pueden traducirse en consecuencias significativas para los pacientes.

Este problema se complica con el “desplazamiento del modelo”: la tendencia de los modelos de IA a desviarse de las instrucciones y el contexto a medida que más datos entran en el sistema. A medida que las poblaciones de pacientes evolucionan, se introducen nuevos protocolos de tratamiento y factores externos afectan las operaciones, las suposiciones básicas de las herramientas de IA pueden cambiar. Sin un monitoreo y recalibración continuos, un sistema de IA que una vez se desempeñó de manera confiable puede comenzar a tomar acciones o sugerir soluciones que se desvían de su entrenamiento.

Para abordar el desplazamiento del modelo, los hospitales deben tratar los sistemas de IA como activos dinámicos y de alto riesgo, en lugar de herramientas estáticas. Esto significa implementar un monitoreo continuo del rendimiento, establecer umbrales claros para la precisión aceptable y definir la propiedad para la reeducación y la validación. La gobernanza de los datos también debe ser fortalecida, con prácticas estandarizadas para la calidad de los datos, la interoperabilidad y la detección de sesgos.

Sin abordar los riesgos relacionados con la calidad de los datos y el desplazamiento del modelo, incluso los mejores marcos de gobernanza de la IA fallarán. Para los sistemas de IA en la atención médica, que son solo tan buenos como los datos que los sustentan, pasar por alto esta capa de riesgo crea el potencial para un fallo sistémico más pronto o más tarde.

Asegúrese de que esté correcto antes de que esté en funcionamiento

La IA tiene el potencial de transformar la atención médica mejorando la eficiencia, la precisión y los resultados de los pacientes. Pero sin una clara propiedad de los riesgos que plantea, ese potencial puede convertirse rápidamente en una responsabilidad.

Los hospitales no pueden permitirse tratar la gobernanza de la IA como un ejercicio de cumplimiento. Debe ser tratada como una prioridad operativa fundamental: definir la propiedad, estructurar la supervisión y evaluar continuamente. Porque en la atención médica, cuando algo sale mal, las consecuencias pueden ser mucho peores que quién es el culpable.