El problema de la responsabilidad difusa en la inteligencia artificial sanitaria

En la sanidad, la inteligencia artificial (IA) está ahora integrada en todo, desde decisiones clínicas hasta recursos humanos y finanzas. Sin embargo, muchas organizaciones todavía carecen de la delegación de gestión de riesgos necesaria para garantizar que las herramientas de IA no causen daños. La falta de supervisión estructurada significa que las decisiones relacionadas con la IA se toman sin una clara responsabilidad, lo que expone a las organizaciones al riesgo de violaciones éticas y regulatorias.

Cuando nadie es responsable de las decisiones y acciones que toma la IA, los puntos ciegos se expandirán rápidamente. Las consecuencias de que un sistema de IA tome decisiones de alto riesgo sin supervisión son numerosas y de gran alcance, especialmente cuando las vidas de las personas están en juego.

Hoy en día, las brechas de gobernanza de la IA parecen similares a puntos de inflexión anteriores en los que la curva tecnológica se estrechó más rápido que la capacidad de la empresa para gestionarla. Pasamos por esto con la computación en la nube: los equipos adoptaron SaaS, IaaS y “shadow IT” para moverse más rápido, mientras que la gobernanza se retrasó en aspectos básicos como la clasificación de datos, la gestión de identidad y acceso, la supervisión de proveedores, el registro/monitoreo y la claridad de responsabilidad compartida, por lo que la responsabilidad se dispersó en IT, seguridad, compras y negocios. También hemos visto esto con la rápida consumerización de la TI y la movilidad/BYOD, donde los empleados trajeron nuevos dispositivos y aplicaciones a entornos regulados mucho antes de que las organizaciones tuvieran políticas maduras para la cifrado, el control de puntos finales, la verificación de aplicaciones y la e-discovery. En cada caso, la adopción fue racional y a menudo creadora de valor, pero la falta de una clara propiedad, controles estandarizados y supervisión del ciclo de vida creó fallos predecibles. La lección para la IA es directa: la gobernanza no puede ser un pensamiento posterior agregado a la innovación; debe construirse como otra infraestructura crítica, intencionalmente, con derechos de decisión definidos, monitoreo continuo y salvaguardias ejecutables.

El problema de la responsabilidad difusa

La rápida implementación de la IA ha superado el desarrollo de normas de gobernanza y responsabilidad, lo que ha llevado a una brecha de “responsabilidad difusa” en la que ninguna entidad única asume la responsabilidad cuando la IA falla.

La responsabilidad ya es un tema omnipresente en la sanidad, y la IA solo ha traído nuevos desafíos. Las herramientas de IA no tienen una identidad legal reconocida, lo que significa que no pueden ser demandadas ni aseguradas, ni pueden pagar compensaciones legales a las víctimas. En los procedimientos legales, la culpa debe transferirse a un actor humano o a una corporación, no a una herramienta.

Investigadores en The Lancet, una revista líder de investigación médica, argumentaron recientemente que “las estructuras de responsabilidad institucional deben redistribuir la responsabilidad de los clínicos a las organizaciones que diseñan y despliegan [herramientas de IA]”. Está claro que tales preguntas sobre la responsabilidad persistirán bien en el futuro.

La Unión Europea está intentando abordar estos problemas a escala regional. El bloque ha introducido dos instrumentos legislativos importantes: la Ley de IA, que regula el uso de la IA por grado de riesgo y enfatiza la preservación de la supervisión humana; y la directiva de responsabilidad de la IA, que establece nuevas reglas que facilitan a las personas buscar compensación por daños causados por la IA.

Pero la regulación sola no resolverá el problema. Los hospitales operan dentro de una compleja red de proveedores, clínicos, administradores y equipos de TI, por lo que cuando un sistema de IA produce una salida perjudicial o sesgada, la responsabilidad se pasa como una pelota entre las partes interesadas: el proveedor puede señalar un uso inadecuado, los clínicos pueden decir que el diseño es defectuoso, y el liderazgo podría culpar la ambigüedad regulatoria.

Todo esto significa que la responsabilidad se difumina, dejando a los hospitales vulnerables a importantes batallas legales.

Pasos prácticos para cerrar las brechas de gobernanza

La buena noticia es que incluso sin regulaciones comprehensivas, las organizaciones sanitarias pueden proactivamente cerrar las brechas de gobernanza de la IA. Para empezar, los líderes pueden comenzar con el informe de la Organización Mundial de la Salud, “Ética y gobernanza de la inteligencia artificial para la salud,” que busca maximizar la promesa de la IA mientras minimiza el riesgo.

Los pasos descritos en este informe apuntan a proteger la autonomía, promover el bienestar humano y la seguridad pública, garantizar la transparencia y la explicabilidad, y fomentar la responsabilidad y la rendición de cuentas. Para abordar las brechas de gobernanza, centrémonos en los dos últimos puntos.

Implementar un enfoque unificado para la gobernanza de la IA, asegurando que esté dirigido de arriba hacia abajo por consejos o expertos. Actualmente, muchas organizaciones permiten que los departamentos individuales utilicen la IA donde lo consideren oportuno, lo que deja a los líderes incapaces de explicar cómo y dónde la organización está utilizando estas herramientas. La visibilidad es fundamental, así que asegúrese de tener una lista de las herramientas exactas que se están utilizando, dónde y para qué propósito.

Es igualmente importante establecer líneas claras de responsabilidad en todo el ciclo de vida de la IA. Esto significa hacer que una persona o departamento sea responsable de todo, desde la adquisición y validación hasta el despliegue, el monitoreo y la respuesta a incidentes. Los hospitales deben exigir que los proveedores cumplan con estándares de transparencia y auditoría definidos, y asegurarse de que los equipos internos estén capacitados para comprender tanto las capacidades como las limitaciones de los sistemas de IA.

Finalmente, la gobernanza debe operacionalizarse, no solo documentarse. Incorporar las políticas en los flujos de trabajo integrando las evaluaciones de riesgo de la IA en los procesos de adquisición, realizando auditorías regulares del rendimiento de la IA y creando mecanismos para que el personal de primera línea informe preocupaciones sin fricciones.

En la práctica, cerrar la brecha de gobernanza es menos sobre introducir nuevos principios y más sobre aplicar disciplina: estandarizar cómo la IA entra en la organización, definir quién es el propietario en cada etapa y asegurarse de que su rendimiento sea continuamente examinado. Sin esa disciplina, las herramientas de IA seguirán superando las estructuras diseñadas para mantenerlas seguras.

El riesgo oculto: la calidad de los datos

Incluso cuando las estructuras de responsabilidad están en su lugar, otro riesgo a menudo subestimado es la integridad de los datos que alimentan los sistemas de IA y cómo estos sistemas evolucionan con el tiempo. Cualquier sistema de IA es solo tan confiable como los datos en los que se entrena y aprende continuamente, y los entornos de datos de los hospitales son notoriamente fragmentados, inconsistentes y propensos a lagunas.

Los registros de salud electrónicos, los sistemas de imágenes y las plataformas administrativas a menudo operan en silos, creando discrepancias que pueden impactar directamente en las salidas de la IA. Un modelo entrenado en conjuntos de datos incompletos o sesgados puede producir recomendaciones defectuosas que pueden pasar desapercibidas hasta que el daño ya se ha hecho. Es particularmente peligroso en entornos clínicos, donde pequeñas desviaciones en la precisión pueden traducirse en consecuencias significativas para los pacientes.

Compounding este problema es el “desplazamiento del modelo“: la tendencia de los modelos de IA a desviarse de las instrucciones y el contexto a medida que más datos entran en el sistema. A medida que las poblaciones de pacientes evolucionan, se introducen nuevos protocolos de tratamiento y factores externos afectan las operaciones, las suposiciones básicas de las herramientas de IA pueden cambiar. Sin un monitoreo y recalibración continuos, un sistema de IA que una vez se desempeñó de manera fiable puede comenzar a tomar acciones o sugerir soluciones que se desvían de su entrenamiento.

Para abordar el desplazamiento del modelo, los hospitales deben tratar los sistemas de IA como activos dinámicos y de alto riesgo, en lugar de herramientas estáticas. Esto significa implementar un monitoreo continuo del rendimiento, establecer umbrales claros para la precisión aceptable y definir la propiedad para la reeducación y la validación. La gobernanza de los datos también debe fortalecerse, con prácticas estandarizadas para la calidad de los datos, la interoperabilidad y la detección de sesgos.

Sin enfrentar los riesgos vinculados a la calidad de los datos y al desplazamiento del modelo, incluso los mejores marcos de gobernanza de la IA fallarán. Para los sistemas de IA sanitarios, que solo son tan buenos como los datos que los sustentan, pasar por alto esta capa de riesgo crea el potencial para un fracaso sistémico más temprano que tarde.

Hazlo bien antes de que funcione

La IA tiene el potencial de transformar la sanidad mejorando la eficiencia, la precisión y los resultados de los pacientes. Pero sin una clara propiedad de los riesgos que plantea, ese potencial puede convertirse rápidamente en una responsabilidad.

Los hospitales no pueden permitirse tratar la gobernanza de la IA como un ejercicio de cumplimiento. Debe tratarse como una prioridad operativa central: definir la propiedad, estructurar la supervisión y evaluar continuamente. Porque en la sanidad, cuando algo sale mal, las consecuencias pueden ser mucho peores que quién es el culpable.