LLMs no verificados y el dilema de cumplimiento en la atención médica

A lo largo de las industrias, la inteligencia artificial generativa (GenAI) ha logrado avances rápidos en un período de tiempo relativamente corto. Estos avances están impulsados por modelos base, que El Informe de California sobre Política de Inteligencia Artificial de Frontera define como “una clase de tecnologías de propósito general que son intensivas en recursos para producir, requiriendo cantidades significativas de datos y cómputo para producir capacidades que pueden alimentar una variedad de aplicaciones de inteligencia artificial descendentes”.

Estos modelos de lenguaje grande de propósito general (LLMs), como Gemini y ChatGPT, están mostrando un poder creciente para replicar y superar las capacidades cognitivas humanas en áreas como el análisis de datos, la escritura y el razonamiento. En la atención médica en particular, la adopción de GenAI está en aumento, ya que los clínicos y otros profesionales de la salud buscan la tecnología para reducir la carga administrativa, acelerar las operaciones y incluso apoyar la toma de decisiones clínicas.

Sin embargo, si bien la tecnología ofrece una gran promesa, la adopción de GenAI en la atención médica también plantea riesgos de cumplimiento clave si no se implementa o utiliza de manera responsable. En particular, el uso de LLMs de propósito general conlleva riesgos de cumplimiento específicos que las organizaciones de atención médica deben comprender completamente para prevenir violaciones de la privacidad o la seguridad. Estos modelos pueden basarse en fuentes de datos no verificadas, utilizar información de salud del paciente de manera no autorizada o perpetuar sesgos y/o información inexacta.

Para mantener la privacidad de los datos de los pacientes, cumplir con las regulaciones en constante evolución y minimizar los riesgos costosos, los líderes de la atención médica deben adoptar un enfoque decidido para desactivar la “bomba de tiempo” de cumplimiento de la utilización no verificada de LLMs.

El estado actual del uso de LLMs de propósito general en la atención médica

En todo el sector de la atención médica, el personal está utilizando cada vez más LLMs para apoyar tareas cotidianas, desde trabajo administrativo hasta comunicación con los pacientes. Los LLMs multimodales también amplían estas aplicaciones con su capacidad para procesar fácilmente texto, imágenes y audio. Además del apoyo administrativo, también estamos viendo un aumento en los proveedores que recurren a la tecnología para apoyar no solo tareas clericales, sino también tareas clínicas.

Estos modelos ya están demostrando lo que algunos podrían considerar resultados impresionantes, con varios estudios que muestran que el rendimiento de los LLMs es igual o incluso supera las capacidades humanas en áreas específicas. Por ejemplo, el modelo GPT-4 aprobó el Examen de Licencia Médica de los Estados Unidos con una puntuación general del 86,7%.

La inteligencia artificial híbrida es otro enfoque emergente para el uso de GenAI en la atención médica que combina el aprendizaje automático (ML) y los LLMs para manejar análisis complejos y traducir los resultados en lenguaje plano. Al integrar ambos modelos, este enfoque busca superar las limitaciones de los LLMs, incluyendo alucinaciones, inexactitudes y sesgos, mientras aprovecha sus fortalezas. La inteligencia artificial agente también está en aumento en la adopción por su capacidad para automatizar tareas clave sin entrada humana, como responder a mensajes de pacientes o programar citas.

Sin embargo, el potencial que tiene la inteligencia artificial también destaca una necesidad apremiante de una gobernanza más proactiva. Cuanto más se integren estas herramientas en las operaciones de la atención médica, mayores serán las apuestas para garantizar la precisión, la seguridad y el cumplimiento.

Los riesgos de cumplimiento de los LLMs de propósito general en la atención médica

Si bien la adopción digital en la atención médica ha desbloqueado una gran cantidad de nuevas posibilidades, también ha expuesto vulnerabilidades clave. Entre el 1 de noviembre de 2023 y el 31 de octubre de 2024, por ejemplo, el sector de la atención médica experimentó 1.710 incidentes de seguridad, 1.542 de los cuales involucraron divulgaciones de datos confirmadas.

La era de la inteligencia artificial profundiza estas grietas, agregando una nueva capa de complejidad a la privacidad y la seguridad de los datos. Más específicamente, el uso de LLMs de propósito general en la atención médica evoca varios riesgos de cumplimiento clave:

Riesgo #1: El desarrollo de caja opaca impide el monitoreo o verificación continuos

Los modelos cerrados carecen de transparencia sobre su proceso de desarrollo, como qué fuentes de datos específicas se utilizaron para entrenar el modelo o cómo se realizan las actualizaciones. Esta opacidad impide que los desarrolladores y los investigadores analicen el modelo para determinar el origen de los riesgos de seguridad o discernir los procesos de toma de decisiones. Como resultado, los LLMs cerrados pueden permitir el uso de fuentes de datos médicas no verificadas y permitir que las vulnerabilidades de seguridad pasen desapercibidas.

Riesgo #2: Fuga de datos de pacientes

Los LLMs no siempre se basan en datos de pacientes desidentificados. Las solicitudes especializadas o las interacciones podrían revelar involuntariamente información de salud identificable, lo que podría generar posibles violaciones de HIPAA.

Riesgo #3: Perpetuación de sesgos y información inexacta

En un experimento, los investigadores inyectaron un pequeño porcentaje de hechos incorrectos en una categoría de la base de conocimientos de un modelo biomédico, mientras preservaban su comportamiento en todos los demás dominios. Los investigadores encontraron que la información errónea se propagó en toda la salida del modelo, lo que destaca la vulnerabilidad de los LLMs a los ataques de información errónea.

Cualquier defecto encontrado en los modelos base se hereda en todos los modelos adoptados y las aplicaciones resultantes del modelo padre. Las disparidades en las salidas pueden empeorar las inequidades en la salud, como consejos inexactos para grupos subrepresentados.

Riesgo #4: Desalineación regulatoria

El uso de LLMs de propósito general puede no cumplir con HIPAA, GDPR o regulaciones específicas de inteligencia artificial en evolución, especialmente si los proveedores no pueden validar los datos de entrenamiento. Estos riesgos se ven agravados por el hecho de que los empleados de las organizaciones de atención médica utilizan herramientas de inteligencia artificial no aprobadas o no supervisadas, o la inteligencia artificial en la sombra. Según IBM, el 20% de las organizaciones encuestadas en todos los sectores sufrieron una violación debido a incidentes de seguridad que involucraban inteligencia artificial en la sombra.

En última instancia, los riesgos de los LLMs de propósito general en la atención médica tienen implicaciones en el mundo real, incluyendo acciones legales, daño a la reputación, pérdida de la confianza de los pacientes y costos de litigio.

Mejores prácticas: Directrices y consideraciones para los LLMs

Para adoptar GenAI de manera responsable, los líderes de la atención médica deben establecer guardrails claros que protejan a los pacientes y a las organizaciones por igual. Las siguientes mejores prácticas pueden ayudar a las organizaciones de atención médica a establecer una base para el uso responsable y cumplidor de la inteligencia artificial:

Mejor práctica #1: Elija la tecnología de inteligencia artificial sabiamente

Exija claridad de los proveedores sobre cómo se desarrolla la tecnología de inteligencia artificial y qué fuentes de datos se utilizan en el proceso de desarrollo. Priorice las herramientas que aprovechan solo contenido médico validado por expertos, tienen procesos de toma de decisiones transparentes y evitan entrenar modelos con información de salud del paciente.

Mejor práctica #2: Establezca salvaguardas de supervisión humana

Asegúrese de que los clínicos revisen cualquier salida generada por la inteligencia artificial que pueda impactar las decisiones de atención. La inteligencia artificial puede ser una herramienta poderosa, pero en una industria que tiene un impacto directo en la vida de los pacientes, la supervisión clínica es clave para garantizar el uso responsable y la precisión de cualquier información asistida por la inteligencia artificial.

Mejor práctica #3: Capacitación y preparación de la fuerza laboral

Educación a los clínicos y al personal sobre los beneficios y los riesgos del uso de la inteligencia artificial para reducir la adopción de inteligencia artificial en la sombra. El personal de atención médica está navegando en un entorno laboral complejo, afectado por la escasez de personal y las altas tasas de agotamiento. Simplificar el proceso de educación sobre la inteligencia artificial ayuda a garantizar el cumplimiento sin agregar más carga a su trabajo.

Mejor práctica #4: Establezca una cultura de gobernanza

Integre evaluaciones de terceros de las soluciones de inteligencia artificial para verificar la seguridad, la confiabilidad y el cumplimiento. Al mismo tiempo, implemente un marco claro y organizacional para la supervisión de la inteligencia artificial que defina la aprobación, el uso y el monitoreo para aumentar aún más la confianza en la tecnología y prevenir que el personal recurra a herramientas no autorizadas.

Mejor práctica #5: Alinear con el liderazgo en la tutoría de la inteligencia artificial

Colabore con el liderazgo para mantenerse por delante de las regulaciones en evolución, así como de la orientación de la FDA y la ONC. Los esfuerzos regulatorios están surgiendo a nivel estatal. Por ejemplo, California instituyó la Ley de Transparencia en Inteligencia Artificial de Frontera, que enfatiza la divulgación de riesgos, la transparencia y la mitigación, especialmente en entornos de atención médica, y también hay la Ley de Inteligencia Artificial de Colorado (CAIA), diseñada para prevenir la discriminación algorítmica.

Mejor práctica #6: Monitoreo continuo y bucles de retroalimentación

El uso de la inteligencia artificial en un entorno de atención médica nunca debe abordarse con la mentalidad de “configurarlo y olvidarlo”. Establecer un marco para el monitoreo continuo puede ayudar a garantizar la precisión de las herramientas de inteligencia artificial, fortalecer la rendición de cuentas y mantener el cumplimiento con el tiempo.

Mejor práctica #7: Buscar asociaciones para optimizar la supervisión y la investigación

Las organizaciones de atención médica deben aprovechar las asociaciones con reguladores y el sector público para maximizar la supervisión, contribuir con su perspectiva de la industria a los estándares de seguridad y combinar recursos expertos.

Construyendo la confianza a través del liderazgo en cumplimiento

La diferenciación de las soluciones de inteligencia artificial en la atención médica dependerá cada vez más de la calidad de su contenido experto, la integridad de sus procesos de evaluación y la integración responsable en los flujos de trabajo clínicos. La próxima fase de la adopción de la inteligencia artificial dependerá menos del código y más del liderazgo en cumplimiento.

La confianza es tan crítica como el cumplimiento en sí. Para que la tecnología sea verdaderamente efectiva, los pacientes y los proveedores deben creer que la inteligencia artificial es segura y está alineada con la atención de alta calidad y ética. El liderazgo en cumplimiento es una ventaja estratégica, no solo una medida defensiva. Las organizaciones proactivas que establecen guardrails temprano, antes de que ocurran incidentes dañinos, se diferenciarán en un futuro de atención médica impulsado por la inteligencia artificial.