LLMs no controlados y el enigma de la conformidad en la atención médica

A través de las industrias, la inteligencia artificial generativa (GenAI) ha logrado avances rápidos en un período de tiempo relativamente corto. Estos avances están impulsados por modelos base, que El Informe de California sobre Política de Inteligencia Artificial de Frontera define como, “una clase de tecnologías de propósito general que son intensivas en recursos para producir, requiriendo cantidades significativas de datos y cómputo para producir capacidades que pueden alimentar una variedad de aplicaciones de inteligencia artificial descendentes.”

Estos modelos de lenguaje grande general-purpose (LLMs), como Gemini y ChatGPT, están mostrando un poder creciente para replicar y exceder las capacidades cognitivas humanas en áreas como el análisis de datos, la escritura y el razonamiento. En particular, en la atención médica, la adopción de GenAI está en aumento a medida que los clínicos y otros profesionales de la salud buscan la tecnología para reducir la carga administrativa, acelerar las operaciones y incluso apoyar la toma de decisiones clínicas.

Sin embargo, si bien la tecnología ofrece una gran promesa, la adopción de GenAI en la atención médica también plantea riesgos de conformidad clave si no se implementa o utiliza de manera responsable. En particular, el uso de LLMs de propósito general conlleva preocupaciones de conformidad específicas que las organizaciones de atención médica deben comprender completamente para prevenir violaciones de la privacidad o la seguridad. Estos modelos pueden basarse en fuentes de datos no verificadas, utilizar información de salud del paciente de manera no autorizada o perpetuar sesgos y/o información inexacta.

Para mantener la privacidad de los datos de los pacientes, cumplir con las regulaciones en evolución y minimizar los riesgos costosos, los líderes de la atención médica deben adoptar un enfoque decisivo para desactivar la “bomba de tiempo” de conformidad de “uso no controlado” de LLM.

El estado actual del uso de LLM de propósito general en la atención médica

A través de la atención médica, el personal está utilizando cada vez más LLMs para apoyar tareas cotidianas, desde el trabajo administrativo hasta la comunicación con los pacientes. Los LLM multimodales también expanden aún más estas aplicaciones con su capacidad para procesar fácilmente texto, imágenes y audio. Además del apoyo administrativo, también estamos viendo un aumento en los proveedores que recurren a la tecnología para apoyar no solo el trabajo de oficina, sino también las tareas clínicas.

Estos modelos ya están demostrando lo que algunos podrían considerar resultados impresionantes, con varios estudios que muestran que el rendimiento de LLM es igual o incluso supera las capacidades humanas en áreas específicas. Por ejemplo, el modelo GPT-4 aprobó el Examen de Licencia Médica de los Estados Unidos con un puntuación general del 86,7%.

La inteligencia artificial híbrida es otro enfoque emergente para el uso de GenAI en la atención médica que combina el aprendizaje automático (ML) y LLMs para manejar análisis complejos y traducir los resultados a un lenguaje plano. Al integrar ambos modelos, este enfoque busca superar las limitaciones de LLMs, incluyendo alucinaciones, inexactitudes y sesgos, mientras aprovecha sus fortalezas. La inteligencia artificial agente también está en aumento en la adopción por su capacidad para automatizar tareas clave sin entrada humana, como responder a mensajes de pacientes o programar citas.

Sin embargo, el potencial de la inteligencia artificial también destaca una necesidad apremiante de una gobernanza más proactiva. Cuanto más integradas estén estas herramientas en las operaciones de la atención médica, mayores son las apuestas para garantizar la precisión, la seguridad y la conformidad.

Los riesgos de conformidad de LLM de propósito general en la atención médica

Si bien la adopción digital en la atención médica ha desbloqueado una gran cantidad de nuevas posibilidades, también ha expuesto vulnerabilidades clave. Entre el 1 de noviembre de 2023 y el 31 de octubre de 2024, por ejemplo, el sector de la atención médica experimentó 1.710 incidentes de seguridad, 1.542 de los cuales involucraron divulgaciones de datos confirmadas.

La era de la inteligencia artificial profundiza estas grietas, agregando una nueva capa de complejidad a la privacidad y seguridad de los datos. Más específicamente, el uso de LLMs de propósito general en la atención médica evoca varios riesgos de conformidad clave:

Riesgo #1: Desarrollo de caja opaca que impide el monitoreo o verificación continuos

Los modelos cerrados carecen de transparencia sobre su proceso de desarrollo, como qué datos específicos se utilizaron para entrenar el modelo o cómo se realizan las actualizaciones. Esta opacidad impide a los desarrolladores y investigadores analizar el modelo para determinar el origen de los riesgos de seguridad o discernir los procesos de toma de decisiones. Como resultado, los LLMs cerrados pueden permitir el uso de fuentes de datos médicos no verificadas y permitir que las vulnerabilidades de seguridad queden sin control.

Riesgo #2: Fuga de datos de pacientes

Los LLMs no siempre se basan en datos de pacientes desidentificados. Las solicitudes o interacciones especializadas podrían revelar involuntariamente información de salud identificable, creando posibles violaciones de HIPAA.

Riesgo #3: Perpetuación de sesgos y información inexacta

En un experimento, los investigadores inyectaron un pequeño porcentaje de hechos incorrectos en una categoría de la base de conocimientos de un modelo biomédico, mientras preservaban su comportamiento en todos los demás dominios. Los investigadores encontraron que la información errónea se propagó a través de la salida del modelo, destacando las vulnerabilidades de los LLMs a los ataques de información errónea.

Cualquier defecto encontrado en los modelos base se hereda en todos los modelos adoptados y las aplicaciones resultantes del modelo principal. Las disparidades en las salidas pueden empeorar las desigualdades en la salud, como consejos inexactos para grupos subrepresentados.

Riesgo #4: Desalineación regulatoria

El uso de LLMs de propósito general puede no cumplir con HIPAA, GDPR o regulaciones específicas de inteligencia artificial en evolución, especialmente si los proveedores no pueden validar los datos de entrenamiento. Estos riesgos se ven agravados por el uso de herramientas de inteligencia artificial no aprobadas o no supervisadas por los empleados de las organizaciones de atención médica, o la inteligencia artificial en la sombra. Según IBM, el 20% de las organizaciones encuestadas en todos los sectores sufrieron una violación debido a incidentes de seguridad que involucraban inteligencia artificial en la sombra.

En última instancia, los riesgos de LLM de propósito general en la atención médica tienen implicaciones en el mundo real, incluyendo acciones legales, daño a la reputación, pérdida de la confianza de los pacientes y costos de litigio.

Mejores prácticas: Pautas y consideraciones para LLM

Para adoptar GenAI de manera responsable, los líderes de la atención médica deben establecer guardias claras que protejan a los pacientes y a las organizaciones por igual. Las siguientes mejores prácticas pueden ayudar a las organizaciones de atención médica a establecer una base para el uso responsable y conforme de la inteligencia artificial:

Mejor práctica #1: Elegir la tecnología de inteligencia artificial sabiamente

Requerir claridad de los proveedores sobre cómo se desarrolla la tecnología de inteligencia artificial y qué fuentes de datos se utilizan en el proceso de desarrollo. Priorizar herramientas que utilicen solo contenido médico validado por expertos, tengan procesos de toma de decisiones transparentes y eviten entrenar modelos con información de salud del paciente.

Mejor práctica #2: Construir salvaguardas de humano en el bucle

Asegurarse de que los clínicos revisen cualquier salida generada por la inteligencia artificial que pueda impactar las decisiones de atención. La inteligencia artificial puede ser una herramienta poderosa, pero en una industria que tiene un impacto directo en la vida de los pacientes, la supervisión clínica es clave para garantizar el uso responsable y la precisión de cualquier información asistida por la inteligencia artificial.

Mejor práctica #3: Capacitación y preparación de la fuerza laboral

Educación a los clínicos y al personal sobre los beneficios y los riesgos del uso de la inteligencia artificial para reducir la adopción de inteligencia artificial en la sombra. El personal de atención médica está navegando una fuerza laboral compleja, tensa por la escasez de personal y las altas tasas de agotamiento. Simplificar el proceso de educación sobre la inteligencia artificial ayuda a garantizar la conformidad sin agregar una carga adicional a su carga de trabajo.

Mejor práctica #4: Establecer una cultura de gobernanza

Integrar evaluaciones de terceros de soluciones de inteligencia artificial para verificar la seguridad, la confiabilidad y la conformidad. Al mismo tiempo, implementar un marco claro y organizacional para la supervisión de la inteligencia artificial que defina la aprobación, el uso y el monitoreo para mejorar aún más la confianza en la tecnología y prevenir que el personal recurra a herramientas no autorizadas.

Mejor práctica #5: Alinear con el liderazgo en la tutoría de la inteligencia artificial

Colaborar con el liderazgo para estar por delante de las regulaciones en evolución, así como la orientación de la FDA y la ONC. Los esfuerzos regulatorios están surgiendo a nivel estatal. Por ejemplo, California instituyó la Ley de Transparencia en Inteligencia Artificial de Frontera, que enfatiza la divulgación de riesgos, la transparencia y la mitigación, especialmente en entornos de atención médica, y también hay la Ley de Inteligencia Artificial de Colorado (CAIA), que está diseñada para prevenir la discriminación algorítmica.

Mejor práctica #6: Monitoreo continuo y bucles de retroalimentación

El uso de la inteligencia artificial dentro de un entorno de atención médica nunca debe abordarse con la mentalidad de “configurarlo y olvidarlo”. Establecer un marco para el monitoreo continuo puede ayudar a garantizar la precisión de las herramientas de inteligencia artificial, fortalecer la rendición de cuentas y mantener la conformidad con el tiempo.

Mejor práctica #7: Buscar asociaciones para optimizar la supervisión y la investigación

Las organizaciones de atención médica deben aprovechar las asociaciones con los reguladores y el sector público para maximizar la supervisión, contribuir con su perspectiva de la industria a los estándares de seguridad y combinar recursos de expertos.

Construir la confianza a través del liderazgo en la conformidad

La diferenciación de las soluciones de inteligencia artificial en la atención médica dependerá cada vez más de la calidad de su contenido de expertos, la integridad de sus procesos de evaluación y la integración responsable en los flujos de trabajo clínicos. La próxima fase de la adopción de la inteligencia artificial dependerá menos del código y más del liderazgo en la conformidad.

La confianza es tan crítica como la conformidad en sí misma. Para que la tecnología sea verdaderamente efectiva, los pacientes y los proveedores deben creer que la inteligencia artificial es segura y está alineada con la atención de alta calidad y ética. El liderazgo en la conformidad es una ventaja estratégica, no solo una medida defensiva. Las organizaciones proactivas que establezcan guardias temprano, antes de que ocurran incidentes dañinos, se diferenciarán en un futuro de atención médica impulsado por la inteligencia artificial.