Google publica un marco multimétodo para evaluar la IA en salud

Google anunció un libro blanco el 4 de noviembre de 2026 en el que explica cómo evalúa la IA generativa de propósito general en el ámbito de la salud. El marco combina evaluaciones comparativas con preguntas cerradas, evaluadores automáticos de IA y revisión por expertos para valorar la precisión, la seguridad y la utilidad en situaciones habituales y de alto riesgo.

La autora, la Dra. Sarah Montgomery-Taylor, dirige la evaluación clínica en Google for Health; la Dra. Elizabeth McGlynn y la Dra. Dana Gelb Safran colaboraron en el trabajo. Google afirma que desarrolló este enfoque y que sigue utilizándolo para evaluar si sus modelos ofrecen respuestas útiles y precisas que favorezcan interacciones seguras en el ámbito de la salud. La publicación de la metodología busca fomentar la transparencia y ayudar a desarrolladores, investigadores y profesionales clínicos a crear herramientas en las que las personas puedan confiar.

Adaptar la evaluación a la práctica clínica real

Los autores sostienen que los métodos de evaluación diseñados para tareas aisladas no abarcan adecuadamente los modelos de propósito general. Como ejemplo, mencionan un modelo de IA anterior a la IA generativa que puede detectar cáncer de pulmón en una tomografía computarizada, pero no detectar cáncer de mama en una mamografía ni resumir una conversación en una nota. Cuando un solo modelo puede realizar cientos, miles o más tareas, los desarrolladores y las organizaciones de salud necesitan una forma de priorizar las interacciones y los riesgos.

Antes de elegir los casos de prueba, los evaluadores trazan el recorrido crítico del usuario: quién utiliza el sistema, qué quiere lograr y qué pasos debe seguir. Entre los usuarios puede haber pacientes, familiares, profesionales clínicos o administradores. Este análisis orienta la selección de datos y métricas de prueba representativos. También contempla el uso previsto y las formas habituales de uso indebido, como confiar en el sistema para usos no autorizados o intentar eludir los filtros de seguridad.

A continuación, se evalúa cada aplicación en tres ámbitos. La precisión abarca el consenso médico, el respaldo de la evidencia, la veracidad, el razonamiento clínico y la adecuación al contexto; en tareas como la elaboración de resúmenes médicos, también se evalúa la fundamentación en fuentes. La seguridad no se limita a determinar si las afirmaciones son correctas: también considera el daño que podría producirse si alguien interpreta una respuesta y actúa en consecuencia, o no lo hace. Las evaluaciones tienen en cuenta tanto la gravedad como la probabilidad de ese daño. La utilidad comprende la alfabetización en salud, la pertinencia, la exhaustividad y la posibilidad de que alguien actúe a partir de la respuesta. Por tanto, una respuesta puede ser precisa pero insegura, o precisa y segura, pero demasiado compleja o poco práctica para ayudar a quien la recibe.

Los ejemplos del artículo muestran cómo cambia el riesgo principal según la tarea. Si una persona consulta sus síntomas, la preocupación central en materia de seguridad es que no se destaquen los síntomas de alarma que requieren atención urgente; una respuesta excesivamente alarmista puede, en cambio, generar ansiedad innecesaria, mientras que unas indicaciones poco claras para autoevaluarse pueden dificultar los pasos siguientes adecuados. En el caso de un resumen de alta redactado con IA para un profesional clínico, las alucinaciones, las omisiones y los errores factuales comprometen la precisión; pasar por alto alergias o medicamentos contraindicados genera riesgos para la seguridad, y un formato confuso o una cronología incoherente pueden reducir la utilidad.

Combinar la escala de la automatización con el criterio humano

El primer método de evaluación se basa en pruebas con respuestas definidas, como las preguntas de opción múltiple, que permiten realizar a un costo relativamente bajo un gran volumen de comprobaciones básicas de conocimientos. Las pruebas estáticas no pueden reproducir la complejidad ni la representatividad de las interacciones reales. La contaminación de los datos es otra limitación: cuando las preguntas de prueba aparecen en los datos de entrenamiento, los resultados pueden reflejar la preparación para la prueba, en lugar de un razonamiento médico generalizable. Por ello, el marco utiliza estas evaluaciones comparativas para establecer una línea de base y orientar las evaluaciones posteriores, que requieren métodos adicionales para validar el desempeño en el mundo real.

El segundo método asigna la puntuación a otro sistema de IA. Estos evaluadores automáticos aplican rúbricas escritas a respuestas abiertas, lo que permite examinar muchos más escenarios de los que podrían calificar razonablemente los expertos. Pueden evaluar conversaciones simuladas de varios turnos en las que los usuarios inicialmente omiten detalles clínicos, para comprobar si el modelo hace preguntas aclaratorias antes de ofrecer orientación. Aun así, los evaluadores automatizados deben validarse con datos de referencia creados por expertos, ya que pueden premiar la verbosidad, preferir respuestas de su propia familia de modelos y propagar anotaciones humanas ruidosas.

A continuación, profesionales clínicos y otros expertos en la materia examinan los casos en los que las rúbricas automatizadas son menos fiables, incluidos cuadros complejos, casos límite y temas sobre los que existe poco consenso clínico. También valoran si los resultados se ajustan a las normas clínicas locales y a las distintas poblaciones de pacientes. Por otra parte, las pruebas independientes de red team ponen a prueba los límites de seguridad mediante tácticas como súplicas emocionales, encuadres ficticios o la adopción de una identidad de profesional de la salud para inducir respuestas que excedan el alcance previsto del producto. La revisión humana también puede fallar: los autores señalan que dos médicos pueden discrepar en una tarea de calificación en un 30–40 % o más, por lo que es necesario controlar la variabilidad entre evaluadores y realizar análisis adecuados.

La supervisión continúa tras la implementación

La evaluación comienza antes de que exista un producto, con pruebas de las capacidades generales y la seguridad del modelo base. Una vez que el modelo se integra en una aplicación, la evaluación se adapta a los usuarios y al flujo de trabajo de ese producto. Cerca del lanzamiento, una implementación controlada puede incluir pruebas silenciosas en paralelo, pilotos clínicos o despliegues graduales por etapas, junto con pruebas de factores humanos y de usabilidad antes de una disponibilidad más amplia.

Los equipos clínicos y de desarrollo deben establecer conjuntamente los umbrales de aprobación y la ponderación de los criterios de evaluación en cada etapa de decisión sobre el producto, basándose en el perfil de riesgo clínico de la aplicación y no en límites numéricos universales o arbitrarios. Tras el despliegue, los desarrolladores hacen seguimiento de la deriva algorítmica y la estabilidad del sistema. Las organizaciones que adoptan estas herramientas supervisan la seguridad de los flujos de trabajo clínicos en el caso de las herramientas profesionales, o la seguridad de los usuarios y los patrones de uso en el de los productos de consumo.

Los autores afirman que, por sí solas, las señales reactivas, como las quejas de los usuarios y los eventos centinela, no bastan para realizar el seguimiento tras el despliegue. Los conjuntos de prueba difieren de las interacciones reales, y los usuarios cambian sus indicaciones y expectativas a medida que adquieren experiencia. Los resultados del seguimiento deben incorporarse a los requisitos, la formación y las prioridades de las evaluaciones posteriores. El seguimiento a más largo plazo de las interacciones y los resultados de salud se enfrenta a silos de datos, además de obstáculos relacionados con la privacidad y con factores técnicos y organizativos. El artículo también señala que aún queda por completar una labor de gobernanza que abarca las responsabilidades compartidas de los desarrolladores y los sistemas de salud, los costos de implementación, la validación independiente y el consenso científico.

Para los desarrolladores y los sistemas de salud, el marco cambia la pregunta: ya no se trata de si un modelo superó una prueba de referencia estática, sino de si es posible demostrar su precisión, seguridad y utilidad durante todo el desarrollo y el despliegue. El principal desafío es práctico: vincular el seguimiento con la rendición de cuentas, asignar responsabilidades, financiar el trabajo y validar los resultados de forma independiente, a través de los límites organizativos y de datos.