Protege lanza pruebas independientes de IA sanitaria mientras Disease Odyssey pone de manifiesto las brechas en el diagnóstico

Protege está poniendo en marcha evaluaciones independientes de IA sanitaria, en las que se someten modelos a pruebas con casos de pacientes que no habían visto antes. Su primer referente de evaluación, Disease Odyssey, ofrece una primera muestra de por qué esto importa: según la empresa, los modelos más avanzados identificaron afecciones como la apnea del sueño y la anemia en solo el 53 %–69 % de los casos al trabajar con historiales de pacientes.

El lanzamiento del 21 de octubre también incluye evaluaciones con Xlue AI y Standard Model Biomedicine. En conjunto, los resultados abordan dos cuestiones importantes para hospitales y desarrolladores: si un modelo puede extraer señales clínicas útiles de registros reales y cuánto cuesta generar esas predicciones.

La propuesta de Protege consiste en trasladar una mayor parte de esa evaluación fuera de las organizaciones que desarrollan los modelos. La empresa diseña, ejecuta y puntúa evaluaciones con registros de pacientes protegidos por medidas de privacidad y respuestas verificadas por profesionales clínicos, lo que permite a los desarrolladores detectar debilidades antes de hacer afirmaciones más amplias sobre el rendimiento.

Una prueba distinta de responder preguntas de exámenes médicos

Una pregunta médica con un diagnóstico formulado claramente es distinta de un historial de paciente que abarca varias consultas. Los síntomas evolucionan con el tiempo, los registros pueden estar incompletos y la pista decisiva puede quedar oculta entre información menos pertinente. Disease Odyssey se centra en reconocer enfermedades antes del diagnóstico a partir de estos historiales longitudinales.

El intervalo comunicado del 53 %–69 % se aplica a los casos y las afecciones evaluados, no a la IA sanitaria en su conjunto. El anuncio de Protege no aporta suficientes detalles sobre el tamaño de las muestras, los modelos exactos usados para la comparación ni la incertidumbre de los resultados como para establecer una clasificación más amplia. Lo que sí muestra es que aún hay un margen considerable de mejora en el referente de evaluación inicial de la empresa.

«La IA sanitaria está avanzando rápidamente, pero la forma de evaluarla no ha seguido el mismo ritmo», afirmó Bobby Samuels, cofundador y director ejecutivo de Protege, en el anuncio.

Cómo Protege separa las pruebas del desarrollo

Protege describe su proceso como doble ciego: quienes desarrollan los modelos no ven de antemano los datos ni las preguntas de los pacientes, mientras que Protege evalúa los sistemas sin saber cómo se desarrollaron. En este caso, el término describe la metodología de evaluación, no un ensayo clínico aleatorizado.

Mantener el material de prueba fuera del proceso de desarrollo es importante porque la exposición a las preguntas de evaluación puede inflar el rendimiento aparente. Un modelo que haya encontrado una respuesta durante el entrenamiento puede parecer más capaz de lo que realmente es cuando se enfrenta a un caso verdaderamente nuevo.

La plataforma de evaluación sanitaria de la empresa incorpora varios controles prácticos. Describe casos de prueba protegidos y reservados, tareas y criterios de puntuación con control de versiones, y análisis de patrones de fallo y de las poblaciones afectadas. El control de versiones hace más significativas las comparaciones entre versiones de un modelo: resulta más fácil interpretar una puntuación más alta cuando la tarea y las reglas de puntuación no han cambiado de manera inadvertida.

La plataforma se nutre de información vinculada, como historias clínicas electrónicas, notas clínicas, imágenes, datos de anatomía patológica, reclamaciones y resultados. Su Data Lab convierte las preguntas clínicas en tareas de evaluación y respuestas de referencia. La combinación busca comprobar cómo utilizan los modelos el contexto clínico, en lugar de limitarse a evaluar si reproducen datos médicos aislados.

Modelos especializados compiten en rendimiento y costo

Las evaluaciones complementarias examinan distintas tareas, por lo que sus resultados deben analizarse por separado de los de Disease Odyssey.

En un trabajo con Standard Model Biomedicine, Protege evaluó predicciones relacionadas con la supervivencia en casos de cáncer de mama y de pulmón, así como con el tiempo hasta el siguiente tratamiento de un paciente. La empresa informa que el modelo especializado obtuvo resultados competitivos frente a los sistemas más avanzados, con un costo por predicción entre 36 y 170 veces menor.

En una evaluación independiente del modelo HealthSAW de Xlue AI, se examinaron riesgos futuros relacionados con el cáncer, las enfermedades cardiovasculares y las afecciones neurológicas. Según Protege, HealthSAW superó a los modelos más avanzados en 14 de 16 pruebas, con menos del 0,1 % de su costo por paciente.

Se trata de comparaciones específicas para cada tarea, comunicadas por Protege, y no de una demostración de que un modelo sea el mejor para todos los entornos clínicos. El anuncio no detalla la metodología completa para calcular los costos. Un menor costo de las predicciones podría facilitar los exámenes repetidos o los análisis a gran escala, pero los costos de implementación también dependen de la integración, la supervisión y el trabajo que generan los resultados incorrectos.

La evaluación debe seguir el ritmo de las actualizaciones de los modelos

La actividad más amplia de Protege incluye el suministro de datos para el desarrollo de IA, por lo que separar los datos de desarrollo de los datos de evaluación es una parte importante de su enfoque. Sus materiales destacan la procedencia, el acceso controlado y la renovación de los casos de pacientes como formas de mantener la utilidad de las pruebas a lo largo del tiempo.

La empresa prevé ampliar las evaluaciones a áreas como la anatomía patológica, la dermatología, la oncología y los flujos de trabajo administrativos. Su objetivo es establecer un proceso reproducible que pueda ejecutarse de nuevo a medida que cambien los modelos, en lugar de asignar a un producto una puntuación única y permanente.

Esto es útil tanto para quienes compran como para quienes desarrollan estas soluciones. Un hospital necesita saber si un modelo actualizado sigue funcionando para su población y sus flujos de trabajo. Un desarrollador necesita algo más que una puntuación promedio: debe entender qué casos fallan y si una mejora en un área genera debilidades en otra.

Las pruebas independientes pueden hacer más concretas esas conversaciones, pero el rendimiento en una evaluación retrospectiva no equivale a un beneficio demostrado en la práctica clínica. Los estudios prospectivos, el rendimiento en distintos grupos de pacientes, las tasas de falsos positivos y falsos negativos y los efectos en la carga de trabajo de los profesionales clínicos siguen siendo piezas importantes de la evidencia.

El lanzamiento de Protege plantea una pregunta más incisiva a las empresas de IA para el sector sanitario: ¿cómo funciona el sistema cuando los casos no le son familiares y otra parte establece la prueba? El valor del nuevo servicio dependerá de hasta qué punto sus métodos y resultados ayuden claramente a las organizaciones a responder esa pregunta, y de la constancia con que las pruebas detecten problemas que las demostraciones pulidas pasan por alto.