Protege lance des évaluations indépendantes de l’IA en santé, tandis que Disease Odyssey révèle des lacunes diagnostiques

Protege lance des évaluations indépendantes de l’IA en santé, en soumettant des modèles à des tests portant sur des cas de patients qu’ils n’ont jamais vus. Son premier référentiel d’évaluation, Disease Odyssey, donne un premier aperçu de l’importance de cette démarche : selon l’entreprise, les modèles de pointe n’ont identifié des maladies comme l’apnée du sommeil et l’anémie que dans 53 % à 69 % des cas à partir de l’historique médical des patients.

Le lancement du 21 octobre comprend également des évaluations menées avec Xlue AI et Standard Model Biomedicine. Ensemble, les résultats répondent à deux questions importantes pour les hôpitaux et les développeurs : un modèle peut-il extraire des informations cliniques utiles de dossiers réels, et combien coûte la production de ces prédictions ?

Protege entend confier une plus grande part de cette évaluation à des organisations extérieures à celles qui développent les modèles. L’entreprise conçoit, réalise et note des évaluations à partir de dossiers de patients protégés par des mesures de confidentialité et de réponses vérifiées par des cliniciens. Les développeurs peuvent ainsi repérer les faiblesses avant d’avancer des affirmations plus générales sur les performances.

Un test différent des questions d’examen médical

Une question médicale présentant un diagnostic clairement formulé n’a rien à voir avec l’historique d’un patient réparti sur plusieurs consultations. Les symptômes évoluent au fil du temps, les dossiers peuvent être incomplets et l’indice décisif peut se cacher parmi des informations moins pertinentes. Disease Odyssey vise à détecter les maladies avant qu’elles soient diagnostiquées, à partir de ces historiques longitudinaux.

La fourchette rapportée de 53 % à 69 % concerne les cas et les maladies testés, et non l’ensemble de l’IA en santé. L’annonce de Protege ne fournit pas assez de détails sur la taille des échantillons, les modèles précis utilisés à des fins de comparaison ni l’incertitude entourant les résultats pour étayer un classement plus général. Elle montre toutefois que le premier référentiel d’évaluation de l’entreprise laisse une marge d’amélioration considérable.

« L’IA en santé évolue rapidement, mais nos méthodes d’évaluation n’ont pas suivi le rythme », a déclaré Bobby Samuels, cofondateur et PDG de Protege, dans l’annonce.

Comment Protege distingue les tests du développement

Protege décrit son processus comme étant en double aveugle : les développeurs des modèles n’ont pas accès aux données ni aux questions des patients à l’avance, tandis que Protege évalue les systèmes sans savoir comment ils ont été conçus. Ici, cette expression désigne le dispositif d’évaluation, et non un essai clinique randomisé.

Il est important de tenir les données de test à l’écart du développement, car l’exposition aux questions d’un référentiel d’évaluation peut gonfler les performances apparentes. Un modèle qui a rencontré une réponse pendant son entraînement peut sembler plus performant qu’il ne l’est lorsqu’il doit traiter un cas véritablement inédit.

La plateforme d’évaluation de l’IA en santé de l’entreprise comporte plusieurs mécanismes de contrôle pratiques. Elle prévoit des cas de test protégés et tenus à l’écart de l’entraînement, des tâches et des règles de notation versionnées, ainsi que l’analyse des types d’échec et des populations concernées. La gestion des versions rend les comparaisons entre les différentes versions d’un modèle plus pertinentes : un score supérieur est plus facile à interpréter lorsque la tâche et les règles de notation n’ont pas changé discrètement.

La plateforme s’appuie sur des informations reliées entre elles, notamment les dossiers médicaux électroniques, les notes cliniques, l’imagerie, les résultats anatomopathologiques, les demandes de remboursement et les résultats cliniques. Son Data Lab transforme les questions cliniques en tâches d’évaluation et en réponses de référence. Cette approche vise à tester la manière dont les modèles exploitent le contexte clinique, et non simplement leur capacité à restituer des faits médicaux isolés.

Des modèles spécialisés rivalisent en matière de performances et de coûts

Les évaluations présentées portent sur différentes tâches. Leurs résultats doivent donc être examinés séparément de ceux de Disease Odyssey.

Dans le cadre de travaux menés avec Standard Model Biomedicine, Protege a évalué des prédictions concernant la survie des patients atteints d’un cancer du sein ou du poumon, ainsi que le délai avant leur prochain traitement. L’entreprise indique que le modèle spécialisé a obtenu des résultats comparables à ceux des systèmes de pointe, tout en coûtant 36 à 170 fois moins cher par prédiction.

Une évaluation distincte du modèle HealthSAW de Xlue AI a porté sur les risques futurs de cancer, de maladies cardiovasculaires et d’affections neurologiques. Selon Protege, HealthSAW a surpassé les modèles de pointe lors de 14 tests sur 16, pour un coût par patient inférieur à 0,1 % du leur.

Il s’agit de comparaisons propres à certaines tâches, rapportées par Protege, et non d’une démonstration qu’un modèle est le meilleur dans tous les contextes cliniques. L’annonce ne détaille pas l’ensemble de la méthode de calcul des coûts. La baisse du coût des prédictions pourrait faciliter les dépistages répétés ou les analyses à grande échelle, mais les coûts de déploiement dépendent aussi de l’intégration, de la supervision et du travail qu’entraînent les résultats erronés.

Les évaluations doivent suivre le rythme des mises à jour des modèles

L’activité plus générale de Protege consiste à fournir des données pour le développement de l’IA. La séparation entre les données de développement et les données d’évaluation constitue donc un élément important de son approche. Les documents de l’entreprise mettent en avant la traçabilité, l’accès contrôlé et le renouvellement des cas de patients, autant de moyens de préserver l’utilité des tests au fil du temps.

L’entreprise prévoit d’étendre les évaluations à des domaines tels que l’anatomopathologie, la dermatologie, l’oncologie et les processus administratifs. Elle vise à mettre en place un processus reproductible, qui pourra être relancé au gré de l’évolution des modèles, plutôt qu’à attribuer à un produit un score unique et définitif.

Cela est utile à la fois aux acheteurs et aux concepteurs. Un hôpital doit savoir si un modèle mis à jour reste efficace auprès de sa population de patients et dans son flux de travail. Un développeur a besoin de plus qu’un score moyen : il doit comprendre quels cas posent problème et si une amélioration dans un domaine entraîne des faiblesses ailleurs.

Des tests indépendants peuvent rendre ces échanges plus concrets, mais les résultats obtenus rétrospectivement sur des critères de référence ne sont pas synonymes de bénéfices démontrés en pratique clinique. Les études prospectives, les performances selon les groupes de patients, les taux de faux positifs et de faux négatifs, ainsi que les effets sur la charge de travail des cliniciens restent des éléments importants des données probantes.

Le lancement de Protege pose une question plus incisive aux entreprises spécialisées dans l’IA en santé : comment le système se comporte-t-il lorsque les cas lui sont inconnus et que le test est défini par une autre partie ? La valeur de ce nouveau service dépendra de la clarté avec laquelle ses méthodes et ses résultats aideront les organisations à répondre à cette question — et de la régularité avec laquelle les tests mettront au jour des problèmes que des démonstrations soignées ne révèlent pas.