Résilience > Précision : Pourquoi la « résilience du modèle » devrait être la véritable mesure pour l’opérationnalisation des modèles

Par Ingo Mierswa, Fondateur, Président et Chef des données scientifiques chez RapidMiner.

Les sciences des données ont réalisé de grands progrès ces dernières années et de nombreuses organisations utilisent des analyses avancées ou des modèles d’apprentissage automatique pour obtenir des informations plus approfondies sur les processus et, dans certains cas, même pour prédire les résultats probables pour l’avenir. Pour d’autres « sciences », il n’est souvent pas clair si un projet sera couronné de succès ou non, et il y a eu des rapports selon lesquels jusqu’à 87 % des projets de sciences des données ne parviennent jamais en production. Même si un taux de réussite de 100 % ne peut pas être attendu, il existe certains modèles dans les projets de sciences des données qui conduisent à des taux de réussite plus élevés que ce qui devrait être acceptable dans le domaine. Ces modèles problématiques semblent exister indépendamment de toute industrie ou cas d’utilisation particulière, ce qui suggère qu’il existe un problème universel dans les sciences des données qui doit être abordé.

Mesurer le succès de l’apprentissage automatique

Les data scientists qui créent des modèles d’apprentissage automatique (ML) s’appuient sur des critères mathématiques bien définis pour mesurer la performance de ces modèles. Le choix de ces critères dépend principalement du type de modèle. Supposons qu’un modèle doit prédire des classes ou des catégories pour de nouvelles situations — par exemple, si un client va résilier son abonnement ou non. Dans des situations comme celles-ci, les data scientists utiliseraient des mesures telles que la précision (à quelle fréquence le modèle est correct) ou la précision (à quelle fréquence les clients sont réellement en train de résilier leur abonnement si nous prédisons une résiliation).

Les data scientists ont besoin de critères objectifs comme ceux-ci car une partie de leur travail consiste à optimiser ces critères d’évaluation pour produire le meilleur modèle. En fait, à côté de la préparation des données pour les rendre prêtes à être modélisées, la construction et la mise au point de ces modèles constituent là où les data scientists passent la majeure partie de leur temps.

Le revers de la médaille est que les data scientists ne se concentrent pas vraiment sur la mise en production de ces modèles, ce qui pose problème pour plus d’une raison. Tout d’abord, les modèles qui ne produisent pas de résultats réussis ne peuvent pas être utilisés pour générer un impact commercial pour les organisations qui les déployeront. Deuxièmement, parce que ces organisations ont consacré du temps et de l’argent au développement, à la formation et à l’opérationnalisation de modèles qui n’ont pas produit de résultats réussis lorsqu’ils ont été exécutés avec des données du « monde réel », elles sont plus susceptibles de considérer l’apprentissage automatique et d’autres outils de sciences des données comme inutiles pour leur organisation et de refuser d’avancer avec les futures initiatives de sciences des données.

La vérité est que les data scientists aiment simplement ajuster les modèles et y passent beaucoup de temps. Mais sans impact commercial, ce temps n’est pas dépensé sagement, ce qui est particulièrement douloureux étant donné la rareté des ressources dont disposent les data scientists dans le monde d’aujourd’hui.

Le prix Netflix et l’échec de production

Nous avons vu ce phénomène d’investissement excessif dans la construction de modèles et non dans l’opérationnalisation des modèles se produire ces dernières années. Le Prix Netflix (NFLX ) était un concours ouvert pour le meilleur algorithme de filtrage collaboratif pour prédire les notes des utilisateurs pour les films. Si vous donnez une note élevée à un nouveau film, vous avez probablement apprécié ce film — donc en utilisant ce système de notation, Netflix vous recommandera certains titres et si vous appréciez le contenu recommandé, vous resterez probablement plus longtemps en tant que client de Netflix. Le prix était la somme de 1 million de dollars, attribuée à l’équipe qui a pu améliorer l’algorithme de Netflix de au moins 10 %.

Le concours a commencé en 2006 et, au cours des trois années suivantes, les contributions de plus de 40 000 équipes de data scientists dans le monde ont conduit à une amélioration impressionnante de plus de 10 % pour le succès de la recommandation de titres. Cependant, les modèles de l’équipe gagnante n’ont jamais été opérationnalisés. Netflix a déclaré que « l’augmentation de la précision ne semblait pas justifier l’effort nécessaire pour mettre ces modèles en production ».

Pourquoi l’optimal n’est pas toujours optimal

La précision du modèle et d’autres critères de sciences des données ont longtemps été utilisés comme mesure du succès d’un modèle avant de le mettre en production. Comme nous l’avons vu, de nombreux modèles ne parviennent même pas à ce stade — ce qui est un gaspillage de ressources, à la fois en termes d’énergie et de temps passé.

Mais il y a plus de problèmes avec cette culture d’investissement excessif dans l’ajustement des modèles. Le premier est un surajustement involontaire aux données de test, ce qui entraînera des modèles qui semblent bons pour le data scientist chargé de gérer les données, mais qui sous-performent une fois en production — parfois même en causant des dommages. Cela se produit pour deux raisons :

1. Il y a une discordance bien connue entre l’erreur de test et celle que l’on verra en production
2. Les critères de performance des sciences des données et l’impact commercial sont souvent corrélés, mais les modèles « optimaux » ne livrent pas toujours l’impact le plus important

Le premier point ci-dessus est également appelé « surajustement au jeu de test ». C’est un phénomène bien connu, en particulier parmi les participants aux concours de sciences des données tels que ceux de Kaggle. Pour ces concours, on peut voir une version plus forte de ce phénomène déjà entre les classements public et privé. En fait, un participant pourrait gagner le classement public dans un concours Kaggle sans jamais avoir lu les données. De même, le gagnant du classement privé et du concours dans son ensemble peut ne pas avoir produit un modèle qui puisse maintenir ses performances sur tout autre ensemble de données que celui sur lequel il a été évalué.

La précision ne correspond pas à l’impact commercial

Pendant trop longtemps, nous avons accepté cette pratique, qui conduit à une adaptation lente des modèles aux ensembles de données de test. En conséquence, ce qui ressemble au meilleur modèle se révèle être médiocre au mieux :

• Des mesures comme la précision prédictive ne correspondent souvent pas à l’impact commercial
• Une amélioration de la précision de 1 % ne peut pas être traduite par une amélioration de 1 % de l’impact commercial
• Il y a des cas où un modèle à faible performance surpasse les autres en termes d’impact commercial
• Il faut également prendre en compte d’autres facteurs tels que la maintenance, la vitesse de notation, ou la robustesse face aux changements dans le temps (appelés « résilience »).

Ce dernier point est particulièrement important. Les meilleurs modèles ne gagneront pas seulement des concours ou ne sembleront pas bons dans le laboratoire de sciences des données, mais tiendront également bien en production et performeront bien sur une variété d’ensembles de test. Ces modèles sont ce que nous appelons des modèles résilients.

La dérive et l’importance de la résilience

Tous les modèles se dégradent avec le temps. La seule question est de savoir à quelle vitesse cela se produit et à quel point le modèle fonctionne encore bien dans les circonstances modifiées. La raison de cette dégradation est que le monde n’est pas statique. Par conséquent, les données auxquelles le modèle est appliqué changent également avec le temps. Si ces changements se produisent lentement, nous les appelons « dérive de concept ». Si les changements se produisent brusquement, nous les appelons « changement de concept ». Par exemple, les clients peuvent modifier leur comportement de consommation lentement avec le temps, influencés par les tendances et/ou le marketing. Les modèles de propension peuvent ne plus fonctionner à un certain stade. Ces changements peuvent être considérablement accélérés dans certaines situations. Le COVID-19, par exemple, a entraîné la vente d’articles tels que le papier toilette et les désinfectants — une augmentation imprévue et brutale de certains produits qui peut complètement déstabiliser un tel modèle.

Un modèle résilient peut ne pas être le meilleur modèle en fonction de mesures telles que la précision ou la précision, mais il fonctionnera bien sur une plus grande variété d’ensembles de données. Pour cette raison, il fonctionnera également mieux sur une plus longue période et sera donc mieux à même de livrer un impact commercial durable.

Les modèles linéaires et d’autres types de modèles simples sont souvent plus résilients car il est plus difficile de les surajuster à un ensemble de test ou à un moment spécifique. Des modèles plus puissants peuvent et devraient être utilisés comme « challengers » pour un modèle plus simple, permettant aux data scientists de voir s’il peut également tenir dans le temps. Mais cela devrait être employé à la fin, et non au début du parcours de modélisation.

Alors qu’un indicateur de performance formel pour mesurer la résilience n’a pas encore été introduit dans le domaine des sciences des données, il existe plusieurs façons dont les data scientists peuvent évaluer la résilience de leurs modèles :

• Des écarts types plus faibles dans une validation croisée signifient que les performances du modèle dépendaient moins des spécificités des différents ensembles de test
• Même si les data scientists ne réalisent pas de validations croisées complètes, ils peuvent utiliser deux ensembles de données différents pour les tests et la validation. Une discrépance moindre entre les taux d’erreur pour les ensembles de test et de validation indique une résilience plus élevée
• Si le modèle est correctement surveillé en production, les taux d’erreur peuvent être vus dans le temps. La cohérence des taux d’erreur dans le temps est un bon signe pour la résilience du modèle.
• Si la solution de surveillance du modèle de choix prend en compte la dérive, les data scientists devraient également prêter attention à la façon dont le modèle est affecté par cette dérive d’entrée.

Changer la culture des sciences des données

Une fois qu’un modèle a été déployé à l’étape d’opérationnalisation, il y a encore des menaces pour la précision du modèle. Les deux derniers points ci-dessus concernant la résilience du modèle nécessitent déjà une surveillance appropriée des modèles en production. Comme point de départ pour un changement de culture dans les sciences des données, les entreprises sont bien avisées d’investir dans une surveillance appropriée des modèles et de commencer à tenir les data scientists responsables du manque de performance après la mise en production des modèles. Cela changera immédiatement la culture d’une culture de construction de modèles à une culture de création et de maintien de la valeur pour le domaine des sciences des données.

Comme les événements récents dans le monde nous l’ont montré, le monde change rapidement. Maintenant, plus que jamais, nous devons construire des modèles résilients — et non seulement précis — pour capter un impact commercial significatif dans le temps. Par exemple, Kaggle organise un défi pour mobiliser les data scientists du monde entier pour aider à construire des solutions de modèles pour lutter contre le COVID-19. Je prévois que les modèles les plus performants produits à la suite de ce défi seront les plus résilients, et non les plus précis, comme nous l’avons vu comment les données du COVID-19 peuvent changer en un seul jour.

Les sciences des données devraient être axées sur la recherche de la vérité, et non sur la production du « meilleur » modèle. En nous tenant à une norme plus élevée de résilience par rapport à la précision, les data scientists seront en mesure de livrer un impact commercial plus important pour nos organisations et d’aider à façonner positivement l’avenir.