Préparation de données humaines pour l’apprentissage automatique : ces deux approches sont critiques pour réduire les coûts

Par : Dattaraj Rao, Chief Data Scientist, Persistent Systems

Comme pour tout système qui dépend de données d’entrée, l’apprentissage automatique (ML) est soumis à l’axiome de “données de mauvaise qualité, résultats de mauvaise qualité”. Des données propres et correctement étiquetées sont la base pour construire tout modèle ML. Un algorithme d’apprentissage ML comprend les modèles à partir des données de référence et apprend à généraliser à partir de données non vues. Si la qualité de vos données d’entraînement est faible, il sera très difficile pour l’algorithme ML d’apprendre et de généraliser de manière continue.

Pensez-y en termes d’entraînement d’un chien. Si vous ne parvenez pas à entraîner correctement le chien avec des commandes comportementales fondamentales (entrées) ou si vous le faites de manière incorrecte ou imprécise, vous ne pouvez pas vous attendre à ce que le chien apprenne et se développe par observation en comportements positifs plus complexes, car les entrées sous-jacentes étaient absentes ou défectueuses dès le départ. Un entraînement approprié est chronophage et peut même être coûteux si vous faites appel à un expert, mais les avantages sont importants si vous le faites correctement dès le début.

Lors de l’entraînement d’un modèle ML, la création de données de qualité nécessite qu’un expert domaine passe du temps à annoter les données. Cela peut inclure la sélection d’une fenêtre avec l’objet souhaité dans une image ou l’attribution d’une étiquette à une entrée de texte ou à un enregistrement de base de données. En particulier pour les données non structurées comme les images, les vidéos et le texte, la qualité d’annotation joue un rôle majeur dans la détermination de la qualité du modèle. Habituellement, les données non étiquetées comme les images et le texte bruts sont abondantes, mais l’étiquetage est où l’effort doit être optimisé. Il s’agit de la partie “humain dans la boucle” du cycle de vie ML et est généralement la partie la plus coûteuse et la plus chronophage de tout projet ML.

Des outils d’annotation de données comme Prodigy, Amazon Sagemaker Ground Truth, NVIDIA RAPIDS et DataRobot human-in-the-loop améliorent constamment leur qualité et offrent des interfaces intuitives pour les experts domaine. Cependant, la minimisation du temps nécessaire aux experts domaine pour annoter les données constitue toujours un défi important pour les entreprises aujourd’hui, en particulier dans un environnement où les talents en science des données sont limités mais très demandés. C’est là que deux nouvelles approches de préparation de données entrent en jeu.

Apprentissage actif

L’apprentissage actif est une méthode où un modèle ML demande activement à un expert domaine des annotations spécifiques. Ici, l’objectif n’est pas d’obtenir une annotation complète sur des données non étiquetées, mais d’obtenir les points de données corrects annotés afin que le modèle puisse apprendre mieux. Prenons par exemple les soins de santé et les sciences de la vie, une société de diagnostic qui se spécialise dans la détection précoce du cancer pour aider les cliniciens à prendre des décisions éclairées basées sur les données. Dans le cadre de leur processus de diagnostic, ils doivent annoter des images de tomodensitrométrie avec des tumeurs qui doivent être mises en évidence.

Après que le modèle ML ait appris à partir de quelques images avec des blocs de tumeurs marqués, avec l’apprentissage actif, le modèle demandera ensuite aux utilisateurs d’annoter uniquement les images où il est incertain de la présence d’une tumeur. Ceux-ci seront des points de frontière, qui, une fois annotés, augmenteront la confiance du modèle. Là où le modèle est confiant au-dessus d’un certain seuil, il effectuera une auto-annotation plutôt que de demander à l’utilisateur d’annoter. C’est ainsi que l’apprentissage actif tente de construire des modèles précis tout en réduisant le temps et l’effort nécessaires pour annoter les données. Des cadres comme modAL peuvent aider à améliorer les performances de classification en interrogeant de manière intelligente les experts domaine pour étiqueter les instances les plus informatives.

Supervision faible

La supervision faible est une approche où des données bruyantes et imprécises ou des concepts abstraits peuvent être utilisés pour fournir des indications pour étiqueter une grande quantité de données non supervisées. Cette approche utilise généralement des étiqueteurs faibles et tente de les combiner dans une approche d’ensemble pour construire des données annotées de qualité. L’effort est de tenter d’incorporer des connaissances domaine dans une activité d’étiquetage automatisée.

Par exemple, si un fournisseur de services Internet (ISP) avait besoin d’un système pour marquer des jeux de données de courriels comme du spam ou non du spam, nous pourrions écrire des règles faibles telles que la vérification de phrases comme “offre”, “félicitations”, “gratuit”, etc., qui sont généralement associées à des courriels de spam. D’autres règles pourraient être des courriels provenant de modèles d’adresses source spécifiques qui peuvent être recherchés à l’aide d’expressions régulières. Ces fonctions faibles pourraient alors être combinées par un cadre de supervision faible comme Snorkel et Skweak pour construire des données d’entraînement de meilleure qualité.

L’apprentissage automatique est, à son cœur, une question d’aider les entreprises à mettre à l’échelle les processus de manière exponentielle de manière à ce qui est physiquement impossible à réaliser manuellement. Cependant, l’apprentissage automatique n’est pas magique et repose toujours sur les humains pour a) configurer et entraîner correctement les modèles dès le départ et b) intervenir lorsque nécessaire pour s’assurer que le modèle ne devient pas trop biaisé et que les résultats ne sont plus utiles et peuvent être contre-productifs ou négatifs.

L’objectif est de trouver des moyens pour rationaliser et automatiser certaines parties de l’implication humaine afin d’augmenter le temps de mise sur le marché et les résultats tout en restant dans les limites de l’exactitude optimale. Il est universellement accepté que l’obtention de données annotées de qualité est la partie la plus coûteuse mais extrêmement importante d’un projet ML. Il s’agit d’un espace en évolution, et de nombreux efforts sont en cours pour réduire le temps passé par les experts domaine et améliorer la qualité des annotations de données. Explorer et exploiter l’apprentissage actif et la supervision faible est une stratégie solide pour atteindre cet objectif dans plusieurs industries et cas d’utilisation.