Nettoyer nos données désordonnées : Comment l’IA change la donne

Nous sommes noyés dans les données. Chaque plateforme, montre intelligente et smartphone fragmente notre vie en bribes quantifiables, mais la plupart d’entre elles restent incohérentes et inutilisables.

Les entreprises le savent, c’est pourquoi le géant de la technologie Meta a investi 14 milliards de dollars américains l’été dernier pour acquérir une participation de 49 % dans la startup de labellisation de données Scale AI, faisant un mouvement calculé et stratégique pour sécuriser des données de formation de haute qualité pour ses modèles d’IA.

La fiabilité des grands modèles de langage dépend entièrement de la qualité des données qu’ils reçoivent – en résumé, « des données de mauvaise qualité entraînent des résultats de mauvaise qualité ». Aujourd’hui, cependant, le véritable défi que les entreprises rencontrent est de transformer un flot de données brutes en données exploitables.

La solution peut se cacher en plein jour : l’IA elle-même peut aider en générant des stratégies pour contourner la tâche fastidieuse de labellisation de grands ensembles de données ou de recherche dans des tableurs sans fin, transformant le chaos en intelligence humaine utilisable.

Quand les données deviennent désordonnées : Les coûts cachés pour les entreprises

Selon une recherche de Gartner de 2020, la mauvaise qualité des données coûte aux organisations au moins 12,9 millions de dollars américains par an, affectant la productivité et conduisant à des décisions mal informées et à des rapports inexacts.

Les conséquences de données désordonnées sont encore plus évidentes dans des secteurs tels que les soins de santé. Des dossiers médicaux incomplets, des détails de facturation et des données non concordantes entre les systèmes peuvent entraîner des erreurs de diagnostic, des erreurs de traitement et une allocation inefficace des ressources. À long terme, cela entraîne une augmentation des coûts et une érosion de la confiance dans ces systèmes.

Pendant ce temps, dans la logistique, des données non concordantes entre les fournisseurs et les distributeurs peuvent entraîner des retards ou des pénuries d’inventaire. Une adresse de livraison incorrecte ou un enregistrement de stock obsolète peut avoir un effet d’entraînement sur toute la chaîne d’approvisionnement, conduisant à des délais manqués et à des clients insatisfaits.

« En étant capable d’anticiper ou de comprendre ce qui pourrait se passer [le long de la route] – sur la base de données combinées et passées – vous pouvez vraiment réduire ces inefficacités », Asparuh Koev, PDG de la société d’IA logistique Transmetrics, a noté lors d’une conversation avec Unite AI.

Dans des termes plus pratiques, les données désordonnées sont coûteuses. La règle 1-10-100 l’illustre : il en coûte 1 dollar pour vérifier les données lors de leur saisie, 10 dollars pour les nettoyer par la suite et 100 dollars si rien n’est fait.

Ce que les plateformes alimentées par l’IA apportent à la table

Alors que les entreprises luttent contre des quantités croissantes de données non fiables, elles se tournent vers l’IA pour des solutions. Les plateformes alimentées par l’IA émergentes automatisent maintenant le processus de nettoyage des données, assurant ainsi l’efficacité et l’amélioration de la précision.

Robert Giardina, fondateur de Claritype, une telle plateforme, a expliqué le processus de l’IA :

« Elle converge les données dans un format commun : une partie du processus consiste à convertir chaque donnée en un format canonique adapté à l’entreprise. »

L’IA de Claritype va au-delà d’une simple normalisation, cependant. La réparation supervisée de la plateforme permet aux organisations de franchir les frontières des systèmes pour obtenir des réponses à leurs questions les plus urgentes, en brisant les silos.

« Les systèmes qui étaient précédemment séparés détiennent chacun une partie de la réponse aux questions qui concernent l’ensemble de l’entreprise », a déclaré Giardina à Unite AI.

Si un fournisseur clé est touché par un retard de livraison, par exemple, seule la connexion des fournisseurs aux commandes et à l’historique des clients peut permettre à une entreprise de déterminer quels sont ses clients les plus importants qui doivent être informés en premier du retard.

« Notre objectif ultime est d’étendre cette pensée interconnectée pour unifier chaque fragment de données dans l’entreprise afin que nous puissions rendre chaque question facile et immédiate à répondre », a déclaré Giardina.

Ce type de pensée interconnectée est représentatif du changement plus large de mentalité qui se produit actuellement dans les entreprises, à mesure qu’elles passent d’un nettoyage de données ad hoc à une gouvernance des données systématique. Plutôt que de traiter la qualité des données comme une solution ponctuelle, les organisations développent des processus structurés pour assurer la cohérence et la fiabilité dans l’ensemble de leurs systèmes.

La gouvernance des données est maintenant considérée comme un processus commercial précieux, et non plus comme une tâche informatique. En intégrant la gestion des données dans leurs stratégies globales, les entreprises peuvent prendre de meilleures décisions et obtenir des informations plus significatives à partir de leurs données.

Comment l’IA nettoie les données et les défis qu’elle rencontre

S’appuyer trop sur l’IA peut être dangereux. Pour Giardina, « les conversions de données automatisées inquiétantes sont celles qui vont au-delà de la normalisation et vers les suppositions ».

Par exemple, un abrégé pourrait facilement être mal interprété. “International Business Machines, Inc.” ou “I.B.M.” serait généralement converti en “IBM”, mais si la conversion était automatisée et que “I.B.” était accidentellement converti en “IBM”, cela pourrait causer des problèmes importants pour les deux entreprises.

Les données manquantes et inexacts sont deux des problèmes les plus courants, et s’appuyer uniquement sur l’IA pour combler les lacunes selon le contexte peut facilement se retourner contre nous. Comme le souligne Giardina, « lorsque les effets sont de quelque manière que ce soit significatifs, nous avons besoin qu’un humain approuve chaque supposition ».

Équilibrer l’automatisation avec l’expertise humaine

Les données désordonnées mettent en évidence des failles profondes dans la façon dont les organisations gèrent l’information. Pour aller de l’avant et améliorer la prise de décision, les entreprises doivent cesser de considérer les données comme une question purement technique et passer à des modèles de gouvernance qui combinent l’expertise humaine, la conscience éthique et une vision stratégique à long terme.

Des données plus propres créent une IA plus efficace, qui à son tour aide à améliorer la qualité des données ; ce cycle de renforcement mutuel est prometteur, mais nous rappelle que l’automatisation seule ne résoudra pas notre problème de données désordonnées. Ce potentiel ne peut être réalisé qu’en associant la précision algorithmique au jugement humain et à la conscience des biais qu’il peut introduire, en garantissant la transparence et une confiance accrue dans les systèmes que nous construisons.

Alex Sandoval, PDG de la société d’IA d’intelligence de fabrication Allie AI, a également souligné comment les copilotes d’IA génératifs ne fonctionnent pas uniquement sur des algorithmes, mais plutôt en s’appuyant sur la fluence humaine dans la logique de l’usine.

« Les déploiements les plus réussis d’aujourd’hui ne consistent pas seulement à alimenter les modèles avec des données de contrôleurs logiques programmables (PLC) vastes, des notes d’opérateurs et des protocoles de conformité. Ils dépendent d’un nouveau type de travailleur de première ligne : celui qui peut traduire entre le comportement de la machine et l’intuition numérique », a-t-il conclu.