Nettoyer nos données chaotiques : comment l’IA change la donne

Nous sommes submergés de données. Chaque plateforme, chaque montre connectée, chaque smartphone fragmente nos vies en bribes quantifiables, mais la plupart restent incohérentes et inutilisables. 

Les entreprises le savent, c'est pourquoi le géant technologique Meta investi L'été dernier, Scale AI a déboursé 14 milliards de dollars américains pour acquérir une participation de 49 % dans la start-up d'étiquetage de données Scale AI, une décision calculée et stratégique visant à garantir des données d'entraînement de haute qualité pour ses modèles d'IA.

La fiabilité des grands modèles de langage dépend entièrement de la qualité des données qui les alimentent – ​​en bref, « si les données d'entrée sont mauvaises, les résultats le seront aussi ». Or, aujourd'hui, le véritable défi auquel les entreprises sont confrontées consiste à transformer un flot d'informations brutes en données exploitables. 

La solution est peut-être sous nos yeux : l'IA elle-même peut aider en générant des stratégies permettant de contourner la tâche fastidieuse d'étiquetage d'ensembles de données massifs ou de parcourir des feuilles de calcul interminables, transformant le chaos en intelligence humaine utilisable. 

Quand les données deviennent chaotiques : les coûts cachés pour les entreprises

Selon Recherche Gartner Depuis 2020, la mauvaise qualité des données coûte aux organisations au moins 12.9 millions de dollars américains par an, ce qui a un impact sur la productivité et conduit à des décisions mal informées et à des rapports inexacts. 

Les conséquences d'une gestion désorganisée des données sont d'autant plus manifestes dans des secteurs comme celui de la santé. Des dossiers médicaux incomplets, des informations de facturation erronées et des données incohérentes entre les systèmes peuvent entraîner des erreurs de diagnostic et de traitement, ainsi qu'une allocation inefficace des ressources. À long terme, cela fait grimper les coûts et érode la confiance dans ces systèmes.

Par ailleurs, en logistique, des données incohérentes entre fournisseurs et distributeurs peuvent entraîner des retards ou des ruptures de stock. Une adresse de livraison erronée ou un inventaire obsolète peuvent avoir des répercussions sur l'ensemble de la chaîne d'approvisionnement, provoquant des retards et l'insatisfaction des clients. 

« En étant capable d’anticiper ou de comprendre ce qui pourrait se produire [le long du parcours] – sur la base de données historiques combinées –, on peut vraiment réduire ces inefficacités. » Asparuh KoevPDG d'une entreprise d'IA logistique Transmétrique, a-t-il remarqué lors d'une conversation avec Unir l'IA.

Concrètement, des données mal structurées coûtent cher. La règle du 1-10-100 l'illustre : vérifier les données lors de leur saisie coûte 1 $, les nettoyer ensuite 10 $ et ne rien faire coûte 100 $.

Ce que les plateformes basées sur l'IA apportent à la table

Face à l'augmentation des volumes de données erronées, les entreprises se tournent vers l'IA pour trouver des solutions. Les nouvelles plateformes basées sur l'IA automatisent désormais le processus de nettoyage des données, garantissant ainsi une meilleure rentabilité et une précision accrue.

Robert Gardin, Fondateur de ClaritypeL'une de ces plateformes a expliqué le processus de l'IA : 

« Cela permet de faire converger les données vers un format commun : une partie du processus consiste à convertir chaque donnée en un format canonique adapté à l’entreprise. » 

L'IA de Claritype va cependant bien au-delà de la simple standardisation. La réparation supervisée de la plateforme permet aux organisations de dépasser les frontières des systèmes pour trouver des réponses à leurs questions les plus urgentes, en éliminant les silos. 

« Les systèmes qui étaient auparavant maintenus séparés détiennent chacun une partie de la réponse à des questions qui concernent l’ensemble de l’entreprise », a déclaré Giardina. Unir l'IA. 

Si un fournisseur clé est affecté par un retard de livraison, par exemple, seule la connexion des fournisseurs aux commandes et à l'historique des clients permet à une entreprise de déterminer lesquels de ses principaux clients doivent être informés en premier du retard.

« Notre objectif ultime est d’étendre cette pensée interconnectée afin d’unifier toutes les données de l’entreprise et ainsi rendre chaque question facile et immédiate à résoudre », a déclaré Giardina. 

Ce type de pensée interconnectée est représentatif du changement de mentalité plus large qui s'opère aujourd'hui dans les entreprises, alors qu'elles passent de ad hoc Du nettoyage des données à une gouvernance systématique des données. Plutôt que de considérer la qualité des données comme une solution ponctuelle, les organisations développent des processus structurés pour garantir la cohérence et la fiabilité de l'ensemble de leurs systèmes.

La gouvernance des données est désormais considérée comme un processus métier essentiel, et non plus comme une simple tâche informatique. En intégrant la gestion des données à leurs stratégies globales, les entreprises peuvent prendre de meilleures décisions et tirer des enseignements plus pertinents de leurs données.

Comment l'IA nettoie les données et les défis auxquels elle est confrontée

Une dépendance excessive à l'égard de l'IA peut s'avérer dangereuse. Pour Giardina, « les conversions de données automatisées inquiétantes sont celles qui, au-delà de la standardisation, relèvent de la conjecture ». 

Par exemple, certaines abréviations peuvent facilement être mal interprétées. « International Business Machines, Inc. » ou « IBM », par exemple, seraient généralement convertis en « IBM », mais si la conversion était automatisée et que « IB » était accidentellement converti en « IBM », cela pourrait causer des problèmes importants aux deux entreprises.

Les données manquantes et inexactes figurent parmi les problèmes les plus courants, et s'en remettre uniquement à l'IA pour combler les lacunes en fonction du contexte peut s'avérer contre-productif. Comme le souligne Giardina : « lorsque les conséquences sont significatives, l'intervention humaine est indispensable pour valider chaque estimation. » 

Équilibrer l’automatisation avec la perspicacité humaine

Des données désorganisées révèlent de profondes lacunes dans la manière dont les organisations gèrent l'information. Pour progresser et améliorer la prise de décision, les entreprises doivent cesser de considérer les données comme un simple problème technique et adopter des modèles de gouvernance qui allient expertise humaine, conscience éthique et vision stratégique à long terme. 

Des données plus propres permettent une IA plus performante, ce qui contribue à améliorer la qualité des données. Ce cercle vertueux est prometteur, mais nous rappelle que l'automatisation seule ne résoudra pas le problème de la complexité des données. Ce potentiel ne pourra se concrétiser qu'en associant la précision algorithmique au jugement humain et à une prise en compte des biais potentiels, garantissant ainsi la transparence et une plus grande confiance dans les systèmes que nous développons.

Alex SandovalPDG d'une entreprise d'IA spécialisée dans l'intelligence manufacturière, Allie IA, a également souligné que les copilotes d'IA générative ne fonctionnent pas uniquement grâce à des algorithmes, mais s'appuient plutôt sur la maîtrise humaine de la logique de l'usine. 

« Les déploiements les plus réussis d’aujourd’hui ne se limitent plus à alimenter les modèles avec d’immenses quantités de données d’automates programmables (PLC), de notes d’opérateurs et de protocoles de conformité. Ils reposent sur un nouveau type d’intervenant de première ligne : une personne capable de faire le lien entre le comportement de la machine et l’intuition numérique », a-t-il conclu.