Alimentez vos efforts de ML et d’IA avec la transformation de données – Leaders d’opinion

Plus la variété, la vitesse et le volume de données sont importants, plus il est facile d’utiliser l’analyse prédictive et la modélisation pour prévoir la croissance et identifier les domaines d’opportunité et d’amélioration. Cependant, pour tirer le meilleur parti des outils de reporting, d’apprentissage automatique (ML) et d’intelligence artificielle (IA), une organisation doit avoir accès à des données provenant de multiples sources et s’assurer que ces données sont de haute qualité et fiables. C’est souvent le plus grand obstacle pour transformer les grandes données en stratégie commerciale.

Les professionnels de la données passent tellement de temps à collecter et à valider les données pour les préparer à l’utilisation qu’ils n’ont que peu de temps pour se concentrer sur leur objectif principal : analyser les données et en tirer une valeur commerciale. Il n’est pas surprenant que 76 % des data scientists disent que la préparation des données est la partie la moins agréable de leur travail. De plus, les efforts actuels de préparation des données, tels que la manipulation des données et l’ETL traditionnel, nécessitent un effort manuel des professionnels de l’informatique et ne sont pas suffisants pour gérer l’échelle et la complexité des grandes données.

Les entreprises qui veulent exploiter le pouvoir de l’IA doivent rompre avec ces processus fastidieux et principalement manuels qui augmentent le risque de résultats « de mauvaise qualité, de mauvaise qualité ». Au lieu de cela, elles ont besoin de processus de transformation de données qui extraient les données brutes de multiples sources et formats, les joignent et les normalisent, et ajoutent de la valeur avec une logique métier et des métriques pour les rendre prêtes pour l’analyse. Avec une transformation de données complexe, ils peuvent être certains que les modèles d’IA/ML sont basés sur des données propres et précises qui fournissent des résultats fiables.

Exploiter le pouvoir du cloud avec ELT

Le meilleur endroit pour préparer et transformer les données aujourd’hui est un entrepôt de données cloud (CDW) tel qu’Amazon Redshift, Google (GOOGL ) BigQuery, Microsoft Azure Synapse ou Snowflake. Alors que les approches traditionnelles de l’entrepôt de données nécessitent que les données soient extraites et transformées avant de pouvoir être chargées, un CDW exploite la scalabilité et les performances du cloud pour une ingestion et une transformation de données plus rapides et permet d’extraire et de charger des données de multiples sources de données disparates avant de les transformer à l’intérieur du CDW.

Idéalement, le modèle ELT déplace initialement les données dans une section du CDW réservée aux données de staging brutes. À partir de là, le CDW peut utiliser ses ressources de calcul quasi illimitées disponibles pour les travaux d’intégration de données et d’ETL qui nettoient, agrègent, filtrent et joignent les données mises en scène. Les données peuvent ensuite être transformées dans un schéma différent – data vault ou Star Schema, par exemple, en optimisant les données pour les rapports et l’analyse

L’approche ELT permet également de répliquer les données brutes à l’intérieur du CDW pour une préparation et une transformation ultérieures lorsqu’elles sont nécessaires. Cela vous permet d’utiliser des outils de business intelligence qui déterminent le schéma lors de la lecture et produisent des transformations spécifiques sur demande, vous permettant effectivement de transformer les mêmes données de plusieurs manières à mesure que vous découvrez de nouvelles utilisations pour elles.

Accélérer les modèles d’apprentissage automatique

Ces exemples du monde réel montrent comment deux entreprises de différents secteurs exploitent la transformation de données dans un CDW pour impulser les initiatives d’IA.

Une agence de marketing et de publicité de niche a créé une plate-forme de gestion client propriétaire pour aider ses clients à mieux identifier, comprendre et motiver leurs clients. En transformant les données dans un CDW, la plate-forme intègre rapidement et facilement les données client en temps réel à travers les canaux dans une vue client 360 qui informe les modèles d’IA/ML de la plate-forme pour rendre les interactions client plus cohérentes, opportunes et personnalisées.

Une entreprise de logistique mondiale effectuant 100 millions de livraisons à 37 millions de clients uniques dans 72 pays a besoin de vastes quantités de données pour alimenter ses opérations quotidiennes. L’adoption de la transformation de données dans un CDW a permis à l’entreprise de déployer 200 modèles d’apprentissage automatique en un an. Ces modèles font 500 000 prévisions par jour, améliorant considérablement l’efficacité et offrant un service client supérieur qui a réduit les appels entrants au centre d’appel de 40 %.

Meilleures pratiques pour commencer

Les entreprises qui veulent soutenir leurs initiatives d’IA/ML avec le pouvoir de la transformation de données dans le cloud doivent comprendre leur cas d’utilisation et leurs besoins spécifiques. En commençant par ce que vous voulez faire avec vos données – réduire les coûts de carburant en optimisant les itinéraires de livraison, augmenter les ventes en fournissant les meilleures offres aux agents de service client en temps réel, etc. – vous pouvez rétro-ingénier vos processus pour identifier quelles données livreront des résultats pertinents.

Une fois que vous déterminez quelles données votre projet d’IA/ML nécessite pour construire ses modèles, vous avez besoin d’une solution ELT native cloud qui rendra vos données prêtes à l’emploi. Recherchez une solution qui :

• Est neutre sur le fournisseur et capable de fonctionner avec votre pile technologique actuelle

• Est suffisamment flexible pour monter et descendre en puissance et s’adapter à mesure que votre pile technologique change

• Peut gérer des transformations de données complexes à partir de multiples sources de données

• Offre un modèle de tarification à l’utilisation dans lequel vous payez uniquement ce que vous utilisez

• Est conçu spécifiquement pour votre CDW préféré afin que vous puissiez tirer pleinement parti des fonctionnalités de ce CDW pour exécuter des travaux plus rapidement et transformer des données de manière transparente.

Une solution de transformation de données cloud qui répond aux dénominateurs communs de tous les CDW peut fournir une expérience cohérente, mais seule celle qui permet les puissantes fonctionnalités différenciatrices de votre CDW choisi peut livrer les performances élevées qui accélèrent le temps d’obtention des informations. La bonne solution vous permettra de nourrir vos projets d’IA/ML avec plus de données propres et fiables provenant de plus de sources en moins de temps – et de générer des résultats plus rapides et plus fiables qui stimulent une valeur commerciale et une innovation précédemment non réalisées.