L’ingénierie des données analytiques : un complément élastique pour de meilleures opérations de données

Un fossé fondamental entre l’ingénierie des données et l’analyse commerciale complique la façon dont les organisations opèrent dans un environnement numérique en constante évolution. Les entreprises gèrent des volumes sans précédent de données structurées et non structurées provenant de nombreuses sources, mais beaucoup peinent à extraire une valeur commerciale significative. Le problème principal est une déconnexion persistante et coûteuse entre les équipes qui construisent et maintiennent les infrastructures de données et les équipes qui dépendent de données précises et opportunes pour prendre des décisions éclairées. Pour intégrer efficacement des solutions qui soutiennent l’ingénierie des données et l’analyse commerciale, il est essentiel que la direction comprenne comment cette déconnexion se forme et comment elle se manifeste à travers les dimensions techniques et opérationnelles. Pour relever ce défi, une approche globale est nécessaire, qui inclut la technologie, les processus et la culture organisationnelle. L’effort ne consiste pas simplement à mettre à niveau les outils, mais plutôt à effectuer un changement transversal guidé par les fonctions d’ingénierie des données et d’analyse commerciale.

Le travail de données sur un spectre – analyse à l’ingénierie

Selon IBM, l’analyse commerciale fait référence aux méthodes statistiques et aux technologies informatiques qui traitent, analysent et visualisent les données pour découvrir des modèles, des relations et des connaissances qui soutiennent une meilleure prise de décision commerciale. L’analyse prouve sa valeur lorsqu’elle améliore les performances, réduit les risques ou augmente l’efficacité grâce à des connaissances actionnables. Les équipes d’analyse suivent ces relations et modèles à travers une série de métriques continues, généralement un ensemble d’indicateurs de performance clés (KPI). Le cadre d’analyse INFORMS décrit cela comme un cycle qui commence avec un problème commercial et s’étend à la gestion du cycle de vie de la solution. Le processus d’analyse est guidé par la définition du problème et soutenu par la technologie.

Les équipes d’analyse, motivées par les besoins commerciaux, sont sous pression pour fournir des connaissances rapidement et dépendent de « fraîches » données pour soutenir leurs flux de travail. Des données obsolètes livrent des connaissances obsolètes. Les équipes ont besoin d’accéder à des infrastructures de données qui permettent un traitement en temps réel ou quasi réel des données en connaissances qui livrent une véritable valeur commerciale.

L’ingénierie des données représente l’autre côté du spectre et est motivée par les exigences d’infrastructure et de technologie. IBM définit l’ingénierie des données comme « la pratique de la conception et de la construction de systèmes pour l’agrégation, le stockage et l’analyse de données à grande échelle ». Même si le travail soutient la livraison de connaissances, les flux de travail d’ingénierie des données sont distinctement différents du cadre d’analyse et sont axés sur la logistique et l’entreposage de données.

Tensions et compléments syncopés

Les tensions entre les équipes d’ingénierie des données et d’analyse surgissent le plus souvent des échelles de temps différentes et des demandes de flux de travail concurrentes. Les décisions d’infrastructure et d’outillage des équipes d’ingénierie dépendent des taux d’adoption des systèmes, de l’innovation technologique, de la capacité des TI et des contraintes de ressources dans un marché de talents restreint. Les tâches d’analyse dépendent de données ingérées comme produits intermédiaires qui alimentent la livraison de connaissances. Cela nécessite que les équipes d’analyse travaillent dans l’infrastructure de données existante développée par l’ingénierie des données, tout en anticipant et en communiquant les besoins futurs.

Ces différences créent un continuum dans lequel les fonctions d’opérations de données (DataOps) existent avec des cadres temporels de durée d’unité différente. cet échange syncopé est parfois complémentaire et parfois enclin aux collisions. L’intégration de ces cadres temporels nécessite une capacité organisationnelle pour la communication transversale et l’alignement des processus commerciaux. Si les équipes d’analyse sont liées à des infrastructures obsolètes, alors la dette technique des systèmes hérités réduit la vitesse de livraison des connaissances et affaiblit l’avantage concurrentiel. Si les équipes d’ingénierie des données restent liées à des attentes de retournement rapide, alors la conformité, la continuité commerciale, la sécurité, la qualité et l’exposition au marché sont en danger.

Pour DataOps, le succès dépend de l’identification constante de compléments élastiques contextuels spécifiques entre les équipes. Des recherches récentes ont constaté que l’alignement de la stratégie commerciale et de la stratégie d’analyse des données améliore la capacité d’analyse des données à grande échelle en tant que rapidité de réponse au marché. D’autres recherches soutiennent que l’alignement de la stratégie commerciale et scientifique des données est essentiel pour capter avec succès la valeur des données.

Points de douleur partagés

Les technologies émergentes exigent des changements rapides dans les infrastructures de données. À mesure que les systèmes d’information augmentent en complexité, les équipes développent des modèles et des représentations architecturales plus avancés pour relever ces défis. Également important est l’alignement de la conception technique avec les besoins organisationnels et sociaux. L’adaptation de grands systèmes d’infrastructure de données aux besoins opérationnels nécessite souvent la découverte de processus, avec les équipes d’ingénierie analysant les journaux d’événements pour déterminer les exigences du système en fonction de l’utilisation réelle.

Ces pratiques d’amélioration de processus réflexives concourent pour un temps d’ingénierie et de TI rare et reflètent l’accumulation de retards que les ingénieurs de données rencontrent. Puisque chaque équipe dans le spectre de DataOps suit des métriques différentes, la traduction des exigences de performance en développement de pipeline peut conduire à des désalignements et à des erreurs coûteuses.

Pourquoi réinventer la roue ?

Un rapport Gartner identifie une discipline d’architecture dédiée aux données et à l’analyse comme critique pour la réalisation de la stratégie opérationnelle et de l’allocation des ressources. L’alignement de l’architecture commerciale et technique est de plus en plus important pour les environnements commerciaux axés sur la technologie.

L’alignement des processus est un défi opérationnel ancien qui se produit maintenant à un rythme et à une échelle qui révèlent les failles de la coordination organisationnelle. Plusieurs techniques soutiennent l’alignement des processus transdépartementaux. La gestion des processus commerciaux (BPM) et la gouvernance des données (DG) sont deux cadres établis qui aident les organisations à répondre à ce besoin. L’influence croissante de la stratégie technologique sur les résultats commerciaux augmente l’importance des disciplines qui soutiennent l’alignement de la technologie et des processus commerciaux.

La gestion des données maîtres (MDM) et la gouvernance des données (DG) sont apparues comme des disciplines efficaces pour aligner les processus commerciaux et les opérations de données. Les équipes DataOps avec MDM et DG en place sont les mieux placées pour appliquer les principes de complément élastique pour améliorer l’efficacité opérationnelle. Des rôles de propriété de données clairs et une discipline d’architecture établie renforcent l’alignement des processus et la communication transversale pour soutenir les résultats de la stratégie technique et commerciale. Les DataOps alignés exploitent la totalité du spectre d’une chaîne de valeur de données pour la stratégie commerciale.

La qualité des données et l’intégrité des données présentent des points de douleur partagés pour les équipes d’ingénierie des données et d’analyse. Les lacunes de traduction entre les ingénieurs et les analystes reflètent un problème plus large au niveau de l’architecture qui implique la stratégie technologique et l’alignement du modèle commercial. Puisque le développement d’infrastructure est souvent en retard sur les besoins commerciaux, la résilience de la communication est un facteur limitant pour les organisations pour réaliser la capture de la valeur des données. La rotation, l’incertitude du marché, la dette technique, la concurrence interne des ressources et la compétition pour les ressources soulèvent des questions sur la façon dont les processus de communication transversale fonctionnent sous pression. Le renforcement des liens entre les équipes d’analyse et d’ingénierie par le biais de la mise en œuvre, de la précision et de l’exécution fiable dans des situations de haute pression représente un changement vital vers des opérations de données élastiques.