Les équipes de données sont mortes, longue vie aux équipes de données

Oui, le titre est accrocheur et provocateur, mais en tant que CTO avec de nombreuses années d’expérience dans les données, j’ai été témoin d’une transformation qui justifie le drame. L’équipe de données traditionnelle – l’équipe de back-office qui écrase les rapports et les tableaux de bord – est effectivement morte. À sa place, une nouvelle sorte d’équipe de données émerge : une équipe axée sur l’IA, axée sur les produits, avec un impact direct sur les revenus. Ils ne sont plus un centre de coûts, mais un groupe générant des profits.

Le voyage de l’intelligence commerciale à l’apprentissage automatique

Il n’y a pas si longtemps, les équipes de données étaient synonymes d’intelligence commerciale (BI). Nous étions les historiens des données de l’entreprise, vivant dans SQL et les tableurs, chargés de répondre à la question « Qu’est-ce qui s’est passé le trimestre dernier ? » Lorsque les technologies de données massives comme Hadoop sont apparues et que le terme « data scientist » est devenu le nouveau métier sexy, les équipes de données ont évolué. Au milieu des années 2010, nous faisions plus que des rapports ; nous nous sommes aventurés dans la visualisation des données et l’analyse interactive, produisant des tableaux de bord dynamiques pour chaque département. Le travail consistait à manipuler les données, à mélanger les jeux de données de sources et de formes disparates, et à essayer de comprendre les connaissances de domaine.

Ensuite, la fin des années 2010 a apporté l’ère de l’apprentissage automatique. Les équipes de données ont commencé à embaucher des data scientists pour construire des modèles prédictifs et découvrir des insights dans de vastes ensembles de données. Nous sommes passés de la description du passé à la prédiction de l’avenir : modèles de churn, moteurs de recommandation, prévisions de demande – vous nommez. Mais même alors, nos sorties étaient des présentations et des insights, et non des produits vivants. Nous fonctionnions comme un bureau de services internes, conseillant l’entreprise à travers l’analyse. En d’autres termes, nous étions des centres de coûts – précieux, oui, mais à un pas de distance du produit et des revenus.

Dans les meilleurs cas, les équipes d’apprentissage automatique étaient dispersées dans des unités distinctes ou intégrées dans des groupes de produits, afin que leurs modèles et inférences puissent être pleinement intégrés dans les plateformes. La grande division a conduit à de nombreux projets échoués, à des investissements engloutis et à des opportunités perdues.

GenAI : De la fonction de support au centre de profit

Ensuite, GenAI est arrivé et tout a changé. La sortie de puissants modèles de langage grand public, tels que la famille GPT et les variantes open source comme Llama, a bouleversé le paysage virtuellement du jour au lendemain. Soudain, les équipes de données n’étaient plus seulement en train d’analyser l’entreprise, mais étaient devenues essentielles à la construction de produits et d’expériences IA. Lorsque vous intégrez avec succès un LLM dans une application orientée client ou un workflow interne, vous n’informez plus seulement l’entreprise ; vous la dirigez. Un système GenAI bien mis en œuvre peut automatiser le support client, générer du contenu marketing, personnaliser les expériences utilisateur ou même fournir les données nécessaires pour informer et former les systèmes IA émergents. Ces capacités affectent directement les flux de revenus. En effet, le produit du travail de l’équipe de données a changé de diapositives PowerPoint à des applications alimentées par l’IA en direct.

Les équipes GenAI ont commencé avec des groupes d’innovation, livrant des preuves de concept qui ont généré un « facteur wow ». Et bientôt, tout le monde était un ingénieur IA, répandant l’IT fantôme à travers les organisations.

Les équipes de données se sont bientôt retrouvées face à une nouvelle question : « Quand deviendrez-vous un centre de profit ? » Lorsque les ingénieurs IA ont commencé à créer des outils incroyables, il était clair que le moment était venu de fusionner deux équipes : celles qui contrôlaient les données et celles qui construisaient les applications.

Considérez une entreprise de détail qui déploie un chatbot GenAI pour gérer les requêtes de vente, ou une banque qui lance un conseiller d’investissement personnalisé alimenté par l’IA. Ce ne sont pas des projets de côté traditionnels de l’IT – ce sont des produits numériques qui créent de la valeur client et génèrent des revenus. Cependant, pour créer ces systèmes à grande échelle, les équipes d’ingénierie IA ont besoin de pouvoir accéder et d’exploiter les données que les équipes traditionnelles ont préparées.

Les dirigeants ont remarqué. Les attentes des équipes de données sont maintenant très élevées, avec des conseils d’administration et des PDG qui nous regardent pour livrer le prochain vecteur de croissance alimenté par l’IA. Nous sommes passés d’être des analystes en coulisses à des innovateurs de première ligne. C’est une position passionnante à occuper, mais cela vient avec une pression intense pour livrer des résultats à grande échelle.

De l’exploration au produit – Une porte à sens unique

Le passage de l’analyse exploratoire au produit centré sur l’IA est profond et irréversible. Pourquoi irréversible ? Parce que l’impact de GenAI sur les entreprises se révèle trop grand pour le reléguer à un jouet de R&D. Selon une récente enquête mondiale, 96% des dirigeants IT ont maintenant intégré l’IA dans leurs processus principaux – contre 88% il y a seulement un an. En d’autres termes, presque toutes les entreprises sont passées de l’expérimentation avec l’IA à l’intégration dans les flux de travail mission-critiques. Une fois que vous avez franchi le seuil où l’IA apporte de la valeur en production, il n’y a pas de retour en arrière.

Ce nouveau focus IA change le tempo et l’esprit des équipes de données. Dans le passé, nous avions le luxe de projets de découverte longs et d’analyses ouvertes. Aujourd’hui, si nous construisons une fonctionnalité IA, elle doit être prête pour la production, conforme et fiable – comme n’importe quel produit orienté client. Nous sommes entrés dans ce que certains appellent l’« Âge autonome » de la science des données. La question qui guide notre travail n’est plus « quels insights pouvons-nous découvrir ? » mais « quel système intelligent pouvons-nous construire qui agit sur les insights en temps réel ? »

Les systèmes GenAI ne répondent pas seulement aux questions ; ils commencent à prendre des décisions. C’est une porte à sens unique : après avoir expérimenté ce type d’autonomie et d’impact, les entreprises ne se contenteront plus de rapports statiques et de prise de décision manuelle. Plus que jamais, les équipes de données doivent être axées sur les parties prenantes et les produits.

La dure vérité : Pourquoi la plupart des initiatives GenAI échouent

Au milieu de tout l’enthousiasme, il y a une réalité sobre : la plupart des initiatives GenAI échouent. Il s’avère que déployer avec succès GenAI est extrêmement difficile. Une récente étude du MIT a constaté qu’un chiffre étonnant de 95% des projets pilotes d’entreprise GenAI ne livrent jamais un ROI mesurable. Seuls environ 5% des pilotes IA réalisent des gains de revenus rapides ou un impact commercial significatif. Ce n’est pas dû à un manque de potentiel – c’est dû à la complexité de faire de l’IA correctement.

En creusant les causes de l’échec, la recherche du MIT peint un tableau clair. De nombreux projets trébuchent à cause de « l’hype sur le travail acharné » – les équipes poursuivent des cas d’utilisation de démonstration tape-à-l’œil au lieu d’investir dans les fondamentaux ennuyeux de l’intégration, de la validation et de la surveillance. D’autres échouent du syndrome classique « garbage in, garbage out » – une mauvaise qualité de données et des pipelines de données cloisonnés condamnent le projet avant même que l’IA ne fasse son travail. Souvent, ce n’est pas le modèle IA qui est défectueux, c’est l’environnement qui l’entoure. Comme les chercheurs le disent, GenAI ne échoue pas dans le labo ; il échoue dans l’entreprise lorsqu’il entre en collision avec des objectifs vagues, de mauvaises données et l’inertie organisationnelle. Dans la pratique, la plupart des pilotes IA s’arrêtent au stade de la preuve de concept et ne passent jamais à un déploiement de production complet.

Cette réalité est une leçon précieuse. Elle nous dit que même si les équipes de données sont maintenant sous les projecteurs, la majorité lutte pour répondre aux attentes accrues. Pour que GenAI réussisse à grande échelle, nous devons franchir une barre nettement plus élevée que nous ne l’avons fait dans les anciens jours de l’BI.

Au-delà des invites ingénieuses : Les données, la gouvernance et l’infrastructure comptent

Qu’est-ce qui distingue les 5% de projets IA qui prospèrent des 95% qui vacillent ? Selon mon expérience (et comme la recherche le confirme), les gagnants se concentrent sur les capacités fondamentales – les données, la gouvernance et l’infrastructure. GenAI n’est pas de la magie ; c’est construit sur les données. Sans pipelines de données de haute qualité, bien gérés, qui alimentent vos modèles, même la meilleure IA produira des résultats erratiques. Summit Partners l’a bien dit dans une analyse récente : « le succès de tout système ou processus utilisant l’IA repose sur la qualité, la structure et l’accessibilité des données qui l’alimentent ».

Dans les termes pratiques, cela signifie que les organisations doivent redoubler d’efforts sur l’architecture des données et la gouvernance lors de l’adoption de GenAI. Avez-vous des magasins de données unifiés et accessibles que votre IA peut puiser (et je veux dire TOUS les magasins de données, y compris les centres de données, les hyperscalers et les systèmes SaaS tiers, entre autres) ? Ces données sont-elles nettoyées, curées et conformes aux réglementations ? Y a-t-il une traçabilité des données claire et une traçabilité (afin que vous puissiez faire confiance aux sorties IA et savoir comment elles sont arrivées là) ? Ces questions sont maintenant au premier plan.

GenAI oblige les entreprises à mettre enfin leur maison de données en ordre

La gouvernance a également pris une nouvelle importance. Lorsqu’un modèle IA peut potentiellement générer une mauvaise réponse (ou une réponse offensante), une gouvernance robuste n’est pas facultative – c’est obligatoire. Des contrôles tels que la version, les vérifications de biais, la révision humaine et les mesures de sécurité strictes autour des entrées de données sensibles sont essentiels. Sans une gouvernance appropriée, une formation et des objectifs clairement définis, même un outil IA solide aura du mal à gagner du terrain dans l’entreprise.

Et n’oublions pas l’infrastructure. Le déploiement de GenAI à grande échelle nécessite une puissance de calcul importante et une ingénierie rigoureuse. Les modèles doivent être servis en temps réel, sur des millions de requêtes avec une faible latence. Ils ont souvent besoin de GPU ou de matériel spécialisé, ainsi que d’une surveillance, d’une rétention et d’une gestion du cycle de vie continues. En bref, vous avez besoin d’une infrastructure IA industrielle qui est sécurisée, évolutivité et résiliente. C’est là que le concept de Private AI entre en jeu comme le cadre qui unit l’infrastructure avec les données et la gouvernance. Private AI fait référence au développement de l’IA dans un environnement contrôlé et sécurisé, garantissant la sécurité et la conformité des données.

Le fond de l’affaire est que le succès de GenAI dépend de l’harmonie de trois piliers : les données, la gouvernance et l’infrastructure. Sans l’un d’eux, vous risquez de rejoindre les 95% de projets qui ne dépassent jamais le stade de la démonstration.

Pourquoi les ingénieurs IA ne peuvent pas le faire seuls

Compte tenu de ces exigences, il est clair que simplement embaucher quelques ingénieurs IA talentueux n’est pas une solution miracle. Nous avons appris cette leçon au cours des dernières années dans l’industrie des données. Dans les premiers jours de l’explosion de la science des données, les entreprises ont essayé de trouver des « licornes » data scientists qui pouvaient tout faire – construire des modèles, écrire du code, gérer les données et le déploiement. Ce mythe a depuis été détruit. Comme l’a dit un vétéran data scientist, « un modèle dans un cahier ne fait rien pour l’entreprise ». Vous devez intégrer ce modèle dans une application ou un processus pour qu’il crée de la valeur. Et cela nécessite un effort d’équipe qui couvre plusieurs compétences.

Dans la fin des années 2010, nous avons vu les équipes de données se diversifier en rôles distincts : les ingénieurs de données ont commencé à construire des pipelines robustes, les ingénieurs de l’apprentissage automatique se sont concentrés sur la production de modèles, les ingénieurs d’analyse ont géré la couche d’analyse, et ainsi de suite.

Aujourd’hui, GenAI élève la barre encore plus haut. Oui, vous avez besoin de spécialistes de l’IA (ingénieurs de invites, fine-tuneurs de LLM, etc.) mais ces spécialistes se heurteront à un mur s’ils n’ont pas de pipelines de données matures, de cadres de gouvernance et de plateformes sécurisées pour travailler. Un ingénieur IA peut prototyper un excellent modèle de langage dans un bac à sable, mais le transformer en un produit utilisé par des milliers ou des millions nécessite une collaboration avec les équipes de sécurité, les responsables de la conformité, les architectes de données, les ingénieurs de fiabilité de site, et plus encore.

IA est un sport d’équipe. Il est tentant de penser que vous pouvez déposer un modèle d’IA de pointe dans votre entreprise et avoir soudainement une entreprise alimentée par l’IA. Les entreprises qui réussissent avec l’IA sont celles qui ont construit des équipes transversales, ou « usines IA », qui rassemblent tous ces éléments. Leurs équipes de données se sont effectivement évoluées en équipes de produits IA full-stack, mélangeant les compétences en données, en modélisation, en ingénierie et en ops. Ils construisent et déployent leurs outils de manière orientée données et produit, avec une génération de valeur intégrée dans chaque KPI.

La prochaine génération d’équipes de données

Alors, qu’est-ce que l’avenir réserve aux « équipes de données » ? Voici un aperçu de ce qui vient pour ces équipes dans les prochaines années :

• Moins de ETL/ELT manuel : Les tâches fastidieuses de manipulation des données diminueront. Avec des pipelines de données plus automatisés et une intégration assistée par l’IA, les équipes ne passeront plus la moitié de leur temps à nettoyer et à déplacer des données. Le travail de préparation des données sera de plus en plus géré par des systèmes intelligents, permettant aux humains de se concentrer sur la conception et le contrôle de la qualité de niveau supérieur.
• Moins de tableaux de bord : L’ère de la modification incessante des filtres de tableau de bord est en train de disparaître. L’IA permettra des requêtes en langage naturel et des insights dynamiques. Au lieu de tableaux de bord préconstruits pour chaque question, les utilisateurs obtiendront des réponses conversationnelles de l’IA (avec des données sources attachées). Les équipes de données passeront moins de temps à développer des rapports statiques et plus de temps à former l’IA pour générer des insights à la volée.
• Plus de développement de produits natifs IA : Les équipes de données seront au cœur de l’innovation de produits. Que ce soit le développement d’une nouvelle fonctionnalité IA orientée client ou d’un outil interne qui optimise les opérations, ces équipes agiront comme des équipes de produits. Ils emploieront des pratiques de développement de logiciels, des prototypes rapides, des tests A/B et une conception d’expérience utilisateur – et non seulement l’analyse de données. Chaque équipe de données deviendra, en effet, une équipe de produits IA livrant une valeur commerciale directe.
• Des agents autonomes à l’horizon : Dans un avenir proche, les équipes de données déployeront des agents autonomes IA pour gérer les décisions et les tâches de routine. Au lieu de simplement prédire les résultats, ces agents seront autorisés à prendre certaines actions (sous surveillance). Imaginez un agent IA ops qui peut détecter une anomalie et ouvrir automatiquement un ticket de correction, ou un agent de vente IA qui ajuste les prix du commerce électronique en temps réel. Les équipes de données seront responsables de la construction et de la gestion de ces agents, poussant les limites de ce que l’automatisation peut accomplir.

À la lumière de ces changements, on pourrait effectivement dire « les équipes de données telles que nous les connaissions sont mortes ». Les « jockeys de tableurs » et les « plombiers de tableaux de bord » ont cédé la place à quelque chose de nouveau : des équipes axées sur l’IA qui sont compétentes en données, en code et en stratégie commerciale. Mais loin d’être un éloge funèbre, c’est une célébration. La nouvelle génération d’équipes de données est juste en train de commencer, et elles sont plus précieuses que jamais

Alors, rappelez-vous, l’ingénieur de données est mort, longue vie à l’ingénieur de données ! Les équipes de données telles que nous les connaissions sont parties, mais longue vie aux nouvelles équipes de données – qu’elles règnent dans ce monde alimenté par l’IA avec des insights, de la responsabilité et de l’audace.