Les équipes de données sont mortes, vive les équipes de données

Oui, le titre est accrocheur et provocateur, mais en tant que CTO avec de nombreuses années d’expérience dans les données, j’ai été témoin d’une transformation qui justifie le drame. L’équipe de données traditionnelle – l’équipe de back-office qui traite les rapports et les tableaux de bord – est effectivement morte. À sa place, une nouvelle sorte d’équipe de données émerge : une équipe axée sur l’IA, axée sur les produits, avec un impact direct sur les revenus. Ils ne sont plus un centre de coûts, mais un groupe générant des profits.

Le parcours de l’intelligence d’affaires à l’apprentissage automatique

Il y a peu de temps, les équipes de données étaient synonymes d’intelligence d’affaires (BI). Nous étions les historiens des données de l’entreprise, vivant dans SQL et les feuilles de calcul, chargés de répondre à la question « Qu’est-ce qui s’est passé le trimestre dernier ? » Lorsque les technologies de données massives comme Hadoop ont émergé et que le terme « data scientist » est devenu le nouveau métier à la mode, les équipes de données ont évolué. Au milieu des années 2010, nous faisions plus que des rapports ; nous nous sommes aventurés dans la visualisation des données et l’analyse interactive, produisant des tableaux de bord dynamiques pour chaque département. Le travail consistait à manipuler les données, à mélanger des ensembles de données de sources et de formes disparates, et à essayer de comprendre les connaissances de domaine.

Ensuite, la fin des années 2010 a apporté l’ère de l’apprentissage automatique. Les équipes de données ont commencé à embaucher des data scientists pour construire des modèles prédictifs et découvrir des insights dans de vastes ensembles de données. Nous sommes passés de la description du passé à la prédiction de l’avenir : modèles de churn, moteurs de recommandation, prévisions de demande – vous les nommez. Mais même alors, nos sorties étaient des présentations et des insights, et non des produits en direct. Nous fonctionnions comme un bureau de services internes, conseillant l’entreprise à travers l’analyse. En d’autres termes, nous étions des centres de coûts – précieux, oui, mais à un pas de distance du produit et des revenus.

Dans les meilleurs cas, les équipes d’apprentissage automatique étaient dispersées dans des unités distinctes ou intégrées dans des groupes de produits, afin que leurs modèles et inférences puissent être pleinement intégrés dans les plateformes. La grande division a conduit à de nombreux projets échoués, à des investissements engloutis et à des opportunités perdues.

GenAI : Du rôle de support au centre de profit

Ensuite, GenAI est arrivé et tout a changé. La sortie de puissants modèles de langage, tels que la famille GPT et des variantes open source comme Llama, a bouleversé le paysage virtuellement du jour au lendemain. Soudain, les équipes de données n’étaient plus seulement en train d’analyser l’entreprise, mais elles sont devenues intégrales à la construction de produits et d’expériences IA. Lorsque vous intégrez avec succès un LLM dans une application orientée client ou un flux de travail interne, vous n’êtes plus seulement en train d’informer l’entreprise ; vous la dirigez. Un système GenAI bien mis en œuvre peut automatiser le support client, générer du contenu marketing, personnaliser les expériences utilisateur ou même fournir les données nécessaires pour informer et former les systèmes IA émergents. Ces capacités affectent directement les flux de revenus. En effet, le produit du travail de l’équipe de données est passé des diapositives PowerPoint à des applications IA alimentées en direct.

Les équipes GenAI ont commencé avec des groupes d’innovation, livrant des preuves de concept qui génèrent un « facteur wow ». Et bientôt, tout le monde est devenu un ingénieur IA, répandant l’IT fantôme à travers les organisations.

Les équipes de données se sont bientôt retrouvées face à une nouvelle question : « Quand deviendrez-vous un centre de profit ? » Alors que les ingénieurs IA commençaient à créer des outils incroyables, il était clair que le moment était venu de fusionner deux équipes : celles qui contrôlaient les données et celles qui construisaient les applications.

Considérez une entreprise de détail qui déploie un chatbot GenAI pour gérer les demandes de vente, ou une banque qui lance un conseiller d’investissement personnalisé alimenté par l’IA. Ce ne sont pas des projets secondaires classiques – ce sont des produits numériques qui créent de la valeur pour le client et génèrent des revenus. Cependant, en même temps, pour créer ces systèmes à grande échelle, les équipes d’ingénierie IA doivent être en mesure d’accéder et d’exploiter les données que les équipes traditionnelles ont préparées.

Les dirigeants ont remarqué. Les attentes des équipes de données sont désormais très élevées, avec des conseils d’administration et des PDG qui nous regardent pour livrer le prochain vecteur de croissance alimenté par l’IA. Nous sommes passés d’être des analystes en coulisses à des innovateurs de première ligne. C’est une position passionnante à occuper, mais elle vient avec une pression intense pour livrer des résultats à grande échelle.

De l’exploration au produit – Une porte à sens unique

Le passage de l’analyse exploratoire au produit centré sur l’IA est profond et irréversible. Pourquoi irréversible ? Parce que l’impact de GenAI sur l’entreprise se révèle trop grand pour le reléguer à un jouet de R&D. Selon une récente enquête mondiale, 96% des dirigeants IT ont désormais intégré l’IA dans leurs processus principaux – contre 88% il y a seulement un an. En d’autres termes, presque toutes les entreprises sont passées de l’expérimentation avec l’IA à l’intégration dans les flux de travail critiques. Une fois que vous franchissez le seuil où l’IA apporte de la valeur en production, il n’y a pas de retour en arrière.

Ce nouveau focus IA change le tempo et la mentalité des équipes de données. Dans le passé, nous avions le luxe de projets de découverte longs et d’analyses ouvertes. Aujourd’hui, si nous construisons une fonctionnalité IA, elle doit être prête pour la production, conforme et fiable – comme n’importe quel produit orienté client. Nous sommes entrés dans ce que certains appellent l’« Âge autonome » de la science des données. La question qui guide notre travail n’est plus « quels insights pouvons-nous découvrir ? » mais « quel système intelligent pouvons-nous construire qui agit sur les insights en temps réel ? »

Les systèmes GenAI ne répondent pas seulement à des questions ; ils commencent à prendre des décisions. C’est une porte à sens unique : après avoir expérimenté ce type d’autonomie et d’impact, les entreprises n’accepteront plus les rapports statiques et la prise de décision manuelle. Plus que jamais, les équipes de données doivent être axées sur les parties prenantes et les produits.

La dure réalité : Pourquoi la plupart des initiatives GenAI échouent

Au milieu de tout l’enthousiasme, il y a une réalité sobre : la plupart des initiatives GenAI échouent. Il s’avère que déployer GenAI avec succès est extrêmement difficile. Une récente étude du MIT a constaté qu’un chiffre étonnant de 95% des projets pilotes GenAI d’entreprise ne livrent jamais un ROI mesurable. Seuls environ 5% des pilotes IA réalisent des gains de revenus rapides ou un impact commercial significatif. Ce n’est pas dû à un manque de potentiel – c’est dû à la complexité de faire les choses correctement avec l’IA.

En creusant les causes de l’échec, la recherche du MIT peint un tableau clair. De nombreux projets trébuchent parce qu’ils préfèrent l’hype au travail acharné – les équipes poursuivent des cas d’utilisation de démonstration tape-à-l’œil au lieu d’investir dans les fondamentaux ennuyeux de l’intégration, de la validation et de la surveillance. D’autres échouent du syndrome classique de « garbage in, garbage out » – la mauvaise qualité des données et les pipelines de données cloisonnés condamnent le projet avant même que l’IA ne fasse son travail. Souvent, ce n’est pas le modèle IA qui est défectueux, c’est l’environnement qui l’entoure. Comme le disent les chercheurs, GenAI ne échoue pas en laboratoire ; il échoue dans l’entreprise lorsqu’il entre en collision avec des objectifs vagues, de mauvaises données et l’inertie organisationnelle. Dans la pratique, la plupart des pilotes IA s’arrêtent au stade de la preuve de concept et ne passent jamais à un déploiement complet de production.

Cette réalité est une leçon précieuse. Elle nous indique que même si les équipes de données sont maintenant sous les feux de la rampe, la majorité lutte pour répondre aux attentes accrues. Pour que GenAI réussisse à grande échelle, nous devons franchir une barre nettement plus élevée que celle que nous avions dans les jours de l’ancienne BI.

Au-delà des invites intelligentes : Les données, la gouvernance et l’infrastructure comptent

Qu’est-ce qui sépare les 5% de projets IA qui prospèrent des 95% qui vacillent ? Selon mon expérience (et comme la recherche le confirme), les gagnants se concentrent sur les capacités fondamentales – les données, la gouvernance et l’infrastructure. GenAI n’est pas de la magie ; c’est construit sur les données. Sans pipelines de données de haute qualité, bien gérés, qui alimentent vos modèles, même la meilleure IA produira des résultats erratiques. Summit Partners l’a bien dit dans une analyse récente : « le succès de tout système ou processus utilisant l’IA repose sur la qualité, la structure et l’accessibilité des données qui le nourrissent ».

Dans les termes pratiques, cela signifie que les organisations doivent redoubler d’efforts sur l’architecture des données et la gouvernance lors de l’adoption de GenAI. Avez-vous des magasins de données unifiés et accessibles que votre IA peut puiser (et je veux dire TOUS les magasins de données, y compris les centres de données, les hyperscalers et les systèmes SaaS tiers, entre autres) ? Ces données sont-elles nettoyées, curées et conformes aux réglementations ? Y a-t-il une traçabilité des données claire et une traçabilité (pour que vous puissiez faire confiance aux sorties IA et savoir comment elles ont été obtenues) ? Ces questions sont maintenant au premier plan.

GenAI oblige les entreprises à enfin mettre leur maison de données en ordre.

La gouvernance a également pris une nouvelle importance. Lorsqu’un modèle IA peut potentiellement générer une mauvaise réponse (ou une réponse offensante), une gouvernance robuste n’est pas optionnelle – elle est obligatoire. Des contrôles tels que la version, les vérifications de biais, la révision humaine et des mesures de sécurité strictes autour des entrées de données sensibles sont essentiels. Sans une gouvernance appropriée, une formation et des objectifs clairement définis, même un outil IA solide aura du mal à gagner du terrain dans l’entreprise.

Et n’oublions pas l’infrastructure. Le déploiement de GenAI à grande échelle nécessite une puissance de calcul importante et une ingénierie rigoureuse. Les modèles doivent être servis en temps réel, sur des millions de requêtes avec une faible latence. Ils ont souvent besoin de GPU ou de matériel spécialisé, ainsi que d’une surveillance, d’une rétention et d’une gestion du cycle de vie continues. En bref, vous avez besoin d’une infrastructure IA industrielle qui est sécurisée, évolutivité et résiliente. C’est là que le concept de Private AI entre en jeu comme le cadre qui unit l’infrastructure avec les données et la gouvernance. Private AI fait référence au développement de l’IA dans un environnement contrôlé et sécurisé, garantissant la sécurité et la conformité des données.

Le fond de l’affaire est que le succès de GenAI repose sur l’harmonie de trois piliers : les données, la gouvernance, et l’infrastructure. Sans l’un d’eux, vous risquez de rejoindre les 95% de projets qui ne dépassent jamais le stade de la démonstration.

Pourquoi les ingénieurs IA ne peuvent pas le faire seuls

Étant donné ces exigences, il est clair que simplement embaucher quelques ingénieurs IA talentueux n’est pas une solution miracle. Nous avons appris cette leçon au cours des dernières années dans l’industrie des données. Au début de l’essor de la science des données, les entreprises ont essayé de trouver des « licornes » data scientists qui pouvaient tout faire – construire des modèles, écrire du code, gérer les données et le déploiement. Ce mythe a depuis été dissipé. Comme l’a dit un vétéran data scientist, « un modèle dans un cahier ne fait pas vraiment quelque chose pour l’entreprise ». Vous devez intégrer ce modèle dans une application ou un processus pour qu’il crée de la valeur. Et faire cela nécessite un effort d’équipe qui couvre plusieurs compétences.

À la fin des années 2010, nous avons vu les équipes de données se diversifier en rôles distincts : les ingénieurs de données ont commencé à construire des pipelines robustes, les ingénieurs d’apprentissage automatique se sont concentrés sur la production de modèles, les ingénieurs d’analyse ont géré la couche d’analyse, et ainsi de suite.

Aujourd’hui, GenAI élève la barre encore plus haut. Oui, vous avez besoin de spécialistes IA (ingénieurs de invites, fine-tuneurs LLM, etc.) mais ces spécialistes vont heurter un mur s’ils n’ont pas de pipelines de données matures, de cadres de gouvernance et de plateformes sécurisées pour travailler. Un ingénieur IA peut prototyper un excellent modèle de langage dans un bac à sable, mais le transformer en un produit utilisé par des milliers ou des millions nécessite une collaboration avec les équipes de sécurité, les responsables de la conformité, les architectes de données, les ingénieurs de fiabilité de site, et plus encore.

IA est un sport d’équipe. Il est tentant de penser que vous pouvez déposer un modèle d’IA d’état de l’art dans votre entreprise et soudain avoir une entreprise alimentée par l’IA. Les entreprises qui réussissent avec l’IA sont celles qui ont construit des équipes transversales, ou « usines IA », qui rassemblent toutes ces pièces. Leurs équipes de données se sont effectivement transformées en équipes de produits IA full-stack, combinant expertise en données, modélisation, ingénierie et ops. Ils construisent et déployent leurs outils d’une manière axée sur les données et les produits, avec une génération de valeur intégrée dans chaque KPI.

La prochaine génération d’équipes de données

Alors, qu’est-ce que l’avenir réserve aux nouvelles « équipes de données » ? Voici un aperçu de ce qui attend ces équipes dans les prochaines années :

• Moins de ETL/ELT manuels : Les tâches fastidieuses de manipulation des données diminueront. Avec plus de pipelines de données automatisés et une intégration assistée par l’IA, les équipes ne passeront plus la moitié de leur temps à nettoyer et à déplacer des données. Le travail de préparation des données sera de plus en plus géré par des systèmes intelligents, permettant aux humains de se concentrer sur le contrôle qualité et la conception de niveau supérieur.
• Moins de tableaux de bord : L’ère de la modification incessante des filtres de tableau de bord est en déclin. L’IA permettra des requêtes en langage naturel et une livraison d’insights dynamiques. Au lieu de tableaux de bord préconstruits pour chaque question, les utilisateurs obtiendront des réponses conversationnelles de l’IA (avec des données sources attachées). Les équipes de données passeront moins de temps à développer des rapports statiques et plus de temps à former l’IA pour générer des insights en temps réel.
• Plus de développement de produits natifs IA : Les équipes de données seront au cœur de l’innovation de produit. Que ce soit le développement d’une nouvelle fonctionnalité IA orientée client ou d’un outil interne IA qui optimise les opérations, ces équipes agiront comme des équipes de produits. Elles emploieront des pratiques de développement logiciel, de prototypage rapide, de tests A/B et de conception d’expérience utilisateur – et non seulement d’analyse de données. Chaque équipe de données deviendra, en effet, une équipe de produits IA livrant une valeur commerciale directe.
• Agents autonomes à l’augmentation : Dans un avenir proche, les équipes de données déployeront des agents IA autonomes pour gérer les décisions et les tâches routinières. Au lieu de simplement prédire les résultats, ces agents seront autorisés à prendre certaines actions (sous surveillance). Imaginez un agent IA d’exploitation qui peut détecter une anomalie et ouvrir automatiquement un ticket de remédiation, ou un agent de vente IA qui ajuste les prix de commerce électronique en temps réel. Les équipes de données seront responsables de la construction et de la gestion de ces agents, poussant les limites de ce que l’automatisation peut accomplir.

À la lumière de ces changements, on pourrait effectivement dire « les équipes de données telles que nous les connaissions sont mortes ». Les spécialistes de tableurs et les plombiers de tableaux de bord ont cédé la place à quelque chose de nouveau : équipes axées sur l’IA qui sont fluentes en données, en code et en stratégie commerciale. Mais loin d’être un éloge funèbre, c’est une célébration. La nouvelle génération d’équipes de données est juste en train de commencer, et elles sont plus précieuses que jamais

Alors, rappelez-vous, l’ingénieur de données est mort, vive l’ingénieur de données ! Les équipes de données telles que nous les connaissions sont parties, mais vive les nouvelles équipes de données – qu’elles règnent dans ce monde alimenté par l’IA avec des insights, de la responsabilité et de l’audace.