Étapes tactiques pour un PoC GenAI réussi

Les projets de preuve de concept (PoC) sont le terrain d’essai pour les nouvelles technologies, et l’intelligence artificielle générative (GenAI) ne fait pas exception. Qu’est-ce que le succès signifie vraiment pour un PoC GenAI ? Simplement dit, un PoC réussi est celui qui passe sans heurt à la production. Le problème est que, en raison de la nouveauté de la technologie et de son évolution rapide, la plupart des PoC GenAI se concentrent principalement sur la faisabilité technique et les métriques telles que la précision et le rappel. Cette focalisation étroite est l’une des principales raisons pour lesquelles les PoC échouent. Une enquête McKinsey a constaté que, même si un quart des répondants s’inquiétaient de la précision, beaucoup luttaient autant avec la sécurité, l’explicabilité, la gestion de la propriété intellectuelle (PI) et la conformité réglementaire. Ajoutez à cela des problèmes courants comme la mauvaise qualité des données, les limites de scalabilité et les problèmes d’intégration, et il est facile de comprendre pourquoi tant de PoC GenAI ne parviennent pas à avancer.

Au-delà de l’hype : la réalité des PoC GenAI

L’adoption de la GenAI est clairement en augmentation, mais le taux de réussite réel des PoC reste incertain. Les rapports offrent des statistiques variées :

• Gartner prévoit qu’à la fin de 2025, au moins 30 % des projets GenAI seront abandonnés après la phase de PoC, ce qui implique que 70 % pourraient passer à la production.
• Une étude d’Avanade (cité dans RTInsights) a constaté que 41 % des projets GenAI restent bloqués à la phase de PoC.
• Le rapport de Deloitte du 1er janvier 2025 The State of GenAI in the Enterprise estime que seulement 10 à 30 % des PoC passeront à la production.
• Une recherche d’IDC (cité dans CIO.com) a constaté que, en moyenne, seulement 5 PoC sur 37 (13 %) passent à la production.

Avec des estimations allant de 10 % à 70 %, le taux de réussite réel est probablement plus proche de la fin inférieure. Cela met en évidence que de nombreuses organisations luttent pour concevoir des PoC avec un chemin clair vers la mise à l’échelle. Le faible taux de réussite peut épuiser les ressources, étouffer l’enthousiasme et bloquer l’innovation, conduisant à ce que l’on appelle souvent la “fatigue des PoC”, où les équipes se sentent bloquées en exécutant des pilotes qui ne passent jamais à la production.

Sortir des efforts gaspillés

La GenAI est encore dans les premières étapes de son cycle d’adoption, comme le calcul en nuage et l’IA traditionnelle avant elle. Le calcul en nuage a pris 15 à 18 ans pour atteindre une adoption généralisée, tandis que l’IA traditionnelle a nécessité 8 à 10 ans et continue de croître. Historiquement, l’adoption de l’IA a suivi un cycle de boom et de krach dans lequel l’excitation initiale conduit à des attentes surévaluées, suivie d’un ralentissement lorsque des défis émergent, avant de finalement se stabiliser dans une utilisation généralisée. Si l’histoire est un guide, l’adoption de la GenAI connaîtra ses propres hauts et bas.

Pour naviguer efficacement dans ce cycle, les organisations doivent s’assurer que chaque PoC est conçu avec la scalabilité à l’esprit, en évitant les pièges courants qui conduisent à des efforts gaspillés. En reconnaissant ces défis, les principales sociétés de technologie et de conseil ont développé des cadres structurés pour aider les organisations à passer de l’expérimentation à la mise à l’échelle de leurs initiatives GenAI avec succès.

L’objectif de cet article est de compléter ces cadres et efforts stratégiques en décrivant des étapes tactiques pratiques qui peuvent considérablement augmenter la probabilité qu’un PoC GenAI passe de la phase de test à l’impact réel dans le monde.

Étapes tactiques clés pour un PoC GenAI réussi

1. Sélectionner un cas d’utilisation avec la production à l’esprit

Tout d’abord et avant tout, choisissez un cas d’utilisation avec un chemin clair vers la production. Cela ne signifie pas effectuer une évaluation exhaustive de la préparation à la GenAI à l’échelle de l’entreprise. Au lieu de cela, évaluez chaque cas d’utilisation individuellement en fonction de facteurs tels que la qualité des données, la scalabilité et les exigences d’intégration, et donnez la priorité à ceux qui ont la plus grande probabilité de passer à la production.

Voici quelques autres questions clés à considérer lors de la sélection du bon cas d’utilisation :

• Mon PoC s’aligne-t-il sur les objectifs commerciaux à long terme ?
• Puis-je accéder et utiliser légalement les données requises ?
• Y a-t-il des risques clairs qui empêcheront la mise à l’échelle ?

2. Définir et aligner les métriques de succès avant le démarrage

L’une des principales raisons pour lesquelles les PoC stagnent est le manque de métriques de succès bien définies. Sans une forte alignment sur les objectifs et les attentes de ROI, même les PoC techniquement solides peuvent avoir du mal à obtenir l’approbation pour la production. Estimer le ROI n’est pas facile, mais voici quelques recommandations :

• Concevoir ou adopter un cadre tel que celui-ci.
• Utiliser des calculateurs de coûts, comme cet outil de tarification de l’API OpenAI, et des calculateurs de coûts de fournisseurs de cloud pour estimer les dépenses.
• Au lieu d’une cible unique, développer une estimation de ROI basée sur une fourchette avec des probabilités pour tenir compte de l’incertitude.

Voici un exemple de la façon dont l’équipe QueryGPT d’Uber a estimé l’impact potentiel de leur outil GenAI text-to-SQL.

3. Activer l’expérimentation rapide

La construction d’applications GenAI est tout à fait une question d’expérimentation nécessitant une constante itération. Lors de la sélection de votre pile technologique, de l’architecture, de l’équipe et des processus, assurez-vous qu’ils soutiennent cette approche itérative. Les choix doivent permettre une expérimentation sans heurt, depuis la génération d’hypothèses et l’exécution de tests jusqu’à la collecte de données, l’analyse des résultats, l’apprentissage et l’affinement.

• Envisagez d’embaucher de petits et moyens prestataires de services pour accélérer l’expérimentation.
• Choisissez des références, des évaluations et des cadres d’évaluation dès le départ, en veillant à ce qu’ils s’alignent sur votre cas d’utilisation et vos objectifs.
• Utilisez des techniques telles que LLM-as-a-judge ou LLM-as-Juries pour automatiser (semi-automatiser) l’évaluation.

4. Viser des solutions à faible friction

Une solution à faible friction nécessite moins d’approbations et, par conséquent, rencontre moins d’objections à l’adoption et à la mise à l’échelle. La croissance rapide de la GenAI a conduit à une explosion d’outils, de cadres et de plateformes conçus pour accélérer les PoC et les déploiements de production. Cependant, beaucoup de ces solutions fonctionnent comme des boîtes noires nécessitant un examen rigoureux des équipes IT, juridiques, de sécurité et de gestion des risques. Pour relever ces défis et rationaliser le processus, envisagez les recommandations suivantes pour construire une solution à faible friction :

• Créez une feuille de route dédiée aux approbations : envisagez de créer une feuille de route dédiée pour répondre aux préoccupations des équipes partenaires et obtenir les approbations.
• Utilisez des piles technologiques préapprouvées : lorsque cela est possible, utilisez des piles technologiques déjà approuvées et en cours d’utilisation pour éviter les retards dans l’approbation et l’intégration.
• Concentrez-vous sur les outils essentiels : les premiers PoC ne nécessitent généralement pas de fine-tuning de modèle, de boucles de rétroaction automatisées ou d’observabilité/SRE étendue. Au lieu de cela, donnez la priorité aux outils pour les tâches de base comme la vectorisation, les embeddings, la récupération de connaissances, les garde-fous et le développement d’interface utilisateur.
• Utilisez les outils de faible code/sans code avec prudence : même si ces outils peuvent accélérer les délais, leur nature de boîte noire limite la personnalisation et les capacités d’intégration. Utilisez-les avec prudence et considérez leurs implications à long terme.
• Abordez les préoccupations de sécurité dès le départ : mettez en œuvre des techniques telles que la génération de données synthétiques, le masquage des données PII et le cryptage pour aborder les préoccupations de sécurité de manière proactive.

5. Assembler une équipe lean et entrepreneuriale

Comme pour tout projet, avoir la bonne équipe avec les compétences essentielles est crucial pour le succès. Au-delà de l’expertise technique, votre équipe doit également être agile et entrepreneuriale.

• Envisagez d’inclure des gestionnaires de produits et des experts en la matière (SME) pour vous assurer que vous résolvez le bon problème.
• Assurez-vous d’avoir à la fois des développeurs full-stack et des ingénieurs en apprentissage automatique dans l’équipe.
• Évitez d’embaucher spécifiquement pour le PoC ou de prêter des ressources internes à des projets à plus long terme et à plus haute priorité. Envisagez plutôt d’embaucher de petits et moyens prestataires de services qui peuvent apporter le bon talent rapidement.
• Intégrez des partenaires de l’équipe juridique et de sécurité dès le premier jour.

6. Donner la priorité aux exigences non fonctionnelles

Pour un PoC réussi, il est crucial d’établir des limites de problème claires et un ensemble fixe d’exigences fonctionnelles. Cependant, les exigences non fonctionnelles ne doivent pas être négligées. Même si le PoC doit rester concentré dans les limites du problème, son architecture doit être conçue pour une haute performance. Plus précisément, atteindre une latence de milliseconde peut ne pas être une nécessité immédiate, mais le PoC doit être capable de passer à l’échelle sans heurt à mesure que les utilisateurs bêta augmentent. Optez pour une architecture modulaire qui reste flexible et agnostique par rapport aux outils.

7. Élaborer un plan pour gérer les hallucinations

Les hallucinations sont inévitables avec les modèles de langage. Par conséquent, les garde-fous sont essentiels pour mettre à l’échelle les solutions GenAI de manière responsable. Cependant, évaluez si des garde-fous automatisés sont nécessaires au stade du PoC et dans quelle mesure. Au lieu d’ignorer ou de surenginier les garde-fous, détectez lorsque vos modèles hallucinent et signalez-les aux utilisateurs du PoC.

8. Adopter les meilleures pratiques de gestion de produit et de projet

Cette illustration XKCD s’applique aux PoC tout comme à la production. Il n’y a pas de livre de recettes universel. Cependant, l’adoption de meilleures pratiques de gestion de projet et de produit peut aider à rationaliser et à progresser.

• Utilisez des méthodes kanban ou agiles pour la planification et l’exécution tactiques.
• Documentez tout.
• Organisez des scrums de scrums pour collaborer efficacement avec les équipes partenaires.
• Gardez vos parties prenantes et votre direction informées de la progression.

Conclusion

Exécuter un PoC GenAI réussi ne consiste pas seulement à prouver la faisabilité technique, mais à évaluer les choix fondamentaux à long terme. En sélectionnant soigneusement le bon cas d’utilisation, en alignant les métriques de succès, en permettant l’expérimentation rapide, en minimisant les frictions, en assemblant la bonne équipe, en abordant les exigences fonctionnelles et non fonctionnelles, et en planifiant les défis tels que les hallucinations, les organisations peuvent considérablement améliorer leurs chances de passer du PoC à la production.

Cela étant dit, les étapes décrites ci-dessus ne sont pas exhaustives, et non toutes les recommandations s’appliqueront à chaque cas d’utilisation. Chaque PoC est unique, et la clé du succès est d’adapter ces meilleures pratiques pour répondre à vos objectifs commerciaux spécifiques, aux contraintes techniques et au paysage réglementaire.

Une vision et une stratégie solides sont essentielles pour l’adoption de la GenAI, mais sans les bonnes étapes tactiques, même les meilleurs plans peuvent stagner à la phase de PoC. L’exécution est là où les grandes idées réussissent ou échouent, et avoir une approche claire et structurée garantit que l’innovation se traduit par un impact réel dans le monde.