Étapes tactiques pour un PoC GenAI réussi

Les projets de preuve de concept (PoC) sont le terrain d'essai des nouvelles technologies, et l'IA générative (GenAI) ne fait pas exception. Que signifie réellement la réussite d'un PoC GenAI ? En termes simples, un PoC réussi est celui qui passe en production sans problème. Le problème est que, du fait de la nouveauté de la technologie et de son évolution rapide, la plupart des PoC GenAI se concentrent principalement sur la faisabilité technique et des indicateurs tels que la précision et le rappel. Cette focalisation étroite est l'une des principales raisons de l'échec des PoC. Enquête McKinsey L'étude a révélé que si un quart des répondants étaient préoccupés par l'exactitude, beaucoup éprouvaient tout autant de difficultés avec la sécurité, l'explicabilité, la gestion de la propriété intellectuelle (PI) et la conformité réglementaire. Si l'on ajoute à cela des problèmes courants comme la mauvaise qualité des données, les limites d'évolutivité et les difficultés d'intégration, on comprend aisément pourquoi tant de PoC GenAI échouent.

Au-delà du battage médiatique : la réalité des PoC GenAI

Adoption de GenAI Le nombre de cas est clairement en hausse, mais le taux de réussite réel des PoC reste incertain. Les rapports présentent des statistiques divergentes :

• Gartner prédit que d'ici la fin de 2025, au moins 30 % des projets GenAI seront abandonnés après l'étape de PoC, ce qui implique que 70 % pourraient passer en production.
• Une étude d'Avanade (citée dans RTInsights) ont constaté que 41 % des projets GenAI restent bloqués dans le PoC.
• Deloitte Janvier 2025 L'état de GenAI dans l'entreprise Le rapport estime que seulement 10 à 30 % des PoC seront mis en production.
• Une étude d'IDC (citée dans CIO.com) a constaté qu'en moyenne, seulement 5 PoC sur 37 (13 %) parviennent à la production.

Avec des estimations allant de 10 à 70 %, le taux de réussite réel se situe probablement plus près de la limite inférieure. Cela montre que de nombreuses organisations peinent à concevoir des PoC avec un plan de déploiement clair. Ce faible taux de réussite peut épuiser les ressources, freiner l'enthousiasme et freiner l'innovation, conduisant à ce que l'on appelle souvent la « fatigue PoC », où les équipes se sentent bloquées dans l'exécution de projets pilotes qui n'atteignent jamais la phase de production.

Aller au-delà des efforts inutiles

GenAI en est encore aux prémices de son cycle d'adoption, à l'instar du cloud computing et de l'IA traditionnelle avant lui. Il a fallu 15 à 18 ans pour que le cloud computing soit largement adopté, tandis que l'IA traditionnelle a mis 8 à 10 ans et continue de progresser. Historiquement, l'adoption de l'IA suit un cycle d'expansion-récession : l'enthousiasme initial engendre des attentes démesurées, suivi d'un ralentissement lorsque des difficultés apparaissent, avant de finalement se stabiliser et devenir un usage généralisé. Si l'histoire nous enseigne, l'adoption de GenAI connaîtra ses propres hauts et ses bas.

Pour traverser efficacement ce cycle, les organisations doivent s'assurer que chaque preuve de concept est conçue dans une optique d'évolutivité, en évitant les pièges courants qui conduisent à des efforts vains. Conscientes de ces défis, des sociétés de technologie et de conseil de premier plan ont développé des cadres structurés pour aider les organisations à dépasser l'expérimentation et à faire évoluer leurs initiatives GenAI avec succès.

L’objectif de cet article est de compléter ces cadres et efforts stratégiques en décrivant des étapes pratiques et tactiques qui peuvent augmenter considérablement la probabilité qu’un PoC GenAI passe des tests à un impact réel.

Étapes tactiques clés pour un PoC GenAI réussi

1. Sélectionnez un cas d'utilisation en pensant à la production

Avant tout, choisissez un cas d'utilisation avec un chemin clair vers la production. Cela ne signifie pas réaliser une évaluation complète de la préparation GenAI à l'échelle de l'entreprise. Il est préférable d'évaluer chaque cas d'utilisation individuellement en fonction de facteurs tels que la qualité des données, l'évolutivité et les exigences d'intégration, et de prioriser ceux qui ont le plus de chances d'atteindre la production.

Quelques questions clés supplémentaires à prendre en compte lors de la sélection du bon cas d’utilisation :

• Mon PoC est-il conforme aux objectifs commerciaux à long terme ?
• Les données requises peuvent-elles être consultées et utilisées légalement ?
• Existe-t-il des risques évidents qui empêcheront la mise à l’échelle ?

2. Définir et aligner les indicateurs de réussite avant le coup d'envoi

L'une des principales raisons de l'échec des PoC est l'absence d'indicateurs de réussite clairement définis. Sans une harmonisation solide des objectifs et des attentes en matière de retour sur investissement, même les PoC techniquement solides peuvent avoir du mal à obtenir l'adhésion à la production. Estimer le retour sur investissement n'est pas chose aisée, mais voici quelques recommandations : 

• Concevoir ou adopter un cadre tel que celui-ci UN. 
• Utilisez des calculateurs de coûts, comme cet outil de tarification de l'API OpenAI et des calculateurs de fournisseurs de cloud pour estimer les dépenses.
• Au lieu d’une cible unique, développez une estimation du retour sur investissement basée sur une plage avec des probabilités pour tenir compte de l’incertitude.

Voici un exemple de comment QueryGPT d'Uber L'équipe a estimé l'impact potentiel de son outil GenAI de conversion de texte en SQL.

3. Permettre une expérimentation rapide

Créer des applications GenAI repose sur l'expérimentation, nécessitant des itérations constantes. Lors du choix de votre pile technologique, de votre architecture, de votre équipe et de vos processus, assurez-vous qu'ils prennent en charge cette approche itérative. Vos choix doivent permettre une expérimentation fluide, de la génération d'hypothèses et des tests à la collecte de données, l'analyse des résultats, l'apprentissage et l'affinement. 

• Envisagez de faire appel à des fournisseurs de services de petite et moyenne taille pour accélérer l’expérimentation.
• Choisir repères, évaluez et évaluez les cadres dès le départ en vous assurant qu'ils correspondent à votre cas d'utilisation et à vos objectifs.
• Utilisez des techniques telles que LLM-en-tant-que-juge or LLM-en-tant-que-jurys automatiser (semi-automatiser) l'évaluation.

4. Visez des solutions à faible friction

Une solution à faible friction nécessite moins d'approbations et, par conséquent, rencontre moins, voire aucune, objection à son adoption et à sa mise à l'échelle. La croissance rapide de GenAI a entraîné une explosion d'outils, de frameworks et de plateformes conçus pour accélérer les démonstrations de faisabilité et les déploiements en production. Cependant, nombre de ces solutions fonctionnent comme des boîtes noires exigeant un examen rigoureux de la part des équipes informatiques, juridiques, de sécurité et de gestion des risques. Pour relever ces défis et optimiser le processus, suivez les recommandations suivantes pour créer une solution à faible friction :

• Créez une feuille de route dédiée aux approbations : envisagez de créer une feuille de route dédiée pour répondre aux préoccupations des équipes partenaires et obtenir des approbations.
• Utilisez des piles technologiques pré-approuvées : dans la mesure du possible, utilisez des piles technologiques déjà approuvées et utilisées pour éviter les retards d'approbation et d'intégration.
• Concentrez-vous sur les outils essentiels : les premières démonstrations de faisabilité ne nécessitent généralement pas de réglage fin du modèle, de boucles de rétroaction automatisées ni d'observabilité/SRE poussée. Privilégiez plutôt les outils pour les tâches essentielles comme la vectorisation, l'intégration, la récupération des connaissances, les garde-fous et le développement d'interface utilisateur.
• Utilisez les outils low-code/no-code avec prudence : bien que ces outils puissent accélérer les délais, leur nature « boîte noire » limite les possibilités de personnalisation et d'intégration. Utilisez-les avec prudence et tenez compte de leurs implications à long terme.
• Répondez aux problèmes de sécurité dès le début : mettez en œuvre des techniques telles que la génération de données synthétiques, le masquage des données PII et le cryptage pour répondre aux problèmes de sécurité de manière proactive.

5. Assemblez une équipe légère et entrepreneuriale

Comme pour tout projet, disposer d'une équipe compétente et dotée des compétences essentielles est essentiel à sa réussite. Au-delà de l'expertise technique, votre équipe doit également faire preuve d'agilité et d'esprit d'entreprise. 

• Envisagez d’inclure des chefs de produit et des experts en la matière (EM) pour vous assurer que vous résolvez le bon problème. 
• Assurez-vous d’avoir à la fois des développeurs full-stack et des ingénieurs en apprentissage automatique dans l’équipe. 
• Évitez de recruter spécifiquement pour la démonstration de faisabilité ou d'emprunter des ressources internes à des projets prioritaires à long terme. Envisagez plutôt de faire appel à des prestataires de services de petite et moyenne taille, capables de recruter rapidement les bons talents. 
• Intégrez les partenaires juridiques et de sécurité dès le premier jour.

6. Priorisez également les exigences non fonctionnelles

Pour réussir une démonstration de faisabilité (PoC), il est essentiel d'établir des limites claires pour le problème et un ensemble fixe d'exigences fonctionnelles. Cependant, les exigences non fonctionnelles ne doivent pas être négligées. Si la démonstration de faisabilité doit rester centrée sur les limites du problème, son architecture doit être conçue pour des performances élevées. Plus précisément, atteindre une latence de quelques millisecondes n'est peut-être pas une nécessité immédiate, mais la démonstration de faisabilité doit pouvoir évoluer de manière transparente à mesure que le nombre d'utilisateurs bêta augmente. Optez pour une architecture modulaire, flexible et indépendante des outils.

7. Élaborez un plan pour gérer les hallucinations

Les hallucinations sont inévitables avec les modèles de langage. Par conséquent, les garde-fous sont essentiels pour déployer les solutions GenAI de manière responsable. Cependant, il est important d'évaluer si des garde-fous automatisés sont nécessaires dès la phase de démonstration de faisabilité et dans quelle mesure. Au lieu d'ignorer ou de sur-concevoir les garde-fous, il est préférable de les détecter. quand vos modèles hallucinent et les signaler aux utilisateurs du PoC.

8. Adopter les meilleures pratiques de gestion de produits et de projets

Le présent XKCD L'illustration s'applique aux PoC comme à la production. Il n'existe pas de solution universelle. Cependant, l'adoption des meilleures pratiques de gestion de projet et de produit peut contribuer à optimiser et à progresser. 

• Utilisez des méthodes Kanban ou agiles pour la planification et l’exécution tactiques.
• Documentez tout.
• Organisez des mêlées de mêlées pour collaborer efficacement avec les équipes partenaires.
• Tenez vos parties prenantes et vos dirigeants informés des progrès.

Conclusion

Réussir un PoC GenAI ne se résume pas à prouver la faisabilité technique, mais consiste également à évaluer les choix fondamentaux sur le long terme. En sélectionnant soigneusement le cas d'utilisation approprié, en s'alignant sur les indicateurs de réussite, en permettant une expérimentation rapide, en minimisant les frictions, en constituant l'équipe adéquate, en répondant aux exigences fonctionnelles et non fonctionnelles et en anticipant les défis tels que les hallucinations, les organisations peuvent considérablement améliorer leurs chances de passer du PoC à la production.

Cela dit, les étapes décrites ci-dessus ne sont pas exhaustives et toutes les recommandations ne s'appliquent pas à tous les cas d'utilisation. Chaque PoC est unique, et la clé du succès réside dans l'adaptation de ces bonnes pratiques à vos objectifs commerciaux, à vos contraintes techniques et à votre environnement réglementaire.

Une vision et une stratégie solides sont essentielles à l'adoption de GenAI, mais sans les bonnes étapes tactiques, même les plans les mieux conçus peuvent stagner dès la phase de démonstration de faisabilité. C'est au moment de la mise en œuvre que les grandes idées réussissent ou échouent, et une approche claire et structurée garantit que l'innovation se traduira par un impact concret.