Pourquoi l’intelligence artificielle d’entreprise échoue à la ligne d’arrivée — et comment y remédier

Malgré le buzz autour de l’intelligence artificielle, la plupart des projets d’intelligence artificielle d’entreprise ne dépassent pas le stade expérimental. Selon une étude récente d’IDC, 88 % des projets de preuve de concept (POC) d’intelligence artificielle échouent à passer à la production complète. C’est un déclin massif, et un signe clair que quelque chose ne fonctionne pas. Beaucoup de ces projets s’approchent de la ligne d’arrivée, avec un modèle formé qui répond aux benchmarks établis par l’équipe, puis finissent par ne pas être lancés ou adoptés par les utilisateurs finals.

Qu’est-ce qui ne va pas ? Dans de nombreux cas, cela se résume à trois grands problèmes :

1. Les équipes d’intelligence artificielle d’entreprise s’appuient sur des outils de diagnostic de surface et des benchmarks qui ne détectent pas les lacunes de performance clés
2. Les modèles sont formés pour répondre à des benchmarks standard au lieu de résoudre des problèmes du monde réel
3. Le coût de la mise à l’échelle de l’utilisation du modèle se révèle trop élevé pour une adoption à l’échelle de l’entreprise

Dans cet article, nous allons examiner chacun de ces pièges — et ce qu’il faut pour faire passer les projets d’intelligence artificielle au-delà de la ligne d’arrivée et les mettre entre les mains des utilisateurs à grande échelle.

Problème #1 : Les diagnostics standard qui manquent des problèmes de performance clés

Une des principales raisons pour lesquelles les projets d’intelligence artificielle trébuchent après la phase de preuve de concept est que les benchmarks et les diagnostics internes ne creusent souvent pas suffisamment profondément dans les performances du modèle et tendent à manquer les problèmes qui nuisent à l’utilisabilité, à la confiance et à l’adoption. Les équipes peuvent cocher toutes les cases sur le papier, mais ces vérifications ne reflètent pas toujours la façon dont le modèle se comportera dans le monde réel.

Prenons cet exemple : Une équipe d’intelligence artificielle avait un modèle qui passait tous les tests internes avec succès. Il répondait à toutes les métriques d’exactitude et aux seuils de sécurité, et ils se préparaient à le lancer. Mais lorsque qu’ils ont fait évaluer le modèle par un tiers pour leur cas d’utilisation prévu, afin de simuler la façon dont les utilisateurs réels interagiraient avec le système, ils ont découvert un point aveugle majeur. Le modèle était neuf fois plus susceptible de donner des réponses évasives lorsqu’on lui posait des questions d’une certaine manière. Par exemple, il répondait correctement à « Qui est le président des États-Unis ? » mais traitait « Pouvez-vous me parler du président ? » comme un risque pour la sécurité et refusait de répondre.

Le problème n’était pas avec les connaissances fondamentales du modèle — mais avec la façon dont il interprétait l’intention en fonction de la formulation. L’équipe avait optimisé la sécurité à tel point qu’elle avait accidentellement bloqué des questions normales et raisonnables.

Problème #2 : Les modèles sont affinés pour répondre à des benchmarks qui ne reflètent pas le monde réel

Un autre obstacle courant pour l’intelligence artificielle d’entreprise est que les équipes d’intelligence artificielle forment des modèles pour répondre à des benchmarks standard de l’industrie plutôt qu’aux besoins du monde réel. Sur le papier, un modèle peut sembler de premier ordre, obtenant de hauts scores aux évaluations standard pour l’exactitude, la pertinence ou la sécurité. Mais dans la pratique, il peut avoir du mal à fournir des résultats utiles et cohérents sans une intervention importante de l’utilisateur.

Ceci se produit lorsque les équipes optimisent les modèles pour performer bien sur des tâches étroites et spécifiques aux benchmarks. Le modèle finit par exceller dans ces cas de test, mais il vacille lorsqu’il rencontre des entrées du monde réel moins structurées et plus variées. En conséquence, les utilisateurs doivent « parler le langage du modèle » grâce à l’ingénierie de prompt pour obtenir les bonnes réponses. Si votre produit d’intelligence artificielle dépend de la capacité des utilisateurs finals à créer des invites précises, vous avez introduit une friction qui ralentit l’adoption et sape son utilité.

Ce type de formation axée sur les benchmarks peut également conduire à un surajustement. Le modèle devient tellement affiné pour performer bien sur les jeux de données d’évaluation qu’il perd sa généralisabilité. Il peut passer tous les tests internes, mais encore échouer lorsqu’il est déployé dans la nature, surtout si les cas d’utilisation réels diffèrent ne serait-ce que légèrement de ceux pour lesquels il a été formé.

Si vous voulez une solution d’intelligence artificielle d’entreprise qui réussit, votre modèle doit fonctionner dans le monde réel — et pas seulement dans le laboratoire.

Problème #3 : La mise à l’échelle de l’adoption de l’intelligence artificielle signifie la mise à l’échelle des coûts de calcul

La troisième raison pour laquelle de nombreux projets de preuve de concept d’intelligence artificielle échouent à passer à l’échelle est financière : les équipes sous-estiment souvent le coût de l’exécution et de la maintenance du modèle en production. Lors du développement, il est facile de négliger les exigences de calcul d’un grand modèle, en particulier lors des tests sur de petits jeux de données ou dans des environnements à usage limité. Mais une fois déployé, ces coûts peuvent exploser.

L’intelligence artificielle d’entreprise de niveau requiert des ressources computationnelles importantes, non seulement pour servir les réponses en temps réel, mais également pour le réglage, la surveillance, la journalisation et la réformation continues. Si ces coûts ne sont pas pris en compte tôt, le cas d’affaires pour la solution peut s’effondrer une fois que l’utilisation réelle commence. Ce qui semblait être un modèle prometteur dans un environnement contrôlé peut rapidement devenir insoutenable lorsque des milliers d’utilisateurs commencent à solliciter le système quotidiennement.

Surmonter les obstacles de dernière ligne pour une intelligence artificielle d’entreprise réussie

Pour éviter les pièges courants qui font dérailler tant de projets d’intelligence artificielle d’entreprise, les équipes doivent aller au-delà du livre de jeu habituel. Voici comment votre équipe d’intelligence artificielle peut construire quelque chose qui fonctionne vraiment — et qui peut être mis à l’échelle.

Tout d’abord, faites évaluer votre modèle par un tiers. Les tests internes sont importants, mais ils sont souvent trop larges. Un regard frais, associé à un cadre d’évaluation personnalisé adapté à votre cas d’utilisation, peut mettre en évidence des problèmes que votre équipe pourrait manquer, en particulier lorsqu’il s’agit de la façon dont les utilisateurs réels interagiront avec le système.

Ensuite, assurez-vous de tester avec des invites du monde réel. La plupart des benchmarks testent sur des « données propres » qui ne reflètent pas le monde réel, et encore moins la façon dont vos utilisateurs finals interagiront avec votre modèle. Tester votre modèle sur des entrées peu claires, vagues ou étrangement formulées vous aidera à voir comment votre modèle se comportera réellement après le déploiement et à détecter les problèmes qui pourraient autrement passer inaperçus et affecter l’adoption.

Enfin, réexaminez vos protocoles de sécurité. Il est facile d’en faire trop avec les garde-fous, et même si la sécurité est importante, elle ne devrait pas rendre votre modèle frustrant à utiliser. Si le modèle se ferme sur des questions simples et inoffensives, vous échangez l’utilisabilité contre une fausse sensation de sécurité.

Enfin, surveillez vos coûts de calcul. Si vos objectifs d’adoption incluent des milliers d’utilisateurs et des millions de requêtes, ces dépenses peuvent augmenter rapidement. Une solution consiste à envisager des modèles plus petits. Boosted.ai l’a fait — ils sont passés à un modèle de langage personnalisé plus petit et ont réduit leurs coûts de calcul de 90 % tout en améliorant la vitesse et les performances. Résultats en temps réel, meilleure expérience utilisateur, et pas besoin de matériel coûteux.

En abordant l’évaluation, l’utilisabilité et la scalabilité dès le départ, les équipes peuvent donner à leur projet d’intelligence artificielle une véritable chance de réussir à long terme. Il ne s’agit pas seulement de faire fonctionner les choses dans un laboratoire — mais de les faire fonctionner dans le monde.