Gouvernance de l’IA : un problème pour la plupart, un avantage pour les quelques-uns

L’IA d’entreprise accumule des risques plus rapidement que quiconque ne les prend en compte. Les agents IA commencent à toucher les données des clients, le code de production et les décisions commerciales importantes, et dans la plupart des organisations, ils sont régis par des contrôles conçus pour une ère de technologie très différente. En même temps, les soutiens externes sur lesquels les entreprises pourraient s’appuyer s’amenuisent. Les principaux laboratoires d’IA ont réduit leurs engagements volontaires en matière de sécurité, et la réglementation reste fragmentée selon les juridictions. Le fardeau de la confiance repose sur les entreprises qui déployent l’IA, car elles sont celles qui subiront les conséquences négatives lorsqu’elles surgiront.

Je fais des travaux stratégiques sur l’IA avec des entreprises de presque tous les secteurs, et je parle aux PDG et aux conseils d’administration quotidiennement. Le modèle constant que je vois est le suivant : le déploiement s’accélère tandis que les infrastructures de contrôle ne suivent simplement pas. Le modèle est suffisamment constant pour que je le considère comme structurel plutôt que comme une défaillance de telle ou telle entreprise, et je ferai une prédiction : nous ne sommes pas loin d’un PDG qui devra expliquer qu’une grande erreur a coûté des millions à l’entreprise, et il blâmera l’IA. Je suggérerais poliment que ce n’est pas une excuse.

La bonne nouvelle est que j’ai la chance de voir de près une poignée d’entreprises qui traitent la gouvernance différemment, et je crois que ces entreprises construisent un avantage à long terme qui se cumule avec le temps, tandis que celles qui attendent sur les côtés risquent de devenir obsolètes. Comprendre ce que voient les quelques-uns commence par comprendre où mène la trajectoire actuelle.

Nous sommes sur la voie d’un problème

Les déploiements actuels sont suffisamment petits pour que la surveillance humaine puisse absorber le risque. La dernière étude de Deloitte sur l’état de l’IA dans l’entreprise a constaté que seuls un quart des organisations interrogées avaient déployé au moins 40 % de leurs expériences IA en production. La plupart des entreprises sont encore en début de courbe, exécutant une poignée d’agents dans des cas d’utilisation étroits avec des personnes qui suivent chaque sortie.

La trajectoire est ce qui compte. À mesure que les déploiements passent de deux agents à 20, à 200, à 2 000 et au-delà, la complexité se cumule. Chaque nouvel agent apporte son propre comportement, ainsi que ses interactions avec chaque système qu’il touche et chaque autre agent avec lequel il travaille. À deux agents, la confiance est facile : vous connaissez l’équipe et vous examinez les sorties vous-même. À 20, la confiance doit devenir un processus, avec des propriétaires définis, des tests et des chemins d’escalade. Ça peut encore fonctionner, mais cela devient de plus en plus difficile à maintenir. À 200, l’examen informel devient un théâtre, car aucun dirigeant ne peut examiner autant d’activité. Et à 2 000, l’humain dans la boucle est virtuellement inutile, car les interactions entre les agents, les données et les processus commerciaux forment une toile qui dépasse ce que la surveillance manuelle peut couvrir. À cette échelle, la confiance doit également exister à grande échelle et être intégrée dans l’architecture technique de l’entreprise.

Le coût de l’attente

L’infrastructure de confiance manquante est également l’une des raisons des rendements décevants. Dans l’dernier sondage mondial des PDG de PwC, 56 % des PDG ont déclaré que l’IA n’avait pas généré d’augmentation des revenus ni de réduction des coûts au cours de la dernière année. Selon mon expérience, même les rendements déclarés paraissent moins convaincants une fois que vous examinez les économies sous-jacentes. La plupart des entreprises comptent les heures économisées et les considèrent comme un retour sur investissement. Les heures économisées ne deviennent des rendements financiers que lorsque l’organisation les convertit en quelque chose de plus précieux : une production plus importante, une meilleure qualité, un coût évité, une croissance plus rapide, etc.

Cette conversion nécessite de la confiance. Une organisation ne peut déplacer le jugement humain vers un travail à plus haute valeur que lorsque la direction fait confiance aux systèmes qui prennent le relais du travail à plus faible valeur. En l’absence de cette confiance, les entreprises s’accumulent des dettes techniques qui ne sont pas évolutives, et avec le temps, cela a un impact significatif sur la productivité. C’est le pire des deux mondes : des dépenses accrues avec peu de résultats. La confiance est la base sur laquelle ces rendements s’accumulent.

Le problème de l’ascenseur

Le lien entre la confiance et l’adoption n’est pas nouveau, et nous pouvons remonter au milieu du XXe siècle pour trouver un point de référence raisonnable. Les ascenseurs sans conducteur existaient des décennies avant que quiconque ne les utilise. La technologie fonctionnait, mais les passagers entraient dans une voiture, ne voyaient pas d’opérateur et ressortaient. Ce qui a changé, ce n’est pas l’ascenseur, mais les contrôles de sécurité qui l’entourent. Après une grève des opérateurs en 1945 qui a fermé les immeubles de bureaux à travers New York, l’industrie a intégré la confiance dans la machine elle-même : le bouton d’arrêt d’urgence, la ligne téléphonique, les portes qui se rouvrent lorsqu’elles rencontrent une résistance et une voix enregistrée expliquant ce qu’il faut faire. Dans une génération, monter dans un ascenseur sans humain aux commandes est devenu si ordinaire que marcher dans un ascenseur avec une personne aux commandes a semblé antique. La barrière à la suppression de l’humain de la boucle n’a jamais été la capacité. C’était la confiance, et l’industrie l’a résolue en intégrant des contrôles visibles et vérifiables dans le système et en les mettant à la portée de chaque passager.

L’IA d’entreprise est à l’étape du « monter, reculer ». Les équipes de direction voient les agents fonctionner sans humain aux commandes et hésitent, et l’hésitation est rationnelle : la plupart des organisations n’ont pas encore construit l’équivalent du bouton d’arrêt, de la ligne téléphonique et de la porte qui ne se ferme pas sur vous. Les entreprises qui conçoivent ces contrôles dans leurs systèmes seront celles dont les personnes, les clients et les régulateurs entreront et resteront.

Les fournisseurs ne peuvent supporter qu’une partie de cela

De nombreux dirigeants espèrent que leurs fournisseurs d’IA supporteront le fardeau de la confiance. Les fournisseurs peuvent fournir des garanties de sécurité et des contrôles au niveau du modèle, et les bons le font. Décider si un déploiement particulier est approprié pour vos données, vos obligations réglementaires, vos clients et votre tolérance au risque reste votre responsabilité, car votre fournisseur n’a pas le contexte pour le faire. Ils n’ont jamais vu vos obligations et n’ont pas de moyen de chiffrer ce que coûte une issue négative.

L’engagement de sécurité d’un fournisseur couvre son modèle, et non son utilisation. Il n’est pas non plus permanent : comme l’a montré l’année dernière, ces engagements peuvent être révisés ou retirés. Les industries réglementées ont réglé cette question il y a longtemps pour les modèles tiers, et la norme qu’ils ont retenue est la bonne : l’institution qui déploie le modèle en assume le risque.

Ce que font les quelques-uns

Les entreprises qui prennent les devants font trois mouvements :

1. Ils construisent des infrastructures de contrôle maintenant, dimensionnées pour l’échelle qu’ils entendent atteindre et non pour l’échelle à laquelle ils se trouvent, car les contrôles doivent exister avant les agents qui en ont besoin.
2. Ils intègrent la classification et la mitigation des risques au début du processus de déploiement et non comme une passerelle de révision à la fin, de sorte que chaque cas d’utilisation est classé et que les contrôles sont proportionnés au risque dès le premier jour.
3. Et ils mettent en place une gouvernance indépendante avec une autorité réelle pour vérifier que ces systèmes se comportent comme prévu, suffisamment flexible pour évoluer avec la technologie. L’indépendance rend la vérification crédible. La flexibilité la maintient à jour.

Il vaut la peine de noter que peu de régulateurs ont établi des règles explicites autour de l’utilisation et de la surveillance de l’IA générative, mais cela ne signifie pas que nous n’avons rien à quoi nous référer pour obtenir des conseils. Les régulateurs ont des règles bien établies pour la gestion de modèles traditionnels, et nous pouvons les utiliser comme guide. En avril, la Réserve fédérale, l’OCC et la FDIC ont publié des directives révisées sur les risques de modèle reflétant des décennies de pratique, une approche fondée sur des principes qui inclut des inventaires de modèles, des contrôles proportionnés au risque, une validation indépendante, un suivi continu et une responsabilité d’entreprise pour les produits de fournisseurs, et ils ont dirigé les institutions pour appliquer ces mêmes pratiques à l’IA sur leur propre. Le message est clair : les principes qui fonctionnent sont connus, et les règles formelles de l’IA ne sont pas en vue. Les entreprises qui attendent des éclaircissements réglementaires attendront pendant que les quelques-uns agissent. C’est pourquoi les industries réglementées, souvent décrites comme lentes, entrent dans cette ère avec une longueur d’avance. Elles ont passé des décennies à construire exactement la machinerie de confiance dont tout le monde a maintenant besoin, et elles n’attendent pas la permission de l’utiliser.

La question qui compte

La division se forme déjà. La plupart des entreprises traitent la gouvernance comme un coût : quelque chose qui est absorbé, supporté et minimisé. Les quelques-uns la traitent comme l’infrastructure qui leur permet de déplacer les personnes vers un travail à plus haute valeur et de faire évoluer avec confiance. Chaque équipe de direction est d’un côté ou de l’autre, qu’elle l’ait choisi délibérément ou non, et l’écart se cumule discrètement avant de l’échelle qui l’exposera. Personne ne pense deux fois avant de monter dans un ascenseur aujourd’hui, car la confiance a été intégrée. Les entreprises qui font de même pour l’IA dépasseront tous ceux qui hésitent encore à monter.