Pourquoi les achats deviennent l’outil réglementaire le plus puissant de l’IA

Malgré toute l’attention accordée à la législation sur l’IA, certaines des règles les plus déterminantes qui régissent la technologie pourraient finalement provenir d’un lieu vraiment inattendu : les services d’approvisionnement.

Comme de nombreuses premières réglementaires aux États-Unis, la Californie offre un exemple précoce : l’État a mis en place des exigences spécifiques pour l’achat de produits et services utilisant l’IA générative. Les entités étatiques doivent évaluer le risque associé aux achats de GenAI, les usages à risque modéré ou élevé faisant l’objet d’un examen supplémentaire de la part du California Department of Technology (CDT). Les appels d’offres exigent une clause de divulgation de GenAI, et les fournisseurs peuvent devoir révéler leur utilisation de la technologie même lorsque l’IA n’est que secondaire au produit ou au service acheté.

Ce qui est encore plus intéressant, c’est ce qui se passe après la conclusion du contrat.directive d’approvisionnement GenAIétend la surveillance au-delà de l’achat initial. Les responsables de contrats sont censés surveiller la technologie GenAI au fil du temps, car certaines modifications de la technologie peuvent déclencher une nouvelle évaluation des risques.

Cela change la donne pour les fournisseurs, car franchir les étapes d’approvisionnement n’est plus simplement répondre à un questionnaire de sécurité et fournir quelques documents. La gouvernance de l’IA commence à faire partie du coût d’entrée pour faire des affaires en Californie. Et bien que ce soit la situation actuelle en Californie, elle influence souvent d’autres États lorsqu’aucune législation fédérale n’est en place, ce qui signifie que les entreprises seraient myopes de considérer cela comme un problème d’approvisionnement californien.

Lorsque l’acheteur commence à établir les règles

Comment les services d’approvisionnement sont-ils devenus le point de départ de la gouvernance de l’IA ? Les gouvernements peuvent passer des années à débattre de la législation, mais les règles d’approvisionnement peuvent être plus agiles car elles s’adressent à un public beaucoup plus immédiat : toute personne souhaitant obtenir le contrat.

En l’absence d’une législation globale sur l’IA, les acheteurs ont trouvé une autre façon de définir leurs propres attentes concernant l’IA. Ils peuvent décider ce qu’ils doivent savoir sur l’utilisation de la technologie par un fournisseur, quelles preuves ils souhaitent voir, et quel niveau de risque ils sont prêts à accepter avant de signer un contrat. Pour les gros acheteurs, en particulier les gouvernements et les grandes entreprises, ces exigences peuvent revêtir une importance considérable.

Les équipes d’approvisionnement du secteur privé ont leurs propres raisons de commencer à poser des questions sur des aspects tels que l’endroit où l’IA est utilisée ou les preuves existantes de la présence de contrôles appropriés. Les entreprises consacrent déjà beaucoup de temps à examiner les pratiques de sécurité et de confidentialité de leurs fournisseurs. L’introduction de l’IA ajoute un autre ensemble de risques que les acheteurs doivent de plus en plus comprendre avant de confier leurs données à un fournisseur, d’intégrer sa technologie dans un processus critique ou de lui permettre de prendre des décisions qui affectent les clients et les employés.

Votre risque d’IA peut appartenir à quelqu’un d’autre

L’un des aspects les plus importants de l’approche californienne est qu’elle reconnaît la difficulté croissante à tracer une ligne nette autour de l’utilisation de l’IA par une organisation. Qu’elle ait acheté sa propre offre d’IA, travaille avec des cabinets de conseil fournissant des services, ou utilise simplement des services cloud, l’IA est intégrée aux organisations ou à leurs chaînes d’approvisionnement.

Le processus d’approvisionnement de la Californie tient compte de tout cela. Il couvre les achats informatiques et non informatiques impliquant GenAI, y compris les consultants utilisant la technologie, et exige une évaluation des risques lorsque GenAI est identifié lors de l’approvisionnement.

Le processus ressemble à celui où les équipes de cybersécurité ont compris que protéger leurs propres systèmes ne suffisait pas si un fournisseur ayant accès à leurs données ou à leur infrastructure disposait de contrôles faibles. Cette prise de conscience a fait de la cybersécurité tierce une composante majeure de la gestion des risques fournisseurs, une orientation que l’IA semble également suivre.

Cela crée également un problème délicat pour les organisations qui ont mis en place des programmes distincts pour la sécurité, la confidentialité, la gouvernance de l’IA et chaque nouvelle obligation de conformité qui apparaît. Les risques ne respectent pas ces frontières organisationnelles. Une application d’IA peut engendrer simultanément des questions de confidentialité, des vulnérabilités de sécurité et des obligations réglementaires.

Créer un autre silo pour la gouverner ne fait qu’ajouter un autre endroit où quelque chose peut passer entre les mailles du filet.

Le problème de la preuve de conformité unique

Une complication supplémentaire à un problème déjà complexe est que l’IA évolue. Les modèles sont mis à jour, les fournisseurs déploient de nouvelles fonctionnalités, les employés trouvent des usages pour des outils que personne n’avait anticipés lors de l’achat, et les données changent. Cette fluidité implique que la réglementation doit également évoluer.

Pourtant, de nombreuses activités de conformité sont encore construites autour d’un instant donné. Un audit approche, donc des preuves sont rassemblées. Un client envoie un questionnaire, ainsi quelqu’un recherche les réponses. Une nouvelle exigence apparaît, et un autre projet de conformité débute.

Cette approche était déjà lourde, mais avec l’IA, elle devient de plus en plus difficile à justifier. Une évaluation des risques réalisée lors de l’achat d’un produit peut être parfaitement exacte à ce moment-là, mais devenir gravement obsolète un an plus tard.

California semble le reconnaître, car ses directives de suivi des contrats exigent une évaluation continue des livrables GenAI, y compris les sorties inexactes, le contenu fabriqué et les biais. Les modifications ou ajouts à la technologie GenAI dans les contrats qui nécessitaient auparavant une consultation CDT peuvent également nécessiter une réévaluation.

Le Cadre de gestion des risques IA du NIST adopte une vision similaire de la gestion des risques IA, le considérant comme un processus continu tout au long du cycle de vie de l’IA. Cela exigera une mentalité différente de la part des organisations habituées à se préparer pour le prochain audit puis à pousser un soupir de soulagement une fois celui‑ci terminé.

Les achats exigent des preuves, pas une course de dernière minute

Il y a eu beaucoup d’enthousiasme autour de la conformité automatisée, notamment alors que les entreprises tentent de suivre un nombre croissant d’exigences en matière de sécurité, de confidentialité et d’IA. L’attrait est compréhensible, mais le danger survient lorsque l’efficacité est confondue avec la gouvernance.

Terminer un flux de travail ne vous indique pas si le risque sous‑jacent a changé. Par exemple, un fournisseur qui n’utilisait pas l’IA pour un service donné il y a six mois peut l’utiliser maintenant. C’est pourquoi la conformité doit fonctionner davantage comme une boucle que comme une ligne d’arrivée. Les organisations doivent savoir ce qu’elles gouvernent, vérifier que les contrôles continuent de faire ce qu’ils sont censés faire, et intégrer les nouveaux risques et exigences dans le processus dès qu’ils apparaissent.

Bien fait, cela rend également les achats nettement moins pénibles. Lorsqu’un client demande comment l’IA est gouvernée, la réponse ne se trouve pas dans un document rédigé l’an dernier pour un audit. Il existe un corpus actuel et continu de preuves montrant comment les risques sont gérés en pratique, ce qui devient commercialement important.

La Californie montre comment les achats peuvent transformer les principes de gouvernance de l’IA en exigences que les fournisseurs doivent réellement respecter s’ils souhaitent obtenir les affaires. D’autres acheteurs du secteur public peuvent faire de même, tandis que les équipes d’achats d’entreprise ont de nombreuses incitations à poser des questions plus pointues à leurs propres fournisseurs.

Les entreprises finiront peut‑être par constater que la gouvernance de l’IA n’est pas simplement une obligation réglementaire. Elles gouverneront l’IA parce qu’une équipe d’achats a décidé de leur demander de le prouver, ce qu’elles feront volontiers afin de remporter le contrat.