Rowan Stewart, Sr. Directeur du Produit, Sécurité et Plateforme IA chez Transcend – Série d’entretiens

Rowan Stewart, Sr. Directeur du Produit, Sécurité et Plateforme IA chez Transcend, dirige les initiatives de produit axées sur l’aide aux organisations pour découvrir, gérer et utiliser de manière sûre les données dans les systèmes d’intelligence artificielle. Elle apporte plus d’une décennie d’expérience couvrant le développement de produits d’IA et d’apprentissage automatique, les logiciels d’entreprise, le traitement automatique des langues, la stratégie de données et le leadership de produits de zero à un. Avant de rejoindre Transcend, Stewart a passé près de six ans chez BCG X, où elle a aidé les grandes entreprises à développer des stratégies d’IA, à réinventer les processus internes et à créer des produits conçus pour fournir des résultats commerciaux mesurables. Plus tôt dans sa carrière, elle a géré le développement d’API de traitement automatique des langues pour l’intelligence des influenceurs, y compris l’analyse des sentiments, les graphes de connaissances, l’évaluation de la personnalité, la détection des bots et les capacités de sécurité de marque.

Transcend est la seule plateforme de décision de données autonome qui répond à la question « Puis-je utiliser ces données ? » pour faire croître la croissance client. Les entreprises du Fortune 500 et les leaders de catégorie émergents utilisent Transcend pour encoder directement les autorisations d’utilisation des données dans les systèmes d’entreprise qui traitent les données client, fournissant une source de vérité en temps réel pour le consentement, les préférences et les règles commerciales. Le résultat est une qualité de données supérieure, une utilisation éthique qui protège la marque et une conformité prête à l’audit à grande échelle. Avec Transcend, les entreprises peuvent débloquer les revenus de l’IA, de la personnalisation et d’autres initiatives de données de première partie avec confiance. Fondée en 2017 par Ben Brook (PDG) et Mike Farrell (CTO), Transcend a son siège social dans la région de la baie de San Francisco.

Vous avez passé près de six ans chez BCG X en aidant certaines des plus grandes organisations du monde à déployer des solutions d’IA et d’apprentissage automatique avant de passer à la sécurité et à la gouvernance de l’IA chez Transcend. Quels étaient les échecs de gouvernance récurrents ou les angles morts que vous avez observés qui vous ont convaincu que la gouvernance de l’IA devait être intégrée dans les systèmes dès le départ plutôt que d’être ajoutée plus tard ?

Chez BCG, j’ai travaillé avec des entreprises à tous les stades de maturité de l’IA, et un modèle m’a frappé : la gouvernance est toujours arrivée en retard. Les équipes vont vite pour lancer un modèle ou un produit, et la conversation sur les autorisations de données, le consentement ou la surveillance devient vraiment claire juste avant la production et ressemble à un « piège ». Ce qui est construit à ce stade s’apparente à un correctif sur un système qui n’a jamais été conçu avec la gouvernance en tête.

C’est pourquoi j’étais si enthousiaste à l’idée de rejoindre Transcend. Conseiller les entreprises sur ce qu’elles devraient faire ne va pas très loin. Je voulais aider à construire l’infrastructure qui rend la gouvernance le choix facile.

De nombreuses organisations sont en train de déployer des agents d’IA à travers le support client, les opérations et le travail de connaissance. Comment la gouvernance des agents d’IA autonomes diffère-t-elle de la gouvernance des systèmes logiciels traditionnels ou même des générations précédentes de modèles d’IA ?

La plupart de l’architecture de sécurité d’entreprise suppose qu’il y a un humain à l’autre bout de chaque action, et que cet humain peut être identifié, approuvé et tenu responsable en cas de problème. Mais les agents ne sont pas des personnes. Ils agissent seuls, délèguent des tâches à d’autres agents et enchaînent les décisions de manière qui ne correspond rarement à une personne responsable.

Donner à un agent les mêmes autorisations statiques qu’à un employé crée une erreur de correspondance, car les agents manquent de bon sens. La gouvernance doit évaluer l’action spécifique que l’agent est sur le point de prendre, à ce moment-là, avec ces données particulières. La plupart des entreprises utilisent toujours le livre de jeu de gestion des identités et des accès qu’elles ont construit pour les humains, et beaucoup d’entre elles vont découvrir l’écart une fois que le déploiement d’agents dépasse la gouvernance conçue pour le gérer.

Vous avez travaillé à travers plusieurs vagues d’innovation de l’IA, des produits de NLP et des plateformes d’intelligence des influenceurs aux initiatives de transformation de l’entreprise IA. Comment la conversation autour de la sécurité de l’IA a-t-elle évolué au cours de la dernière décennie, et qu’est-ce qui vous inquiète le plus ?

Comparer l’IA d’aujourd’hui (et de demain !) aux générations précédentes est fascinant, car c’est un espace qui bouge incroyablement vite. Les évolutions les plus importantes de la dernière année ou deux ont évidemment été l’essor des agents et l’importance de la gestion de la mémoire à long terme (OpenClaw, par exemple ?). Ces agents sont capables de faire tellement plus de choses à une qualité bien supérieure, ce qui les rend encore plus précieux et, bien sûr, encore plus risqués.

À mesure que les systèmes d’IA prennent des décisions en utilisant les données client et d’entreprise, quels sont les plus grands malentendus que les entreprises ont sur le consentement, les autorisations et la gouvernance des données dans les environnements pilotés par l’IA ?

Le malentendu le plus courant est de traiter le consentement comme quelque chose que l’on capture une fois et que l’on range. Un client accepte un ensemble de conditions lors de l’inscription, et les entreprises supposent que cet accord est valable indéfiniment, quelle que soit la manière dont les données sont déplacées par la suite ou quels nouveaux systèmes elles alimentent. Le consentement doit voyager avec les données. Si quelqu’un met à jour ses préférences ou qu’une nouvelle réglementation change ce qui est autorisé, ce changement doit apparaître partout où les données vivent, et non seulement dans le système où le consentement a été collecté à l’origine.

Le deuxième malentendu est de traiter les autorisations comme un détail technique que les équipes IT ou juridiques gèrent discrètement en arrière-plan. Une fois que les systèmes d’IA commencent à prendre des décisions en fonction de ces données, les autorisations deviennent une question de produit et d’entreprise, et tout écart dans celles-ci est directement hérité par l’initiative d’IA qui repose dessus.

De nombreuses entreprises s’appuient encore sur des politiques statiques et des examens de conformité périodiques. Pourquoi ces approches ont-elles du mal dans une ère où les systèmes d’IA peuvent apprendre en continu, s’adapter et interagir avec d’autres agents ?

Une politique statique capture ce à quoi ressemblait le système et ce qui était considéré comme acceptable au moment où quelqu’un l’a écrite. L’IA ne reste pas suffisamment longtemps immobile pour que cette photo reste précise. Le modèle pour lequel la politique a été écrite peut ne pas être le modèle que vous exécutez six mois plus tard, et un examen de conformité trimestriel ou annuel ne peut pas suivre le rythme d’un système qui prend des décisions et s’adapte tout le temps.

Gouverner quelque chose qui bouge si vite nécessite une politique qui bouge à la même vitesse. Cela signifie appliquer la gouvernance au point où les données sont réellement utilisées, en temps réel, plutôt que de les vérifier après coup contre un document qui était déjà obsolète le jour de sa publication.

Que ressemble la gouvernance efficace lorsque les organisations commencent à déployer des réseaux d’agents d’IA qui collaborent les uns avec les autres et accèdent à plusieurs systèmes internes ?

C’est là que les limites de l’architecture de sécurité traditionnelle deviennent évidentes. Un agent peut être autorisé à lire un enregistrement, à appeler un outil et à transmettre les résultats à un autre agent, et chaque étape peut sembler raisonnable en soi. L’action composite (la chose qui se produit réellement une fois que vous enchaînez ces étapes) est souvent quelque chose qu’aucun humain n’a explicitement approuvé. La gestion des identités et des accès traditionnelle peut confirmer si un agent avait l’autorisation de toucher un système, mais elle a peu à dire sur le fait que les données qu’il a touchées ont été collectées sous un consentement qui couvre cette utilisation particulière, ou si la chaîne d’actions résultante était quelque chose qu’un humain a réellement approuvé.

Transcend se concentre sur l’intégration directe des autorisations d’utilisation des données dans les flux de travail d’entreprise. Quelle est l’importance de l’infrastructure de gouvernance en temps réel à mesure que les organisations passent de l’expérimentation de l’IA à un déploiement à grande échelle ?

Pendant les tests, une équipe peut souvent se débrouiller avec des examens manuels et des audits périodiques, car les enjeux sont faibles. En production, en particulier avec l’IA agente, cela se brise car l’échelle est simplement massive. Le système actuel de listes de contrôle et de réunions est un perdant-perdant. Les équipes de conformité et de sécurité obtiennent essentiellement une promesse avec aucune application continue, tandis que l’équipe de produit est maintenant engagée dans des examens manuels fastidieux qui fournissent peu de valeur réelle à l’utilisateur final. C’est là que l’infrastructure en temps réel devient la seule approche qui fonctionne. Appliquer les autorisations au moment où les données sont déplacées ou qu’une décision est prise, au lieu de reconstruire ce qui s’est passé après que quelque chose se soit déjà mal passé, est ce qui rend la gouvernance significative pour la conformité et précieuse pour les utilisateurs.

À votre avis, quels sont les risques les plus importants associés à l’IA agente au cours des trois à cinq prochaines années, et quels sont les risques qui sont actuellement sous-estimés par les dirigeants d’entreprise ?

Je pense que le modèle d’héritage des autorisations de l’utilisateur par les agents est plus risqué que nous ne le réalisons. Les humains ont du jugement, mais un IA suivra vos instructions jusqu’au bout.

Comment les équipes de produit doivent-elles équilibrer la pression pour livrer rapidement des fonctionnalités d’IA avec le besoin d’établir des cadres de gouvernance, de transparence et de responsabilité ?

Je pense qu’une chose concrète est la solution au « Slop Tax ».

Nous avons tous très rapidement recalibré nos réponses pour diminuer la validité et la valeur de la production d’IA. C’est pourquoi tout le monde conseille de supprimer les tirets (même s’ils sont appropriés), pourquoi un site qui utilise la palette de couleurs standard Claude semble bon marché (même s’il a l’air bien) et pourquoi les informations fournies par l’IA sont traitées comme suspectes (même si elles sont vraies). Cela affecte vraiment la valeur perçue de votre produit.

La solution au « Slop Tax » est en fait une meilleure gouvernance et une meilleure transparence. Par exemple, nous avons récemment lancé une fonctionnalité appelée « Utilisation de l’IA par les fournisseurs », qui rassemble des informations publiques sur les fonctionnalités et la posture de gouvernance de l’IA des principales entreprises, pour aider les équipes d’activation de l’IA, de sécurité et d’approvisionnement à faire leur travail plus rapidement. Nous avons constaté que l’utilisation d’un cadre d’orchestration multi-agents, ainsi que la collecte et la présentation de preuves avec des liens sources et des citations pour leurs conclusions, a entraîné une amélioration massive de la qualité de nos résultats. Cette pratique de collecte de preuves et de contrôle qualité des agents est un gain-gain, car les résultats réels pour l’utilisateur sont meilleurs et la conformité est plus solide.

En regardant vers l’avenir, croyez-vous que la gouvernance de l’IA deviendra finalement un avantage concurrentiel plutôt qu’une simple exigence de conformité, et qu’est-ce qui distinguera les organisations qui réussissent de celles qui restent en arrière ?

Je le pense, et cela revient au même modèle que j’ai observé chez BCG. Les entreprises qui traitaient la gouvernance comme quelque chose à ajouter une fois que le produit était déjà sur le marché étaient toujours prises en flagrant délit à la dernière minute avant de passer à l’échelle, et avaient tendance à rester coincées dans le « purgatoire des pilotes ». Les entreprises qui intègrent la gouvernance dans le système dès le départ peuvent bouger avec une confiance que l’autre groupe n’a pas, car elles ne se demandent pas constamment ce qu’elles trouveront lorsqu’elles regarderont finalement de près la manière dont leur IA utilise réellement les données.

Cet écart ne fera que s’aggraver à mesure que le déploiement d’agents s’accélère. Les entreprises qui courent le plus vite pour déployer des agents sans repenser la manière dont ces agents sont autorisés sont celles qui sont les plus susceptibles de rencontrer des problèmes, et une fois qu’elles le feront, les entreprises qui ont obtenu la bonne infrastructure ll already be operating at a speed the latecomers can’t easily match. Governance stops being a compliance line item once it’s the thing that lets you deploy AI faster and with more confidence than everyone still doing it manually. Thank you for the great interview, readers who wish to learn more should visit Transcend.