J. Paul Haynes, PDG de Cinchy – Série d’entretiens

J. Paul Haynes, PDG de Cinchy, est un dirigeant de la cybersécurité et de la technologie avec des décennies d’expérience dans la construction et le développement de sociétés de sécurité d’entreprise. Il est surtout connu pour son leadership chez eSentire, où il a aidé à faire croître l’entreprise en un important fournisseur de détection et de réponse gérées, et apporte une solide expérience en ingénierie, en cybersécurité, en croissance à capitaux privés et en risques d’entreprise à Cinchy, alors que la société se concentre sur l’adoption et la gouvernance de l’IA de confiance.

Cinchy est une société de gouvernance de l’IA et de collaboration de données d’entreprise qui se concentre sur l’aide aux organisations pour connecter de manière sécurisée l’IA, les systèmes et les données. Sa plate-forme PeriMind agit comme un plan de contrôle pour les actions de l’IA, donnant aux entreprises une visibilité, une application des politiques, une sécurité et une traçabilité sur la façon dont les agents de l’IA interagissent avec les systèmes d’entreprise, tandis que sa plate-forme de collaboration de données aide les équipes à gérer et à partager des données réglementées à travers l’organisation sans s’appuyer sur des intégrations complexes ou des silos de données redondants.

Vous avez passé plus de 15 ans à aider à construire et à développer eSentire en l’une des sociétés les plus reconnues de l’industrie de la cybersécurité. Quelles sont les leçons de ce parcours que vous apportez dans votre nouveau rôle de PDG de Cinchy, et pourquoi croyez-vous que c’est le bon moment pour se concentrer sur la gouvernance de l’IA et l’adoption de l’IA de confiance?

L’une des plus grandes leçons que j’ai apprises chez eSentire est que les organisations ne luttent pas parce qu’elles manquent de technologie. Elles luttent parce que les technologies émergentes créent une complexité opérationnelle plus rapidement que la plupart des sociétés ne peuvent gérer seules. Je vois l’IA suivre un chemin remarquablement similaire.

Le défi actuel n’est pas d’inciter les employés à expérimenter l’IA. La plupart des organisations le font déjà. Le véritable défi est de passer l’IA en production, où les décisions affectent les clients, les résultats financiers, la conformité réglementaire et les opérations commerciales.

Les industries hautement réglementées comme les services financiers illustrent parfaitement cela. Elles ne bougent pas lentement parce qu’elles ne comprennent pas l’IA. Elles bougent prudemment parce qu’elles ne peuvent pas encore faire confiance à l’IA pour des travaux critiques. Avant qu’un système d’IA puisse prendre des décisions, les organisations ont besoin de réponses à des questions fondamentales : qui a approuvé ces décisions ? Comment sont-elles surveillées ? Quand un humain intervient-il ? Que se passe-t-il si le modèle dérive, échoue ou devient indisponible ?

Ces questions me rappellent où la cybersécurité était il y a quinze ans. La sécurité est passée d’un problème de technologie à une discipline opérationnelle. Je crois que la gouvernance de l’IA est sur la même trajectoire.

C’est pourquoi j’ai rejoint Cinchy. Nous croyons que l’adoption de l’IA de confiance (et non l’expérimentation de l’IA) définira la prochaine décennie, et nous voyons la gouvernance de l’IA gérée devenir tout aussi importante que la cybersécurité gérée est devenue.

De nombreuses entreprises ont expérimenté l’IA générative au cours des deux dernières années, mais relativement peu ont déployé avec succès l’IA sur des flux de travail critiques. Quels sont les plus grands obstacles qui empêchent les organisations de passer des pilotes à la production ?

Je ne pense pas que les sociétés luttent parce que la technologie n’est pas suffisamment bonne. Je pense qu’elles luttent parce que les enjeux sont beaucoup plus élevés une fois que l’IA dépasse l’expérimentation.

Un pilote est une chose. Mettre l’IA en production est tout à fait autre chose. Maintenant, il s’agit d’accéder aux données d’entreprise, d’interagir avec les systèmes d’entreprise, peut-être même de prendre des décisions au nom des employés. C’est là que la direction se demande à juste titre : « Comment contrôlons-nous cela ? Comment le surveillons-nous ? Et comment savons-nous quand nous devons impliquer un humain ? »

Ces questions ne sont pas des raisons de ralentir l’adoption de l’IA. Ce sont les choses qui rendent l’adoption de l’IA possible en premier lieu. Si vous pouvez répondre à ces questions avec confiance, les organisations bougent beaucoup plus vite.

Vous avez passé une grande partie de votre carrière à sécuriser les environnements d’entreprise contre les menaces cybernétiques. Comment sécuriser une organisation alimentée par l’IA diffère-t-elle de la sécurisation d’un environnement informatique traditionnel ?

La cybersécurité traditionnelle se concentre sur la protection des points de terminaison, des identités, des réseaux et des environnements cloud. L’IA ajoute une autre surface de menace permanente à l’entreprise. Chaque système d’IA introduit de nouveaux risques. L’accès au modèle, l’injection de prompt, les autorisations excessives, la dérive du modèle, la prise de décision autonome et des chemins d’attaque entièrement nouveaux qui n’existaient pas auparavant.

Le point important est que la sécurité de l’IA n’est pas séparée de la cybersécurité. Elle l’étend. Les organisations ont toujours besoin de tous les contrôles de sécurité existants, mais maintenant elles ont également besoin d’une sécurité conçue spécifiquement pour les systèmes d’IA qui fonctionnent en production.

L’IT de l’ombre a longtemps été une préoccupation pour les équipes de sécurité, mais nous voyons maintenant l’émergence de l’IA de l’ombre. Quel est l’ampleur de ce défi et quels risques les organisations sous-estiment-elles ?

L’IA de l’ombre devient l’un des risques commerciaux à croissance la plus rapide parce que les équipes de direction encouragent l’adoption rapide de l’IA sans toujours mettre en place une gouvernance au préalable. La plupart des employés n’agissent pas de manière malveillante. Ils essaient d’être plus productifs. Le problème est que les systèmes d’IA héritent des autorisations que les utilisateurs possèdent déjà.

Un dirigeant qui expérimente un modèle d’IA public pourrait involontairement exposer des données financières confidentielles, des informations sur les clients ou des propriétés intellectuelles simplement en demandant à l’IA de les analyser.

C’est pourquoi les organisations ont besoin de visibilité, de contrôles de politique et de gouvernance, non pour ralentir l’adoption de l’IA, mais pour la rendre suffisamment sûre pour la mettre à l’échelle.

Les agents d’IA sont de plus en plus souvent autorisés à accéder aux systèmes d’entreprise, aux données et aux processus de prise de décision. Quels nouveaux défis de responsabilité et de gouvernance émergent lorsque les systèmes d’IA peuvent agir de manière autonome plutôt que de simplement générer du contenu ?

Les agents d’IA changent fondamentalement la conversation sur la gouvernance parce qu’ils ne génèrent plus de contenu. Ils prennent des actions. Lorsqu’un système autonome peut approuver des transactions, accéder aux systèmes d’entreprise ou prendre des décisions commerciales, les organisations ont besoin d’une responsabilité complète.

Chaque action devrait répondre à des questions simples :

• Que s’est-il passé ?
• Pourquoi est-ce arrivé ?
• Quel agent d’IA a pris la décision ?
• Qui l’a autorisé ?
• Quand un humain doit-il intervenir ?

Ces principes ne sont pas nouveaux. Les industries ont vécu avec des exigences de responsabilité pendant des décennies en vertu de réglementations comme Sarbanes-Oxley. L’IA étend simplement ces mêmes attentes aux travailleurs numériques autonomes.

De nombreuses organisations sont en train de déployer l’IA en raison de la pression concurrentielle. Comment les dirigeants d’entreprise peuvent-ils équilibrer le besoin de rapidité avec le besoin de gouvernance, de conformité et de gestion des risques ?

La gouvernance ne devrait pas ralentir l’adoption de l’IA. Elle devrait l’accélérer. Les organisations bougent plus vite lorsque la direction fait confiance à l’environnement qu’elles construisent. Cela signifie établir une architecture d’IA sécurisée et surveillable, évaluer en continu les modèles pour la dérive et les performances, gérer l’accès aux systèmes d’entreprise et avoir des contrôles opérationnels clairs avant que l’IA n’atteigne la production.

De la même manière que les organisations ont adopté la détection et la réponse gérées pour simplifier la cybersécurité, je crois que beaucoup adopteront la gouvernance de l’IA gérée pour acquérir une expertise sans avoir à construire de grandes équipes spécialisées en interne.

Les conseils d’administration sont de plus en plus impliqués dans la surveillance de l’IA. Quelles questions les membres du conseil d’administration devraient-ils poser aux équipes de direction au sujet de la stratégie d’IA, de la gouvernance et de la responsabilité ?

Les conseils d’administration devraient poser une question fondamentale : peut-on démontrer que l’IA fonctionne sous le même niveau de gouvernance que tout autre système d’entreprise critique ?

Cela signifie comprendre où l’IA est utilisée, qui en est propriétaire, comment les décisions sont surveillées, comment les risques sont gérés et comment l’organisation continuerait à fonctionner si un service d’IA devenait indisponible. Les organisations qui réussissent ne seront pas nécessairement celles qui adoptent l’IA le plus rapidement. Ce seront celles qui construisent la discipline opérationnelle pour faire confiance à l’IA à grande échelle.

L’industrie de la cybersécurité a passé des décennies à développer des cadres, des contrôles et des meilleures pratiques. Y a-t-il des leçons de la cybersécurité qui peuvent être directement appliquées à la gouvernance de l’IA, ou l’IA nécessite-t-elle une approche entièrement nouvelle ?

La cybersécurité offre un excellent plan pour la gouvernance de l’IA. La gestion des identités, le principe du moindre privilège, la surveillance continue, les traces d’audit, la réponse aux incidents et la résilience restent tous essentiels. Ce qui est nouveau, c’est que l’IA introduit des défis que les systèmes traditionnels n’ont jamais connus, notamment la dérive des modèles, les hallucinations, la manipulation des invites et la dépendance à l’égard des modèles de fondation de tiers. L’IA ne remplace donc pas la cybersécurité, mais elle ajoute une couche de gouvernance supplémentaire.

Qu’est-ce que « l’adoption de l’IA de confiance » signifie réellement dans la pratique ? Y a-t-il des principes de gouvernance ou des garanties opérationnelles spécifiques que chaque entreprise devrait avoir en place avant de mettre à l’échelle les initiatives d’IA ?

Je tends à penser à cela de la même manière que nous pensions à la cybersécurité il y a des années. Personne ne se demandait si la sécurité créait de la valeur. La question était de savoir si vous faisiez suffisamment confiance à votre environnement pour maintenir l’entreprise en fonctionnement.

L’IA va exactement dans la même direction. Si vous ne pouvez pas voir ce qu’elle fait, contrôler ce à quoi elle a accès ou comprendre pourquoi elle prend certaines décisions, vous ne la laisserez probablement pas gérer quoi que ce soit d’important.

Une fois que vous avez cette confiance, l’adoption se produit naturellement. Les organisations arrêtent de traiter l’IA comme une expérience intéressante et commencent à la traiter comme une autre partie de l’entreprise.

En regardant trois à cinq ans à l’avance, comment voyez-vous la relation entre la gouvernance de l’IA et l’avantage concurrentiel évoluer ? La gouvernance solide deviendra-t-elle un facteur de différenciation ou simplement une exigence pour faire des affaires ?

Au cours des trois à cinq prochaines années, une solide gouvernance de l’IA ne sera pas un facteur de différenciation concurrentiel. Elle deviendra une exigence commerciale. Les organisations qui établissent une gouvernance tôt adopteront l’IA plus rapidement parce qu’elles auront confiance pour déplacer les charges de travail critiques en production. Celles qui ne le font pas resteront bloquées dans l’expérimentation tandis que les concurrents réalisent des gains mesurables en termes de productivité, d’innovation et d’expérience client. En fin de compte, la gouvernance ne ralentira pas l’adoption de l’IA. Elle sera la raison pour laquelle les organisations pourront faire suffisamment confiance à l’IA pour l’adopter pleinement.

Merci pour cette grande interview, les lecteurs qui souhaitent en savoir plus peuvent visiter Cinchy.