Nick Kathmann, CISO/CIO chez LogicGate – Série d’entretiens

Nicholas Kathmann est le directeur de la sécurité de l’information (CISO) chez LogicGate, où il dirige le programme de sécurité de l’information de l’entreprise, supervise les innovations en matière de sécurité de la plateforme et engage des interactions avec les clients pour gérer les risques de cybersécurité. Avec plus de deux décennies d’expérience dans le domaine des TI et 18 ans dans la cybersécurité, Kathmann a construit et dirigé des opérations de sécurité dans de petites entreprises et des entreprises du Fortune 100.

LogicGate est une plateforme de gestion des risques et de la conformité qui aide les organisations à automatiser et à mettre à l’échelle leurs programmes de gouvernance, de risques et de conformité (GRC). Grâce à son produit phare, Risk Cloud®, LogicGate permet aux équipes d’identifier, d’évaluer et de gérer les risques à travers l’entreprise avec des flux de travail personnalisables, des insights en temps réel et des intégrations. La plateforme prend en charge une large gamme de cas d’utilisation, notamment la gestion des risques liés aux tiers, la conformité en matière de cybersécurité et la gestion des audits internes, aidant les entreprises à construire des stratégies de gestion des risques plus agiles et plus résilientes.

Vous occupez les postes de CISO et de CIO chez LogicGate — comment voyez-vous l’IA transformer les responsabilités de ces rôles dans les 2-3 prochaines années ?

L’IA est déjà en train de transformer ces deux rôles, mais dans les 2-3 prochaines années, je pense que nous allons voir une montée en puissance de l’IA agente qui aura le pouvoir de réinventer la façon dont nous traitons les processus métier au quotidien. Tout ce qui serait normalement adressé à un service d’assistance informatique — comme la réinitialisation des mots de passe, l’installation d’applications, etc. — peut être géré par un agent IA. Un autre cas d’utilisation critique sera l’utilisation d’agents IA pour gérer les évaluations d’audit fastidieuses, permettant aux CISO et aux CIO de prioriser les demandes plus stratégiques.

Avec les licenciements dans le domaine de la cybersécurité et les tendances à la dérégulation, comment les entreprises devraient-elles aborder le déploiement de l’IA tout en maintenant une posture de sécurité solide ?

Alors que nous voyons une tendance à la dérégulation aux États-Unis, les réglementations sont en réalité renforcées dans l’UE. Donc, si vous êtes une entreprise multinationale, anticipez avoir à vous conformer aux exigences réglementaires mondiales en matière d’utilisation responsable de l’IA. Pour les entreprises qui ne fonctionnent qu’aux États-Unis, je pense qu’il y aura une période d’apprentissage en ce qui concerne l’adoption de l’IA. Je pense qu’il est important pour ces entreprises de mettre en place des politiques de gouvernance de l’IA solides et de maintenir une certaine surveillance humaine dans le processus de déploiement, en s’assurant que rien ne devienne incontrôlable.

Quels sont les principaux angles morts que vous voyez aujourd’hui lors de l’intégration de l’IA dans les cadres de cybersécurité existants ?

Alors qu’il y a plusieurs domaines dont je peux penser, l’angle mort le plus impactant serait celui où se trouve vos données et où elles transitent. L’introduction de l’IA ne fera que rendre la surveillance dans ce domaine plus difficile. Les fournisseurs activent des fonctionnalités IA dans leurs produits, mais ces données n’aboutissent pas toujours directement au modèle/vendeur IA. Cela rend les outils de sécurité traditionnels comme DLP et la surveillance Web effectivement aveugles.

Vous avez dit que la plupart des stratégies de gouvernance de l’IA sont des « tigres de papier ». Quels sont les ingrédients essentiels d’un cadre de gouvernance qui fonctionne réellement ?

Lorsque je parle de « tigres de papier », je fais référence spécifiquement aux stratégies de gouvernance où seule une petite équipe connaît les processus et les normes, et où ils ne sont pas appliqués ou même compris dans l’ensemble de l’organisation. L’IA est très omniprésente, ce qui signifie qu’elle affecte chaque groupe et chaque équipe. Les stratégies « taille unique » ne fonctionneront pas. Un département financier qui intègre des fonctionnalités IA dans son ERP est différent d’une équipe de produits qui intègre une fonctionnalité IA dans un produit spécifique, et la liste continue. Les ingrédients essentiels d’un cadre de gouvernance solide varient, mais des organismes consultatifs comme l’IAPP, l’OWASP, le NIST et d’autres ont de bons cadres pour déterminer ce qu’il faut évaluer. La partie la plus difficile est de déterminer quand les exigences s’appliquent à chaque cas d’utilisation.

Comment les entreprises peuvent-elles éviter la dérive des modèles d’IA et assurer une utilisation responsable dans le temps sans sur-ingénier leurs politiques ?

La dérive et la dégradation font partie de l’utilisation de la technologie, mais l’IA peut accélérer considérablement le processus. Mais si la dérive devient trop grande, des mesures correctives seront nécessaires. Une stratégie de test complète qui recherche et mesure la précision, les préjugés et d’autres signaux d’alarme est nécessaire avec le temps. Si les entreprises veulent éviter les préjugés et la dérive, elles doivent commencer par s’assurer qu’elles ont les outils pour identifier et mesurer ces éléments.

Quel rôle les journaux des modifications, les mises à jour de politiques limitées et les boucles de rétroaction en temps réel devraient-ils jouer pour maintenir une gouvernance de l’IA agile ?

Alors qu’ils jouent un rôle actuellement pour réduire les risques et la responsabilité pour le fournisseur, les boucles de rétroaction en temps réel entravent la capacité des clients et des utilisateurs à effectuer une gouvernance de l’IA, notamment si les changements dans les mécanismes de communication se produisent trop fréquemment.

Quelles sont vos préoccupations concernant les préjugés et la discrimination de l’IA dans l’octroi de crédit ou la notation de crédit, en particulier avec les services « Acheter maintenant, payer plus tard » (BNPL) ?

L’année dernière, j’ai parlé à un chercheur en IA/ML dans une grande banque multinationale qui avait expérimenté avec l’IA/LLM sur leurs modèles de risque. Les modèles, même lorsqu’ils étaient formés sur de grands et précis ensembles de données, prenaient des décisions vraiment surprenantes et non étayées pour approuver ou refuser l’octroi de crédit. Par exemple, si les mots « excellent crédit » étaient mentionnés dans un transcript de chat ou des communications avec les clients, les modèles, par défaut, refusaient le prêt — quelle que soit la personne qui le disait, le client ou l’employé de la banque. Si l’IA doit être utilisée, les banques ont besoin d’une meilleure surveillance et d’une responsabilité, et ces « surprises » doivent être minimisées.

Quelle est votre opinion sur la façon dont nous devrions auditer ou évaluer les algorithmes qui prennent des décisions à haut risque — et qui devrait être tenu responsable ?

Ceci nous ramène au modèle de test complet, où il est nécessaire de tester et de benchmark les algorithmes/modèles en temps réel autant que possible. Cela peut être difficile, car la sortie du modèle peut avoir des résultats souhaitables qui nécessiteront des humains pour identifier les valeurs aberrantes. Par exemple bancaire, un modèle qui refuse tous les prêts aura un excellent classement de risque, puisque aucun prêt qu’il souscrit ne fera défaut. Dans ce cas, l’organisation qui met en œuvre le modèle/algorithme devrait être responsable du résultat du modèle, tout comme elle le serait si des humains prenaient la décision.

Avec davantage d’entreprises nécessitant une assurance contre les cyber-risques, comment les outils d’IA réforment-ils à la fois le paysage des risques et l’underwriting de l’assurance lui-même ?

Les outils d’IA sont excellents pour diffuser de grandes quantités de données et trouver des modèles ou des tendances. Du côté du client, ces outils seront instrumentaux pour comprendre les risques réels de l’organisation et gérer ces risques. Du côté de l’assureur, ces outils seront utiles pour trouver les incohérences et les organisations qui deviennent immature avec le temps.

Comment les entreprises peuvent-elles utiliser l’IA pour réduire proactivement les risques de cybersécurité et négocier de meilleurs termes sur le marché de l’assurance actuel ?

Aujourd’hui, la meilleure façon d’utiliser l’IA pour réduire les risques et négocier de meilleurs termes d’assurance est de filtrer le bruit et les distractions, en aidant à se concentrer sur les risques les plus importants. Si vous réduisez ces risques de manière globale, vos tarifs d’assurance contre les cyber-risques devraient baisser. Il est trop facile de se laisser submerger par le volume écrasant des risques. Ne vous laissez pas dépasser en essayant de résoudre chaque problème lorsqu’il est possible d’avoir un impact plus important en vous concentrant sur les plus critiques.

Quelles sont les étapes tactiques que vous recommandez aux entreprises qui veulent mettre en œuvre l’IA de manière responsable — mais ne savent pas par où commencer ?

Tout d’abord, vous devez comprendre quels sont vos cas d’utilisation et documenter les résultats souhaités. Tout le monde veut mettre en œuvre l’IA, mais il est important de réfléchir à vos objectifs en premier et de travailler à rebours à partir de là — quelque chose que je pense que de nombreuses organisations ont du mal à faire aujourd’hui. Une fois que vous avez une bonne compréhension de vos cas d’utilisation, vous pouvez rechercher les différents cadres d’IA et comprendre lesquels des contrôles applicables sont importants pour vos cas d’utilisation et votre mise en œuvre. Une solide gouvernance de l’IA est également cruciale pour la mitigation des risques et l’efficacité, puisque l’automatisation n’est utile que dans la mesure où ses données d’entrée sont de qualité. Les organisations qui utilisent l’IA doivent le faire de manière responsable, car les partenaires et les prospects posent des questions difficiles sur la prolifération et l’utilisation de l’IA. Ne pas connaître la réponse peut signifier manquer des opportunités d’affaires, impactant directement le chiffre d’affaires.

Si vous deviez prédire le plus grand risque de sécurité lié à l’IA dans cinq ans, quel serait-il — et comment pouvons-nous nous préparer aujourd’hui ?

Ma prédiction est que, à mesure que l’IA agente est intégrée à davantage de processus métier et d’applications, les attaquants s’engageront dans la fraude et les abus pour manipuler ces agents et obtenir des résultats malveillants. Nous avons déjà vu cela avec la manipulation des agents de service client, aboutissant à des offres et des remboursements non autorisés. Les acteurs menaçants ont utilisé des astuces de langage pour contourner les politiques et interférer avec la prise de décision de l’agent.

Merci pour cette grande interview, les lecteurs qui souhaitent en savoir plus peuvent visiter LogicGate.