Hanah-Marie Darley, Directrice des opérations d’IA chez Geordie AI – Série d’entretiens

Hanah-Marie Darley, Directrice des opérations d’IA chez Geordie AI, est une experte chevronnée en intelligence artificielle et en sécurité qui a co-fondé l’entreprise pour aider les équipes IT, les risques et la sécurité des entreprises à adopter l’IA avec clarté et contrôle. Avec près d’une décennie de soutien aux opérations de renseignement au sein du gouvernement fédéral américain et des rôles de leadership senior chez Darktrace, elle combine une expertise approfondie en intelligence sur les menaces, en analyse géopolitique et en psychologie appliquée avec une expérience pratique en stratégie et développement de produits d’IA. Son travail se concentre sur l’alignement des systèmes autonomes avec l’intention humaine, permettant aux entreprises d’exploiter les agents d’IA de manière à équilibrer l’innovation, la surveillance et les contraintes du monde réel.

Geordie AI est une entreprise de logiciels d’entreprise basée à Londres, axée sur la sécurité et la gouvernance des agents d’IA alors qu’ils sont intégrés dans les environnements d’entreprise. Sa plate-forme fournit une visibilité sur l’activité des agents, une surveillance continue de la posture de risque et des mécanismes de gouvernance structurés qui permettent aux organisations de déployer et de mettre à l’échelle les systèmes d’IA avec confiance. En fournissant une observabilité, un soutien à la conformité et une surveillance opérationnelle adaptés à l’ère des agents, Geordie vise à donner aux entreprises la transparence et le contrôle nécessaires pour intégrer des technologies de plus en plus autonomes sans compromettre la sécurité ou la responsabilité.

Vous avez passé près d’une décennie dans l’intelligence sur les menaces et l’analyse géopolitique du gouvernement fédéral américain, puis vous avez dirigé la recherche sur les menaces et la stratégie d’IA chez Darktrace, et maintenant vous dirigez la stratégie d’IA et de produits chez Geordie AI. Quelles expériences, à la fois dans le gouvernement et la sécurité de l’entreprise, ont le plus influencé votre décision de créer Geordie, et quel problème fondamental vouliez-vous résoudre ?

À la fois dans le gouvernement et la sécurité de l’entreprise, j’ai constamment rencontré la même tension structurelle. Les organisations investissaient lourdement dans l’IA, mais la confiance dans le comportement de ces systèmes était en retard par rapport aux attentes de retour sur investissement. Le défi n’était pas la capacité. C’était la confiance.

À mesure que l’IA passait d’outils expérimentaux à des flux de travail opérationnels, cet écart est devenu plus visible. Les agents introduisent l’autonomie, la prise de décision et la persistance à travers les systèmes de manière que les logiciels traditionnels ne l’ont jamais fait. Les entreprises avaient besoin d’un moyen de comprendre comment les agents fonctionnent, où ils opèrent et comment les risques émergent à travers leur comportement. Geordie a été créé pour combler ce manque de clarté afin que les organisations puissent adopter l’autonomie avec confiance plutôt qu’avec hésitation.

Selon vous, quel est le risque le plus mal compris que les systèmes d’IA autonomes ou agents présentent aux entreprises, et comment l’effet de chaîne de la prise de décision contextuelle diffère-t-il des modèles d’exposition traditionnels en matière de cybersécurité ?

Les défaillances silencieuses restent les moins comprises. Un agent peut fonctionner dans les limites d’accès et de permissions approuvées tout en produisant des résultats qui divergent de l’intention.

Ceci reflète la nature des systèmes agents. Ils interprètent le contexte et prennent des décisions en temps réel. Contrairement aux logiciels déterministes, le comportement est façonné de manière dynamique à travers des séquences d’actions. Cela modifie le modèle de sécurité. L’exposition ne repose plus uniquement sur les violations d’accès. Elle émerge à travers la manière dont les décisions, les outils et le contexte interagissent au fil du temps.

L’approche de Geordie met l’accent sur l’observabilité comportementale, l’évaluation des risques contextuels et le contrôle dynamique des activités des agents. Comment les organisations devraient-elles équilibrer le besoin de cette visibilité en temps réel avec les préoccupations concernant la complexité opérationnelle ou les performances du système ?

Les entreprises ne devraient pas avoir à échanger les performances pour la surveillance. Notre architecture évite délibérément les proxies et les passerelles en ligne, permettant aux organisations de construire et d’exploiter des agents là où cela a un sens opérationnel.

La visibilité et le contrôle doivent évoluer avec l’autonomie sans introduire de friction ou de latence. Si les mécanismes de gouvernance entravent les flux de travail, l’adoption stagne. La sécurité efficace permet aux écosystèmes de se développer en toute sécurité plutôt que de contraindre l’innovation.

À partir de votre travail avec les clients et les dirigeants des risques, quels types de flux de travail ou d’utilisation sont les plus susceptibles de dériver vers des activités à plus haut risque, et comment les indicateurs précoces peuvent-ils être détectés avant qu’ils ne dégénèrent en incidents importants ?

Le risque tend à augmenter avec la complexité. Plus un agent prend des décisions de manière indépendante, plus grand est le potentiel de divergence comportementale.

La dérive apparaît souvent à travers la chaîne d’outils, la réutilisation du contexte et les flux de travail émergents. Les indicateurs précoces incluent l’invocation inattendue d’outils, des modèles de séquencing inhabituels et des changements dans le mouvement des données. La détection de ces signaux nécessite une analyse comportementale plutôt qu’une surveillance d’événements isolés.

Quand les agents d’IA réutilisent le contexte et les outils à travers les tâches, quels sont les modes de défaillance les plus subtils ou sous-estimés que les équipes de sécurité devraient surveiller de plus près ?

La réutilisation du contexte reste sous-estimée. L’exposition surgit souvent non pas à cause d’accès excessifs, mais de la manière dont l’information persiste et se propage à travers les tâches.

Les agents peuvent accéder légitimement aux données dans un contexte et involontairement transporter cet état dans un autre. Combiné avec la chaîne d’outils, cela peut produire une divulgation ou une transformation non intentionnelles d’informations sensibles.

De nombreuses organisations s’appuient encore sur des outils de sécurité d’entreprise traditionnels tels que la détection et la réponse aux points de terminaison et les plateformes de détection et de réponse étendues. Où ces approches font-elles défaut lors de la gestion des systèmes d’IA autonomes qui prennent des actions à plusieurs étapes ?

Les plateformes EDR et XDR restent essentielles, mais elles ont été conçues autour de modèles de menaces centrés sur l’humain. Les agents opèrent à travers des couches de décision qui s’étendent au-delà de la télémétrie des points de terminaison et de l’identité.

Comprendre le comportement des agents nécessite des insights dans les modèles de raisonnement, la sélection d’outils et les flux de décision contextuels. Sans cette couche, de grandes parties de l’activité des agents restent opaques.

Pour les dirigeants IT, les risques et la sécurité qui veulent permettre l’innovation mais éviter l’autonomie incontrôlée, à quoi ressemble concrètement l’autonomie réglementée dans la pratique ?

L’autonomie réglementée commence par la visibilité. Les organisations doivent comprendre où les agents opèrent, quel niveau d’autorité de décision ils détiennent et quels risques leurs capacités introduisent.

La gouvernance est la plus efficace lorsqu’elle est intégrée tôt, permettant l’expérimentation dans des limites définies. Cela soutient l’innovation tout en maintenant la confiance dans les résultats.

Expliquer la capacité est souvent discuté au niveau de la sortie du modèle. Comment les entreprises devraient-elles penser à l’explicabilité et à la traçabilité lorsque le véritable risque réside dans la séquence d’actions qu’un agent prend au fil du temps ?

L’explicabilité du modèle n’est qu’une partie de l’équation. Le risque de l’entreprise réside de plus en plus dans les séquences comportementales plutôt que dans les sorties isolées.

La traçabilité nécessite de comprendre comment les limites ont façonné l’interprétation, quels outils ont été invoqués et comment le contexte a influencé les décisions. L’observabilité comportementale devient la base de la responsabilité.

Pour les organisations qui reconnaissent la nécessité d’une surveillance plus solide des systèmes d’IA autonomes, quels sont les pas concrets qu’elles devraient prendre aujourd’hui pour réduire le risque agentic sans ralentir l’innovation, et comment Geordie AI aide spécifiquement les entreprises à équilibrer le contrôle et la capacité ?

Les organisations bénéficient de commencer tôt plutôt que d’attendre des cadres parfaits. L’attention initiale devrait se concentrer sur l’inventaire, la visibilité comportementale et la compréhension de l’interaction des agents avec les systèmes.

Les modèles de gouvernance qui introduisent de la latence entravent souvent la mise à l’échelle. La surveillance doit s’aligner sur la vitesse opérationnelle. Geordie fournit une visibilité sur la configuration, le comportement et la dynamique des risques des agents tout en permettant des contrôles correctifs conçus pour les systèmes autonomes.

En regardant vers l’avenir, qu’est-ce qui distinguera les organisations qui parviennent à mettre à l’échelle l’IA agentic à travers les flux de travail de celles qui subissent des revers en raison de risques non gérés, et comment la direction devrait-elle se préparer maintenant ?

Les différenciateurs précoces seront la clarté et la mesure. Les équipes qui comprennent la capacité de l’agent, l’impact et les modèles comportementaux évolueront avec plus de confiance.

À long terme, l’avantage concurrentiel favorisera les organisations qui développent des écosystèmes d’agents spécialisés et sensibles au contexte. La précision, plutôt que la généralisation, devient le moteur de la performance et de la résilience.

Merci pour cette grande entrevue, les lecteurs qui souhaitent en savoir plus peuvent visiter Geordie AI.