Audian Paxson, stratège technique principal chez IRONSCALES – Série d’entretiens

Audian Paxson, stratège technique principal chez IRONSCALES, est un vétéran de la cybersécurité et de la stratégie produit, fort de plus de vingt ans d’expérience dans la sécurité des e-mails, la détection des menaces, les réseaux et les technologies d’entreprise. Chez IRONSCALES, il se concentre sur les lancements de produits, la communication et le positionnement, la stratégie de mise sur le marché et le leadership d’opinion autour de l’utilisation de l’intelligence artificielle et de l’apprentissage automatique pour faire face aux nouvelles menaces visant la sécurité des e-mails. Au cours de sa carrière, il a occupé des postes de direction dans la gestion de produits, le marketing produit et le développement commercial chez Netgate, BlueCat, Alert Logic, Critical Watch, Iconix, Strix Systems et Intel. Paxson a joué un rôle clé dans le lancement de produits de cybersécurité et de réseau, l’élaboration de stratégies de mise sur le marché destinées aux entreprises et l’expansion de sociétés sur de nouveaux marchés. Il est également co-inventeur d’une technologie de sécurité brevetée.

IRONSCALES est une entreprise spécialisée dans la sécurité des e-mails, reposant sur l’IA, qui s’attache à protéger les organisations contre l’hameçonnage, la compromission de messagerie professionnelle, la prise de contrôle de comptes, les hypertrucages et d’autres menaces évolutives d’ingénierie sociale. Sa plateforme associe l’IA adaptative à l’intelligence humaine et collective pour détecter les menaces, enquêter à leur sujet et y remédier sur Microsoft 365 et Google Workspace. Elle propose également des fonctions de simulation d’hameçonnage, de formation à la sensibilisation à la sécurité, de protection des e-mails sortants et de sécurisation des domaines. L’entreprise a élargi son approche en développant des agents d’IA spécialisés dans les tests d’intrusion en équipe rouge, les opérations de sécurité contre l’hameçonnage et la simulation d’hameçonnage. Ceux-ci sont conçus pour anticiper les attaques, enquêter sur les activités suspectes et renforcer les défenses des employés. IRONSCALES indique que sa technologie est utilisée par plus de 18 000 organisations et qu’elle intègre des renseignements fournis par une communauté de plus de 36 000 professionnels de la sécurité.

Votre expérience dans la sécurité des e-mails remonte à plus de vingt ans. Vous avez notamment contribué au développement des premiers produits anti-hameçonnage et vous vous intéressez aujourd’hui à la manière dont l’IA et l’apprentissage automatique peuvent contrer les nouvelles menaces visant les e-mails. Fort de cette expérience, qu’est-ce qui vous semble réellement nouveau dans l’ingénierie sociale assistée par l’IA, et quels aspects du problème sont restés étonnamment familiers ?

Merci de me rappeler mon âge ! Quand nous avons commencé à lutter contre l’hameçonnage, au début des années 2000, le principal problème était le manque de sensibilisation, et les filtres ne pouvaient évaluer que la réputation du domaine de l’expéditeur. Mais les tactiques n’ont pas beaucoup changé. L’urgence, l’autorité, une fausse facture. Je reconnais presque tous les prétextes que je rencontre aujourd’hui. Ce que l’IA a changé, c’est le niveau de savoir-faire nécessaire : même un attaquant inexpérimenté peut désormais produire à grande échelle une version irréprochable et personnalisée d’une arnaque de 2004.

Anthropic a découvert que Claude Mythos 5 pouvait reconnaître des signes provenant du véritable Internet lorsque ces indices lui étaient présentés séparément, mais qu’il ne parvenait généralement pas à s’appuyer sur les mêmes éléments lorsqu’il était plongé dans une tâche. Que nous apprend cet écart sur la différence entre le fait qu’un modèle d’IA possède des connaissances et sa capacité à les mobiliser au bon moment ?

Je suis spécialiste de la sécurité des e-mails, pas chercheur en IA, alors j’aborde la question sous cet angle. On avait dit d’emblée à Mythos qu’il se trouvait dans une simulation, et ce cadrage a pris le dessus. Il a écarté des éléments réels parce qu’ils ne correspondaient pas au scénario dans lequel il se trouvait déjà. C’est exactement le rôle d’un prétexte, et c’est pourquoi les attaquants s’efforcent tant d’imposer le cadre dès le départ.

Il existe ici un parallèle intéressant avec le comportement humain face à l’hameçonnage : un employé peut facilement repérer des signes suspects pendant une formation, puis ne pas remarquer ces mêmes signes lorsqu’il est pressé ou concentré sur une autre tâche. Jusqu’où peut-on raisonnablement pousser cette comparaison entre le jugement humain et celui de l’IA ?

Jusqu’à un certain point. Les uns comme les autres perdent le fil lorsqu’ils sont absorbés par une tâche, et un message qui ressemble à une procédure commerciale courante (« les demandes suivantes doivent être examinées ») est validé sans contrôle aussi bien par les personnes que par les modèles. La comparaison s’arrête là où entre en jeu l’émotion. Les humains se sentent pressés, effrayés ou désireux de faire plaisir. Un agent, lui, échoue face à ses propres déclencheurs, par exemple des instructions qu’il ne sait pas distinguer des données qu’il lit.

La formation à la sécurité a traditionnellement appris aux personnes à reconnaître les liens malveillants, les demandes inhabituelles, l’usurpation d’identité et d’autres signes d’alerte. Si les humains comme les systèmes d’IA peuvent ignorer des signaux qu’ils comprennent pourtant, les équipes de sécurité devraient-elles moins se concentrer sur la détection de ces signaux et davantage sur la façon dont les décisions sont prises sous pression et dans un contexte donné ?

Oui. La formation à la détection part du principe que les gens sont attentifs. Les attaquants conçoivent leurs messages pour qu’ils arrivent au moment où ils ne le sont pas, ou pour leur faire oublier ce qu’ils ont appris. Il vaut mieux intégrer un temps d’arrêt aux moments décisifs — par exemple lors de paiements, de réinitialisations d’identifiants ou de changements d’accès — afin qu’aucune personne ni aucun agent ne prenne ces décisions en pilote automatique.

À mesure que les agents d’IA s’intègrent davantage aux boîtes de réception et aux processus de travail des entreprises, les attaquants pourraient de plus en plus chercher à manipuler le système d’IA lui-même par l’ingénierie sociale, plutôt que de viser uniquement les employés. À quoi pourrait ressembler une attaque conçue spécialement pour manipuler un agent de messagerie ou un assistant autonome ?

Il s’agit d’un courriel conçu pour l’agent, dont les instructions sont dissimulées aux yeux des humains dans du texte blanc sur fond blanc, le texte alternatif d’une image ou une autre langue, de sorte que les filtres conçus pour l’anglais ne le détectent pas. Dans l’un des scénarios élaborés par notre équipe de recherche, une fausse « information » est implantée dans la mémoire de l’agent (« les approbations provenant de finance@ sont préautorisées »), si bien qu’un courriel usurpant l’identité du service financier, envoyé plusieurs semaines plus tard, passe sans encombre. Dans un autre scénario, du texte caché dans l’image d’une facture demande à l’agent de la classer comme présentant peu de risques et de la résumer en indiquant qu’elle peut être payée sans danger. L’humain fait confiance au résumé.

Des attaquants pourraient-ils créer délibérément de longues séquences d’interactions apparemment légitimes qui orientent progressivement un système d’IA vers une mauvaise décision, plutôt que de miser sur un courriel ou une invite manifestement malveillants ? Dans quelle mesure ces attaques en plusieurs étapes seraient-elles difficiles à détecter pour les outils de sécurité actuels ?

Ces attaques visent déjà des personnes, et les agents seront les prochaines cibles. Les attaquants envoient quelques courriels inoffensifs (un message de présentation, un remerciement) pour faire disparaître les alertes signalant un expéditeur inconnu, puis passent à des messages liés au rôle de la cible, avant de livrer leur charge malveillante — souvent une invitation à une réunion dont le lien affiche une page sans danger aux outils d’analyse et le site d’hameçonnage aux utilisateurs. Les outils qui évaluent chaque courriel isolément ne détectent pas ces attaques. Aucun message pris individuellement ne semble suspect : il faut donc évaluer la relation au fil du temps.

L’hameçonnage généré par l’IA est souvent abordé sous l’angle de la qualité rédactionnelle, de la personnalisation et des hypertrucages. Êtes-vous davantage préoccupé par l’amélioration du contenu des attaques d’ingénierie sociale grâce à l’IA, ou par l’utilisation de l’IA par les attaquants pour comprendre précisément à quel moment et de quelle manière une cible donnée risque le plus de commettre une erreur ?

Les deux, et la bataille du contenu est déjà terminée. Les courriels d’hameçonnage soignés et rédigés par l’IA sont la norme depuis que ChatGPT s’est généralisé. Le changement le plus important, c’est que le ciblage, la personnalisation et le choix du moment sont désormais automatisés : une personne sans aucune compétence technique peut ainsi combiner des données issues de fuites avec des listes de mots de passe divulgués, comme la célèbre liste RockYou, prendre le contrôle d’une véritable boîte de réception et envoyer un courriel usurpant un message transactionnel courant au moment même où la cible en attend un.

À mesure que les attaquants parviennent mieux à éliminer les signaux techniques d’alerte évidents et à faire passer leurs messages malveillants pour des communications légitimes, quels indices deviennent les plus importants pour distinguer une communication légitime d’une tentative de manipulation ?

Le contexte passe avant tout. Par exemple, est-ce habituel pour cette personne ou ce fournisseur, sur ce canal et à ce moment-là ? Viennent ensuite l’urgence et la répétition. Une personne qui a vraiment une demande urgente vous appelle ou vous contacte sur Teams ou Slack. Elle n’envoie pas trois fois le même courriel. Et faites confiance à votre instinct. Mon principe, c’est : « Ne vous contentez pas d’agir, arrêtez-vous. » Faites donc une pause, demandez à quelqu’un d’autre d’examiner la situation et vérifiez par un autre canal.

Comment les organisations devraient-elles organiser la supervision humaine et celle de l’IA lorsque les deux présentent des faiblesses potentielles ? Le jugement humain associé à l’IA pourrait-il créer de nouveaux angles morts si chacun suppose que l’autre a déjà validé la décision ?

Confiez à chacun les tâches qu’il est le mieux placé pour accomplir et définissez clairement le passage de relais. L’IA traite de grands volumes et repère des tendances dans l’ensemble de l’environnement ; les humains prennent en charge les décisions aux conséquences majeures (transférer de l’argent, accorder des accès), et l’IA doit présenter les éléments sur lesquels elle s’appuie afin que la personne chargée de la vérification puisse examiner son raisonnement. L’angle mort que vous décrivez est bien réel. Pour y remédier, il faut une règle stricte… « l’IA a dit que c’était sans danger » ne constitue jamais une vérification humaine.

Si le problème fondamental tient à l’écart entre ce que savent les humains ou les systèmes d’IA et ce qu’ils perçoivent lorsqu’ils exécutent activement une tâche, quels changements concrets les organisations peuvent-elles apporter dès aujourd’hui pour réduire cet écart et rendre les attaques d’ingénierie sociale nettement plus difficiles à mener à bien ?

Reprenez un ancien mécanisme de contrôle que nous utilisions pour l’émission de chèques : la « séparation des tâches ». Une personne peut créer un nouvel utilisateur, mais pas l’activer ; une deuxième peut activer un utilisateur, mais pas en créer ; et une troisième est informée des deux opérations. Appliquez la même séparation aux paiements, aux changements de fournisseur et à vos agents d’IA (aucun agent ne devrait pouvoir à la fois demander et approuver une action). Un employé trompé ou un agent détourné ne peut pas, à lui seul, mener l’attaque à son terme.

Merci pour cet excellent entretien. Les lecteurs qui souhaitent en savoir plus peuvent consulter IRONSCALES.