Faire confiance aux agents IA pour les activités critiques des SOC

Les grands modèles de langage (LLM) et les agents IA ont un impact considérable dans de nombreux domaines, notamment la cybersécurité. Leur potentiel semble sans limites. Mais sur le terrain, leur intégration dans les processus essentiels où se prennent les décisions de l’entreprise a fait émerger de nombreux problèmes, surtout en matière de confidentialité et d’exactitude des données. Une question demeure : les agents IA sont-ils assez fiables pour mon entreprise ?

En cybersécurité et dans les centres d’opérations de sécurité (SOC), la réponse rapide est celle que nous entendons depuis le début de notre carrière : oui, avec des contrôles et des mesures de réduction des risques adaptés, les agents IA peuvent être déployés efficacement et en toute sécurité en production dans les SOC. Ils y apportent une réelle valeur aux côtés des analystes humains.

Les défis de l’IA en cybersécurité

Les LLM prêts à l’emploi utilisés seuls présentent plusieurs problèmes fondamentaux, comme les hallucinations, l’empoisonnement des données et l’injection de prompt. Ces difficultés peuvent provoquer de graves problèmes dans un SOC autonome, notamment :

Des données limitées conduisent à des conclusions inexactes – Pour bien travailler, les agents IA ont besoin de toutes les informations pertinentes de leur environnement : au moins autant de données que les analystes humains, et idéalement davantage. Des données insuffisantes entraînent des hypothèses erronées qui peuvent varier d’une exécution de l’investigation à l’autre. Restreindre l’accès aux données pour des raisons de sécurité ou limiter les actions de l’IA pour des raisons budgétaires risque de nuire à l’exactitude.

Des conclusions incohérentes – Les agents IA doivent décider et agir à partir des données collectées. Leur volume étant considérable dans les environnements habituels, l’échantillonnage est courant pour équilibrer précision et budget. Lorsque l’investigation est répétée, la conclusion, le niveau de gravité déterminé et les actions recommandées peuvent varier. C’est normal tant que l’écart reste dans une limite de tolérance. Cela arrive aussi lorsque deux analystes humains examinent la même alerte.

Un raisonnement opaque, ou le problème de la « boîte noire (BBOX.BO ) »  – Certains agents IA fonctionnent comme des systèmes opaques. Leurs résultats dans un SOC peuvent impressionner au premier abord, mais des décisions importantes exigent de comprendre ce qui a conduit aux recommandations. Ce n’est toutefois pas une limite intrinsèque de l’IA : certains agents consacrent beaucoup d’efforts à la transparence. Il est recommandé de les valider soigneusement dans une démonstration de valeur, ou Proof of Value, avant de s’engager.

Comment l’IA a progressé en cybersécurité

Les approches de cybersécurité fondées sur l’IA ont beaucoup progressé depuis leur apparition. Voici quelques exemples :

Le consensus par échantillonnage atténue les incohérences – On peut réduire efficacement les incohérences dans les décisions ou les résultats en faisant interpréter les données collectées par les opérations précédentes à plusieurs agents configurés différemment, par exemple avec différents modèles et différentes températures.

L’échantillonnage permet de comprendre où les modèles s’accordent et où ils divergent. S’appuyer sur les informations consensuelles et accorder moins de poids aux informations divergentes peut ainsi réduire sensiblement les incohérences.

Les informations sur lesquelles les agents de l’échantillon sont en désaccord restent néanmoins précieuses : elles signalent une incertitude et le besoin de données ou d’entrées de meilleure qualité. Elles aident à donner la priorité à l’accès aux données essentielles pour améliorer les décisions.

Des procédures cohérentes grâce aux guides d’investigation  – Les variations entre plusieurs exécutions d’une investigation SOC par IA proviennent non seulement des données collectées, mais aussi des hypothèses créées ou modifiées pendant l’investigation. Un guide général reposant sur une procédure opérationnelle standardisée, ou SOP, pour certaines catégories aide les agents à formuler des hypothèses plus cohérentes et améliore la cohérence globale des résultats. Ce n’est pas nouveau : la plupart des analystes humains s’appuient déjà sur des SOP pour mener des investigations efficaces et cohérentes. Les agents IA peuvent les utiliser de la même façon.

Des preuves traçables démystifient la boîte noire – Un SOC utilisant l’IA devrait être conçu dès le départ en tenant compte des preuves justificatives. Chaque décision et chaque hypothèse d’un agent doivent être étayées par des informations, notamment les traces du raisonnement et les données brutes des journaux qui le justifient.

Une IA digne de confiance pour la cybersécurité

Les agents IA peuvent accélérer la détection, le triage et la réponse aux menaces, mais introduisent aussi des risques réels : résultats incohérents, décisions opaques et sensibilité à la qualité des données. Dans les environnements critiques, la confiance exige un raisonnement étayé par des preuves, avec des traces et des éléments bruts ; des SOP structurées pour réduire les variations ; un échantillonnage multi-agents pour distinguer le consensus de l’incertitude ; et des garde-fous concernant l’intégrité des données, l’injection de prompt ainsi que les limites du nombre d’étapes et du budget.

Ces améliorations essentielles peuvent être mises en œuvre par des approches avancées d’agents IA fondés sur les LLM, conçues pour gérer la complexité des opérations de sécurité modernes alimentées par l’IA. Certaines utilisent, par exemple, un échantillonnage multi-agents avancé pour exploiter l’intelligence collective de modèles variés qui coopèrent afin de parvenir à un consensus, de réduire les incohérences et de repérer les zones d’incertitude. Leurs guides d’investigation structurés et clairs garantissent que l’analyse suit les bonnes pratiques et les procédures standardisées, renforçant la cohérence et la fiabilité de chaque opération.

La traçabilité des décisions de bout en bout permet d’auditer et de comprendre chaque conclusion, recommandation et action automatisée. Elle offre une transparence complète aux équipes de sécurité tout en renforçant la confiance des parties prenantes. En réunissant ces éléments et en appliquant des contrôles robustes à la qualité des données des prompts, à la sécurité et aux garde-fous opérationnels, les approches avancées d’agents IA fondés sur les LLM permettent aux SOC d’obtenir des résultats fiables et transparents, mais aussi prêts pour la production dans des environnements réels et pour les activités les plus critiques.