Contrôle des hallucinations : avantages et risques du déploiement des LLM en tant que partie des processus de sécurité

Les grands modèles de langage (LLM) formés sur d’immenses quantités de données peuvent rendre les équipes d’opérations de sécurité plus intelligentes. Les LLM fournissent des suggestions et des conseils en ligne sur la réponse, les audits, la gestion de la posture et plus encore. La plupart des équipes de sécurité expérimentent ou utilisent des LLM pour réduire les tâches manuelles dans les flux de travail. Cela peut être à la fois pour des tâches monotones et complexes. 

Par exemple, un LLM peut interroger un employé par e-mail s’il voulait partager un document qui était propriétaire et traiter la réponse avec une recommandation pour un praticien de la sécurité. Un LLM peut également être chargé de traduire les demandes pour rechercher des attaques de chaîne d’approvisionnement sur des modules open source et de lancer des agents axés sur des conditions spécifiques — de nouveaux contributeurs à des bibliothèques largement utilisées, des modèles de code incorrects — avec chaque agent prêt pour cette condition spécifique. 

Cela étant dit, ces puissants systèmes d’IA comportent des risques importants qui sont différents des autres risques auxquels sont confrontées les équipes de sécurité. Les modèles qui alimentent les LLM de sécurité peuvent être compromis par injection de prompt ou par empoisonnement de données. Les boucles de rétroaction continues et les algorithmes d’apprentissage automatique sans orientation humaine suffisante peuvent permettre aux acteurs malveillants de sonder les contrôles et d’induire ensuite des réponses mal ciblées. Les LLM sont sujets à des hallucinations, même dans des domaines limités. Même les meilleurs LLM inventent des choses lorsqu’ils ne connaissent pas la réponse. 

Les processus de sécurité et les politiques d’IA autour de l’utilisation des LLM et des flux de travail deviendront plus critiques à mesure que ces systèmes deviendront plus courants dans les opérations et la recherche en cybersécurité. S’assurer que ces processus sont respectés et mesurés et pris en compte dans les systèmes de gouvernance sera crucial pour garantir que les DSI peuvent fournir une couverture de GRC (Gouvernance, Risque et Conformité) suffisante pour répondre aux nouvelles exigences comme le Cadre de cybersécurité 2.0. 

La grande promesse des LLM dans la cybersécurité

Les DSI et leurs équipes luttent constamment pour suivre la montée en puissance des nouvelles attaques informatiques. Selon Qualys, le nombre de CVE signalés en 2023 a atteint un nouveau record de 26 447. C’est plus de 5 fois supérieur à 2013. 

Ce défi n’a fait qu’empirer à mesure que la surface d’attaque de l’organisation moyenne grandit d’année en année. Les équipes d’AppSec doivent sécuriser et surveiller de nombreuses applications logicielles. Le cloud computing, les API, les technologies de multi-cloud et de virtualisation ont ajouté une complexité supplémentaire. Avec les outils et les processus de CI/CD modernes, les équipes d’application peuvent expédier plus de code, plus rapidement et plus fréquemment. Les microservices ont à la fois fragmenté les applications monolithiques en de nombreuses API et surface d’attaque et également percé de nombreux trous dans les pare-feu mondiaux pour la communication avec les services externes ou les appareils des clients.

Les LLM avancés offrent une grande promesse pour réduire la charge de travail des équipes de cybersécurité et améliorer leurs capacités. Les outils de codage alimentés par l’IA ont largement pénétré le développement de logiciels. Les recherches de Github ont révélé que 92 % des développeurs utilisent ou ont utilisé des outils d’IA pour la suggestion et la complétion de code. La plupart de ces outils « copilote » ont certaines capacités de sécurité. En fait, les disciplines programmatiques avec des résultats relativement binaires comme la codification (le code passera ou échouera aux tests unitaires) sont bien adaptées aux LLM. Au-delà de l’analyse de code pour le développement de logiciels et dans le pipeline CI/CD, l’IA pourrait être précieuse pour les équipes de cybersécurité de plusieurs autres manières :   

• Analyse améliorée : Les LLM peuvent traiter d’immenses quantités de données de sécurité (journaux, alertes, renseignements sur les menaces) pour identifier des modèles et des corrélations invisibles pour les humains. Ils peuvent le faire dans plusieurs langues, 24 heures sur 24, et dans de nombreuses dimensions simultanément. Cela ouvre de nouvelles opportunités pour les équipes de sécurité. Les LLM peuvent éliminer un ensemble d’alertes en quasi-temps réel, en signalant celles qui sont les plus susceptibles d’être graves. Grâce à l’apprentissage par renforcement, l’analyse devrait s’améliorer avec le temps. 
• Automatisation : Les LLM peuvent automatiser les tâches des équipes de sécurité qui nécessitent normalement des échanges conversationnels. Par exemple, lorsque une équipe de sécurité reçoit un IoC et doit demander au propriétaire d’un point de terminaison s’il s’est réellement connecté à un appareil ou s’il se trouve en dehors de ses zones de travail normales, le LLM peut effectuer ces opérations simples, puis suivre avec des questions si nécessaire et des liens ou des instructions. Il s’agissait d’une interaction que membre d’une équipe d’IT ou de sécurité devait mener lui-même. Les LLM peuvent également fournir des fonctionnalités plus avancées. Par exemple, un Microsoft Copilot pour la sécurité peut générer des rapports d’analyse d’incident et traduire des codes de logiciels malveillants complexes en descriptions en langage naturel. 
• Apprentissage continu et réglage : Contrairement aux systèmes d’apprentissage automatique précédents pour les politiques et la compréhension de la sécurité, les LLM peuvent apprendre en temps réel en ingérant les évaluations humaines de sa réponse et en réajustant sur de nouvelles piscines de données qui peuvent ne pas être contenues dans les fichiers journaux internes. En fait, en utilisant le même modèle fondamental sous-jacent, les LLM de cybersécurité peuvent être réglés pour différentes équipes et leurs besoins, flux de travail ou tâches régionales ou spécifiques à un secteur. Cela signifie également que l’ensemble du système peut être aussi intelligent que le modèle, avec des changements se propageant rapidement sur toutes les interfaces. 

Risque des LLM pour la cybersécurité

En tant que nouvelle technologie avec une courte trajectoire, les LLM comportent des risques importants. Pire, la compréhension de l’ampleur de ces risques est difficile car les sorties des LLM ne sont pas 100 % prévisibles ou programmatiques. Par exemple, les LLM peuvent « halluciner » et inventer des réponses ou répondre incorrectement aux questions, sur la base de données imaginaires. Avant d’adopter des LLM pour des cas d’utilisation de cybersécurité, il faut considérer les risques potentiels, notamment : 

• Injection de prompt : Les attaquants peuvent créer des prompts malveillants spécifiquement pour produire des sorties trompeuses ou nuisibles. Ce type d’attaque peut exploiter la tendance des LLM à générer du contenu en fonction des prompts qu’ils reçoivent. Dans les cas d’utilisation de la cybersécurité, l’injection de prompt pourrait être le plus risquée sous forme d’attaque interne ou d’attaque par un utilisateur non autorisé qui utilise des prompts pour modifier définitivement les sorties du système en déformant le comportement du modèle. Cela pourrait générer des sorties inexactes ou non valides pour les autres utilisateurs du système. 
• Empoisonnement de données : Les données de formation sur lesquelles reposent les LLM peuvent être intentionnellement corrompues, compromettant leur processus de prise de décision. Dans les contextes de cybersécurité, où les organisations utilisent probablement des modèles formés par des fournisseurs d’outils, l’empoisonnement de données pourrait se produire lors de l’ajustement du modèle pour le client et le cas d’utilisation spécifiques. Le risque ici pourrait être un utilisateur non autorisé ajoutant de mauvaises données — par exemple, des fichiers journaux corrompus — pour subvertir le processus de formation. Un utilisateur autorisé pourrait également le faire involontairement. Le résultat serait des sorties de LLM basées sur de mauvaises données.
• Hallucinations : Comme mentionné précédemment, les LLM peuvent générer des réponses incorrectes, illogiques ou même malveillantes en raison de malentendus de prompts ou de défauts de données sous-jacentes. Dans les cas d’utilisation de la cybersécurité, les hallucinations peuvent entraîner des erreurs critiques qui paralysent les renseignements sur les menaces, la triage et la réparation des vulnérabilités, et plus encore. Puisque la cybersécurité est une activité critique, les LLM doivent être tenus à un niveau plus élevé de gestion et de prévention des hallucinations dans ces contextes. 

À mesure que les systèmes d’IA deviennent plus capables, leurs déploiements en matière de sécurité de l’information se développent rapidement. Pour être clair, de nombreuses entreprises de cybersécurité utilisent depuis longtemps des correspondances de modèles et l’apprentissage automatique pour le filtrage dynamique. Ce qui est nouveau dans l’ère de l’IA générative, ce sont les LLM interactifs qui fournissent une couche d’intelligence au-dessus des flux de travail et des piscines de données existants, améliorant idéalement l’efficacité et les capacités des équipes de cybersécurité. En d’autres termes, l’IA générative peut aider les ingénieurs de sécurité à faire plus avec moins d’efforts et les mêmes ressources, ce qui se traduit par de meilleures performances et des processus accélérés.