Controle de Alucinação: Benefícios e Riscos de Implantar LLMs como Parte dos Processos de Segurança

Large Language Models (LLMs) treinados em vastas quantidades de dados podem tornar as equipes de operações de segurança mais inteligentes. LLMs fornecem sugestões e orientação em linha sobre resposta, auditorias, gestão de postura e muito mais. A maioria das equipes de segurança está experimentando ou usando LLMs para reduzir o trabalho manual nos fluxos de trabalho. Isso pode ser tanto para tarefas mundanas quanto complexas.

Por exemplo, um LLM pode consultar um funcionário por e-mail se ele pretendia compartilhar um documento que era proprietário e processar a resposta com uma recomendação para um profissional de segurança. Um LLM também pode ser encarregado de traduzir solicitações para procurar ataques de cadeia de suprimentos em módulos de código aberto e iniciar agentes focados em condições específicas — novos contribuintes para bibliotecas amplamente utilizadas, padrões de código impróprios — com cada agente preparado para essa condição específica.

No entanto, esses poderosos sistemas de IA apresentam riscos significativos que são diferentes dos outros riscos que as equipes de segurança enfrentam. Modelos que alimentam LLMs de segurança podem ser comprometidos por meio de injeção de prompt ou envenenamento de dados. Loops de feedback contínuo e algoritmos de aprendizado de máquina sem orientação humana suficiente podem permitir que atores mal-intencionados sondem controles e, em seguida, induzam respostas mal direcionadas. LLMs são propensos a alucinações, mesmo em domínios limitados. Mesmo os melhores LLMs inventam coisas quando não conhecem a resposta.

Processos de segurança e políticas de IA em torno do uso de LLMs e fluxos de trabalho se tornarão mais críticos à medida que esses sistemas se tornem mais comuns em operações de cibersegurança e pesquisa. Garantir que esses processos sejam cumpridos e sejam medidos e contabilizados em sistemas de governança será crucial para garantir que os CISOs possam fornecer cobertura de GRC (Governança, Risco e Conformidade) suficiente para atender a novos mandatos como o Quadro de Cibersegurança 2.0.

A Grande Promessa de LLMs em Cibersegurança

CISOs e suas equipes constantemente lutam para acompanhar a maré crescente de novos ataques cibernéticos. De acordo com a Qualys, o número de CVEs relatados em 2023 atingiu um novo recorde de 26.447. Isso é mais de 5 vezes mais do que em 2013.

Esse desafio se tornou ainda mais difícil à medida que a superfície de ataque da organização média cresce a cada ano. Equipes de segurança de aplicativos devem proteger e monitorar muitos mais aplicativos de software. Computação em nuvem, APIs, tecnologias de multi-nuvem e virtualização adicionaram complexidade adicional. Com ferramentas e processos de CI/CD modernos, equipes de aplicativos podem enviar mais código, mais rápido e com mais frequência. Microserviços dividiram aplicativos monolíticos em numerous APIs e superfícies de ataque e também criaram muitos mais buracos em firewalls globais para comunicação com serviços externos ou dispositivos de clientes.

LLMs avançados têm um grande potencial para reduzir a carga de trabalho das equipes de cibersegurança e melhorar suas capacidades. Ferramentas de codificação alimentadas por IA penetraram amplamente no desenvolvimento de software. A pesquisa da Github encontrou que 92% dos desenvolvedores usam ou usaram ferramentas de IA para sugestão e conclusão de código. A maioria dessas ferramentas de “copiloto” tem algumas capacidades de segurança. Na verdade, disciplinas programáticas com resultados relativamente binários, como codificação (código irá passar ou falhar em testes unitários), são bem adaptadas para LLMs. Além da varredura de código para desenvolvimento de software e no pipeline de CI/CD, a IA pode ser valiosa para equipes de cibersegurança de várias outras maneiras:

• Análise Aumentada: LLMs podem processar grandes quantidades de dados de segurança (logs, alertas, inteligência de ameaças) para identificar padrões e correlações invisíveis para humanos. Eles podem fazer isso em vários idiomas, 24 horas por dia, e em várias dimensões simultaneamente. Isso abre novas oportunidades para equipes de segurança. LLMs podem reduzir uma pilha de alertas em quase tempo real, sinalizando os que são mais prováveis de ser graves. Através do aprendizado por reforço, a análise deve melhorar com o tempo.
• Automação: LLMs podem automatizar tarefas de equipes de segurança que normalmente exigem conversas. Por exemplo, quando uma equipe de segurança recebe um IoC e precisa perguntar ao proprietário de um endpoint se ele havia efetivamente conectado a um dispositivo ou se estava localizado fora de sua zona de trabalho normal, o LLM pode realizar essas operações simples e, em seguida, seguir com perguntas conforme necessário e links ou instruções. Isso costumava ser uma interação que um membro da equipe de TI ou segurança tinha que conduzir pessoalmente. LLMs também podem fornecer funcionalidades mais avançadas. Por exemplo, um Microsoft Copilot para Segurança pode gerar relatórios de análise de incidentes e traduzir código de malware complexo em descrições em linguagem natural.
• Aprendizado Contínuo e Ajuste: Ao contrário dos sistemas de aprendizado de máquina anteriores para políticas e compreensão de segurança, LLMs podem aprender em tempo real, ingerindo classificações humanas de sua resposta e retuning em novos conjuntos de dados que podem não estar contidos em arquivos de log internos. Na verdade, usando o mesmo modelo fundamental subjacente, LLMs de cibersegurança podem ser ajustados para diferentes equipes e suas necessidades, fluxos de trabalho ou tarefas regionais ou verticais específicas. Isso também significa que o sistema inteiro pode ser instantaneamente tão inteligente quanto o modelo, com alterações se propagando rapidamente em todas as interfaces.

Risco de LLMs para Cibersegurança

Como uma nova tecnologia com um curto histórico, LLMs têm riscos graves. Pior, entender a extensão completa desses riscos é desafiador porque as saídas de LLMs não são 100% previsíveis ou programáticas. Por exemplo, LLMs podem “alucinar” e inventar respostas ou responder a perguntas de forma incorreta, com base em dados imaginários. Antes de adotar LLMs para casos de uso de cibersegurança, é necessário considerar riscos potenciais, incluindo:

• Injeção de Prompt: Atacantes podem criar prompts mal-intencionados especificamente para produzir saídas enganosas ou prejudiciais. Esse tipo de ataque pode explorar a tendência do LLM de gerar conteúdo com base nos prompts que recebe. Em casos de uso de cibersegurança, a injeção de prompt pode ser mais arriscada como uma forma de ataque de insider ou ataque por um usuário não autorizado que usa prompts para alterar permanentemente as saídas do sistema, distorcendo o comportamento do modelo. Isso pode gerar saídas imprecisas ou inválidas para outros usuários do sistema.
• Envenenamento de Dados: Os dados de treinamento em que LLMs dependem podem ser intencionalmente corrompidos, comprometendo sua tomada de decisão. Em configurações de cibersegurança, onde as organizações provavelmente estão usando modelos treinados por fornecedores de ferramentas, o envenenamento de dados pode ocorrer durante o ajuste do modelo para o cliente e caso de uso específico. O risco aqui pode ser um usuário não autorizado adicionando dados ruins — por exemplo, arquivos de log corrompidos — para subverter o processo de treinamento. Um usuário autorizado também pode fazer isso involuntariamente. O resultado seria saídas de LLMs baseadas em dados ruins.
• Alucinações: Como mencionado anteriormente, LLMs podem gerar respostas factualmente incorretas, ilógicas ou até mesmo mal-intencionadas devido a mal-entendidos de prompts ou falhas nos dados subjacentes. Em casos de uso de cibersegurança, alucinações podem resultar em erros críticos que incapacitam a inteligência de ameaças, triagem e remediação de vulnerabilidades e muito mais. Como a cibersegurança é uma atividade crítica, LLMs devem ser mantidos em um padrão mais alto de gerenciamento e prevenção de alucinações nesses contextos.

À medida que os sistemas de IA se tornam mais capazes, suas implantações de segurança da informação estão se expandindo rapidamente. Para ser claro, muitas empresas de cibersegurança já usam correspondência de padrões e aprendizado de máquina para filtragem dinâmica. O que é novo na era de IA gerativa são LLMs interativos que fornecem uma camada de inteligência acima dos fluxos de trabalho e conjuntos de dados existentes, idealmente melhorando a eficiência e aprimorando as capacidades das equipes de cibersegurança. Em outras palavras, a IA gerativa pode ajudar os engenheiros de segurança a fazer mais com menos esforço e os mesmos recursos, resultando em um melhor desempenho e processos acelerados.