Controle de Alucinação: Benefícios e Riscos de Implantar LLMs como Parte dos Processos de Segurança

Modelos de Linguagem Grande (LLMs) treinados em vastas quantidades de dados podem tornar as equipes de operações de segurança mais inteligentes. LLMs fornecem sugestões e orientações em linha sobre resposta, auditorias, gestão de postura e muito mais. A maioria das equipes de segurança está experimentando ou usando LLMs para reduzir o trabalho manual nos fluxos de trabalho. Isso pode ser tanto para tarefas mundanas quanto complexas.

Por exemplo, um LLM pode consultar um funcionário por e-mail se ele pretendia compartilhar um documento que era proprietário e processar a resposta com uma recomendação para um profissional de segurança. Um LLM também pode ser encarregado de traduzir solicitações para procurar ataques de cadeia de suprimentos em módulos de código aberto e criar agentes focados em condições específicas — novos contribuintes para bibliotecas amplamente utilizadas, padrões de código impróprios — com cada agente preparado para essa condição específica.

No entanto, esses poderosos sistemas de IA apresentam riscos significativos que são diferentes dos outros riscos que as equipes de segurança enfrentam. Modelos que alimentam LLMs de segurança podem ser comprometidos por meio de injeção de prompts ou envenenamento de dados. Loop de feedback contínuo e algoritmos de aprendizado de máquina sem orientação humana suficiente podem permitir que atores mal-intencionados sondem controles e induzam respostas mal direcionadas. LLMs são propensos a alucinações, mesmo em domínios limitados. Mesmo os melhores LLMs inventam coisas quando não sabem a resposta.

Processos de segurança e políticas de IA em torno do uso de LLMs e fluxos de trabalho se tornarão mais críticos à medida que esses sistemas se tornem mais comuns em operações de cibersegurança e pesquisa. Certificar-se de que esses processos sejam cumpridos e sejam medidos e contabilizados em sistemas de governança será crucial para garantir que os CISOs possam fornecer cobertura de GRC (Governança, Risco e Conformidade) suficiente para atender a novos mandatos, como o Quadro de Cibersegurança 2.0.

A Grande Promessa dos LLMs em Cibersegurança

CISOs e suas equipes lutam constantemente para acompanhar a crescente onda de novos ataques cibernéticos. De acordo com a Qualys, o número de CVEs relatados em 2023 atingiu umnovo recorde de 26.447. Isso é mais de 5 vezes o número de 2013.

Esse desafio se tornou ainda mais difícil à medida que a superfície de ataque da organização média cresce a cada ano. Equipes de segurança de aplicativos devem proteger e monitorar muitos mais aplicativos de software. Computação em nuvem, APIs, tecnologias de virtualização e multicloud adicionaram complexidade adicional. Com as ferramentas e processos de CI/CD modernos, as equipes de aplicativos podem enviar mais código, mais rápido e com mais frequência. Microserviços dividiram aplicativos monolíticos em numerosas APIs e superfícies de ataque e também criaram muitos mais buracos em firewalls globais para comunicação com serviços ou dispositivos de clientes externos.

LLMs avançados têm um grande potencial para reduzir a carga de trabalho das equipes de cibersegurança e melhorar suas capacidades. Ferramentas de codificação com IA foram amplamente adotadas no desenvolvimento de software. A pesquisa da Github encontrou que 92% dos desenvolvedores usam ou usaram ferramentas de IA para sugestão e conclusão de código. A maioria dessas ferramentas de “copiloto” tem algumas capacidades de segurança. De fato, disciplinas programáticas com resultados binários relativamente simples, como codificação (o código irá passar ou falhar nos testes unitários), são bem adaptadas para LLMs. Além da análise de código para desenvolvimento de software e no pipeline de CI/CD, a IA pode ser valiosa para equipes de cibersegurança de várias outras maneiras:

• Análise Aumentada: LLMs podem processar grandes quantidades de dados de segurança (logs, alertas, inteligência de ameaças) para identificar padrões e correlações invisíveis para humanos. Eles podem fazer isso em várias línguas, 24 horas por dia, e em várias dimensões simultaneamente. Isso abre novas oportunidades para as equipes de segurança. LLMs podem reduzir uma pilha de alertas em quase tempo real, destacando os que são mais prováveis de ser graves. Através do aprendizado por reforço, a análise deve melhorar com o tempo.
• Automação: LLMs podem automatizar tarefas de equipes de segurança que normalmente exigem interação conversacional. Por exemplo, quando uma equipe de segurança recebe um IoC e precisa perguntar ao proprietário de um endpoint se ele havia efetivamente feito login em um dispositivo ou se estava localizado fora de suas zonas de trabalho normais, o LLM pode realizar essas operações simples e, em seguida, seguir com perguntas conforme necessário e links ou instruções. Isso costumava ser uma interação que um membro da equipe de TI ou segurança tinha que realizar pessoalmente. LLMs também podem fornecer funcionalidades mais avançadas. Por exemplo, um Microsoft Copilot para Segurança pode gerar relatórios de análise de incidentes e traduzir código de malware complexo em descrições naturais.
• Aprendizado Contínuo e Ajuste: Ao contrário dos sistemas de aprendizado de máquina anteriores para políticas e compreensão de segurança, LLMs podem aprender em tempo real, ingerindo classificações humanas de sua resposta e retuning em novos conjuntos de dados que podem não estar contidos em arquivos de log internos. De fato, usando o mesmo modelo fundamental subjacente, LLMs de cibersegurança podem ser ajustados para diferentes equipes e suas necessidades, fluxos de trabalho ou tarefas específicas de região ou setor. Isso também significa que o sistema inteiro pode ser instantaneamente tão inteligente quanto o modelo, com alterações se propagando rapidamente em todas as interfaces.

Risco dos LLMs para a Cibersegurança

Como uma nova tecnologia com um curto histórico, LLMs apresentam riscos graves. Pior, entender a extensão completa desses riscos é desafiador porque as saídas dos LLMs não são 100% previsíveis ou programáticas. Por exemplo, LLMs podem “alucinar” e inventar respostas ou responder a perguntas de forma incorreta, com base em dados imaginários. Antes de adotar LLMs para casos de uso de cibersegurança, é necessário considerar riscos potenciais, incluindo:

• Injeção de Prompt: Ataques podem criar prompts mal-intencionados para produzir saídas enganosas ou prejudiciais. Esse tipo de ataque pode explorar a tendência do LLM de gerar conteúdo com base nos prompts que recebe. Em casos de uso de cibersegurança, a injeção de prompt pode ser mais arriscada como uma forma de ataque interno ou ataque por um usuário não autorizado que usa prompts para alterar permanentemente as saídas do sistema, distorcendo o comportamento do modelo. Isso pode gerar saídas imprecisas ou inválidas para outros usuários do sistema.
• Envenenamento de Dados: Os dados de treinamento que os LLMs dependem podem ser intencionalmente corrompidos, comprometendo sua tomada de decisão. Em ambientes de cibersegurança, onde as organizações provavelmente estão usando modelos treinados por fornecedores de ferramentas, o envenenamento de dados pode ocorrer durante o ajuste do modelo para o cliente e caso de uso específico. O risco aqui pode ser um usuário não autorizado adicionando dados ruins — por exemplo, arquivos de log corrompidos — para subverter o processo de treinamento. Um usuário autorizado também pode fazer isso inadvertidamente. O resultado seria saídas do LLM baseadas em dados ruins.
• Alucinações: Como mencionado anteriormente, LLMs podem gerar respostas factualmente incorretas, ilógicas ou até mesmo maliciosas devido a mal-entendidos de prompts ou falhas nos dados subjacentes. Em casos de uso de cibersegurança, alucinações podem resultar em erros críticos que incapacitam a inteligência de ameaças, triagem e remediação de vulnerabilidades e muito mais. Como a cibersegurança é uma atividade crítica, LLMs devem ser mantidos em um padrão mais alto de gerenciamento e prevenção de alucinações nesses contextos.

À medida que os sistemas de IA se tornam mais capazes, suas implantações de segurança da informação estão se expandindo rapidamente. Para esclarecer, muitas empresas de cibersegurança há muito tempo usam correspondência de padrões e aprendizado de máquina para filtragem dinâmica. O que é novo na era de IA gerativa são LLMs interativos que fornecem uma camada de inteligência sobre os fluxos de trabalho e conjuntos de dados existentes, idealmente melhorando a eficiência e aprimorando as capacidades das equipes de cibersegurança. Em outras palavras, a IA de geração pode ajudar os engenheiros de segurança a fazerem mais com menos esforço e os mesmos recursos, resultando em melhor desempenho e processos acelerados.