Os agentes de IA são confiáveis o suficiente para o meu negócio?

Grandes modelos de linguagem (LLMs) e agentes de IA estão tendo um impacto significativo em muitos campos, incluindo segurança cibernética. Seu potencial parece ilimitado. No entanto, na prática, à medida que os LLMs são integrados aos fluxos de trabalho essenciais em que se tomam decisões de negócios, muitos problemas surgiram, particularmente em torno de privacidade e precisão de dados. Ficamos nos perguntando: Os agentes de IA são confiáveis o suficiente para o meu negócio?

Quando se trata de segurança cibernética e Centros de Operações de Segurança (SOCs), a resposta rápida, como ouvimos ao longo de nossas carreiras, é: Sim, com controles e mitigações adequados nos SOCs, os agentes de IA podem ser implantados com sucesso e de forma segura em ambientes de produção, onde eles adicionam um valor significativo trabalhando ao lado de analistas humanos dos SOCs.

Desafios da IA na segurança cibernética

Os LLMs prontos para uso, quando empregados como única solução, têm vários problemas centrais, como alucinações, envenenamento de dados e injeção de prompt. Essas limitações podem causar sérias dificuldades em um SOC autônomo, incluindo:

Dados limitados levam a conclusões imprecisas – Os agentes de IA precisam de todas as informações relevantes do ambiente para fazer seu trabalho bem – pelo menos tantos dados quanto os analistas humanos de segurança têm, e idealmente mais. Dados insuficientes levam os agentes de IA a fazer suposições falsas que podem variar ao longo das execuções da investigação. Se você limitar o acesso a dados devido a preocupações de segurança ou restringir quanto a IA pode fazer por razões orçamentárias, espere que a precisão seja afetada.

Conclusões inconsistentes – Os agentes de IA devem tomar decisões e executar tarefas com base nos dados que coletaram. Devido à grande quantidade de dados de segurança em ambientes típicos, é comum usar uma abordagem de amostragem para equilibrar a precisão com o orçamento. Quando as investigações são executadas várias vezes, podem aparecer diferenças nos vereditos, na gravidade determinada e nas ações recomendadas. Isso é normal, desde que a diferença esteja dentro de um limite de tolerância, e acontece mesmo quando dois analistas de segurança humanos diferentes analisam o mesmo alerta.

Raciocínio opaco, ou o problema da “caixa preta (BBOX.BO ) ” – Alguns agentes de IA operam como sistemas opacos. Esses resultados de SOC impulsionados por IA podem parecer muito impressionantes à primeira vista, mas para decisões de negócios importantes, você precisa entender o que levou o SOC com IA a recomendar determinadas ações. No entanto, isso não é uma limitação inerente da IA, pois alguns agentes de IA se esforçam muito para serem transparentes. É recomendável validar minuciosamente os agentes de IA em uma prova de valor (Proof of Value) antes de decidir adotá-los.

Como a IA na segurança cibernética evoluiu

As abordagens de segurança cibernética impulsionadas por IA deram passos significativos em direção à melhoria desde que foram introduzidas. Considere o seguinte:

O consenso por amostragem reduz a inconsistência – Inconsistências em decisões ou resultados podem ser efetivamente remediadas aproveitando vários agentes de IA com configurações diferentes (por exemplo, diferentes modelos em diferentes temperaturas) para interpretar os dados coletados pelas operações anteriores do agente.

Usar amostragem permite que as organizações entendam onde os diferentes modelos de IA concordam e onde divergem. Como resultado, confiar nas informações onde todos os modelos concordam e dar menos peso às informações sobre as quais divergem pode mitigar substancialmente a inconsistência.

É importante notar, no entanto, que as informações onde os agentes de amostragem discordam também são valiosas, pois identificam incerteza e a necessidade de melhores dados ou entrada. Essas informações inconsistentes podem ajudar as organizações a priorizar o acesso a dados essenciais para melhorar a tomada de decisões.

Procedimentos consistentes com guias de investigação – Uma das principais razões pelas quais várias execuções de uma investigação de SOC de IA resultam em resultados inconsistentes é a variação não apenas nos dados coletados, mas também nas hipóteses criadas ou modificadas durante a investigação do agente de IA. Estabelecer um guia geral de investigação baseado em procedimentos operacionais padrão (SOPs) para categorias específicas ajuda os agentes a formar hipóteses mais consistentes e melhora a consistência geral do resultado. Essa não é uma abordagem nova – a maioria dos analistas humanos dos SOCs já confia em SOPs para garantir investigações eficazes e consistentes. Os agentes de IA podem usar SOPs da mesma maneira.

Evidência Rastreável Desmistifica a Caixa Preta – Como uma prática recomendada, um SOC de IA deve ser projetado desde o início com evidências de apoio em mente. Cada decisão tomada e cada hipótese formulada por um agente devem ser sustentadas por informações comprobatórias, incluindo traços de raciocínio e os dados de log brutos que substanciam esse raciocínio.

IA para Segurança Cibernética Confiável

Agentes de IA podem acelerar a detecção, triagem e resposta a ameaças em segurança cibernética, mas também introduzem riscos reais – incluindo resultados inconsistentes, decisões opacas e sensibilidade à qualidade dos dados. A confiança para uso em ambientes de missão crítica exige raciocínio com evidências, incluindo traços e artefatos brutos; SOPs estruturados para reduzir a variância; amostragem de múltiplos agentes para separar o consenso da incerteza; e salvaguardas para a integridade dos dados, contra a injeção de prompt e para os limites de etapas e orçamento.

Todas essas correções críticas podem ser abordadas com abordagens avançadas de agentes de IA baseados em LLMs projetadas para lidar com a complexidade das operações de segurança modernas impulsionadas por IA. Por exemplo, algumas abordagens de LLM avançadas usam amostragem de múltiplos agentes avançada para permitir que as organizações usem a inteligência coletiva de modelos de IA diversificados que colaboram para alcançar um consenso, minimizar inconsistências e identificar áreas de incerteza. Seus guias de investigação estruturados e claros garantem que as etapas de análise sigam as melhores práticas e procedimentos padrão, impulsionando a consistência e a confiabilidade em cada operação.

A rastreabilidade de decisões de ponta a ponta resulta em todos os vereditos, recomendações e ações automatizadas sendo auditados e compreendidos para fornecer transparência total às equipes de segurança, ao mesmo tempo em que constrói confiança com as partes interessadas. Ao integrar esses elementos-chave – e implementar controles robustos para a qualidade dos dados dos prompts, a segurança e as salvaguardas operacionais – as abordagens avançadas de agentes de IA baseados em LLMs permitem que os SOCs alcancem resultados que não são apenas confiáveis e transparentes, mas também prontos para produção em ambientes do mundo real e suas atividades mais críticas.