Audian Paxson, estrategista técnico principal da IRONSCALES — Série de entrevistas

Audian Paxson, estrategista técnico principal da IRONSCALES, é um veterano em cibersegurança e estratégia de produtos, com mais de duas décadas de experiência em segurança de e-mail, detecção de ameaças, redes e tecnologia empresarial. Na IRONSCALES, seu trabalho se concentra no lançamento de produtos, em mensagens e posicionamento, em estratégias de entrada no mercado e na produção de conteúdo especializado sobre o uso da inteligência artificial e do aprendizado de máquina para enfrentar novas ameaças à segurança de e-mail. Ao longo da carreira, ocupou cargos de liderança em gestão de produtos, marketing de produtos e desenvolvimento de negócios na Netgate, BlueCat, Alert Logic, Critical Watch, Iconix, Strix Systems e Intel. Paxson teve papel fundamental no lançamento de produtos de cibersegurança e redes, no desenvolvimento de estratégias de entrada no mercado empresarial e na expansão de empresas para novos mercados. Também é coinventor de uma tecnologia de segurança patenteada.

IRONSCALES é uma empresa de segurança de e-mail baseada em IA, dedicada a proteger organizações contra phishing, comprometimento de e-mail corporativo, invasão de contas, deepfakes e outras ameaças de engenharia social em constante evolução. Sua plataforma combina IA adaptativa com inteligência humana e coletiva para detectar, investigar e remediar ameaças no Microsoft 365 e no Google Workspace, além de oferecer recursos de simulação de phishing, treinamento de conscientização em segurança, proteção de e-mails enviados e segurança de domínios. A empresa ampliou sua abordagem com agentes de IA especializados em exercícios de red team, operações de segurança contra phishing e simulação de phishing, concebidos para antecipar ataques, investigar atividades suspeitas e reforçar as defesas dos funcionários. A IRONSCALES afirma que mais de 18.000 organizações utilizam sua tecnologia, que incorpora informações fornecidas por uma comunidade de mais de 36.000 profissionais de segurança.

Seu trabalho com segurança de e-mail já dura mais de duas décadas: você ajudou a desenvolver os primeiros produtos antiphishing e hoje se dedica a explorar como a IA e o aprendizado de máquina podem enfrentar novas ameaças por e-mail. Com base nessa experiência, o que há de realmente novo na engenharia social impulsionada por IA e quais aspectos do problema continuam surpreendentemente familiares?

Obrigado por me fazer parecer tão velho! Quando começamos a combater o phishing, no início dos anos 2000, o maior problema era a conscientização, e os filtros só conseguiam avaliar a reputação do domínio do remetente. Mas as táticas não mudaram muito. Urgência, autoridade, uma fatura falsa. Reconheço quase todos os pretextos que vejo hoje. O que a IA mudou foi a barreira de habilidade necessária para produzir mensagens convincentes: agora, até um invasor sem experiência consegue criar em grande escala uma versão impecável e personalizada de um golpe de 2004.

A Anthropic descobriu que Claude Mythos 5 conseguia reconhecer sinais da internet real quando apresentados de forma independente, mas, em grande parte, não agia com base nas mesmas evidências quando estava imerso em uma tarefa. O que essa diferença nos revela sobre a distância entre um modelo de IA possuir conhecimento e realmente aplicá-lo no momento certo?

Sou especialista em segurança de e-mail, não pesquisador de IA, então analisei o caso por essa ótica. Disseram a Mythos logo de início que estava em uma simulação, e esse enquadramento prevaleceu. O modelo desconsiderou evidências reais porque elas não se encaixavam na narrativa em que já estava inserido. É exatamente isso que um pretexto busca fazer, e é por isso que os invasores se esforçam tanto para estabelecer o enquadramento primeiro.

Há aqui um paralelo interessante com o comportamento humano diante do phishing: durante um treinamento, um funcionário pode identificar facilmente sinais suspeitos, mas deixar de percebê-los quando está com pressa ou concentrado em concluir outra tarefa. Até que ponto, na sua opinião, é razoável levar adiante essa comparação entre o julgamento humano e o da IA?

Até certo ponto. Ambos perdem o fio da meada quando estão concentrados em uma tarefa, e tanto as pessoas quanto os modelos acabam aceitando sem questionar uma mensagem que parece fazer parte de um processo empresarial rotineiro (“as reivindicações a seguir precisam ser analisadas”). A comparação deixa de valer quando entram em cena as emoções. As pessoas ficam apressadas, assustadas ou ansiosas para agradar. Um agente falha diante de seus próprios gatilhos, como instruções que não consegue distinguir dos dados que está lendo.

Tradicionalmente, o treinamento em segurança se concentra em ensinar as pessoas a reconhecer links maliciosos, solicitações incomuns, tentativas de falsificação de identidade e outros sinais de alerta. Se tanto as pessoas quanto os sistemas de IA podem ignorar sinais que tecnicamente compreendem, as equipes de segurança deveriam se preocupar menos com o reconhecimento e mais com a forma como as decisões são tomadas sob pressão e em determinado contexto?

Sim. O treinamento para reconhecer ameaças parte do princípio de que as pessoas estão prestando atenção. Os invasores elaboram mensagens para chegar quando elas não estão atentas ou para fazê-las esquecer o que aprenderam. O melhor investimento é criar uma pausa nos momentos decisivos — como pagamentos, redefinições de credenciais e alterações de acesso — para que nem uma pessoa nem um agente tomem decisões no piloto automático.

À medida que os agentes de IA se integram cada vez mais às caixas de entrada e aos fluxos de trabalho empresariais, os invasores talvez consigam manipular socialmente o próprio sistema de IA, em vez de atacar apenas os funcionários. Como poderia ser um ataque concebido especificamente para manipular um agente de e-mail ou assistente autônomo?

É um e-mail escrito para o agente, com instruções ocultas dos humanos em texto branco sobre fundo branco, no texto alternativo da imagem ou em outro idioma, para que os filtros ajustados para o inglês não o detectem. Em um cenário criado pela nossa equipe de pesquisa, uma “informação” falsa é plantada na memória do agente (“as aprovações de finance@ são pré-autorizadas”), de modo que, semanas depois, um e-mail falsificado do departamento financeiro passe sem ser detectado. Em outro cenário, um texto oculto em uma imagem de fatura instrui o agente a classificá-la como de baixo risco e resumi-la como segura para pagamento. A pessoa confia no resumo.

Os invasores poderiam criar deliberadamente longas sequências de interações aparentemente legítimas que, aos poucos, levassem um sistema de IA a tomar uma decisão ruim, em vez de depender de um único e-mail ou prompt claramente malicioso? Qual seria a dificuldade de detectar esses ataques em várias etapas com as ferramentas de segurança atuais?

Isso já acontece com pessoas, e os agentes são os próximos. Os invasores enviam alguns e-mails inofensivos (uma apresentação, um agradecimento) para eliminar os alertas de remetente novo, passam a enviar mensagens relevantes para a função do alvo e só então entregam a carga maliciosa, muitas vezes por meio de um convite de reunião cujo link exibe uma página limpa para os scanners e o site de phishing para os usuários reais. As ferramentas que avaliam cada e-mail isoladamente não percebem isso. Nenhuma mensagem parece suspeita por si só, então é preciso avaliar o relacionamento ao longo do tempo.

Costuma-se falar de phishing gerado por IA em termos de textos mais bem escritos, personalização e deepfakes. Sua maior preocupação é que a IA melhore o conteúdo dos ataques de engenharia social ou que os invasores a usem para entender exatamente quando e como um alvo específico tem maior probabilidade de cometer um erro?

Ambas as coisas, e a disputa pelo conteúdo já está decidida. Phishing bem elaborado e escrito por IA se tornou o padrão desde que o ChatGPT se popularizou. A mudança mais significativa é que a seleção de alvos, a personalização e o momento do ataque agora são automatizados; assim, alguém sem nenhuma habilidade técnica pode combinar dados de violações com listas de senhas vazadas, como a famosa lista RockYou, assumir o controle de uma caixa de entrada real e enviar uma falsificação de um e-mail transacional rotineiro exatamente quando o alvo espera recebê-lo.

À medida que os invasores se tornam mais hábeis em eliminar sinais técnicos de alerta óbvios e fazer mensagens maliciosas parecerem legítimas, quais sinais se tornam mais importantes para distinguir uma comunicação legítima de uma tentativa de manipulação?

O contexto vem primeiro. Por exemplo: isso é normal para essa pessoa ou empresa fornecedora, neste canal e neste momento? Depois, vêm a urgência e a repetição. Quem tem um pedido realmente urgente liga ou entra em contato com você pelo Teams ou pelo Slack. Não envia o mesmo e-mail três vezes. E confie na sua intuição. Minha regra é: “Não faça apenas alguma coisa; pare e observe”; então, faça uma pausa, peça a outra pessoa que confira e verifique por outro canal.

Como as organizações devem estruturar a supervisão humana e da IA quando ambos os lados podem ter pontos fracos? Combinar o julgamento humano com a IA poderia, na verdade, criar novos pontos cegos se cada um presumir que o outro já validou a decisão?

Atribua a cada lado a tarefa que executa melhor e deixe explícita a transferência de responsabilidade. A IA lida com grandes volumes e identifica padrões em todo o ambiente; as pessoas ficam responsáveis pelas decisões de alto impacto (transferir dinheiro, conceder acesso), e a IA precisa apresentar as evidências para que quem revisa possa verificar o raciocínio. O ponto cego que você descreve é real. A solução é estabelecer uma regra rígida: “a IA disse que é seguro” nunca conta como revisão humana.

Se o problema fundamental é a lacuna entre o que as pessoas ou os sistemas de IA sabem e o que reconhecem enquanto executam uma tarefa, que mudanças práticas as organizações podem fazer hoje para reduzir essa lacuna e tornar muito mais difícil executar ataques de engenharia social com sucesso?

Recuperem um controle antigo que usávamos para emitir cheques: a “segregação de funções”. Uma pessoa pode criar um novo usuário, mas não ativá-lo; uma segunda pessoa pode ativar um usuário, mas não criá-lo; e uma terceira recebe notificações sobre ambas as ações. Apliquem essa mesma separação a pagamentos, alterações de fornecedores e agentes de IA (nenhum agente deve solicitar e aprovar a mesma ação). Um funcionário enganado ou um agente sequestrado não consegue concluir o ataque sozinho.

Obrigado pela excelente entrevista. Os leitores que quiserem saber mais devem visitar IRONSCALES.