Sandy Dunn, CISO na SPLX – Série de Entrevistas

Sandy Dunn, CISO na SPLX, é um veterano CISO com mais de 20 anos de experiência em saúde e startups, fornecendo consultoria de CISO por meio da QuarkIQ. Ela lidera a lista OWASP Top 10 para Aplicações de Segurança de LLM e contribui para a troca de informações OWASP AI, OWASP Top 10 para LLM e a Aliança de Segurança de Nuvem. Como professora adjunta de Segurança Cibernética na Universidade Estadual de Boise, ela também é uma palestrante frequente, assessora e membro do conselho do Instituto de Segurança Cibernética Pervasiva de Boise. Sandy tem um mestrado em gerenciamento de segurança de informações pela SANS e numerosas certificações, incluindo CISSP, múltiplas credenciais GIAC da SANS, Security+, ISTQB e FAIR.

SPLX é uma empresa de segurança cibernética que fornece proteção de ponta a ponta para sistemas de IA por meio de testes de equipe vermelha automatizados, proteção em tempo de execução, governança, remediação, inspeção de ameaças e segurança de modelo. Sua plataforma executa milhares de simulações adversárias em menos de uma hora para identificar vulnerabilidades, endurece os prompts do sistema antes do deploy e inclui o Agentic Radar, uma ferramenta de código aberto para mapear e analisar riscos em fluxos de trabalho de IA multiagente.

O que o atraiu inicialmente para a interseção da IA e da segurança cibernética, e como esse caminho o levou ao seu papel na SPLX e ao envolvimento com a OWASP?

A IA havia feito parte das conversas de segurança cibernética por anos antes do ChatGPT, mas muitas vezes parecia que não havia atendido às expectativas. Então, quando ele foi lançado, eu esperava ficar desapontado, mas tive a reação exata oposta. Quando usei o ChatGPT pela primeira vez, fiquei impressionado com o que ele podia fazer e aterrorizado com quão rapidamente ele poderia ser utilizado para ataques adversários ou abuso de privacidade. Esse momento acendeu um fogo. Eu mergulhei de cabeça nos LLMs, lendo todos os artigos de pesquisa que pude encontrar, ingressando em todas as comunidades relevantes do Slack e Discord e executando meus próprios experimentos. Eu me mantive à margem por um tempo no canal OWASP Top 10 para LLMs, e quando a primeira lista foi publicada, eu sabia que era um marco importante. Mas como CISO, eu senti que as equipes de segurança precisavam de mais informações. Nós havíamos dito às pessoas o que preocupar, mas não o que fazer. Eu me aproximei de Steve Wilson, o líder do projeto, sobre a criação de uma “Lista de Verificação de Segurança de LLM para CISO”. Ela então se tornou o primeiro subprojeto OWASP GenAI, que inspirou muitos subprojetos adicionais.

Através desse trabalho, eu conheci Kristian Kamber e Ante Gojsalic (os fundadores da SPLX) e também aconselhei várias startups de segurança de IA, algumas com ideias promissoras, outras menos. Na época, eu era CISO em uma empresa de chatbot B2B, criando um livro de jogadas de teste de adversário de IA abrangente. Quando eu vi a demonstração da SPLX, eu imediatamente reconheci que eles haviam resolvido o problema com o qual eu estava lutando: como operacionalizar o teste de adversário. Quando a SPLX precisou de um CISO, eu aproveitei a oportunidade de fazer parte de uma empresa incrível com pessoas incríveis que resolvem desafios importantes.

Como CISO da SPLX, quais são as técnicas de ataque mais novas que você está descobrindo, especialmente com relação à IA agente?

Devido às nuances do design do sistema GenAI, não é possível eliminar vulnerabilidades e ataques GenAI que utilizam a autonomia e as capacidades do agente. O envenenamento de memória, como o MINJA, é um exemplo recente disso. Com o MINJA, os atacantes podem corromper sutilmente os bancos de memória de um agente por meio de interações fabricadas, implantando “memórias” prejudiciais com prompts que resultam em comportamentos enganosos ou perigosos posteriormente. Outro exemplo é o ataque de Câmara de Resposta. Aqui, um adversário cria loops de conversa enviando ao agente contextos maliciosos repetidos. Os pesquisadores conseguiram bypassar os mecanismos de segurança reforçando instruções prejudiciais ao longo de várias rodadas.

A injeção de prompt indireta e transmodal é outro exemplo. As instruções maliciosas se escondem em conteúdo externo, como imagens ou documentos que os agentes consomem. Essas instruções podem sequestrar decisões autônomas sem entrada direta do usuário.

Os ataques ao ecossistema de agentes de IA sofisticados, como o envenenamento de ferramentas, exigem uma revisão cuidadosa de toda a cadeia de suprimentos para implantações de agentes de IA. Os atacantes criam ferramentas aparentemente legítimas para plataformas de agentes, mas incorporam instruções maliciosas dentro das descrições e documentação das ferramentas. Quando os agentes carregam essas ferramentas, as instruções incorporadas se tornam parte do contexto do agente, permitindo ações não autorizadas, como exfiltração de dados ou comprometimento do sistema.

Como a plataforma SPLX ajuda as organizações a detectar e responder a ameaças específicas de LLM, como injeção de prompt ou ataques de quebra de jail?

A SPLX é uma plataforma de segurança de ponta a ponta que protege aplicações e sistemas multiagente alimentados por LLM em todo o ciclo de vida de IA, desde o desenvolvimento até a operação em tempo real. Nossa Proteção de Tempo de Execução de IA é projetada para interromper essas ameaças à medida que ocorrem, monitorando e filtrando continuamente entradas e saídas. Ela atua como um firewall em tempo real para IA e impõe estritas fronteiras comportamentais em IA. O motor de detecção dinâmico da SPLX sinaliza atividade maliciosa em tempo real, garantindo que os sistemas de IA respondam de forma segura e permaneçam dentro dos limites pretendidos.

A atualização OWASP GenAI Security Top 10 expande riscos-chave, como vazamento de prompt do sistema e vulnerabilidades de banco de dados de vetor. Como essas novas ameaças refletem o paisagem adversário em evolução?

A atualização OWASP Top 10 de 2025 reflete uma compreensão em evolução de como as tecnologias de IA de LLM e GenAI são usadas em cenários do mundo real. É importante destacar que existem muitas mais de dez ameaças de LLM, mas o objetivo é identificar as principais dez. As grandes mudanças são LLM07 Projeto de Plugin Inseguro foi incluído na Cadeia de Suprimentos e LLM010 Roubo de Modelo foi incluído no Consumo Ilimitado para a lista de 2025, o que criou espaço para adicionar:

1. Vazamento de Prompt do Sistema, que identifica a ameaça de expor o prompt do sistema, podendo revelar guardrails, fluxos lógicos ou até segredos incorporados nos prompts de LLM.

2. Vulnerabilidades de Banco de Dados de Vetor, que sinalizam os problemas de segurança potenciais em sistemas RAG, como vazamento de dados entre locatários, inversão de incorporação ou documentos envenenados que posteriormente surgem em saídas perigosas.

3. As atualizações mostram que os ataques de IA se evoluíram de ataques de prompt oportunistas fabricados para ataques sofisticados que visam toda a cadeia de suprimentos de IA. Os ataques modernos demonstram pensamento estratégico de todo o sistema de IA, focando em persistência, escala e impacto sistêmico, em vez de explorações de uma vez.

A cobertura expandida de arquiteturas agente reconhece outro desenvolvimento crítico. À medida que os sistemas de IA ganham maior autonomia e capacidades de tomada de decisão, as consequências de falhas de segurança se multiplicam exponencialmente. Reduzir a supervisão humana, enquanto permite aplicações mais poderosas, tem um efeito de multiplicador que amplifica o impacto de ataques bem-sucedidos.

Em sua opinião, quais são as vulnerabilidades mais comumente negligenciadas nas empresas que implantam IA agente hoje?

A questão mais comumente negligenciada é o mesmo desafio que enfrentamos com implantações de software e sistema tradicionais, o princípio do menor privilégio. Ainda estamos lidando com o menor privilégio para usuários humanos e contas de serviço, e agora as organizações enfrentam um novo desafio ao gerenciar Identidades Não Humanas (INH). As pessoas estão implantando agentes enquanto a identidade e o acesso do agente ainda não são totalmente compreendidos ou resolvidos. Vemos agentes recebendo permissões de amplo alcance para ler documentos, acessar APIs externas e até modificar sistemas. Isso não é um erro técnico no modelo em si, é um erro arquitetônico fundamental. Um agente comprometido com privilégios excessivos pode causar estragos, desde a exfiltração de grandes quantidades de dados até a inicialização de transações financeiras.

Outra questão frequentemente negligenciada ou ignorada é a “relação de confiança” entre agentes. Em sistemas agente, os agentes são frequentemente projetados para se comunicar e cooperar entre si. Estamos vendo uma nova classe de ataques onde um agente comprometido pode se passar por um legítimo, essencialmente se tornando um “Agente no Meio”. É como um cavalo de Tróia, mas em um nível arquitetônico.

Pode nos guiar por etapas ações que as equipes de segurança de empresas devem tomar ao implantar ferramentas de IA agente em ambientes de produção?

1. Comece com planos de resposta a incidentes. O que o pior dia parece, então trabalhe de trás para frente para garantir que os controles de segurança e a visibilidade estejam no lugar. Quando uma violação de IA ocorre, o centro de operações de segurança precisa de um roteiro. Quem é notificado? Como você isola um agente comprometido? Qual é o processo para reverter para um estado conhecido como bom? Ter um plano antes que uma crise ocorra é vital.

2. Inventário de superfície de ataque e avaliação de ameaças. Você não pode proteger o que não sabe que tem. O primeiro passo é obter um inventário completo de todos os agentes de IA, ferramentas em uso e acesso a dados. Quais dados ele toca? Quais permissões ele tem? Qual é o impacto potencial se for comprometido? Priorize os riscos de alto impacto e as ameaças mais prováveis. Em seguida, tenha uma conversa sincera com a equipe executiva sobre apetite de risco. Um benefício da atividade de IA acelerada é que os CISOs, oficiais de risco, equipes jurídicas e liderança executiva serão forçados a ter uma conversa real sobre objetivos de negócios, apetite de risco e orçamentos de segurança. Historicamente, havia uma expectativa de nenhum incidente com orçamento mínimo. Os CISOs conseguiram (em grande parte) evitar um grande incidente implementando apenas o suficiente de segurança para tornar sua organização um alvo menos atraente do que a organização com menos segurança. Os adversários habilitados para IA tornam essa estratégia irrealista agora.

3. Implemente guardrails, menor privilégio e ferramentas de monitoramento. O escopo é importante para qualquer implantação de agente. Defina o propósito do agente, seus limites e permissões. Não dê a um agente acesso à biblioteca inteira do SharePoint se ele precisar apenas de uma pasta. Implemente controles que limitam quais APIs ele pode chamar e quais ações ele pode tomar. Pense nisso como um novo, muito inteligente, estagiário bêbado. Você reconhece que ele tem capacidades incríveis, mas você não confiaria nele. Você limitaria o que ele poderia fazer dentro da empresa, você não daria a ele acesso a nada importante, você monitoraria o que ele faz e você poderia ter sistemas de alarme no lugar se ele tentasse fazer algo que absolutamente não deveria fazer, como acessar o escritório do CEO.

4. Implemente uma pilha de segurança de IA específica que se mistura com a pilha de segurança tradicional. As ferramentas de segurança tradicionais não foram projetadas para sistemas GenAI ou agente. Você precisa implementar ferramentas projetadas para questões únicas de GenAI, como validação de prompt, sanitização de saída e monitoramento contínuo do comportamento do agente. Essas ferramentas precisam ser capazes de detectar ataques baseados em semântica sutis, que são específicos de GenAI e sistemas agente.

5. Integre o red teaming de IA ao pipeline de CI/CD. Você precisa testar continuamente seus agentes para vulnerabilidades com base na significância das alterações e no apetite de risco da organização. A atualização recente do GPT-5 é um exemplo de como as alterações disruptivas podem ser nos fluxos de trabalho de agente. Faça do red teaming automatizado uma parte central do ciclo de vida de desenvolvimento. Isso ajuda a identificar problemas à medida que você atualiza e altera seus agentes.

Como as organizações devem incorporar o red teaming automatizado, CIAM, governança RAG e monitoramento em sua estratégia de gerenciamento de risco de GenAI?

A chave é a integração, em vez de tratá-los como iniciativas separadas. Sua estratégia de gerenciamento de risco de GenAI precisa ser um quadro coerente onde cada componente reforça os outros.

Comece com o red teaming automatizado como base. É importante ter testes de adversário contínuos que evoluam com o cenário de ameaças. A plataforma SPLX simula milhares de cenários de ataque em diferentes categorias de risco, testando injeção de prompt, quebra de jail, manipulação de contexto e envenenamento de ferramentas. O aspecto crítico é tornar isso parte do seu pipeline de CI/CD, para que cada atualização do agente seja validada em termos de segurança antes do deploy.

CIAM para sistemas de IA exige repensar os modelos de identidade tradicionais. Os agentes de IA precisam de permissões granulares que possam ser ajustadas dinamicamente com base no contexto e nos níveis de risco. Implemente controle de acesso baseado em atributos que considere não apenas a identidade do agente, mas os dados que ele está processando, as ferramentas às quais ele está solicitando acesso e o contexto de ameaça.

A governança RAG é particularmente crucial. Estabeleça o rastreamento da linhagem de dados para todo o conteúdo ingerido em lojas de vetores. Implemente pipelines de validação de conteúdo que possam detectar exemplos adversários ou instruções maliciosas incorporadas em documentos.

Para o monitoramento, você precisa de telemetria que capture tanto indicadores técnicos quanto comportamentais. O monitoramento técnico inclui análise de entrada/saída, padrões de chamadas de API e consumo de recursos. O monitoramento comportamental se concentra na qualidade da decisão, padrões de conclusão de tarefas e contextos de interação que possam indicar comprometimento.

A integração é importante. Os resultados do red teaming devem informar as políticas de CIAM, os sistemas de monitoramento devem alimentar os processos de governança RAG e tudo isso precisa ser coordenado por meio de uma plataforma de gerenciamento de risco empresarial centralizada que possa correlacionar sinais em todos esses domínios.

Com violações de IA ainda em estágios iniciais, mas prontas para crescer, quais tendências os líderes de segurança devem se preparar para os próximos 12 a 18 meses?

Eu espero ver uma escalada significativa em ataques de cadeia de suprimentos que visam tudo, incluindo infraestrutura de IA. Os ataques de cadeia de suprimentos de IA envenenam conjuntos de dados de treinamento, comprometem repositórios de modelo ou injetam código malicioso em dependências de software para obter acesso persistente a sistemas de IA.

Já há um surto em engenharia social autônoma, como incidentes de vishing de deepfake, mas a evolução para geração totalmente autônoma é o que mais me preocupa. Os agentes de IA lidando com campanhas de engenharia social completas em várias plataformas simultaneamente, cada uma personalizada para alvos e contextos específicos, criam um efeito multiplicador que as defesas tradicionais não estão preparadas para enfrentar.

Acredito que veremos o surgimento de ataques nativos de IA que operam à velocidade da máquina. As ferramentas de segurança tradicionais e os analistas humanos não podem acompanhar um atacante que pode executar explorações complexas e multietapa em milissegundos.

Como você prevê que os quadros regulatórios e de conformidade evoluirão em resposta aos riscos de IA generativa?

Eu prevejo uma mudança significativa nos quadros regulatórios, visando equilibrar inovação com foco em responsabilidade, transparência, práticas de desenvolvimento seguro e segurança da cadeia de suprimentos.

Eu espero ver um foco em proveniência e integridade de dados. Os órgãos reguladores quererão saber de onde vieram os dados usados para treinar e aumentar os modelos de IA. Eles quererão ver provas de que os dados foram sanitizados, de que não continham informações sensíveis e de que não foram envenenados.

Finalmente, acredito que veremos regulamentações setoriais. Os riscos para uma instituição financeira que usa um agente de IA para lidar com transações são diferentes dos riscos de uma empresa de saúde que usa um para diagnósticos.

Os reguladores começarão a definir padrões específicos para indústrias críticas, exigindo coisas como red teaming automatizado, supervisão humana no loop e auditoria rigorosa para sistemas de IA que possam ter consequências de vida ou morte.

Como professora adjunta e membro do conselho do Instituto de Segurança Cibernética Pervasiva de Boise, como você está preparando a próxima geração de profissionais de segurança de IA, e quais habilidades você vê como mais críticas no cenário em evolução de hoje?

Pensamento crítico e resolução de problemas ainda são as habilidades mais importantes que os alunos precisam para uma carreira excelente em segurança cibernética, mas habilidades como psicologia humana e linguística, outrora encontradas apenas em equipes de inteligência de ameaças cibernéticas, são habilidades que beneficiarão uma variedade de funções de segurança cibernética no futuro da IA.

As habilidades de pessoas e comunicação também importam. A segurança cibernética é mais do que sistemas de TI; é sobre pessoas, ajudando um negócio a atingir seus objetivos de negócios e ser capaz de traduzir e comunicar riscos técnicos complexos para partes interessadas não técnicas, para que elas possam tomar as decisões certas para a empresa. O futuro da segurança cibernética dependerá de profissionais que não apenas são tecnicamente inteligentes, mas também comunicadores habilidosos e bem fundamentados.

Finalmente, o cenário de segurança de IA está evoluindo tão rapidamente, então será importante ser capaz de aprender e se adaptar rapidamente.

Obrigado pela grande entrevista e detalhada visão, leitores que desejam aprender mais devem visitar SPLX.