Kieran Norton, Líder de Inteligência Artificial e Automação de Cibersegurança da Deloitte nos EUA – Série de Entrevistas

Kieran Norton é um sócio (parceiro) da Deloitte & Touche LLP e é o Líder de Inteligência Artificial e Automação de Cibersegurança da Deloitte nos EUA. Com mais de 25 anos de experiência extensa e uma sólida formação em tecnologia, Kieran se destaca em abordar riscos emergentes, fornecendo aos clientes insights estratégicos e pragmáticos sobre cibersegurança e gestão de riscos tecnológicos.

Dentro da Deloitte, Kieran lidera os esforços de transformação de inteligência artificial para a prática de cibersegurança nos EUA. Ele supervisiona o design, desenvolvimento e implantação de soluções de inteligência artificial e automação, ajudando os clientes a melhorar suas capacidades de cibersegurança e adotar tecnologias de inteligência artificial e aprendizado de máquina, enquanto gerencia eficazmente os riscos associados.

Externamente, Kieran ajuda os clientes a evoluir suas estratégias de segurança tradicionais para apoiar a transformação digital, modernizar as cadeias de suprimentos, acelerar o tempo de mercado, reduzir custos e alcançar outros objetivos comerciais críticos.

À medida que os agentes de inteligência artificial se tornam cada vez mais autônomos, quais novas categorias de ameaças de cibersegurança estão surgindo que as empresas podem não entender completamente?

Os riscos associados ao uso de tecnologias de inteligência artificial relacionadas para projetar, construir, implantar e gerenciar agentes podem ser compreendidos – operacionalizados é uma questão diferente.

A agência e autonomia dos agentes de inteligência artificial – a capacidade dos agentes de perceber, decidir, agir e operar independentemente dos humanos – podem criar desafios para manter a visibilidade e o controle sobre as relações e interações que os modelos/agentes têm com os usuários, dados e outros agentes. À medida que os agentes continuam a se multiplicar dentro da empresa, conectando múltiplas plataformas e serviços com autonomia e direitos de decisão crescentes, isso se tornará cada vez mais difícil. As ameaças associadas à agência de inteligência artificial mal protegida, excessiva ou oculta são numerosas. Isso pode incluir vazamento de dados, manipulação de agentes (via injeção de prompts, etc.) e cadeias de ataques de agente para agente. Não todas essas ameaças estão presentes agora, mas as empresas devem considerar como gerenciarão essas ameaças à medida que adotam e amadurecem capacidades impulsionadas por inteligência artificial.

O gerenciamento de identidade de inteligência artificial é outro risco que deve ser considerado com cuidado. Identificar, estabelecer e gerenciar as identidades de máquina dos agentes de inteligência artificial se tornará mais complexo à medida que mais agentes forem implantados e usados em empresas. A natureza efêmera dos modelos de inteligência artificial/modelos de componentes que são criados e destruídos repetidamente sob circunstâncias variadas resultará em desafios para manter essas identidades de modelo. As identidades de modelo são necessárias para monitorar a atividade e o comportamento dos agentes de ambos os pontos de vista de segurança e confiança. Se não forem implementadas e monitoradas corretamente, detectar problemas potenciais (desempenho, segurança, etc.) será muito desafiador.

Quão preocupados devemos estar com ataques de envenenamento de dados em pipelines de treinamento de inteligência artificial, e quais são as melhores estratégias de prevenção?

O envenenamento de dados representa uma das várias maneiras de influenciar/manipular modelos de inteligência artificial dentro do ciclo de vida do desenvolvimento do modelo. O envenenamento geralmente ocorre quando um ator mal-intencionado injeta dados prejudiciais no conjunto de treinamento. No entanto, é importante notar que, além de atores adversários explícitos, o envenenamento de dados pode ocorrer devido a erros ou problemas sistêmicos na geração de dados. À medida que as organizações se tornam mais famintas por dados e procuram dados utilizáveis em mais lugares (por exemplo, anotação manual terceirizada, conjuntos de dados sintéticos comprados ou gerados, etc.), a possibilidade de envenenar acidentalmente os dados de treinamento cresce e pode não ser sempre facilmente diagnosticada.

Visar pipelines de treinamento é um vetor de ataque primário usado por adversários para influenciar sutil e abertamente. A manipulação de modelos de inteligência artificial pode levar a resultados que incluem falsos positivos, falsos negativos e outras influências mais sutis que podem alterar as previsões da inteligência artificial.

As estratégias de prevenção variam desde soluções técnicas, procedimentais e arquiteturais. As estratégias procedimentais incluem validação/sanitização de dados e avaliações de confiança; as estratégias técnicas incluem o uso de melhorias de segurança com técnicas de inteligência artificial, como aprendizado federado; as estratégias arquiteturais incluem a implementação de pipelines de confiança zero e a implementação de monitoramento/alerta robusto que possa facilitar a detecção de anomalias. Esses modelos são apenas tão bons quanto seus dados, mesmo que uma organização esteja usando as ferramentas mais recentes e melhores, então o envenenamento de dados pode se tornar um calcanhar de Aquiles para os despreparados.

De que maneiras os atores mal-intencionados podem manipular modelos de inteligência artificial após a implantação, e como as empresas podem detectar a manipulação precocemente?

O acesso a modelos de inteligência artificial após a implantação é geralmente alcançado por meio do acesso a uma Interface de Programação de Aplicativos (API), um aplicativo via um sistema incorporado e/ou via um protocolo de porta para um dispositivo de borda. A detecção precoce requer trabalho precoce no Ciclo de Vida de Desenvolvimento de Software (SDLC), compreendendo as técnicas relevantes de manipulação de modelo, bem como vetores de ameaça prioritários para elaborar métodos de detecção e proteção. Algumas manipulações de modelo envolvem o sequestro de API, a manipulação de espaços de memória (tempo de execução) e o envenenamento lento/gradual via deriva de modelo. Dadas essas maneiras de manipulação, algumas estratégias de detecção precoce podem incluir o uso de telemetria/pontos de extremidade de monitoramento (via Detecção e Resposta de Pontos de Extremidade e Detecção e Resposta Estendida), a implementação de pipelines de inferência seguros (por exemplo, computação confidencial e princípios de confiança zero), e a habilitação de marca d’água de modelo/assinatura de modelo.

A injeção de prompts é uma família de ataques de modelo que ocorrem após a implantação e pode ser usada para vários propósitos, incluindo a extração de dados de maneiras não intencionais, a revelação de prompts de sistema não destinados a usuários normais e a indução de respostas de modelo que podem colocar uma organização em uma luz negativa. Existem várias ferramentas de guarda-chuva no mercado para ajudar a mitigar o risco de injeção de prompts, mas, como no resto da cibersegurança, é uma corrida armamentista onde as técnicas de ataque e as contramedidas defensivas estão constantemente sendo atualizadas.

De que maneira os quadros de cibersegurança tradicionais falham em abordar os riscos únicos dos sistemas de inteligência artificial?

Geralmente associamos o termo “quadro de cibersegurança” a orientação e padrões – por exemplo, NIST, ISO, MITRE, etc. Algumas das organizações por trás desses publicaram orientação atualizada específica para a proteção de sistemas de inteligência artificial, o que pode ser muito útil.

A inteligência artificial não torna esses quadros ineficazes – você ainda precisa abordar todos os domínios tradicionais de cibersegurança – o que você pode precisar é atualizar seus processos e programas (por exemplo, seu SDLC) para abordar as nuances associadas às cargas de trabalho de inteligência artificial. Incorporar e automatizar (quando possível) controles para proteger contra as ameaças sutis descritas acima é o caminho mais eficiente e eficaz.

Em um nível tático, vale a pena mencionar que a gama completa de entradas e saídas possíveis é frequentemente muito maior do que as aplicações não de inteligência artificial, o que cria um problema de escala para testes de penetração tradicionais e detecções baseadas em regras, daí o foco na automação.

Quais são os principais elementos que devem ser incluídos em uma estratégia de cibersegurança especificamente projetada para organizações que implantam inteligência artificial generativa ou grandes modelos de linguagem?

Quando se desenvolve uma estratégia de cibersegurança para implantar inteligência artificial generativa ou grandes modelos de linguagem (LLM), não há uma abordagem única que se ajuste a todos. Muito depende dos objetivos comerciais gerais da organização, estratégia de TI, foco da indústria, pegada regulatória, tolerância ao risco, etc., bem como dos casos de uso específicos de inteligência artificial em consideração. Uma chatbot de uso interno somente tem um perfil de risco muito diferente de um agente que poderia impactar os resultados de saúde dos pacientes, por exemplo.

Dito isso, existem fundamentos que toda organização deve abordar:

• Realize uma avaliação de prontidão – isso estabelece uma linha de base de capacidades atuais, bem como identifica possíveis lacunas, considerando casos de uso de inteligência artificial prioritários. As organizações devem identificar onde existem controles existentes que possam ser estendidos para abordar os riscos sutis associados à inteligência artificial generativa e a necessidade de implementar novas tecnologias ou melhorar processos atuais.
• Estabeleça um processo de governança de inteligência artificial – isso pode ser completamente novo dentro de uma organização ou uma modificação dos programas atuais de gestão de riscos. Isso deve incluir a definição de funções de habilitação de inteligência artificial em toda a empresa e reunir partes interessadas de toda a empresa, TI, produto, risco, cibersegurança, etc. como parte da estrutura de governança. Além disso, a definição/atualização de políticas relevantes (políticas de uso aceitável, políticas de segurança de nuvem, gestão de risco de tecnologia de terceiros, etc.) e o estabelecimento de requisitos de aprendizado e desenvolvimento para apoiar a alfabetização em inteligência artificial e segurança/cibersegurança em toda a organização devem ser incluídos.
• Estabeleça uma arquitetura de inteligência artificial confiável – com a implantação de plataformas e ambientes de experimentação de inteligência artificial, soluções existentes, bem como novas (por exemplo, firewalls de inteligência artificial/segurança em tempo de execução, guardrails, gerenciamento de ciclo de vida de modelo, capacidades de gerenciamento de identidade e acesso aprimoradas, etc.) precisarão ser integradas em ambientes de desenvolvimento e implantação de forma repetível e escalável.
• Melhore o SDLC – as organizações devem construir integrações apertadas entre os desenvolvedores de inteligência artificial e as equipes de gestão de riscos que trabalham para proteger, garantir e construir confiança nas soluções de inteligência artificial. Isso inclui estabelecer um conjunto uniforme/padrão de práticas de desenvolvimento de software seguro e requisitos de controle, em parceria com as equipes mais amplas de desenvolvimento e adoção de inteligência artificial.

Pode explicar o conceito de uma “firewall de inteligência artificial” em termos simples? Como ele difere de firewalls de rede tradicionais?

Uma firewall de inteligência artificial é uma camada de segurança projetada para monitorar e controlar as entradas e saídas dos sistemas de inteligência artificial – especialmente grandes modelos de linguagem – para prevenir o uso indevido, proteger dados sensíveis e garantir um comportamento de inteligência artificial responsável. Ao contrário dos firewalls tradicionais que protegem redes filtrando tráfego com base em endereços IP, portas e ameaças conhecidas, as firewalls de inteligência artificial se concentram em entender e gerenciar interações de linguagem natural. Elas bloqueiam coisas como conteúdo tóxico, vazamento de dados, injeção de prompts e uso antiético de inteligência artificial, aplicando políticas, filtros sensíveis ao contexto e guardrails específicos de modelo. Em essência, enquanto um firewall tradicional protege sua rede, uma firewall de inteligência artificial protege seus modelos de inteligência artificial e suas saídas.

Existem padrões da indústria atuais ou protocolos emergentes que governam o uso de firewalls específicos de inteligência artificial ou guardrails?
O protocolo de comunicação de modelo (MCP) não é um padrão universal, mas está ganhando tração em toda a indústria para ajudar a abordar a crescente carga de configuração para as empresas que precisam gerenciar a diversidade de soluções de inteligência artificial e inteligência artificial generativa. O MCP rege como os modelos de inteligência artificial trocam informações (incluindo aprendizado) inclusivo de integridade e verificação. Podemos pensar no MCP como o conjunto de protocolos de transmissão de controle (TCP)/internet protocol (IP) para modelos de inteligência artificial, o que é particularmente útil em casos de uso centralizados, federados ou distribuídos. O MCP é atualmente um framework conceitual que é realizado por meio de várias ferramentas, pesquisas e projetos.

O espaço está se movendo rapidamente e podemos esperar que ele mude bastante nos próximos anos.

Como a inteligência artificial está transformando o campo de detecção e resposta a ameaças hoje, em comparação com apenas cinco anos atrás?

Vimos as plataformas de operações de segurança comerciais modernizando em diferentes graus, usando conjuntos de dados de alta qualidade maciços e modelos de inteligência artificial/aprendizado de máquina avançados para melhorar a detecção e classificação de ameaças. Além disso, eles estão aproveitando a automação, o fluxo de trabalho e a auto-remediação para reduzir o tempo de detecção à mitigação. Por fim, alguns introduziram capacidades de copiloto para apoiar ainda mais a triagem e a resposta.

Além disso, os agentes estão sendo desenvolvidos para cumprir papéis selecionados dentro do Centro de Operações de Segurança (SOC). Como exemplo prático, construímos um ‘Analista Digital’ agente para implantação em nossa própria oferta de serviços gerenciados. O agente serve como um analista de nível um, triando alertas de entrada, adicionando contexto de inteligência de ameaças e outras fontes, e recomendando etapas de resposta (com base em história de caso extensa) para nossos analistas humanos que, em seguida, revisam, modificam se necessário e tomam ação.

Como você vê a relação entre inteligência artificial e cibersegurança evoluindo nos próximos 3 a 5 anos – a inteligência artificial será mais um risco ou uma solução?
À medida que a inteligência artificial evolui nos próximos 3 a 5 anos, ela pode ajudar a cibersegurança, mas também pode introduzir riscos. A inteligência artificial expandirá a superfície de ataque e criará novos desafios de uma perspectiva defensiva. Além disso, a inteligência artificial adversária aumentará a viabilidade, a velocidade e a escala dos ataques, o que criará desafios adicionais. Por outro lado, a utilização da inteligência artificial nos negócios de cibersegurança apresenta oportunidades significativas para melhorar a eficácia, a eficiência, a agilidade e a velocidade das operações de cibersegurança em muitos domínios – criando, em última análise, um cenário de “lutar fogo com fogo”.

Obrigado pela grande entrevista, os leitores também podem desejar visitar Deloitte.