Entrevistas

Jonathan Zanger, Diretor de Tecnologia da Check Point – Série de Entrevistas

mm
Adicione Unite.AI às suas fontes preferidas no Google

Jonathan Zanger, Diretor de Tecnologia da Check Point, traz uma combinação rara de experiência em inteligência militar de elite, especialização em AI e liderança operacional em startups e empresas globais. Antes de assumir seu cargo atual, ele atuou como Diretor de Tecnologia da Trigo, onde liderou o desenvolvimento de sistemas de AI e visão computacional de próxima geração, permitindo a venda sem atrito e a prevenção de perdas em escala, enquanto alinhava o produto e o desenvolvimento com a implantação comercial no mundo real. Anteriormente, ele ocupou cargos de liderança em desenvolvimento da Trigo e passou mais de uma década na unidade de elite 8200 de Israel, eventualmente liderando uma divisão de desenvolvimento de cibersegurança responsável por iniciativas de inteligência e cibersegurança em escala nacional e recebendo reconhecimento nacional por seu trabalho.

Check Point Software Technologies (CHKP ) é um líder global em cibersegurança, fornecendo soluções de segurança impulsionadas por AI e entregues por nuvem, projetadas para proteger empresas e governos contra ameaças digitais cada vez mais sofisticadas. A empresa atende a mais de 100.000 organizações em todo o mundo com uma plataforma abrangente que protege redes, ambientes de nuvem, pontos de extremidade e usuários por meio de uma abordagem de prevenção que visa parar os ataques antes que ocorram. Sua arquitetura integrada aproveita a inteligência artificial e a inteligência de ameaças em tempo real para simplificar as operações de segurança, reduzir o risco e permitir que as organizações escalonem de forma segura à medida que adotam AI, computação em nuvem e sistemas distribuídos.

Você liderou iniciativas de cibersegurança e AI em larga escala, construiu sistemas impulsionados por AI na Trigo e agora supervisiona a estratégia de AI da Check Point. Quais modos de falha específicos você observou quando os sistemas de AI transitam de ambientes controlados para a produção, especialmente quando têm acesso a ferramentas e dados empresariais?

Dois aspectos mudam fundamentalmente na produção. Primeiro, a escala transforma casos de bordo em eventos do dia a dia. Uma taxa de falsos positivos de 0,1% soa excelente no laboratório, mas quando você está processando milhões de interações, isso se traduz em milhares de incidentes que precisam de atenção. Os outliers estatísticos nos testes se tornam realidades operacionais em escala.

Em segundo lugar, a produção significa exposição adversária. Em um ambiente controlado, as entradas são benignas e previsíveis. No mundo real, alguns usuários e atores ameaçadores tentarão ativamente enganar o sistema, aproveitando todos os canais de dados não confiáveis disponíveis para manipular o comportamento. A transição do demo para a produção não é um problema de escalabilidade. É uma mudança de um ambiente cooperativo para um ambiente contestado, e isso exige suposições de design fundamentalmente diferentes.

Em sistemas agênticos, onde os modelos podem chamar APIs, executar código e encadear ações, quais são as superfícies de ataque mais críticas que as equipes de segurança ainda não estão instrumentando adequadamente?

A superfície crítica que a maioria das equipes subestima é os próprios dados. Os sistemas agênticos acessam regularmente fontes de dados não confiáveis — e-mails de entrada, sites, tickets Jira, código de fonte aberta, documentação externa. Esses dados são ingeridos e analisados pelos modelos como parte de seu processo de raciocínio.

Isso cria dois riscos concretos. Primeiro, envenenamento de memória — onde o conteúdo manipulado sutilmente molda as respostas e decisões futuras do modelo sem nenhuma injeção de prompt óbvia. Segundo, injeção de prompt indireta — onde as instruções adversárias são incorporadas àqueles dados externos e, em essência, “jailbreakam” o modelo de dentro para fora. O atacante nunca toca o prompt diretamente. Ele simplesmente planta instruções onde o agente as encontrará.

A injeção de prompt é frequentemente enquadrada como um problema do modelo, mas na prática se torna uma questão de sistema. Como as empresas devem redesenhar sua arquitetura para isolar as entradas do modelo, a execução de ferramentas e o acesso a dados sensíveis?

A injeção de prompt não é um problema universal com uma solução universal. Se uma determinada entrada é legítima ou adversária depende inteiramente do contexto. Pedir a um agente para “alterar a senha do administrador” é perfeitamente legítimo se for um agente de help desk técnico. O mesmo pedido a um chatbot de varejista online é um ataque.

É por isso que a arquitetura importa mais do que qualquer técnica de detecção única. Os sistemas precisam de mecanismos determinísticos e não determinísticos trabalhando juntos. Controles determinísticos gerenciam o acesso a ferramentas e dados com base na identidade do agente, na identidade do usuário e no papel definido do sistema. Controles não determinísticos baseados em modelos adicionam a capacidade de entender linguagem, contexto e intenção. Você precisa de ambas as camadas — aplicação de política rígida e raciocínio contextual inteligente — porque nenhuma delas é suficiente sozinha.

Muitos agentes de AI dependem de geração aumentada por recuperação e fontes de dados externas. Quais são os riscos em torno do envenenamento de dados e manipulação de contexto nessas pipelines, e como eles podem ser mitigados em tempo de execução?

Os riscos diferem dependendo da direção do fluxo de dados. Para fontes de dados internas, o risco principal é a vazamento de dados sensíveis — exposição de informações de identificação pessoal, compartilhamento de dados entre clientes, informações internas sendo exibidas a partes não autorizadas. Para fontes de dados externas, os riscos incluem viés de modelo de informações não verificadas, injeção de prompt indireta incorporada ao conteúdo recuperado e dependência de fontes não confiáveis ou manipuladas.

A mitigação precisa ocorrer no nível da transação, em tempo real. Cada interação agêntica precisa ser segura em ambas as direções: garantindo que dados sensíveis não estejam vazando de dentro para fora e garantindo que informações envenenadas ou adversárias não estejam sendo alimentadas de fora para dentro do sistema ou do modelo. Você não pode resolver isso apenas no momento da ingestão, porque o contexto é dinâmico e o cenário de ameaças muda continuamente.

Sua Plano de Defesa de AI introduz uma camada de controle unificada em todo o uso de AI por funcionários, aplicações e sistemas agênticos. Quais foram os principais desafios arquitetônicos ao construir um sistema que possa observar e aplicar políticas em toda a pilha de AI fragmentada?

Acreditamos que, no futuro próximo, as cargas de trabalho agênticas abrangerão pontos de extremidade, aplicações, serviços SaaS e cargas de trabalho em nuvem — todas hiperconectadas no que chamamos de “Internet dos Agentes”. A ideia por trás do Plano de Defesa de AI é descobrir, governar e proteger essa infraestrutura agêntica empresarial em evolução dentro de um único painel de vidro.

O desafio arquitetônico central é avaliar dinamicamente o perfil de risco e contexto de cada agente, desenvolvendo proteção em tempo real eficiente para cada transação agêntica. Isso significa manter altas taxas de bloqueio contra ameaças reais, minimizando falsos positivos — na velocidade e escala de produção, em vários ambientes em execução. Construir um sistema que possa observar e aplicar políticas consistentemente em toda a pilha de AI fragmentada e em rápida evolução exigiu que repensássemos como abstrair e avaliar a atividade de AI em um nível fundamental.

A plataforma enfatiza a tomada de decisões em tempo real na velocidade da máquina em várias linguagens e fluxos de trabalho. Como você equilibra as restrições de latência com a necessidade de inspeção e controle profundos de ações impulsionadas por AI em ambientes de produção?

Desenvolvemos e treinamos modelos de base especificamente para prevenção de ameaças, então usamos técnicas de destilação para torná-los extremamente eficientes. Isso nos permite executar inferência rapidamente e com computação mínima — mesmo em CPUs ou GPUs de commodity —, mantendo a cobertura multilíngue e multimodal, incluindo análise de imagem e áudio, com precisão máxima.

Essa abordagem nos permite inspecionar transações agênticas profundamente sem se tornar um gargalo. A segurança que introduz latência inaceitável será contornada. A segurança que é invisível para o fluxo de trabalho, mas impõe controles significativos, é o que realmente é implantado e permanece implantado.

Os agentes de AI operam cada vez mais com permissões delegadas em vários sistemas. Como as organizações devem repensar a gestão de identidade e acesso para atores não humanos, especialmente quando os agentes expandem dinamicamente seu escopo por meio do uso de ferramentas?

O erro que a maioria das organizações comete é tratar os agentes de AI como extensões de usuários humanos ou como contas de serviço tradicionais. Nenhum modelo se ajusta. Pense neles como funcionários digitais — entidades com papéis, responsabilidades e limites definidos.

A identidade do agente deve ser definida por três dimensões: o fluxo de trabalho específico que o agente está executando, o usuário que possui ou criou o agente e o usuário que atualmente interage com ele. Todos esses fatores moldam o que o agente deve ser autorizado a fazer. Além disso, as organizações precisam aplicar princípios de confiança zero aos agentes — nunca assumir confiança com base na origem, verificar continuamente o comportamento e impor acesso de privilégio mínimo em cada etapa. Sem isso, os agentes acumularão silenciosamente mais autoridade do que alguém pretendia.

A maioria das empresas agora tem uso de AI sombra em copilotos, plugins e scripts internos. Quais telemetrias os times de segurança devem coletar para obter visibilidade real sobre como o AI está interagindo com dados sensíveis?

A visibilidade precisa operar no nível da transação agêntica — não apenas prompts e respostas, mas chamadas de ferramentas, os dados retornados por essas ferramentas e as ações tomadas como resultado. As equipes de segurança precisam ver a cadeia completa: o que foi solicitado, quais dados foram acessados, quais ferramentas foram invocadas, quais parâmetros foram passados e o que aconteceu em seguida.

Sem essa telemetria de nível de transação, você não pode responder a perguntas básicas sobre exposição, mau uso ou impacto. O AI sombra não é perigoso porque existe. É perigoso porque opera sem esse nível de governança ou visibilidade.

Testar os sistemas agênticos é fundamentalmente diferente de testar aplicações estáticas. Como você simula o comportamento adversário em fluxos de trabalho de múltiplos passos e quais tipos de explorações são mais comumente descobertas?

Operamos o Gandalf (https://gandalf.lakera.ai), que é o maior exercício de testes de AI do mundo. É uma plataforma de crowdsourcing onde usuários reais tentam persuadir os agentes de AI a quebrar suas barreiras. Isso nos dá um conjunto de dados único e em constante crescimento de técnicas adversárias reais — não ataques teóricos, mas as estratégias que as pessoas reais usam para manipular os sistemas de AI.

Aproveitamos esse conjunto de dados para impulsionar nossas capacidades de testes. Os ataques que vemos com mais frequência envolvem usuários gradualmente persuadindo os agentes a violar suas restrições — por meio de injeção de prompt indireta, redefinição criativa, manipulação de contexto e exploração de confiança incremental em interações de múltiplos passos. Essas questões são invisíveis se você testar apenas prompts individuais. Você precisa testar sequências e campanhas adversárias sustentadas.

À medida que os atacantes começam a usar agentes autônomos para sondar os sistemas continuamente, você espera que a defesa se desloque em direção a controles adaptativos em tempo real impulsionados por AI, e como essa arquitetura se parece na prática?

Sim. Defesas estáticas não podem acompanhar os atacantes autônomos que operam continuamente. A defesa deve se tornar adaptativa, impulsionada em tempo de execução e automatizada. Isso significa monitoramento em tempo real do comportamento de AI, avaliação contínua de risco e aplicação imediata quando as políticas são violadas. A velocidade e escala dos ataques impulsionados por AI só serão contrariados por defesas de velocidade de máquina igualmente rápidas.

Na prática, a segurança se torna um loop de feedback em vez de um conjunto de regras. Os sistemas de AI são observados, avaliados e restringidos dinamicamente, na mesma velocidade e escala em que operam. Essa mudança é essencial se as organizações quiserem implantar AI com segurança em escala empresarial.

Obrigado pela grande entrevista, leitores que desejam aprender mais devem visitar Check Point Software Technologies.

Antoine é um líder visionário e sócio-fundador da Unite.AI, impulsionado por uma paixão inabalável por moldar e promover o futuro da IA e da robótica. Um empreendedor serial, ele acredita que a IA será tão disruptiva para a sociedade quanto a eletricidade, e é frequentemente pego falando sobre o potencial das tecnologias disruptivas e da AGI.

Como um futurista, ele está dedicado a explorar como essas inovações moldarão nosso mundo. Além disso, ele é o fundador da Securities.io, uma plataforma focada em investir em tecnologias de ponta que estão redefinindo o futuro e remodelando setores inteiros.