Rony Ohayon, CEO e Fundador da DeepKeep – Série de Entrevistas

Rony Ohayon, CEO e Fundador da DeepKeep, é um empreendedor experiente e tecnólogo com uma carreira que abrange IA, cibersegurança, sistemas autônomos e tecnologias de vídeo em larga escala. Ele fundou e liderou várias empresas nesses domínios, incluindo papéis importantes em conectividade de veículos autônomos, transmissão de vídeo ao vivo e engenharia avançada, além de trabalhos acadêmicos anteriores em engenharia de computadores.

DeepKeep é uma plataforma de segurança de IA projetada para ajudar as empresas a proteger a IA, a IA geradora, os LLMs, a visão computacional e os sistemas multimodais em todo o seu ciclo de vida. A empresa se concentra em identificar vulnerabilidades, bloquear ameaças adversárias, prevenir problemas como vazamento de dados e manipulação de prompts, apoiar a conformidade regulatória e fornecer monitoramento contínuo para garantir implantações de IA confiáveis, resilientes e protegidas.

Você liderou inovações importantes em transmissão de vídeo, conectividade de veículos autônomos e sistemas de IA. O que na sua própria carreira o convenceu de que o próximo grande desafio que precisava resolver era segurança de IA empresarial?

Eu sempre fui motivado a enfrentar desafios de alto impacto que redefinem indústrias. Ao longo dos anos, notei um padrão recorrente em que a nova tecnologia, especialmente a IA, frequentemente supera as medidas de segurança, deixando vulnerabilidades críticas para trás.

A adoção de IA pelas empresas, particularmente com o surgimento de grandes modelos de linguagem (LLMs) e IA agente, abriu um novo fronteira de riscos, e as empresas frequentemente se sentem sobrecarregadas e despreparadas para aproveitar esses sistemas de forma segura e confiante. Minha experiência em sistemas de IA destacou a importância de integrar a segurança no coração dessas tecnologias para garantir que não sejam apenas inovadoras, mas também seguras e confiáveis, produzindo resultados confiáveis para apoiar as empresas proativamente. Essa realização levou à fundação da DeepKeep, com foco em segurança de sistemas de IA para que as empresas possam confiantemente abraçar a IA para impulsionar a produtividade e o crescimento empresarial, sem comprometer a segurança ou a privacidade.

Quando você e seu co-fundador lançaram a DeepKeep em 2021, qual foi o ponto cego específico de segurança de IA que os convenceu de que havia uma necessidade urgente de uma plataforma dedicada, e como essa percepção moldou a direção inicial da empresa?

Depois de anos trabalhando com IA em visão computacional, que exigia esforços significativos para garantir que seja confiável e robusta, percebemos que era hora de projetar uma solução dedicada para garantir confiança e segurança na visão computacional.

Em 2021, antes da explosão dos LLMs, lançamos a DeepKeep para enfrentar esses riscos em modelos de visão computacional.

Pode nos levar de volta ao primeiro protótipo — o que ele realmente fazia, como era pequeno o time e como vocês validaram que estavam no caminho certo?

Quando fundamos a DeepKeep, o foco ainda estava em IA tradicional – visão computacional, modelos tabulares e NLP inicial – bem antes do surgimento dos grandes modelos de linguagem. Nosso primeiro protótipo foi um sistema para testar a robustez de classificadores de visão computacional contra ataques adversários. Além disso, construímos uma versão inicial de um firewall de IA que poderia detectar e sinalizar esses ataques em tempo real.

Os primeiros casos de uso vieram de automotivo, seguros e serviços financeiros, onde o mau comportamento do modelo carrega riscos operacionais reais. Éramos uma equipe pequena de cerca de oito pessoas na época, o que nos permitiu iterar rapidamente e produzir um protótipo funcional cedo.

Validamos que estávamos no caminho certo falando diretamente com clientes potenciais, que consistentemente destacaram a robustez adversária como uma preocupação emergente. Por volta da mesma época, frameworks como o ATLAS da MITRE – lançado pela primeira vez em 2021 – começaram a aparecer, o que foi um sinal importante externo de que o campo da segurança de IA e modelagem de ameaças adversárias estava prestes a crescer. O alinhamento entre o feedback do cliente e a direção da indústria nos deu confiança de que estávamos seguindo o caminho certo.

A DeepKeep foi projetada desde o início para segurança de sistemas de IA, e não de software tradicional. Como vocês priorizaram quais tipos de modelos e superfícies de ataque para se concentrar primeiro?

Desde o início, sabíamos que segurança de IA empresarial exigia uma mudança de paradigma. Embora muitas organizações sejam suficientemente astutas para saber que precisam realizar testes de penetração e avaliação para os modelos que usam, entendemos que essas ações são apenas o começo. Os riscos reais surgem dentro do ecossistema de aplicativos completo, não apenas nos modelos em si.

Enquanto a segurança de chatbots de IA autônomos com red teaming tradicional era o ponto de partida da indústria, rapidamente nos mudamos para desenvolver soluções que protegem aplicações e agentes de IA personalizados e evoluirão para proteger o próximo passo, no qual os agentes interagem entre si e há uma inteligência cruzada significativa.

Habilitamos a varredura de modelos em todos os tipos de modelos, mas também protegemos contra as ameaças mais urgentes, como ataques adversários, vazamento de dados, mau uso do sistema e erosão da confiança, realizando red teaming nos modelos e aplicando guardrails que protegem os prompts e respostas de IA.

Além disso, protegemos a “camada semântica” da IA, entendendo o contexto em que os modelos operam. Isso garante que os modelos não possam ser facilmente manipulados.

Quais foram as principais mudanças técnicas ou estratégicas que vocês fizeram entre a fase de fundação e a direção atual do produto da DeepKeep?

Uma das principais decisões que tomamos foi expandir além da segurança de modelo tradicional para o reino da segurança de aplicativos de IA. Inicialmente, nos concentramos em segurança de modelos individuais, mas à medida que o cenário de IA evoluiu, percebemos que segurança de ecossistemas de IA completos, onde vários modelos, agentes e casos de uso se cruzam, era muito mais crítica. Isso nos levou a ampliar nossa abordagem, incorporando red teaming, um firewall de IA abrangente para proteger todas as interações que os agentes, funcionários e aplicações têm com a IA e monitoramento em tempo de execução.

Outra decisão importante foi oferecer flexibilidade total de implantação, incluindo soluções cloud-agnostic, on-prem e air-gapped, permitindo que as empresas implantem a DeepKeep de forma segura em qualquer ambiente. Também integramos recentemente uma barreira de proteção de Informações Pessoalmente Identificáveis (PII) de ponta na indústria em nossa plataforma, o que forneceu aos nossos clientes um nível ainda mais profundo de proteção de dados e garante que as empresas possam atender aos requisitos de conformidade globais à medida que escalonam o uso de IA.

A DeepKeep dá ênfase igual à segurança e confiabilidade. Em que estágio essa dupla focalização se tornou central para a identidade da empresa?

A ênfase em segurança e confiabilidade se tornou clara desde cedo, especialmente à medida que começamos a formar uma compreensão mais profunda de nossos clientes e suas necessidades.

Ao lidar com modelos de IA, segurança e confiabilidade andam de mãos dadas e desempenham papéis iguais, pois, no final do dia, ambos podem levar a resultados prejudiciais e destrutivos. Um aplicativo não pode ser robusto e, ao mesmo tempo, ser pouco confiável, e vice-versa.

Ferramentas de cibersegurança tradicionais não foram projetadas para injeção de prompts, alucinações, vazamento de dados ou manipulação de modelos. Qual desses vetores de ameaças emergentes você viu as empresas lutando mais, e como esses problemas do mundo real influenciaram a arquitetura da DeepKeep?

Dentre as ameaças emergentes, injeção de prompts e vazamento de dados são as preocupações mais prementes com as quais vemos as empresas lutando. À medida que as aplicações e agentes de IA se tornam mais integrados aos processos de negócios, os riscos de manipulação de prompts e exposição acidental de dados sensíveis são mais pronunciados. Esses problemas nos levaram a projetar a DeepKeep com foco em segurança contextual, protegendo não apenas os modelos, mas todo o fluxo de dados e interações dentro dos ecossistemas de IA. Nossa infraestrutura foi construída para testar essas camadas na fase de desenvolvimento e proteger durante a execução, garantindo a segurança de todas as interações de IA.

Sua plataforma combina guardrails, red teaming e camadas de proteção de dados. Do ponto de vista técnico, qual delas provou ser a mais difícil de engenharia em escala empresarial, e o que você aprendeu ao construir um sistema que precisa se adaptar a modelos de IA em constante evolução?

Cada camada – guardrails, red teaming e proteção de dados – vem com seus próprios desafios de engenharia, mas encontramos que os desafios que todas essas camadas têm em comum foram, na verdade, os mais difíceis.

O primeiro é o ritmo de mudança: novos riscos, jailbreaks e técnicas de ataque surgem constantemente, então qualquer coisa estática se torna obsoleta rapidamente. O segundo é a adoção de contexto: nas empresas, uma abordagem de “tamanho único” simplesmente não funciona, pois cada aplicativo tem políticas, sensibilidades de dados e comportamentos de usuário diferentes.

Para enfrentar o primeiro desafio, construímos uma arquitetura totalmente modular com componentes no estilo de plugins, permitindo que adicionemos novos ataques ao motor de red teaming ou novas guardrails ao firewall rapidamente e sem interromper o sistema.

E para resolver o segundo desafio, projetamos um sistema agente e consciente do contexto. Ele analisa o ambiente do aplicativo e adapta automaticamente as medidas de segurança relevantes – o que é essencial quando os modelos de IA subjacentes e os casos de uso evoluem tão rapidamente.

Essas duas capacidades, modularidade e conscientização de contexto, foram fundamentais para operar em escala empresarial, mantendo o ritmo com sistemas de IA em rápida evolução.

A segurança de IA é uma disciplina em evolução. Quais lacunas você vê dentro das empresas hoje — seja em política, ferramentas ou compreensão de risco — que mais diretamente moldaram como você projetou a pilha de segurança da DeepKeep e a integração do cliente?

As lacunas variam significativamente dependendo da indústria, tamanho da empresa e maturidade da adoção de IA.

Uma das maiores lacunas que vemos nas grandes empresas hoje é a falta de uma solução única que cubra todas as necessidades de segurança de IA. Muitas dessas empresas estão cientes de sua necessidade de soluções de segurança de IA, mas à medida que a adoção aumenta, também aumenta a necessidade de cobertura de segurança adicional. Aprendemos cedo que há valor em uma solução robusta e abrangente que inclui diferentes capacidades operando em conjunto e com integração sem interrupções. Os clientes se beneficiam de uma solução na qual o todo é maior do que a soma de suas partes.

À medida que o mercado amadureceu, identificamos outra lacuna, que é que as organizações estão procurando por ferramentas de segurança mais personalizadas e menos genéricas para proteger seus agentes e aplicações. Uma das razões por trás de nossa abordagem consciente do contexto foi abordar essa lacuna, com a compreensão de que cada aplicativo e agente é diferente e precisa ser protegido de acordo.

Se olharmos cinco anos à frente, como você espera que os riscos de IA empresarial evoluam — e onde acredita que a DeepKeep precisa estar posicionada para ficar à frente desse futuro?

Eu espero que os maiores riscos de IA nos próximos cinco anos evoluam ao lado dos avanços na autonomia de IA. À medida que os agentes se tornam mais autônomos, integrados a cada operação de negócios e capazes de realizar tarefas complexas, o potencial para violações de segurança e mau uso crescerá. Prevemos o desenvolvimento de uma Internet de Agentes (IoA), na qual os agentes interagem entre si, formando uma teia ainda mais complexa de interações de IA para segurança.

Para ficar à frente, a DeepKeep continuará a evoluir sua plataforma para proteger esses sistemas de IA cada vez mais complexos, garantindo que forneçamos proteção em tempo de execução em múltiplos modelos de IA e apoiemos a tendência crescente de tomada de decisão impulsionada por IA. Nosso objetivo é ser o parceiro de confiança em quem as empresas confiam para proteger todo o seu ecossistema de IA, não importa quão sofisticado ele se torne.

Obrigado pela grande entrevista, leitores que desejam aprender mais devem visitar DeepKeep.