Vin Sharma, cofundador e CEO da Vijil – Série de entrevistas

Vin Sharma é cofundador e CEO da Vijil e traz mais de 30 anos de experiência em cibersegurança, código aberto, computação em nuvem e infraestrutura de IA. Antes de fundar a empresa, liderou trabalhos de engenharia de aprendizado profundo na AWS para o Amazon SageMaker e o Amazon Bedrock, desenvolveu infraestrutura de data centers na Intel e ocupou cargos nas áreas de produto e engenharia na Hewlett-Packard. Sua carreira começou com testes automatizados de equipes vermelhas em sistemas UNIX confiáveis, experiência que fundamenta seu foco em tornar os agentes de IA corporativos confiáveis, seguros e protegidos.

A Vijil oferece infraestrutura de confiança para agentes de IA corporativos, ajudando organizações a avaliar seu comportamento, aplicar controles e aumentar a resiliência ao longo de todo o ciclo de vida dos agentes. Sua abordagem combina testes, segurança e feedback contínuo para alinhar o comportamento dos agentes à finalidade pretendida e às políticas de cada organização. Nesta entrevista, Sharma fala sobre como definir e medir a confiança, por que os testes de agentes diferem da segurança de software convencional e qual supervisão as empresas precisam à medida que os agentes ganham autonomia.

Você passou mais de 30 anos trabalhando em empresas como AWS, Intel e Hewlett-Packard antes de fundar a Vijil. O que acabou convencendo você de que a confiança e a segurança em IA eram um problema não resolvido grande o suficiente para justificar a criação de uma empresa?

Antes de ingressar em uma startup de segurança, há 30 anos, eu fazia pós-graduação, estudando IA e aprendizado de máquina. Desde então, trabalhei em equipes de produto que incorporaram segurança de nível militar a sistemas operacionais baseados em Unix e Linux, criaram servidores web seguros para operações bancárias on-line, desenvolveram ambientes de execução confiáveis para computação em nuvem e integraram criptografia a plataformas de análise de dados. Mais recentemente, completei um ciclo e voltei a desenvolver serviços de IA e aprendizado de máquina prontos para empresas na AWS. Essa trajetória me convenceu de que incorporar confiança a um sistema inteligente é mais desafiador do que construir o próprio sistema inteligente. Embora o setor de IA pareça, em geral, empenhado em aumentar a capacidade dos agentes, acredito que precisamos investir tantos recursos na criação de mecanismos escaláveis de supervisão e controle para eles. Sem métricas e mecanismos adaptados às necessidades de cada organização, a onda inicial de adoção entusiasmada acabará encalhando nos bancos de areia do risco e do retorno sobre o investimento, pois as empresas não conseguirão provar que seus agentes estão agindo em seu melhor interesse.

A Vijil parte da ideia de que muitos agentes de IA nunca chegam à produção porque as empresas não conseguem verificar adequadamente sua confiabilidade, segurança e proteção. Onde você percebe as maiores lacunas de confiança à medida que as empresas passam dos protótipos de IA para implantações em produção?

O que limita a implantação de um número cada vez maior de agentes com autonomia crescente é a capacidade das organizações de especificar o comportamento pretendido para eles e verificar se estão se comportando conforme o esperado. E não basta isso: elas precisam conseguir fazê-lo na escala e na velocidade em que os agentes operam. É razoável concluir que precisamos de uma maneira para que os agentes meçam e modifiquem o comportamento de outros agentes. Duas das maiores lacunas são saber o que medir (o que significa um bom desempenho no caso dos agentes) e saber o que modificar (quais componentes do sistema do agente ajustar para provocar o comportamento pretendido por seu responsável: o modelo e seus parâmetros, a instrução de sistema, as instruções do usuário, a estrutura do agente ou o grafo de sistemas multiagentes).

Como a Vijil define e mede a “confiança” em um agente de IA, e quais sinais ou parâmetros de referência são mais importantes para determinar se ele está pronto para operar em um ambiente corporativo?

Definimos confiança como o benefício esperado de delegar tarefas a um agente autônomo, descontado o risco de ele trair nossa intenção. Isso significa que podemos confiar em um agente se ele se comportar corretamente em condições normais, ruidosas e hostis e, quando falhar, minimizar o impacto dos danos. Assim, podemos medir a confiança com base em três pilares: confiabilidade, segurança e proteção. Os agentes são confiáveis quando têm o desempenho esperado em condições diversas; são seguros quando têm o desempenho esperado em condições hostis; e são protegidos quando conseguem minimizar riscos empresariais, jurídicos e técnicos.

Os agentes de IA podem se comportar de maneira imprevisível porque combinam modelos, ferramentas, fontes de dados, memória e sistemas externos. Em que os testes de um agente diferem dos testes tradicionais de segurança de aplicações ou da avaliação convencional de modelos?

As formas como o software tradicional falha já são bem compreendidas: em termos gerais, incluem a incapacidade de lidar com entradas malformadas, falhas na lógica e no projeto do sistema, erros de implementação, vulnerabilidades ocultas a ataques e efeitos colaterais não intencionais das saídas. É possível prever adequadamente os resultados dos testes voltados a essas falhas. Os agentes ampliam enormemente a superfície de falha, a ponto de ela ficar categoricamente fora do alcance da avaliação de modelos, dos testes unitários, dos testes de integração, dos testes de segurança de aplicações, dos testes de invasão e das verificações de conformidade. Para testar essa nova superfície de risco dos agentes, precisamos de métricas e mecanismos que avaliem o comportamento do agente em relação à finalidade especificada por seu responsável, às características de seus usuários e às políticas da organização, do setor e da região em que opera.

Sua trajetória inclui liderar iniciativas de engenharia de aprendizagem profunda para o Amazon SageMaker e o Amazon Bedrock. Que lições aprendidas ao criar infraestrutura de IA na AWS mais influenciaram a forma como você aborda a segurança e a confiabilidade de agentes na Vijil?

A percepção que mais me marcou foi que identificar falhas de confiabilidade, segurança e conformidade nos serviços no início do ciclo de desenvolvimento era muito mais eficaz e eficiente do que encontrá-las às vésperas do lançamento, como era tradicional, ou, pior ainda, depois que o serviço entrava em produção — o que significava acordar com telefonemas avisando que um serviço estava falhando.

A Vijil se concentra não apenas em testar agentes antes da implantação, mas também em protegê-los e aprimorá-los continuamente em produção. Que tipos de risco só se tornam visíveis quando um agente começa a interagir com usuários, dados e sistemas corporativos reais?

O mundo real tem uma capacidade infinita de nos surpreender. E um agente surpreendido está sujeito a cometer erros. Ninguém se preocupa com um agente que comete um erro ao gerar um meme. Já um agente projetado para auxiliar ou substituir um consultor financeiro, um paralegal, um advogado, um enfermeiro, um médico, um paciente ou qualquer profissional de um setor que precise comprovar comportamento fiduciário não pode funcionar sem que seus limites de tolerância sejam definidos com rigor, monitorados cuidadosamente e seu comportamento seja restabelecido rapidamente.

À medida que as empresas implantam agentes cada vez mais autônomos, capazes de executar ações em vez de apenas gerar respostas, como o modelo de segurança precisa evoluir? Conceitos tradicionais como permissões, identidade e controle de acesso são suficientes?

Não. À medida que os agentes passam a atuar nas organizações, é preciso atribuir a eles identidades exclusivas que possam ser verificadas; definir funções que vinculem seu comportamento e seus componentes funcionais (ferramentas com permissões de acesso a recursos) a políticas obrigatórias de controle de acesso; monitorá-los continuamente para detectar desvios da finalidade pretendida; e orientá-los para que permaneçam resilientes diante de ataques.

A Vijil passou de uma rodada Seed de US$ 6 milhões para uma Série A de US$ 17 milhões, enquanto formava uma equipe fundadora de cerca de 20 pessoas e alcançava seu primeiro US$ 1 milhão em receita recorrente anual. Quais foram as decisões mais importantes que permitiram transformar um conceito técnico inicial em adoção comercial?

Desde o início, optamos por criar uma camada de confiança que se integra à plataforma escolhida pelo cliente, mas previmos que as empresas buscariam cada vez mais personalização, controle mais granular e custos menores para sistemas multiagentes que usam modelos abertos. A estratégia de longo prazo de construir uma camada de plataforma, em vez de um produto isolado, nos proporciona vantagens competitivas, mas também cria desafios: encontrar empresas prontas para governar agentes em escala não é tão simples quanto vender um serviço de migração direta.

Você começou sua carreira desenvolvendo testes automatizados de equipe vermelha para sistemas UNIX confiáveis em 1995. Quase três décadas depois, como mudaram os princípios dos testes de equipe vermelha quando o sistema avaliado é um agente de IA capaz de raciocinar, adaptar-se e usar ferramentas externas?

Historicamente, testes de equipe vermelha significavam avaliar as defesas de uma organização contra um ataque coordenado. Os princípios gerais continuam válidos. Ainda precisamos coordenar ataques em condições controladas para investigar as vulnerabilidades da organização avaliada. No entanto, a fase histórica intermediária, em que os exercícios de equipe vermelha eram roteirizados para testar sistemas de software, já não é adequada, porque os agentes de IA não são como softwares determinísticos: eles são projetados para se adaptar ao ambiente, de modo que o mesmo ataque não possa ser repetido de forma previsível. Defendo que os agentes sejam tratados como empresas. Assim, os testes de equipe vermelha de agentes precisam necessariamente adaptar-se à finalidade do agente, investigar seus desvios em relação às intenções de seus usuários e avaliar sua disposição e capacidade de contornar as políticas do ambiente em que opera.

Olhando para o futuro, você espera que testes independentes e padrões mensuráveis de confiança para agentes de IA se tornem pré-requisitos para a implantação empresarial? O que precisa acontecer em todo o setor para que esse nível de garantia se torne prática padrão?

Hoje, os desenvolvedores avaliam a capacidade dos agentes, as equipes vermelhas testam sua resistência a injeções de prompt e a tentativas de contornar as proteções, e as equipes de governança, risco e conformidade estão apenas começando a verificar se eles cumprem as regulamentações. Pouquíssimas organizações instituem um regime de verificação comportamental que funcione continuamente em segundo plano ao longo de todo o ciclo de vida do agente, enquanto modelos, ferramentas, recursos, fluxos de trabalho e o ambiente-alvo mudam. Mais importante ainda, a Vijil ajuda as empresas de maneira singular ao rastrear o comportamento real do agente em produção até sua especificação, em um ciclo de feedback que aprimora continuamente o agente. Os agentes que resistem a ataques são aqueles que se adaptam para continuar resilientes.

Obrigado pela ótima entrevista. Os leitores que quiserem saber mais sobre como testar, proteger e aprimorar continuamente agentes de IA empresariais devem acessar Vijil.