Bo Li, CEO da Virtue AI – Série de Entrevistas

Bo Li, CEO da Virtue AI, é uma pesquisadora e empreendedora de destaque, especializada na segurança de sistemas de inteligência artificial. Ela lidera a Virtue AI e também atua como professora na Universidade de Illinois em Urbana-Champaign, onde sua pesquisa se concentra em segurança de aprendizado de máquina, IA confiável e robustez contra adversários. Sua carreira abrange tanto a academia quanto a indústria, permitindo-lhe traduzir pesquisas avançadas em IA em aplicações práticas que ajudam as organizações a construir tecnologias de IA mais seguras e resilientes.

IA da Virtude é uma empresa focada na proteção e governança de sistemas de IA utilizados em ambientes corporativos. Sua plataforma oferece recursos como testes de intrusão automatizados (red teaming), mecanismos de proteção em tempo real e monitoramento contínuo para identificar vulnerabilidades como injeção imediata, alucinações e vazamento de dados. Ao se integrar diretamente aos fluxos de trabalho de desenvolvimento e implantação de IA, a empresa ajuda as organizações a escalar com segurança o uso de grandes modelos de linguagem e aplicações baseadas em IA, mantendo altos padrões de segurança e governança.

O que o motivou a abandonar uma carreira puramente acadêmica para fundar e liderar a Virtue AI, e qual problema você sentia que a indústria não estava conseguindo resolver em larga escala?

As ferramentas de segurança tradicionais foram criadas para aplicações previsíveis com fluxos de trabalho fixos. Elas nunca foram projetadas para sistemas que raciocinam, se adaptam e agem de forma autônoma. Meus cofundadores e eu percebemos uma lacuna entre o que a pesquisa fundamental em segurança de IA havia produzido e o que as empresas realmente tinham disponível. A pesquisa existia. A realidade da produção, não. Foi isso que nos propusemos a mudar.

A Virtue AI se concentra em segurança, proteção e conformidade para grandes modelos de linguagem e agentes autônomos. Em sua opinião, qual dessas áreas as empresas mais subestimam atualmente?

As empresas compreendem todas essas áreas até certo ponto, especialmente a segurança, mas ainda existe uma grande lacuna.

As empresas começaram a levar a segurança de modelos a sério, pelo menos superficialmente. Mas os agentes são um problema diferente. Eles estão recebendo acesso às partes mais sensíveis da infraestrutura corporativa: executando código, chamando APIs, navegando na web e tomando decisões em cadeia que afetam dados, finanças e operações. A maioria das equipes de segurança não está preparada para lidar com esse tipo de sistema. As ferramentas que possuem não foram desenvolvidas para isso.

O risco não é teórico. Sem segurança especificamente projetada para sistemas com agentes, pequenas falhas se acumulam rapidamente. Uma chamada inesperada de ferramenta, uma instrução ambígua, um aviso que passa despercebido pelas proteções — qualquer um desses eventos pode se transformar em ações não autorizadas ou exposição de dados antes que alguém perceba que algo deu errado.

A realização contínua de testes de intrusão (red teaming) é fundamental para a abordagem da Virtue AI. Que tipos de falhas ou riscos tendem a surgir somente quando os sistemas já estão em produção?

A maioria dos casos graves.

Em um ambiente controlado, você testa o modelo e os agentes. Em produção, você testa o sistema — e são coisas diferentes. Uma vez que um modelo é conectado a ferramentas, pipelines de recuperação, entradas de usuários e outros agentes, o espaço de comportamento se expande de maneiras que os testes de pré-implantação não capturam. Um agente "configurado com segurança" pode se comportar de maneira muito diferente quando conectado a bancos de dados reais, novos servidores MCP ou outros agentes. O sistema se torna não determinístico. Ele começa a tomar decisões com base em um contexto que não existia durante a avaliação.

É aí que você encontra as falhas que realmente importam.

Como você avalia a mensuração da "segurança da IA" na prática, especialmente quando os sistemas evoluem por meio de ajustes, recuperação e uso de ferramentas?

Na prática, a segurança da IA ​​não pode ser medida por meio de um único parâmetro estático, pois os sistemas de IA modernos evoluem continuamente por meio de ajustes, aprimoramento da capacidade de recuperação de dados e interações com ferramentas ou agentes. Em vez disso, a segurança precisa ser avaliada como uma propriedade sistêmica ao longo de todo o ciclo de vida de uma aplicação de IA. Isso inclui testar modelos e agentes sob estresse com diversos ataques de intrusão (red teaming), monitorar comportamentos em tempo real, como prompts, chamadas de ferramentas e ações, e avaliar os resultados em relação às políticas de risco definidas (por exemplo, uso indevido, alucinação, vazamento de privacidade ou ações não autorizadas).

Por exemplo, nosso artigo premiado (Melhor Artigo na Agência de Segurança Nacional e no NeurIPS), Decodificando a ConfiançaA [Nome da Empresa] oferece testes abrangentes de segurança e proteção para modelos fundamentais. Nossa plataforma DecodingTrust-Agent criou um simulador de agentes realista que hospeda diversos ambientes com agentes nativos de Red Teaming para realizar testes dinâmicos, adaptativos e contínuos de Red Teaming.

É importante ressaltar que a medição de segurança deve ser contínua e adaptativa, visto que atualizações em prompts, fontes de recuperação ou ferramentas podem introduzir novas vulnerabilidades. Na prática, isso significa combinar testes de intrusão automatizados, mecanismos de proteção em tempo de execução e observabilidade para medir não apenas as respostas do modelo, mas também a segurança do sistema de IA de ponta a ponta operando no mundo real.

Sua experiência em pesquisa abrange robustez, privacidade e ataques adversários. Qual dessas áreas se mostrou mais difícil de traduzir em defesas práticas?

Traduzir pesquisas sobre robustez, privacidade e ataques adversários em defesas práticas é, na verdade, bastante viável. De fato, muitas das linhas de pesquisa do meu grupo são diretamente inspiradas por desafios práticos de segurança observados em sistemas de IA implantados. A verdadeira dificuldade não reside em construir defesas, mas em fornecer garantias de segurança confiáveis ​​em ambientes dinâmicos do mundo real.

Na pesquisa acadêmica, nosso grupo obteve avanços significativos, como a certificação de robustez e garantias de privacidade, mas esses resultados geralmente dependem de premissas que podem não se sustentar totalmente em sistemas de produção complexos. As aplicações modernas de IA evoluem continuamente por meio de novos dados, ajustes finos, fluxos de recuperação e integrações de ferramentas, o que pode introduzir novas vulnerabilidades ao longo do tempo.

Como resultado, a segurança eficaz da IA ​​não pode depender de proteção pontual — ela exige testes de intrusão contínuos, descoberta de riscos e mecanismos de proteção adaptativos que evoluem juntamente com o sistema. Essa é exatamente a filosofia por trás da Virtue AI: combinar nossa longa trajetória de pesquisa em segurança de IA com testes de intrusão automatizados em larga escala e proteção em tempo real para identificar continuamente riscos emergentes e atualizar as defesas, possibilitando segurança prática e escalável para sistemas de IA do mundo real.

O que torna a segurança de agentes de IA autônomos fundamentalmente diferente da segurança de softwares tradicionais ou mesmo de chatbots?

Os agentes não são programas estáticos. Eles não seguem caminhos previsíveis e não permanecem dentro do perímetro que você definiu para eles durante a implantação.

A segurança tradicional pressupõe caminhos de execução fixos, APIs estáveis ​​e comportamento determinístico. Agentes autônomos violam todas essas premissas. Eles raciocinam sobre o que fazer em seguida, escolhem ferramentas com base no contexto e produzem efeitos em múltiplos sistemas em uma única execução.

Não basta analisar um prompt, reforçar a segurança de um modelo ou monitorar uma única chamada de API e considerar o trabalho concluído. É preciso proteger o agente como um sistema completo — seu raciocínio, o uso de ferramentas, seu ambiente e o que acontece posteriormente.

Esse é o principal problema que os controles de ponto não conseguem resolver. Eles nunca foram projetados para isso.

Onde as ferramentas de segurança existentes falham quando os agentes podem agir em vários sistemas, ferramentas e fontes de dados simultaneamente?

Eles te deixam sem saber como o agente realmente operou de ponta a ponta.

A maioria das ferramentas foi criada para aplicações com parâmetros claros e comportamento estável. Elas podem descrever como foi uma única chamada de API. Mas não podem explicar como um agente, ao realizar cinco chamadas de ferramentas, chegou a um resultado inesperado.

A falta de visibilidade é o problema. Se você não consegue ver toda a cadeia de ações e decisões, não consegue governá-la nem auditá-la posteriormente.

De que forma os mecanismos de proteção em tempo real reduzem o risco em comparação com o monitoramento ou o registro de dados isoladamente?

O registro de logs informa o que deu errado depois que o dano já foi causado. É útil para perícia forense e conformidade, mas não impede que o problema se repita.

Com agentes autônomos, o atraso entre a ação e a detecção pode ser realmente custoso. Um agente que já executou uma chamada de API inválida ou exfiltrou dados não esperou que seu pipeline de registro de logs processasse a informação.

Mecanismos de proteção em tempo real interceptam a ação antes da execução. Se um agente tentar algo fora das políticas, a ação será bloqueada ou sinalizada antes de ser executada, e não depois.

A combinação também importa. A prevenção em tempo real, aliada a um ponto de aplicação único e consistente em todas as interações entre o agente e a ferramenta, representa um perfil de risco diferente do monitoramento passivo de componentes individuais.

A Virtue AI foi fundada por pesquisadores com profundo conhecimento técnico. Como isso influencia as decisões de produto em comparação com startups de IA mais voltadas para o mercado?

A segurança e a governança da IA ​​são, fundamentalmente, um problema técnico complexo. Os sistemas que protegemos — como grandes modelos de linguagem, modelos multimodais e sistemas de agentes — são construídos com base em pesquisas avançadas. Sem uma sólida base de conhecimento em IA, é praticamente impossível projetar soluções de segurança eficazes para eles.

Em muitos casos, o maior desafio na segurança da IA ​​surge quando um algoritmo avançado de teste de intrusão identifica vulnerabilidades em agentes de IA em um artigo científico — como traduzir essa informação em uma defesa de nível de produção que possa proteger sistemas reais em grande escala de forma confiável? Na Virtue AI, preencher essa lacuna entre pesquisa e implementação é fundamental para a nossa forma de operar e para a nossa experiência.

Como a Virtue AI foi fundada por pesquisadores que dedicaram décadas ao estudo da robustez da IA, do aprendizado adversarial e da IA ​​confiável, nossas equipes de pesquisa e engenharia trabalham simultaneamente nos mesmos problemas. Nossos pesquisadores estudam continuamente arquiteturas de modelos emergentes, novos fluxos de trabalho de agentes e técnicas de ataque em evolução, enquanto nossas equipes de engenharia integram esses conhecimentos diretamente em sistemas de produção.

Quando identificamos uma nova vulnerabilidade — como um novo padrão de injeção de prompts ou uma estratégia de manipulação de agentes — ela pode ser rapidamente traduzida em novos modelos de detecção, mecanismos de proteção ou estratégias de teste de intrusão. Isso acontece continuamente, não apenas em um planejamento trimestral de produto.

Como resultado, nossos produtos permanecem de ponta e prontos para uso corporativo, ajudando as organizações a proteger seus sistemas de IA durante a construção e implementação. Muitos de nossos clientes nos dizem que essa abordagem baseada em pesquisa é exatamente o que lhes permite avançar mais rapidamente, mantendo a segurança e a conformidade.

Em contraste, equipes puramente orientadas para o mercado geralmente otimizam suas funcionalidades com base no que os clientes solicitam hoje, o que pode levar a recursos incrementais, mas pode ficar para trás em relação ao cenário de ameaças em rápida evolução dos sistemas de IA. Em segurança de IA, as ameaças evoluem tão rapidamente quanto a própria tecnologia. Uma base sólida em pesquisa nos permite antecipar novos riscos e construir defesas antes que se tornem problemas generalizados.

Qual é a ideia errada mais comum que as empresas têm sobre segurança de IA quando entram em contato com a Virtue AI pela primeira vez?

Um dos equívocos mais comuns que as empresas têm ao entrar em contato com a Virtue AI pela primeira vez é que a segurança da IA ​​pode ser resolvida simplesmente aplicando ferramentas tradicionais de cibersegurança ou filtros básicos de moderação de conteúdo.

Na realidade, os sistemas de IA introduzem superfícies de ameaça completamente novas, como injeção imediata, desbloqueios (jailbreaks), uso indevido impulsionado por alucinações, vazamento de dados por meio de sistemas de recuperação e manipulação de agentes por meio de ferramentas ou APIs externas. Esses riscos emergem do comportamento e do raciocínio do próprio modelo, e não apenas da infraestrutura circundante.

Consequentemente, a proteção de sistemas de IA exige mecanismos de segurança que compreendam o modelo de IA e as entradas, saídas e processos de decisão dos agentes ao longo de todo o ciclo de vida de uma aplicação de IA, o que requer capacidades fundamentais de pesquisa em IA.

É por isso que enfatizamos a segurança nativa da IA: combinando testes automatizados de intrusão para descobrir vulnerabilidades, mecanismos de proteção em tempo real para aplicar políticas e observabilidade em nível de sistema para monitorar solicitações, chamadas de ferramentas e ações do agente.

Quando as empresas percebem como os riscos da IA ​​são diferentes dos riscos de software tradicionais, elas rapidamente entendem que proteger a IA exige uma estrutura de segurança fundamentalmente nova.

Por fim, o que significa para você, na prática, "implantação responsável de IA" — não na teoria, mas dentro de uma empresa que já comercializa produtos?

Mais rapidez e mais segurança não são conceitos opostos, embora a maioria das empresas os trate dessa forma. A premissa é que segurança rigorosa atrasa o processo — mais ciclos de revisão, mais etapas de controle, mais atrito antes do lançamento do produto.

Na prática, as empresas que implementam agentes com confiança são aquelas que incorporam a segurança ao processo, em vez de adicioná-la posteriormente: testes de intrusão automatizados antes da implementação, controles em tempo real após a ativação do agente e visibilidade centralizada em todo o ciclo de vida do agente.

Isso não é um exercício de conformidade. É o que realmente permite agir com rapidez, porque você não descobre em produção o que deveria ter detectado antes.

Implantação responsável, em termos concretos, significa que você sabe o que seus agentes podem fazer, pode ver o que eles estão fazendo e pode impedi-los quando algo der errado.

O desenvolvimento responsável de IA permite a implantação contínua e em larga escala de sistemas de IA com confiança, em vez de desacelerar a inovação em IA.

Obrigado pela ótima entrevista, os leitores que desejam saber mais devem visitar IA da Virtude.