Bo Li, CEO, Virtue AI – Série de Entrevistas

Bo Li, CEO da Virtue AI, é uma pesquisadora proeminente e empreendedora especializada na segurança e segurança dos sistemas de inteligência artificial. Ela lidera a Virtue AI enquanto também atua como professora na Universidade de Illinois Urbana-Champaign, onde sua pesquisa se concentra na segurança do aprendizado de máquina, confiabilidade da IA e robustez adversária. Sua carreira abrange tanto a academia quanto a indústria, permitindo que ela traduza pesquisas avançadas de IA em aplicações práticas que ajudam as organizações a construir tecnologias de IA mais seguras e resilientes.

Virtue AI é uma empresa focada em proteger e governar sistemas de IA usados em ambientes empresariais. Sua plataforma fornece capacidades como red team automática, guardrails em tempo real e monitoramento contínuo para identificar vulnerabilidades como injeção de prompts, alucinações e vazamento de dados. Ao integrar-se diretamente nos fluxos de trabalho de desenvolvimento e implantação de IA, a empresa ajuda as organizações a escalonar com segurança o uso de modelos de linguagem grande e aplicações alimentadas por IA, mantendo padrões de segurança e governança sólidos.

O que o motivou a mudar de uma carreira puramente acadêmica para fundar e liderar a Virtue AI, e qual problema você sentiu que a indústria não estava abordando em escala?

Ferramentas de segurança tradicionais foram construídas para aplicações previsíveis com caminhos fixos. Elas nunca foram projetadas para sistemas que raciocinam, adaptam e agem autonomamente. Meus co-fundadores e eu vimos uma lacuna entre o que a pesquisa fundamental de segurança de IA havia produzido e o que as empresas realmente tinham disponível para elas. A pesquisa existia. A realidade de produção não.

A Virtue AI se concentra em segurança, segurança e conformidade para modelos de linguagem grande e agentes autônomos. Qual dessas áreas você acredita que as empresas subestimam mais hoje?

As empresas entendem todas essas áreas em algum nível, especialmente a segurança, mas ainda há uma grande lacuna.

As empresas começaram a levar a segurança do modelo a sério, pelo menos na superfície. Mas os agentes são um problema diferente. Eles estão recebendo acesso às partes mais sensíveis da infraestrutura empresarial: executando código, chamando APIs, navegando na web e tomando decisões encadeadas que afetam dados, finanças e operações. A maioria das equipes de segurança não está preparada para raciocinar sobre esse tipo de sistema. As ferramentas que elas têm não foram construídas para isso.

O risco não é teórico. Sem segurança construída especificamente para sistemas agênticos, pequenas falhas se multiplicam rapidamente. Uma chamada de ferramenta inesperada, uma instrução ambígua, um prompt que escapa das guardrails — qualquer uma delas pode se tornar uma ação não autorizada ou exposição de dados antes que alguém perceba que algo deu errado.

A red team contínua é central para a abordagem da Virtue AI. Quais tipos de falhas ou riscos tendem a surgir apenas quando os sistemas estão ao vivo em produção?

A maioria dos sérios.

Em um ambiente controlado, você está testando o modelo e os agentes. Em produção, você está testando o sistema — e essas são coisas diferentes. Uma vez que um modelo está conectado a ferramentas, pipelines de recuperação, entradas de usuário e outros agentes, o espaço de comportamento se expande de maneiras que o teste pré-implantação não captura. Um agente “configurado com segurança” pode agir muito diferente quando está conectado a bancos de dados reais, novos servidores MCP ou outros agentes. O sistema se torna não determinístico. Ele começa a tomar decisões com base em contexto que não existia durante a avaliação.

É aí que você encontra as falhas que realmente importam.

Como você pensa sobre medir a “segurança da IA” na prática, especialmente quando os sistemas evoluem por meio de fine-tuning, recuperação e uso de ferramentas?

Na prática, a segurança da IA não pode ser medida por meio de um único benchmark estático porque os sistemas de IA modernos continuam evoluindo por meio de fine-tuning, recuperação e interações de ferramentas ou agentes. Em vez disso, a segurança precisa ser avaliada como uma propriedade do sistema em todo o ciclo de vida de uma aplicação de IA. Isso inclui testar modelos e agentes com ataques de red team diversificados, monitorar comportamentos em tempo real, como prompts, chamadas de ferramentas e ações, e avaliar resultados contra políticas de risco definidas (por exemplo, mau uso, alucinação, vazamento de dados ou ações não autorizadas).

Por exemplo, nosso artigo premiado (Melhor Artigo na Agência de Segurança Nacional e NeurIPS), DecodingTrust, forneceu testes de segurança e segurança abrangentes para modelos fundamentais. Nossa plataforma DecodingTrust-Agent construiu um simulador de agente realista que hospeda ambientes diversificados com agentes de red team nativos para realizar testes de red team dinâmicos, adaptativos e contínuos.

Importante notar que a medição da segurança deve ser contínua e adaptativa, pois atualizações de prompts, fontes de recuperação ou ferramentas podem introduzir novas vulnerabilidades. Na prática, isso significa combinar red team automática, guardrails em tempo real e observabilidade para medir não apenas respostas do modelo, mas a segurança do sistema de IA de ponta a ponta operando no mundo real.

Sua pesquisa abrange robustez, privacidade e ataques adversários. Qual dessas áreas provou ser a mais difícil de traduzir em defesas do mundo real?

Traduzir pesquisas em robustez, privacidade e ataques adversários em defesas do mundo real é, na verdade, muito viável. Muitas das direções de pesquisa no meu grupo são diretamente inspiradas por desafios de segurança práticos observados em sistemas de IA implantados. A dificuldade real não está em construir defesas, mas em fornecer garantias de segurança confiáveis em ambientes dinâmicos e reais.

Em pesquisa acadêmica, nosso grupo fez avanços significativos, como robustez certificada e garantias de privacidade, mas esses resultados geralmente dependem de suposições que podem não se sustentar completamente em sistemas de produção complexos. As aplicações de IA modernas continuam evoluindo por meio de novos dados, fine-tuning, pipelines de recuperação e integrações de ferramentas, o que pode introduzir novas vulnerabilidades ao longo do tempo.

Como resultado, a segurança eficaz da IA não pode depender de proteção única — ela requer red team contínua, descoberta de riscos e guardrails adaptativos que evoluam junto com o sistema. É exatamente a filosofia por trás da Virtue AI: combinar nossa longa experiência em segurança de IA com red team automática e proteção em tempo real para identificar continuamente riscos emergentes e atualizar defesas, permitindo segurança prática e escalável para sistemas de IA do mundo real.

O que torna a segurança de agentes autônomos de IA fundamentalmente diferente da segurança de software tradicional ou até mesmo de chatbots?

Os agentes não são programas estáticos. Eles não seguem caminhos previsíveis e não permanecem dentro do perímetro que você desenhou para eles no momento do deploy.

A segurança tradicional assume caminhos de execução fixos, APIs estáveis e comportamento determinístico. Os agentes autônomos violam todas essas suposições. Eles raciocinam sobre o que fazer em seguida, escolhem ferramentas com base no contexto e produzem efeitos em vários sistemas em uma única execução.

Você não pode simplesmente escanear um prompt, endurecer um modelo ou monitorar uma única chamada de API e considerar o trabalho feito. Você precisa segurar o agente como um sistema completo — seu raciocínio, seu uso de ferramentas, seu ambiente e o que acontece downstream.

Esse é o ponto central do problema que os controles não podem resolver. Eles nunca foram projetados para isso.

Onde as ferramentas de segurança existentes falham quando os agentes podem agir em muitos sistemas, ferramentas e fontes de dados ao mesmo tempo?

Elas o deixam cego para como o agente realmente operou de ponta a ponta.

A maioria das ferramentas foi construída para aplicações com perímetros claros e comportamento estável. Elas podem dizer a você como uma única chamada de API parecia. Elas não podem dizer a você como um agente raciocinou seu caminho por meio de cinco chamadas de ferramentas para produzir um resultado que ninguém pretendia.

A lacuna de visibilidade é o problema. Se você não pode ver a cadeia completa de ações e decisões, você não pode governá-la e não pode auditá-la após o fato.

Como as guardrails em tempo real reduzem o risco em comparação com o monitoramento ou logging sozinho?

O logging diz a você o que deu errado após o dano estar feito. É útil para forenses e conformidade, mas não para parar nada.

Com agentes autônomos, o atraso entre ação e detecção pode ser genuinamente custoso. Um agente que já executou uma chamada de API ruim ou exfiltrou dados não esperou pela sua pipeline de logging para acompanhar.

As guardrails em tempo real interceptam a ação antes da execução. Se um agente tentar algo fora da política, ele é bloqueado ou marcado antes de ser executado, não depois.

A combinação também importa. Prevenção em tempo real mais um ponto de aplicação consistente em todas as interações entre agente e ferramenta é um perfil de risco diferente do monitoramento passivo de componentes individuais.

A Virtue AI foi fundada por pesquisadores profundamente técnicos. Como isso molda as decisões de produto em comparação com startups de IA mais comercialmente impulsionadas?

A segurança e governança da IA são fundamentalmente um problema técnico profundo. Os sistemas que estamos protegendo — como modelos de linguagem grande, modelos multimodais e sistemas agênticos — são construídos sobre pesquisas avançadas. Sem forte expertise em IA fundamental, é quase impossível projetar soluções de segurança eficazes para eles.

Em muitos casos, o maior desafio na segurança da IA é quando um algoritmo de red team avançado identifica vulnerabilidades de agentes de IA em um artigo de pesquisa — como você traduz essa percepção em uma defesa de produção que possa proteger confiavelmente sistemas reais em escala? Na Virtue AI, fechar essa lacuna entre pesquisa e implantação é central para como operamos e o que temos experiência.

Porque a Virtue AI foi fundada por pesquisadores que passaram décadas trabalhando em robustez de IA, aprendizado adversário e IA confiável, nossas equipes de pesquisa e engenharia trabalham nos mesmos problemas simultaneamente. Nossos pesquisadores estudam continuamente arquiteturas de modelo emergentes, fluxos de trabalho de agente e técnicas de ataque em evolução, enquanto nossas equipes de engenharia integram essas percepções diretamente em sistemas de produção.

Quando identificamos uma nova vulnerabilidade — como um padrão de injeção de prompt novo ou estratégia de manipulação de agente — ela pode ser rapidamente traduzida em modelos de detecção novos, guardrails ou estratégias de red team. Isso acontece continuamente, não apenas em uma estrada de produto trimestral.

Como resultado, nossos produtos permanecem tanto de ponta quanto prontos para empresas, ajudando as organizações a proteger seus sistemas de IA à medida que os constroem e os implantam. Muitos de nossos clientes nos dizem que essa abordagem baseada em pesquisa é exatamente o que os permite se mover mais rápido enquanto mantém segurança e conformidade.

Em contraste, equipes puramente impulsionadas comercialmente muitas vezes otimizam o que os clientes estão pedindo hoje, o que pode levar a recursos incrementais, mas pode ficar atrás do cenário de ameaças em rápida evolução dos sistemas de IA. Na segurança da IA, as ameaças evoluem tão rapidamente quanto a própria tecnologia. Uma fundação baseada em pesquisa permite que antecipemos novos riscos mais cedo e construamos defesas antes que se tornem problemas generalizados.

Qual é o mal-entendido mais comum que as empresas têm sobre a segurança da IA quando elas primeiro vêm para a Virtue AI?

Um dos mal-entendidos mais comuns que as empresas têm quando elas primeiro vêm para a Virtue AI é que a segurança da IA pode ser abordada simplesmente aplicando ferramentas de segurança tradicionais ou filtros básicos de moderação de conteúdo.

Na realidade, os sistemas de IA introduzem novas superfícies de ameaça, como injeção de prompts, jailbreaks, mau uso impulsionado por alucinações, vazamento de dados por meio de sistemas de recuperação e manipulação de agente por meio de ferramentas ou APIs externas. Esses riscos emergem do comportamento e do raciocínio do modelo em si, não apenas da infraestrutura circundante.

Como resultado, proteger sistemas de IA requer mecanismos de segurança que entendam as entradas, saídas e processos de decisão do modelo e dos agentes ao longo de todo o ciclo de vida de uma aplicação de IA, o que requer capacidades de pesquisa de IA fundamentais.

É por isso que enfatizamos a segurança nativa da IA: combinando red team automática para descobrir vulnerabilidades, guardrails em tempo real para aplicar políticas e observabilidade de sistema para monitorar prompts, chamadas de ferramentas e ações de agente.

Uma vez que as empresas veem como diferentes os riscos da IA são em relação aos riscos de software tradicionais, elas rapidamente percebem que proteger a IA requer uma pilha de segurança fundamentalmente nova.

Finalmente, o que “implantação responsável de IA” significa para você na prática — não na teoria, mas dentro de uma empresa que está enviando produtos hoje?

Mais rápido e mais seguro não são opostos, embora a maioria das empresas os trate dessa forma. A suposição é que a segurança séria desacelera — mais ciclos de revisão, mais gates, mais fricção antes que algo seja enviado.

Na prática, as empresas que implantam agentes com confiança são aquelas que constroem segurança no processo, em vez de acrescentá-la no final: red team automática antes do deploy, controles em tempo real uma vez que o agente esteja ao vivo e visibilidade centralizada em todo o ciclo de vida do agente.

Isso não é um exercício de conformidade. É o que realmente permite que você se mova rápido, porque você não está descobrindo em produção o que você deveria ter capturado anteriormente.

Implantação responsável, em termos concretos, significa que você sabe o que seus agentes podem fazer, você pode ver o que eles estão fazendo e você pode pará-los quando algo dá errado.

O desenvolvimento de IA responsável permite a implantação contínua e em grande escala de sistemas de IA com confiança, em vez de desacelerar a inovação da IA.

Obrigado pela grande entrevista, leitores que desejam aprender mais devem visitar Virtue AI.