Rebecca Qian, Co-Fundadora e CTO da Patronus AI – Série de Entrevistas

Rebecca Qian é a Co-Fundadora e CTO da Patronus AI, com quase uma década de experiência em construir sistemas de aprendizado de máquina de produção na interseção de NLP, AI incorporada e infraestrutura. Na Facebook AI, ela trabalhou em pesquisa e implantação, treinando o FairBERTa, um grande modelo de linguagem projetado com objetivos de justiça, desenvolvendo um modelo de perturbação demográfica para reescrever o conteúdo da Wikipedia e liderando a análise semântica para assistentes robóticos. Ela também construiu pipelines de humanos no loop para agentes incorporados e criou ferramentas de infraestrutura, como a Mineração de Conjuntos de Contraste Contínuo, que foi adotada em todas as equipes de infraestrutura da Facebook e apresentada no ICSE. Ela contribuiu para projetos de código aberto, incluindo FacebookResearch/fairo e os notebooks de análise semântica Droidlet. Como fundadora, ela agora se concentra em supervisão escalável, aprendizado por reforço e implantação de agentes de AI seguros e conscientes do ambiente.

Patronus AI é uma empresa com sede em San Francisco que fornece uma plataforma de pesquisa para avaliar, monitorar e otimizar grandes modelos de linguagem (LLM) e agentes de AI para ajudar os desenvolvedores a criar produtos de AI gerativos confiáveis. A plataforma oferece ferramentas de avaliação automatizadas, benchmarking, análise, conjuntos de dados personalizados e ambientes específicos de agente que identificam problemas de desempenho, como alucinações, riscos de segurança ou falhas lógicas, permitindo que as equipes melhorem e resolvam problemas nos sistemas de AI em casos de uso do mundo real. A Patronus atende a clientes empresariais e parceiros tecnológicos, capacitando-os a avaliar o comportamento do modelo, detectar erros em escala e melhorar a confiabilidade e o desempenho em aplicações de AI de produção.

Você tem um histórico profundo em construir sistemas de ML na Facebook AI, incluindo trabalhos no FairBERTa e pipelines de humanos no loop. Como essa experiência moldou sua perspectiva sobre a implantação e segurança de AI no mundo real?

Trabalhar na Meta AI me fez focar no que é necessário para tornar os modelos confiáveis na prática — especialmente em torno de NLP responsável. Eu trabalhei em modelagem de linguagem com objetivos de justiça, como treinar LLMs com objetivos de justiça, e vi de perto como é difícil avaliar e interpretar as saídas do modelo. Isso moldou como eu penso sobre segurança. Se você não pode medir e entender o comportamento do modelo, é difícil implantar AI com confiança no mundo real.

O que a motivou a mudar de engenharia de pesquisa para empreendedorismo, co-fundando a Patronus AI, e qual problema parecia mais urgente para resolver na época?

A avaliação se tornou um bloqueio na AI na época. Eu deixei a Meta AI em abril para começar a Patronus com Anand porque eu havia visto de perto como é difícil avaliar e interpretar a saída de AI. E uma vez que a AI gerativa começou a se mover para fluxos de trabalho empresariais, ficou claro que isso não era mais apenas um problema de laboratório. 

Nós continuamos ouvindo a mesma coisa das empresas. Eles queriam adotar LLMs, mas não podiam testá-los de forma confiável, monitorá-los ou entender modos de falha, como alucinações, especialmente em indústrias regulamentadas onde há muito pouca tolerância para erros. 

Então, o problema urgente no início era construir uma forma de automatizar e dimensionar a avaliação do modelo — avaliando modelos em cenários do mundo real, gerando casos de teste adversários e benchmarking — para que as equipes pudessem implantar com confiança em vez de adivinhação

A Patronus recentemente introduziu simulações gerativas como ambientes adaptativos para agentes de AI. Quais limitações nas abordagens de avaliação ou treinamento existentes a levaram a essa direção?

Nós continuamos vendo uma disparidade crescente entre como os agentes de AI são avaliados e como são esperados para se sair no mundo real. Os benchmarks tradicionais medem capacidades isoladas em um ponto fixo no tempo, mas o trabalho real é dinâmico. Tarefas são interrompidas, requisitos mudam durante a execução e decisões se somam ao longo de horizontes longos. Os agentes podem parecer fortes em testes estáticos e ainda falhar mal uma vez implantados. À medida que os agentes melhoram, eles também saturam benchmarks fixos, o que causa um platô no aprendizado. As simulações gerativas surgiram como uma forma de substituir testes estáticos por ambientes vivos que se adaptam à medida que o agente aprende.

Como você vê as simulações gerativas mudando a forma como os agentes de AI são treinados e avaliados em comparação com benchmarks estáticos ou conjuntos de dados fixos?

A mudança é que os benchmarks param de ser testes e começam a ser ambientes. Em vez de apresentar um conjunto fixo de perguntas, o simulador gera a tarefa, as condições circundantes e a lógica de avaliação em tempo real. À medida que o agente se comporta e melhora, o ambiente se adapta. Isso colapsa a fronteira tradicional entre treinamento e avaliação. Você não está mais perguntando se um agente passa em um benchmark, mas se ele pode operar de forma confiável ao longo do tempo em um sistema dinâmico.

Do ponto de vista técnico, quais são as ideias arquiteturais centrais por trás das simulações gerativas, particularmente em torno da geração de tarefas, dinâmica do ambiente e estruturas de recompensa?

Em alto nível, as simulações gerativas combinam aprendizado por reforço com geração de ambiente adaptativa. O simulador pode criar novas tarefas, atualizar as regras do mundo dinamicamente e avaliar as ações do agente em tempo real. Um componente-chave é o que chamamos de ajustador de currículo, que analisa o comportamento do agente e modifica a dificuldade e a estrutura dos cenários para manter o aprendizado produtivo. As estruturas de recompensa são projetadas para ser verificáveis e específicas do domínio, para que os agentes sejam orientados para o comportamento correto em vez de atalhos superficiais.

À medida que o espaço de avaliação e ferramentas de agente de AI se torna mais congestionado, o que mais claramente diferencia a abordagem da Patronus?

Nosso foco está na validade ecológica. Nós projetamos ambientes que espelham fluxos de trabalho humanos reais, incluindo interrupções, switches de contexto, uso de ferramentas e raciocínio multi-etapas. Em vez de otimizar os agentes para se saírem bem em testes pré-definidos, estamos focados em expor os tipos de falhas que importam na produção. O simulador avalia o comportamento ao longo do tempo, não apenas as saídas em isolamento.

Quais tipos de tarefas ou modos de falha se beneficiam mais da avaliação baseada em simulador em comparação com testes convencionais?

As tarefas de longo horizonte e multi-etapas se beneficiam mais. Mesmo taxas de erro pequenas por etapa podem se somar em taxas de falha significativas em tarefas complexas, o que os benchmarks estáticos falham em capturar. A avaliação baseada em simulador torna possível superfície de falhas relacionadas a permanecer no caminho ao longo do tempo, lidar com interrupções, coordenar o uso de ferramentas e adaptar-se quando as condições mudam durante a tarefa.

Como a aprendizagem baseada em ambiente muda a forma como você pensa sobre a segurança de AI, e as simulações gerativas introduzem novos riscos, como hacking de recompensa ou modos de falha emergentes?

A aprendizagem baseada em ambiente na verdade torna muitos problemas de segurança mais fáceis de detectar. O hacking de recompensa tende a prosperar em ambientes estáticos onde os agentes podem explorar lacunas fixas. Nas simulações gerativas, o ambiente em si é um alvo móvel, o que torna esses atalhos mais difíceis de sustentar. Dito isso, um design cuidadoso ainda é necessário em torno de recompensas e supervisão. A vantagem dos ambientes é que eles dão a você muito mais controle e visibilidade sobre o comportamento do agente do que os benchmarks estáticos jamais poderiam.

Olhando cinco anos à frente, onde você vê a Patronus AI em termos de ambição técnica e impacto na indústria?

Nós acreditamos que os ambientes estão se tornando infraestrutura fundamental para AI. À medida que os agentes mudam de responder a perguntas para fazer trabalho real, os ambientes onde eles aprendem moldarão como capazes e confiáveis eles se tornarão. Nossa ambição de longo prazo é transformar fluxos de trabalho do mundo real em ambientes estruturados que os agentes possam aprender continuamente. A separação tradicional entre avaliação e treinamento está se desfazendo, e achamos que essa mudança definirá a próxima onda de sistemas de AI.

Obrigado pela grande entrevista, leitores que desejam aprender mais devem visitar Patronus AI.