Rebecca Qian, Co-Fundadora y CTO de Patronus AI – Serie de Entrevistas

Rebecca Qian es la Co-Fundadora y CTO de Patronus AI, con casi una década de experiencia en la construcción de sistemas de aprendizaje automático de producción en la intersección de NLP, AI encarnada y infraestructura. En Facebook AI, trabajó en investigación y despliegue, entrenando a FairBERTa, un gran modelo de lenguaje diseñado con objetivos de equidad, desarrollando un modelo de perturbación demográfica para reescribir contenido de Wikipedia y liderando el análisis semántico para asistentes robóticos. También construyó pipelines de aprendizaje automático con humanos en el bucle y creó herramientas de infraestructura como la minería de conjuntos de contraste continuo, que fue adoptada en todos los equipos de infraestructura de Facebook y presentada en ICSE. Ha contribuido a proyectos de código abierto, incluyendo FacebookResearch/fairo y las notebooks de análisis semántico de Droidlet. Como fundadora, ahora se enfoca en la supervisión escalable, el aprendizaje por refuerzo y el despliegue de agentes de AI seguros y conscientes del entorno.

Patronus AI es una empresa con sede en San Francisco que ofrece una plataforma de investigación para evaluar, monitorear y optimizar grandes modelos de lenguaje (LLM) y agentes de AI para ayudar a los desarrolladores a lanzar productos de AI generativa confiables. La plataforma ofrece herramientas de evaluación automatizada, benchmarking, análisis, conjuntos de datos personalizados y entornos específicos de agente que identifican problemas de rendimiento como alucinaciones, riesgos de seguridad o fallos lógicos, lo que permite a los equipos mejorar y solucionar problemas en los sistemas de AI en casos de uso del mundo real. Patronus sirve a clientes empresariales y socios tecnológicos al empoderarlos para evaluar el comportamiento del modelo, detectar errores a gran escala y mejorar la confiabilidad y el rendimiento en aplicaciones de AI de producción.

Tienes una gran experiencia en la construcción de sistemas de aprendizaje automático en Facebook AI, incluyendo el trabajo en FairBERTa y pipelines de aprendizaje automático con humanos en el bucle. ¿Cómo te ha influido esa experiencia en tu perspectiva sobre la implementación y la seguridad de la AI en el mundo real?

Trabajar en Meta AI me hizo enfocarme en lo que se necesita para hacer que los modelos sean confiables en la práctica, especialmente en torno a la NLP responsable. Trabajé en modelado de lenguaje enfocado en la equidad, como entrenar LLM con objetivos de equidad, y vi de primera mano lo difícil que es evaluar e interpretar las salidas del modelo. Eso ha influido en mi forma de pensar sobre la seguridad. Si no puedes medir y entender el comportamiento del modelo, es difícil desplegar la AI con confianza en el mundo real.

¿Qué te motivó a cambiar de ingeniería de investigación a emprendimiento, cofundando Patronus AI, y qué problema te parecía más urgente de resolver en ese momento?

La evaluación se convirtió en un obstáculo en la AI en ese momento. Dejé Meta AI en abril para empezar Patronus con Anand porque había visto de primera mano lo difícil que es evaluar e interpretar la salida de la AI. Y una vez que la AI generativa comenzó a moverse hacia flujos de trabajo empresariales, fue obvio que esto ya no era solo un problema de laboratorio. 

Seguíamos escuchando lo mismo de las empresas. Querían adoptar LLM, pero no podían probarlos de manera confiable, monitorearlos o entender los modos de fallo como alucinaciones, especialmente en industrias reguladas donde hay muy poca tolerancia a los errores. 

Así que el problema urgente, al principio, fue construir una forma de automatizar y escalar la evaluación del modelo, puntuando modelos en escenarios del mundo real, generando casos de prueba adversos y benchmarking, para que los equipos puedan desplegar con confianza en lugar de adivinar

Patronus introdujo recientemente simuladores generativos como entornos adaptativos para agentes de AI. ¿Qué limitaciones en los enfoques de evaluación o capacitación existentes te llevaron a esta dirección?

Seguíamos viendo una creciente discrepancia entre cómo se evalúan los agentes de AI y cómo se espera que funcionen en el mundo real. Las pruebas tradicionales miden capacidades aisladas en un momento fijo, pero el trabajo real es dinámico. Las tareas se interrumpen, los requisitos cambian a mitad de ejecución y las decisiones se acumulan a lo largo de horizontes largos. Los agentes pueden parecer fuertes en pruebas estáticas y fallar mal una vez desplegados. A medida que los agentes mejoran, también saturan las pruebas fijas, lo que hace que el aprendizaje se estanque. Los simuladores generativos surgieron como una forma de reemplazar las pruebas estáticas con entornos vivos que se adapten a medida que el agente aprende.

¿Cómo ves que los simuladores generativos cambian la forma en que se entrenan y evalúan los agentes de AI en comparación con las pruebas estáticas o conjuntos de datos fijos?

El cambio es que las pruebas dejan de ser pruebas y comienzan a ser entornos. En lugar de presentar un conjunto fijo de preguntas, el simulador genera la tarea, las condiciones circundantes y la lógica de evaluación al vuelo. A medida que el agente se comporta y mejora, el entorno se adapta. Eso colapsa la frontera tradicional entre la capacitación y la evaluación. Ya no se trata de si un agente aprueba una prueba, sino de si puede operar de manera confiable a lo largo del tiempo en un sistema dinámico.

Desde un punto de vista técnico, ¿cuáles son las ideas arquitectónicas básicas detrás de los simuladores generativos, particularmente en torno a la generación de tareas, la dinámica del entorno y las estructuras de recompensa?

A alto nivel, los simuladores generativos combinan el aprendizaje por refuerzo con la generación de entornos adaptativos. El simulador puede crear nuevas tareas, actualizar las reglas del mundo de manera dinámica y evaluar las acciones del agente en tiempo real. Un componente clave es lo que llamamos un ajustador de currículum, que analiza el comportamiento del agente y modifica la dificultad y la estructura de los escenarios para mantener el aprendizaje productivo. Las estructuras de recompensa están diseñadas para ser verificables y específicas del dominio, para que los agentes sean guiados hacia el comportamiento correcto en lugar de atajos superficiales.

¿Qué es lo que más claramente diferencia el enfoque de Patronus en el espacio de evaluación y herramientas de agente de AI?

Nuestro enfoque es en la validez ecológica. Diseñamos entornos que reflejan flujos de trabajo humanos reales, incluyendo interrupciones, cambios de contexto, uso de herramientas y razonamiento multietapa. En lugar de optimizar a los agentes para que parezcan buenos en pruebas predefinidas, nos enfocamos en exponer los tipos de fallos que importan en la producción. El simulador evalúa el comportamiento a lo largo del tiempo, no solo salidas aisladas.

¿Qué tipos de tareas o modos de fallo se benefician más de la evaluación basada en simuladores en comparación con las pruebas convencionales?

Las tareas de horizonte largo y multietapa se benefician más. Incluso las tasas de error por paso pequeñas pueden acumularse en tasas de fallo importantes en tareas complejas, lo que las pruebas estáticas no capturan. La evaluación basada en simuladores hace posible detectar fallos relacionados con mantenerse en la pista a lo largo del tiempo, manejar interrupciones, coordinar el uso de herramientas y adaptarse cuando las condiciones cambian a mitad de tarea.

¿Cómo cambia el aprendizaje basado en entornos tu forma de pensar sobre la seguridad de la AI, y ¿los simuladores generativos introducen nuevos riesgos como el hacking de recompensa o modos de fallo emergentes?

El aprendizaje basado en entornos hace que muchos problemas de seguridad sean más fáciles de detectar. El hacking de recompensa tiende a prosperar en entornos estáticos donde los agentes pueden explotar bucles fijos. En simuladores generativos, el entorno en sí es un objetivo en movimiento, lo que hace que esos atajos sean más difíciles de sostener. Dicho esto, todavía se requiere un diseño cuidadoso alrededor de las recompensas y la supervisión. La ventaja de los entornos es que te dan mucho más control y visibilidad en el comportamiento del agente de lo que las pruebas estáticas podrían hacer.

Mirando hacia adelante cinco años, ¿dónde ves a Patronus AI en términos de ambición técnica e impacto en la industria?

Creemos que los entornos se están convirtiendo en infraestructura fundamental para la AI. A medida que los agentes pasan de responder preguntas a hacer un trabajo real, los entornos en los que aprenden darán forma a cuán capaces y confiables se vuelvan. Nuestra ambición a largo plazo es convertir flujos de trabajo del mundo real en entornos estructurados que los agentes puedan aprender continuamente. La separación tradicional entre evaluación y capacitación se está colapsando, y creemos que ese cambio definirá la próxima ola de sistemas de AI.

Gracias por la gran entrevista, los lectores que deseen aprender más pueden visitar Patronus AI.