Bo Li, director ejecutivo de Virtue AI – Serie de entrevistas

bo li, directora ejecutiva de Virtue AI, es una destacada investigadora y emprendedora especializada en la seguridad de los sistemas de inteligencia artificial. Dirige Virtue AI y, al mismo tiempo, es profesora en la Universidad de Illinois en Urbana-Champaign, donde su investigación se centra en la seguridad del aprendizaje automático, la IA fiable y la robustez adversaria. Su trayectoria profesional abarca tanto el ámbito académico como el industrial, lo que le permite traducir la investigación avanzada en IA en aplicaciones prácticas que ayudan a las organizaciones a desarrollar tecnologías de IA más seguras y resilientes.

Virtue AI es una empresa dedicada a proteger y gobernar los sistemas de IA utilizados en entornos empresariales. Su plataforma ofrece capacidades como la automatización de equipos rojos, barreras de seguridad en tiempo real y monitorización continua para identificar vulnerabilidades como la inyección de avisos, alucinaciones y fugas de datos. Al integrarse directamente en los flujos de trabajo de desarrollo e implementación de IA, la empresa ayuda a las organizaciones a escalar de forma segura el uso de grandes modelos de lenguaje y aplicaciones basadas en IA, manteniendo al mismo tiempo sólidos estándares de seguridad y gobernanza.

¿Qué lo motivó a pasar de una carrera puramente académica a fundar y dirigir Virtue AI, y qué problema sintió que la industria no estaba abordando a gran escala?

Las herramientas de seguridad tradicionales se diseñaron para aplicaciones predecibles con rutas fijas. Nunca se diseñaron para sistemas que razonan, se adaptan y actúan de forma autónoma. Mis cofundadores y yo vimos una brecha entre lo que la investigación fundamental en seguridad de la IA había producido y lo que las empresas realmente tenían a su disposición. La investigación existía. La realidad de la producción, no. Eso es lo que nos propusimos cambiar.

Virtue AI se centra en la seguridad, la protección y el cumplimiento normativo para grandes modelos de lenguaje y agentes autónomos. ¿Cuál de estas áreas cree que las empresas subestiman más hoy en día?

Las empresas comprenden todas estas áreas hasta cierto punto, especialmente la seguridad, pero todavía hay una gran brecha.

Las empresas han empezado a tomarse en serio la seguridad de los modelos, al menos superficialmente. Pero los agentes representan un problema diferente. Se les otorga acceso a las partes más sensibles de la infraestructura empresarial: ejecutar código, llamar a API, navegar por la web y tomar decisiones encadenadas que afectan a los datos, las finanzas y las operaciones. La mayoría de los equipos de seguridad no están preparados para analizar ese tipo de sistema. Las herramientas con las que cuentan no están diseñadas para ello.

El riesgo no es teórico. Sin una seguridad diseñada específicamente para sistemas de agentes, los pequeños fallos se agravan rápidamente. Una llamada inesperada a una herramienta, una instrucción ambigua, un aviso que se salta las barreras de seguridad: cualquiera de estos puede derivar en acciones no autorizadas o en la exposición de datos antes de que alguien se dé cuenta de que algo salió mal.

El trabajo continuo en equipo es fundamental para el enfoque de Virtue AI. ¿Qué tipos de fallos o riesgos suelen surgir solo una vez que los sistemas están en producción?

La mayoría de los graves.

En un entorno controlado, se prueban el modelo y los agentes. En producción, se prueba el sistema, y ​​son cosas distintas. Una vez que un modelo se conecta a herramientas, canales de recuperación, entradas de usuario y otros agentes, el espacio de comportamiento se expande de maneras que las pruebas previas a la implementación no captan. Un agente "configurado de forma segura" puede actuar de forma muy diferente cuando se conecta a bases de datos reales, nuevos servidores MCP u otros agentes. El sistema se vuelve no determinista. Empieza a tomar decisiones basadas en un contexto que no existía durante la evaluación.

Ahí es cuando encuentras los fracasos que realmente importan.

¿Cómo piensa medir la “seguridad de la IA” en la práctica, especialmente cuando los sistemas evolucionan a través del ajuste, la recuperación y el uso de herramientas?

En la práctica, la seguridad de la IA no puede medirse mediante un único parámetro estático, ya que los sistemas de IA modernos evolucionan continuamente mediante ajustes, mejoras en la recuperación e interacciones con herramientas o agentes. En cambio, la seguridad debe evaluarse como una propiedad a nivel de sistema a lo largo de todo el ciclo de vida de una aplicación de IA. Esto incluye la realización de pruebas de estrés de modelos y agentes con diversos ataques de equipos rojos, la monitorización de comportamientos en tiempo real, como avisos, llamadas a herramientas y acciones, y la evaluación de los resultados en función de las políticas de riesgo definidas (p. ej., uso indebido, alucinaciones, fugas de privacidad o acciones no autorizadas).

Por ejemplo, nuestro artículo premiado (Mejor artículo de la Agencia de Seguridad Nacional y NeurIPS), Decodificación de confianzaHa proporcionado pruebas integrales de seguridad para modelos de base. Nuestra plataforma DecodingTrust-Agent ha creado un simulador de agentes realista que alberga diversos entornos con agentes nativos de red-teaming para realizar pruebas dinámicas, adaptativas y continuas.

Es importante que la medición de la seguridad sea continua y adaptativa, ya que las actualizaciones de las indicaciones, las fuentes de recuperación o las herramientas pueden introducir nuevas vulnerabilidades. En la práctica, esto implica combinar la automatización de equipos rojos, las barreras de seguridad en tiempo de ejecución y la observabilidad para medir no solo las respuestas del modelo, sino también la seguridad integral del sistema de IA que opera en el mundo real.

Su experiencia en investigación abarca la robustez, la privacidad y los ataques adversarios. ¿Cuál de estas áreas ha resultado más difícil de implementar en defensas reales?

Traducir la investigación sobre robustez, privacidad y ataques adversarios a defensas reales es muy factible. De hecho, muchas de las líneas de investigación de mi grupo se inspiran directamente en los desafíos prácticos de seguridad observados en los sistemas de IA implementados. La verdadera dificultad no reside en construir defensas, sino en proporcionar garantías de seguridad fiables en entornos dinámicos del mundo real.

En la investigación académica, nuestro grupo ha logrado importantes avances, como la certificación de robustez y garantías de privacidad. Sin embargo, estos resultados suelen basarse en suposiciones que podrían no ser plenamente válidas en sistemas de producción complejos. Las aplicaciones modernas de IA evolucionan continuamente gracias a nuevos datos, mejoras, canales de recuperación e integraciones de herramientas, lo que puede generar nuevas vulnerabilidades con el tiempo.

Como resultado, una seguridad de IA eficaz no puede depender de una protección única; requiere un trabajo en equipo continuo, detección de riesgos y medidas de seguridad adaptativas que evolucionan junto con el sistema. Esta es precisamente la filosofía de Virtue AI: combinar nuestra amplia investigación en seguridad de IA con el trabajo en equipo automatizado a gran escala y la protección en tiempo real para identificar continuamente los riesgos emergentes y actualizar las defensas, lo que permite una seguridad práctica y escalable para los sistemas de IA del mundo real.

¿Qué hace que proteger a los agentes de IA autónomos sea fundamentalmente diferente de proteger el software tradicional o incluso los chatbots?

Los agentes no son programas estáticos. No siguen rutas predecibles ni se mantienen dentro del perímetro que se les diseñó al momento de la implementación.

La seguridad tradicional asume rutas de ejecución fijas, API estables y un comportamiento determinista. Los agentes autónomos violan todos estos supuestos. Razonan sobre qué hacer a continuación, seleccionan herramientas según el contexto y producen efectos en múltiples sistemas en una sola ejecución.

No se puede escanear un mensaje, reforzar un modelo ni supervisar una sola llamada a la API y dar por finalizado el trabajo. Es necesario proteger el agente como un sistema completo: su razonamiento, el uso de sus herramientas, su entorno y lo que sucede posteriormente.

Ese es el problema principal que los controles puntuales no pueden resolver. Nunca fueron diseñados para eso.

¿Dónde fallan las herramientas de seguridad existentes cuando los agentes pueden actuar en muchos sistemas, herramientas y fuentes de datos a la vez?

Te dejan ciego respecto de cómo opera realmente el agente de principio a fin.

La mayoría de las herramientas se diseñaron para aplicaciones con perímetros claros y un comportamiento estable. Pueden explicar cómo se veía una sola llamada a la API. No pueden explicar cómo un agente razonó a través de cinco llamadas a la herramienta para producir un resultado que nadie pretendía.

El problema es la falta de visibilidad. Si no se puede ver la cadena completa de acciones y decisiones, no se puede gestionar ni auditar a posteriori.

¿Cómo reducen las barreras de seguridad en tiempo real el riesgo en comparación con el monitoreo o el registro por sí solos?

El registro te indica qué falló una vez producido el daño. Es útil para la investigación forense y el cumplimiento normativo, pero no impide nada.

Con agentes autónomos, el retraso entre la acción y la detección puede ser realmente costoso. Un agente que ya ejecutó una llamada a la API incorrecta o exfiltró datos no esperó a que su canal de registro se pusiera al día.

Las barreras de seguridad en tiempo real interceptan la acción antes de su ejecución. Si un agente intenta algo fuera de la política, se bloquea o se marca antes de ejecutarse, no después.

La combinación también importa. La prevención en tiempo real, sumada a un único punto de control coherente en todas las interacciones entre agentes y herramientas, presenta un perfil de riesgo diferente al de la monitorización pasiva de componentes individuales.

Virtue AI fue fundada por investigadores con un profundo conocimiento técnico. ¿Cómo influye esto en las decisiones sobre productos en comparación con las startups de IA con un enfoque más comercial?

La seguridad y la gobernanza de la IA son, fundamentalmente, un problema técnico complejo. Los sistemas que protegemos, como los grandes modelos de lenguaje, los modelos multimodales y los sistemas agénticos, se basan en investigación avanzada. Sin una sólida experiencia en IA, es casi imposible diseñar soluciones de seguridad eficaces para ellos.

En muchos casos, el mayor desafío en la seguridad de la IA surge cuando un algoritmo avanzado de equipo rojo identifica vulnerabilidades en los agentes de IA en un artículo de investigación. ¿Cómo se traduce ese conocimiento en una defensa de nivel de producción que pueda proteger de forma fiable sistemas reales a gran escala? En Virtue AI, cerrar esta brecha entre la investigación y la implementación es fundamental para nuestra forma de operar y nuestra experiencia.

Dado que Virtue AI fue fundada por investigadores que han dedicado décadas a la robustez de la IA, el aprendizaje adversario y la fiabilidad de la IA, nuestros equipos de investigación e ingeniería trabajan simultáneamente en los mismos problemas. Nuestros investigadores estudian continuamente arquitecturas de modelos emergentes, nuevos flujos de trabajo de agentes y técnicas de ataque en evolución, mientras que nuestros equipos de ingeniería integran estos conocimientos directamente en los sistemas de producción.

Cuando identificamos una nueva vulnerabilidad, como un nuevo patrón de inyección de solicitudes o una estrategia de manipulación de agentes, podemos traducirla rápidamente en nuevos modelos de detección, barreras de seguridad o estrategias de equipos rojos. Esto ocurre de forma continua, no solo en una hoja de ruta trimestral de productos.

Como resultado, nuestros productos se mantienen a la vanguardia y listos para la empresa, ayudando a las organizaciones a proteger sus sistemas de IA durante su desarrollo e implementación. Muchos de nuestros clientes nos comentan que este enfoque basado en la investigación es precisamente lo que les permite avanzar con mayor rapidez, manteniendo la seguridad y el cumplimiento normativo.

Por el contrario, los equipos con un enfoque puramente comercial suelen optimizar en función de las demandas actuales de los clientes, lo que puede generar funciones adicionales, pero puede quedar rezagado respecto al panorama de amenazas en constante evolución de los sistemas de IA. En la seguridad de la IA, las amenazas evolucionan tan rápido como la propia tecnología. Una base centrada en la investigación nos permite anticipar nuevos riesgos con antelación y construir defensas antes de que se conviertan en problemas generalizados.

¿Cuál es el concepto erróneo más común que tienen las empresas sobre la seguridad de la IA cuando recurren por primera vez a Virtue AI?

Uno de los conceptos erróneos más comunes que tienen las empresas cuando recurren por primera vez a Virtue AI es que la seguridad de la IA se puede abordar simplemente aplicando herramientas de ciberseguridad tradicionales o filtros básicos de moderación de contenido.

En realidad, los sistemas de IA introducen amenazas completamente nuevas, como la inyección inmediata, los jailbreaks, el uso indebido provocado por alucinaciones, la fuga de datos a través de sistemas de recuperación y la manipulación de agentes mediante herramientas o API externas. Estos riesgos surgen del comportamiento y el razonamiento del propio modelo, no solo de la infraestructura circundante.

Como resultado, proteger los sistemas de IA requiere mecanismos de seguridad que comprendan el modelo de IA y las entradas, salidas y procesos de decisión de los agentes a lo largo de todo el ciclo de vida de una aplicación de IA, lo que requiere capacidades fundamentales de investigación en IA.

Es por eso que enfatizamos la seguridad nativa de IA: combinando equipos rojos automatizados para descubrir vulnerabilidades, barreras de seguridad en tiempo real para aplicar políticas y observabilidad a nivel del sistema para monitorear indicaciones, llamadas de herramientas y acciones de agentes.

Una vez que las empresas ven cuán diferentes son los riesgos de la IA de los riesgos del software tradicional, rápidamente se dan cuenta de que proteger la IA requiere una pila de seguridad fundamentalmente nueva.

Finalmente, ¿qué significa para usted “implementación responsable de IA” en la práctica (no en teoría, sino dentro de una empresa que envía productos hoy en día)?

Más rápido y más seguro no son opuestos, aunque la mayoría de las empresas los consideren así. Se supone que una seguridad rigurosa ralentiza el proceso: más ciclos de revisión, más barreras, más fricción antes de que algo se envíe.

En la práctica, las empresas que implementan agentes con confianza son las que incorporan seguridad al proceso en lugar de agregarla al final: equipos rojos automatizados antes de la implementación, controles en tiempo real una vez que el agente está activo y visibilidad centralizada durante todo el ciclo de vida del agente.

Eso no es un ejercicio de cumplimiento. Es lo que realmente te permite avanzar con rapidez, porque no estás descubriendo en producción lo que deberías haber detectado antes.

La implementación responsable, en términos concretos, significa que usted sabe lo que pueden hacer sus agentes, puede ver lo que están haciendo y puede detenerlos cuando algo sale mal.

El desarrollo responsable de IA permite la implementación continua y a gran escala de sistemas de IA con confianza, en lugar de ralentizar la innovación en IA.

Gracias por la gran entrevista, los lectores que deseen obtener más información deben visitar Virtue AI.