Bo Li, CEO de Virtue AI – Serie de entrevistas

Bo Li, CEO de Virtue AI, es una destacada investigadora y empresaria especializada en la seguridad y la protección de los sistemas de inteligencia artificial. Dirige Virtue AI mientras también se desempeña como profesora en la Universidad de Illinois en Urbana-Champaign, donde su investigación se centra en la seguridad de la aprendizaje automático, la confiabilidad de la IA y la robustez adversaria. Su carrera abarca tanto la academia como la industria, lo que le permite traducir investigaciones avanzadas de IA en aplicaciones prácticas que ayudan a las organizaciones a construir tecnologías de IA más seguras y resilientes.

Virtue AI es una empresa enfocada en proteger y gobernar los sistemas de IA utilizados en entornos empresariales. Su plataforma proporciona capacidades como pruebas de penetración automatizadas, guardias en tiempo real y monitoreo continuo para identificar vulnerabilidades como inyección de comandos, alucinaciones y fugas de datos. Al integrarse directamente en los flujos de trabajo de desarrollo y despliegue de IA, la empresa ayuda a las organizaciones a escalar de manera segura el uso de modelos de lenguaje grande y aplicaciones impulsadas por IA, manteniendo al mismo tiempo altos estándares de seguridad y gobernanza.

¿Qué te motivó a dejar una carrera puramente académica para fundar y liderar Virtue AI, y qué problema sentiste que la industria no estaba abordando a gran escala?

Las herramientas de seguridad tradicionales fueron diseñadas para aplicaciones predecibles con rutas fijas. Nunca fueron diseñadas para sistemas que razonan, se adaptan y actúan de manera autónoma. Mis cofundadores y yo vimos una brecha entre lo que la investigación fundamental de seguridad de IA había producido y lo que las empresas realmente tenían a su disposición. La investigación existía. La realidad de la producción no.

Virtue AI se enfoca en la seguridad, la protección y el cumplimiento de los modelos de lenguaje grande y los agentes autónomos. ¿Cuál de estas áreas cree que las empresas subestiman más hoy en día?

Las empresas entienden todas estas áreas hasta cierto punto, especialmente la seguridad, pero todavía hay una gran brecha.

Las empresas han comenzado a tomar la seguridad del modelo en serio, al menos a nivel superficial. Pero los agentes son un problema diferente. Están recibiendo acceso a las partes más sensibles de la infraestructura empresarial: ejecutar código, llamar a APIs, navegar por la web y tomar decisiones encadenadas que afectan datos, finanzas y operaciones. La mayoría de los equipos de seguridad no están preparados para razonar sobre ese tipo de sistema. Las herramientas que tienen no fueron diseñadas para ello.

El riesgo no es teórico. Sin seguridad diseñada específicamente para sistemas de agentes, los pequeños fallos se acumulan rápidamente. Una llamada a una herramienta inesperada, una instrucción ambigua, un comando que se filtra a través de los guardias—cualquiera de estos puede escalar a acciones no autorizadas o exposición de datos antes de que alguien note que algo salió mal.

La prueba de penetración continua es central en el enfoque de Virtue AI. ¿Qué tipos de fallos o riesgos tienden a surgir solo una vez que los sistemas están en producción?

La mayoría de los serios.

En un entorno controlado, estás probando el modelo y los agentes. En producción, estás probando el sistema—y esas son cosas diferentes. Una vez que un modelo está conectado a herramientas, tuberías de recuperación, entradas de usuario y otros agentes, el espacio de comportamiento se expande de maneras que las pruebas previas a la implementación no capturan. Un agente “configurado de manera segura” puede actuar muy diferente cuando está conectado a bases de datos reales, nuevos servidores MCP o otros agentes. El sistema se vuelve no determinista. Comienza a tomar decisiones basadas en un contexto que no existía durante la evaluación.

Es ahí donde encuentras los fallos que realmente importan.

¿Cómo piensas en la medición de la “seguridad de la IA” en la práctica, especialmente cuando los sistemas evolucionan a través del ajuste fino, la recuperación y el uso de herramientas?

En la práctica, la seguridad de la IA no puede medirse a través de una sola referencia estática porque los sistemas de IA modernos evolucionan continuamente a través del ajuste fino, la ampliación de la recuperación y las interacciones de herramientas o agentes. En su lugar, la seguridad necesita evaluarse como una propiedad del sistema en todo el ciclo de vida de una aplicación de IA. Esto incluye pruebas de estrés de modelos y agentes con ataques de pruebas de penetración diversificados, monitoreo de comportamientos en tiempo real como comandos, llamadas a herramientas y acciones, y evaluación de resultados contra políticas de riesgo definidas (por ejemplo, uso indebido, alucinación, fuga de privacidad o acciones no autorizadas).

Por ejemplo, nuestro galardonado artículo ( Mejor artículo en la Agencia de Seguridad Nacional y NeurIPS), DecodingTrust, ha proporcionado pruebas de seguridad y seguridad integrales para modelos base. Nuestra plataforma DecodingTrust-Agent ha construido un simulador de agente realista que aloja entornos diversos con agentes de pruebas de penetración nativos para realizar pruebas de penetración dinámicas, adaptativas y continuas.

Es importante destacar que la medición de la seguridad debe ser continua y adaptativa, ya que las actualizaciones de comandos, fuentes de recuperación o herramientas pueden introducir nuevas vulnerabilidades. En la práctica, esto significa combinar pruebas de penetración automatizadas, guardias en tiempo real y observabilidad para medir no solo las respuestas del modelo sino la seguridad del sistema de IA completo que opera en el mundo real.

¿Cuál de estas áreas ha demostrado ser la más difícil de traducir en defensas del mundo real?

Traducir investigaciones en robustez, privacidad y ataques adversarios en defensas del mundo real es en realidad muy factible. De hecho, muchas de las direcciones de investigación en mi grupo están directamente inspiradas en desafíos de seguridad prácticos observados en sistemas de IA desplegados. La verdadera dificultad radica no en construir defensas, sino en proporcionar garantías de seguridad confiables en entornos dinámicos y del mundo real.

En la investigación académica, nuestro grupo ha logrado avances sólidos como la robustez certificada y las garantías de privacidad, pero estos resultados generalmente dependen de suposiciones que pueden no sostenerse completamente en sistemas de producción complejos. Las aplicaciones de IA modernas evolucionan continuamente a través de nuevos datos, ajuste fino, tuberías de recuperación y integraciones de herramientas, lo que puede introducir nuevas vulnerabilidades con el tiempo.

Como resultado, la seguridad de la IA efectiva no puede depender de una protección de una sola vez—requiere pruebas de penetración continuas, descubrimiento de riesgos y guardias adaptativas que evolucionen junto con el sistema. Esta es exactamente la filosofía detrás de Virtue AI: combinar nuestra larga trayectoria en investigación de seguridad de IA con pruebas de penetración automatizadas a gran escala y protección en tiempo real para identificar continuamente riesgos emergentes y actualizar defensas, permitiendo una seguridad práctica y escalable para sistemas de IA del mundo real.

¿Qué hace que proteger a los agentes de IA autónomos sea fundamentalmente diferente a proteger software tradicional o incluso chatbots?

Los agentes no son programas estáticos. No siguen rutas predecibles y no se quedan dentro del perímetro que se les dibujó en la implementación.

La seguridad tradicional asume rutas de ejecución fijas, APIs estables y comportamiento determinista. Los agentes autónomos violan todas esas suposiciones. Razonan sobre qué hacer a continuación, eligen herramientas basadas en el contexto y producen efectos en múltiples sistemas en una sola ejecución.

No puedes escanear un comando, endurecer un modelo o monitorear una sola llamada a una API y considerar el trabajo hecho. Debes asegurar el agente como un sistema completo—su razonamiento, su uso de herramientas, su entorno y lo que sucede corriente abajo.

Ese es el punto central del problema que los controles no pueden resolver. Nunca fueron diseñados para ello.

¿Dónde fallan las herramientas de seguridad existentes cuando los agentes pueden actuar en muchos sistemas, herramientas y fuentes de datos al mismo tiempo?

Te dejan ciego a cómo el agente operó realmente de principio a fin.

La mayoría de las herramientas fueron construidas para aplicaciones con perímetros claros y comportamiento estable. Pueden decirte cómo se veía una sola llamada a una API. No pueden decirte cómo un agente razonó su camino a través de cinco llamadas a herramientas para producir un resultado que nadie pretendía.

La brecha de visibilidad es el problema. Si no puedes ver la cadena completa de acciones y decisiones, no puedes gobernarla, y no puedes auditarla después de los hechos.

¿Cómo reducen los guardias en tiempo real el riesgo en comparación con el monitoreo o la registrazione sola?

La registrazione te dice qué salió mal después de que el daño está hecho. Es útil para la forensia y el cumplimiento, pero no detiene nada.

Con agentes autónomos, el retraso entre la acción y la detección puede ser genuinamente costoso. Un agente que ya ha ejecutado una mala llamada a una API o ha exfiltrado datos no esperó a que su tubería de registrazione se pusiera al día.

Los guardias en tiempo real interceptan la acción antes de la ejecución. Si un agente intenta algo fuera de la política, se bloquea o se marca antes de que se ejecute, no después.

La combinación también importa. La prevención en tiempo real más un punto de aplicación consistente en todas las interacciones de agente a herramienta es un perfil de riesgo diferente al monitoreo pasivo de componentes individuales.

Virtue AI fue fundada por investigadores técnicos profundamente. ¿Cómo da forma a las decisiones de producto en comparación con startups de IA más comercialmente impulsadas?

La seguridad y la gobernanza de la IA son fundamentalmente un problema técnico profundo. Los sistemas que estamos protegiendo—como los modelos de lenguaje grande, los modelos multimodales y los sistemas de agentes—se basan en investigaciones avanzadas. Sin una sólida experiencia en IA, es casi imposible diseñar soluciones de seguridad efectivas para ellos.

En muchos casos, el mayor desafío en la seguridad de la IA es cuando un algoritmo de pruebas de penetración avanzado identifica vulnerabilidades de agentes de IA en un artículo de investigación—¿cómo traduces esa perspicacia en una defensa de producción que pueda proteger de manera confiable sistemas reales a gran escala? En Virtue AI, cerrar esta brecha entre la investigación y la implementación es fundamental para cómo operamos y en lo que tenemos experiencia.

Dado que Virtue AI fue fundada por investigadores que han pasado décadas trabajando en la robustez de la IA, el aprendizaje adversario y la IA confiable, nuestros equipos de investigación y ingeniería trabajan en los mismos problemas simultáneamente. Nuestros investigadores estudian continuamente arquitecturas de modelos emergentes, flujos de trabajo de agentes nuevos y técnicas de ataque en evolución, mientras que nuestros equipos de ingeniería integran estas perspectivas directamente en sistemas de producción.

Cuando identificamos una nueva vulnerabilidad—como un patrón de inyección de comandos novedoso o una estrategia de manipulación de agente—puede traducirse rápidamente en nuevos modelos de detección, guardias o estrategias de pruebas de penetración. Esto sucede continuamente, no solo en una hoja de ruta de producto trimestral.

Como resultado, nuestros productos permanecen tanto innovadores como listos para la empresa, ayudando a las organizaciones a proteger sus sistemas de IA a medida que los construyen y despliegan. Muchos de nuestros clientes nos dicen que este enfoque basado en la investigación es exactamente lo que les permite moverse más rápido mientras mantienen la seguridad y el cumplimiento.

En contraste, los equipos impulsados puramente por el comercio a menudo optimizan lo que los clientes están pidiendo hoy, lo que puede llevar a características incrementales pero puede quedar atrás del panorama de amenazas de los sistemas de IA en constante evolución. En la seguridad de la IA, las amenazas evolucionan tan rápido como la tecnología en sí. Un fundamento de investigación permite anticipar nuevos riesgos más temprano y construir defensas antes de que se conviertan en problemas generalizados.

¿Cuál es el concepto erróneo más común que las empresas tienen sobre la seguridad de la IA cuando llegan a Virtue AI por primera vez?

Uno de los conceptos erróneos más comunes que las empresas tienen cuando llegan a Virtue AI por primera vez es que la seguridad de la IA puede abordarse simplemente aplicando herramientas de ciberseguridad tradicionales o filtros de moderación de contenido básicos.

En realidad, los sistemas de IA introducen nuevas superficies de amenazas, como la inyección de comandos, las fugas, el uso indebido impulsado por alucinaciones, la fuga de datos a través de sistemas de recuperación y la manipulación de agentes a través de herramientas o APIs externas. Estos riesgos surgen del comportamiento y el razonamiento del modelo en sí, no solo de la infraestructura circundante.

Por lo tanto, proteger los sistemas de IA requiere mecanismos de seguridad que comprendan las entradas, salidas y procesos de decisión del modelo y los agentes en todo el ciclo de vida de una aplicación de IA, lo que requiere capacidades de investigación de IA fundamentales.

Es por eso que enfatizamos la seguridad nativa de la IA: combinando pruebas de penetración automatizadas para descubrir vulnerabilidades, guardias en tiempo real para hacer cumplir las políticas y observabilidad del sistema para monitorear comandos, llamadas a herramientas y acciones de agentes.

Una vez que las empresas ven cómo difieren los riesgos de la IA de los riesgos de software tradicionales, rápidamente se dan cuenta de que proteger la IA requiere una pila de seguridad fundamentalmente nueva.

Finalmente, ¿qué significa “despliegue de IA responsable” para ti en la práctica, no en teoría, sino dentro de una empresa que envía productos hoy?

Más rápido y más seguro no son opuestos, aunque la mayoría de las empresas los tratan como tales. La suposición es que la seguridad seria ralentiza—más ciclos de revisión, más puertas, más fricción antes de que algo se envíe.

En la práctica, las empresas que despliegan agentes con confianza son aquellas que construyen la seguridad en el proceso en lugar de agregarla al final: pruebas de penetración automatizadas antes de la implementación, controles en tiempo real una vez que el agente esté en vivo y visibilidad centralizada en todo el ciclo de vida del agente.

Eso no es un ejercicio de cumplimiento. Es lo que realmente te permite moverte rápido, porque no estás descubriendo en producción lo que deberías haber atrapado antes.

El despliegue responsable, en términos concretos, significa que sabes qué pueden hacer tus agentes, puedes ver qué están haciendo y puedes detenerlos cuando algo sale mal.

El desarrollo de IA responsable permite el despliegue continuo y a gran escala de sistemas de IA con confianza, en lugar de frenar la innovación de la IA.

Gracias por la gran entrevista, los lectores que deseen aprender más pueden visitar Virtue AI.