Rowan Stewart, Sr. Director de Producto, Seguridad y Plataforma de Inteligencia Artificial en Transcend – Serie de Entrevistas

Rowan Stewart, Sr. Director de Producto, Seguridad y Plataforma de Inteligencia Artificial en Transcend, lidera iniciativas de producto enfocadas en ayudar a las organizaciones a descubrir, gobernar y utilizar de manera segura los datos en los sistemas de inteligencia artificial. Ella aporta más de una década de experiencia en el desarrollo de productos de inteligencia artificial y aprendizaje automático, software empresarial, procesamiento de lenguaje natural, estrategia de datos y liderazgo de productos de cero a uno. Antes de unirse a Transcend, Stewart pasó casi seis años en BCG X, donde ayudó a las principales empresas a desarrollar estrategias de inteligencia artificial, reinventar procesos internos y crear productos diseñados para entregar resultados comerciales medibles. Al comienzo de su carrera, ella gestionó el desarrollo de API de procesamiento de lenguaje natural para la inteligencia de influencia, incluyendo el análisis de sentimiento, gráficos de conocimiento, evaluación de personalidad, detección de bots y capacidades de seguridad de marca.

Transcend es la única plataforma de decisión de datos autónoma que responde a la pregunta “¿puedo utilizar estos datos?” para escalar el crecimiento del cliente. Las empresas Fortune 500 y los líderes emergentes de categorías utilizan Transcend para codificar permisos de uso de datos directamente en los sistemas empresariales que procesan los datos del cliente, proporcionando una fuente de verdad en tiempo real para el consentimiento, las preferencias y las reglas comerciales. El resultado es una calidad de datos superior, un uso ético que protege la marca y un cumplimiento listo para auditorías a escala. Con Transcend, las empresas pueden desbloquear ingresos de la inteligencia artificial, la personalización y otras iniciativas de datos de primera parte con confianza. Fundada en 2017 por Ben Brook (CEO) y Mike Farrell (CTO), Transcend tiene su sede en el Área de la Bahía de San Francisco.

Pasaste casi seis años en BCG X ayudando a algunas de las organizaciones más grandes del mundo a implementar soluciones de inteligencia artificial y aprendizaje automático antes de mudarte a la seguridad y gobernanza de la inteligencia artificial en Transcend. ¿Cuáles fueron los fracasos de gobernanza recurrentes o puntos ciegos que observaste que te convencieron de que la gobernanza de la inteligencia artificial debía construirse en los sistemas desde el primer día en lugar de agregarse más tarde?

En BCG, trabajé con empresas en todas las etapas de madurez de la inteligencia artificial, y un patrón se quedó conmigo: la gobernanza siempre llegaba tarde. Los equipos se mueven rápido para enviar un modelo o un producto, y la conversación sobre permisos de datos, consentimiento o supervisión realmente se centra justo antes de la producción y se siente como un ‘gotcha’. Lo que se construye en ese punto es básicamente un parche en un sistema que nunca se diseñó con la gobernanza en mente.

Esa es parte de por qué estaba tan emocionada de unirme a Transcend. Aconsejar a las empresas sobre lo que debían hacer solo llega hasta cierto punto. Quería ayudar a construir la infraestructura que hace que la gobernanza sea la elección fácil.

Muchas organizaciones están compitiendo para implementar agentes de inteligencia artificial en todo el soporte al cliente, las operaciones y el trabajo del conocimiento. ¿Cómo difiere la gobernanza de los agentes de inteligencia artificial autónomos de la gobernanza de los sistemas de software tradicionales o incluso de las generaciones anteriores de modelos de inteligencia artificial?

La mayoría de la arquitectura de seguridad empresarial asume que hay un ser humano en el otro extremo de cada acción, y que ese ser humano puede ser identificado, confiado y, cuando algo sale mal, ser considerado responsable. Pero los agentes no son personas. Actúan por sí mismos, delegan tareas a otros agentes y encadenan decisiones de manera que rara vez se asignan a una sola persona responsable.

Dar a un agente los mismos permisos estáticos que se le darían a un empleado crea una discrepancia porque los agentes carecen de sentido común. La gobernanza debe evaluar la acción específica que un agente está a punto de tomar, en ese momento, con esos datos particulares. La mayoría de las empresas todavía están ejecutando el playbook de gestión de identidad y acceso que construyeron para los humanos, y muchas de ellas descubrirán la brecha una vez que la implementación de agentes supere la gobernanza construida para manejarla.

Has trabajado en múltiples olas de innovación de la inteligencia artificial, desde productos de procesamiento de lenguaje natural y plataformas de inteligencia de influencia hasta iniciativas de transformación empresarial de inteligencia artificial. ¿Cómo ha evolucionado la conversación sobre la seguridad de la inteligencia artificial en la última década, y qué te preocupa más?

Comparar la inteligencia artificial de hoy (y de mañana) con las generaciones anteriores es fascinante porque es un espacio que se mueve increíblemente rápido. Las evoluciones más importantes de los últimos años han sido, obviamente, el surgimiento de los agentes y la importancia de la gestión de la memoria de ejecución prolongada (OpenClaw, ¿alguien?). Estos agentes pueden hacer mucho más a una calidad mucho mayor, lo que los hace aún más valiosos y, por supuesto, más riesgosos.

¿Cuáles son los conceptos erróneos más grandes que las empresas tienen sobre el consentimiento, los permisos y la gobernanza de los datos en entornos impulsados por la inteligencia artificial?

El concepto erróneo más común es tratar el consentimiento como algo que se captura una vez y se archiva. Un cliente acepta un conjunto de términos en el registro, y las empresas asumen que ese acuerdo se mantiene indefinidamente, sin importar cómo se muevan los datos después o qué nuevos sistemas alimenten. El consentimiento debe viajar con los datos. Si alguien actualiza sus preferencias o una nueva regulación cambia lo que es permisible, ese cambio debe aparecer en todas partes donde viven los datos, no solo en el sistema donde se recopiló originalmente el consentimiento.

El segundo concepto erróneo es tratar los permisos como un detalle técnico que IT o los departamentos legales manejan silenciosamente en el fondo. Una vez que los sistemas de inteligencia artificial comienzan a tomar decisiones basadas en esos datos, la autorización se convierte en una pregunta de producto y negocio, y cualquier brecha en ella se hereda directamente por cualquier iniciativa de inteligencia artificial que se encuentre encima.

Muchas empresas todavía confían en políticas estáticas y revisiones de cumplimiento periódicas. ¿Por qué esos enfoques luchan en una era en la que los sistemas de inteligencia artificial pueden aprender, adaptarse y interactuar con otros agentes continuamente?

Una política estática captura cómo se veía el sistema y qué se consideraba aceptable en el momento en que alguien lo escribió. La inteligencia artificial no se queda quieta el tiempo suficiente para que esa instantánea permanezca precisa. El modelo para el que se escribió la política puede que no sea el modelo que se ejecuta seis meses después, y una revisión de cumplimiento trimestral o anual no puede mantener el ritmo de un sistema que toma decisiones y se adapta todo el tiempo.

Gobernar algo que se mueve tan rápido requiere una política que se mueva a la misma velocidad. Eso significa hacer cumplir la gobernanza en el punto donde se utilizan los datos, en tiempo real, en lugar de verificarlos después del hecho contra un documento que ya estaba desactualizado el día en que se publicó.

¿Cómo se ve la gobernanza efectiva cuando las organizaciones comienzan a implementar redes de agentes de inteligencia artificial que colaboran entre sí y acceden a múltiples sistemas internos?

Aquí es donde se vuelven obvios los límites de la gestión de acceso tradicional. Un agente puede estar autorizado para leer un registro, llamar a una herramienta y pasar los resultados a otro agente, y cada uno de esos pasos puede parecer razonable por sí solo. La acción compuesta (la cosa que realmente sucedió una vez que se encadenan esos pasos) a menudo es algo que ningún ser humano aprobó explícitamente. La gestión de identidad y acceso tradicional puede confirmar si un agente tenía permiso para tocar un sistema, aunque tiene poco que decir sobre si los datos que tocó se recopilaron bajo un consentimiento que cubra este uso particular, o si la cadena resultante de acciones fue algo que una persona realmente aprobó.

Transcend se centra en integrar permisos de uso de datos directamente en los flujos de trabajo empresariales. ¿Cuán importante es la infraestructura de gobernanza en tiempo real a medida que las organizaciones pasan de la experimentación con la inteligencia artificial a la implementación a escala de producción?

Durante las pruebas, un equipo puede pasar con revisiones manuales y auditorías periódicas, porque las apuestas son bajas. En producción, especialmente con inteligencia artificial agente, eso se rompe porque la escala es simplemente masiva. El sistema actual de listas de verificación y reuniones es una pérdida para todos. Los equipos de cumplimiento y seguridad básicamente obtienen una promesa con el dedo meñique y sin aplicación continua, mientras que el equipo de producto ahora se compromete a revisiones manuales engorrosas que proporcionan poco valor real al usuario final. Eso es cuando la infraestructura en tiempo real se convierte en el único enfoque que funciona. Hacer cumplir los permisos en el momento en que se mueven los datos o se toma una decisión, en lugar de reconstruir lo que sucedió después de que algo ya salió mal, es lo que hace que la gobernanza sea significativa para el cumplimiento y valiosa para los usuarios.

En tu opinión, ¿cuáles son los riesgos más significativos asociados con la inteligencia artificial agente en los próximos tres a cinco años, y cuáles de esos riesgos están siendo subestimados actualmente por los líderes empresariales?

Creo que el modelo de que los agentes hereden los permisos de un usuario es más riesgoso de lo que nos damos cuenta. Los humanos tienen juicio, pero una inteligencia artificial seguirá las instrucciones directamente hacia un acantilado.

¿Cómo deben equilibrar los equipos de producto la presión para enviar características de inteligencia artificial rápidamente con la necesidad de establecer marcos de gobernanza, transparencia y rendición de cuentas?

Creo que una cosa concreta es la solución a lo que llamo el “Impuesto de Desorden”.

Hemos recalibrado muy rápidamente nuestras respuestas para descartar la validez y el valor de la salida de la inteligencia artificial. Es por eso que todos aconsejan eliminar los guiones (incluso si son apropiados), por eso un sitio que utiliza la paleta de colores estándar de Claude se siente barato (incluso si se ve bien) y por eso la información proporcionada por la inteligencia artificial se trata como sospechosa (incluso si es cierta). Eso realmente afecta el valor percibido de tu producto.

La solución al Impuesto de Desorden en realidad es una mejor gobernanza y transparencia. Por ejemplo, recientemente enviamos una característica llamada Uso de inteligencia artificial de proveedores, que extrae información pública sobre las características de inteligencia artificial y la postura de gobernanza de las principales empresas, para ayudar a los equipos de habilitación de inteligencia artificial, seguridad y adquisiciones a hacer su trabajo más rápido. Encontramos que utilizar un marco de orquestación de múltiples agentes, junto con la recopilación y presentación de evidencia con enlaces de origen y citas para sus hallazgos, resultó en una mejora masiva en la calidad de nuestros resultados. Esta práctica de recopilación de evidencia y control de calidad de agente es una victoria para todos porque los resultados reales para el usuario son mejores, y el cumplimiento es más robusto.

Mirando hacia adelante, ¿crees que la gobernanza de la inteligencia artificial eventualmente se convertirá en una ventaja competitiva en lugar de simplemente un requisito de cumplimiento, y qué separará a las organizaciones que lo hacen bien de aquellas que se quedan atrás?

Creo que sí, y se remonta al mismo patrón que observé en BCG. Las empresas que trataron la gobernanza como algo que agregar una vez que un producto ya estaba en el mercado siempre se quedaron atrapadas en la verificación final antes de escalar, y tendieron a quedar atrapadas en el “Purgatorio de Piloto”. Las empresas que construyen la gobernanza en el sistema desde el primer día pueden moverse con una confianza que el otro grupo no tiene, porque no están constantemente preguntándose qué encontrarán cuando finalmente miren de cerca cómo su inteligencia artificial realmente está utilizando los datos.

Esa brecha solo se ampliará a medida que la implementación de agentes se acelere. Las organizaciones que corren más rápido para implementar agentes sin replantear cómo se otorgan permisos a esos agentes son las que más probablemente se encontrarán con problemas, y para cuando lo hagan, las empresas que obtuvieron la infraestructura correcta ya estarán operando a una velocidad que los rezagados no podrán igualar fácilmente. La gobernanza deja de ser un artículo de cumplimiento una vez que se convierte en la cosa que te permite implementar la inteligencia artificial más rápido y con más confianza que todos los que todavía lo hacen manualmente.

Gracias por la gran entrevista, los lectores que deseen aprender más pueden visitar Transcend.