Entrevistas
Rob Feldman, Chief Legal Officer en EnterpriseDB – Serie de Entrevistas
Rob Feldman, Chief Legal Officer, es responsable de las funciones legales y de cumplimiento en todo el mundo en EnterpriseDB. Como ejecutivo experimentado y abogado, construye equipos legales de alto rendimiento para apoyar a empresas de tecnología en crecimiento en entornos comerciales y regulatorios dinámicos. Más recientemente, dirigió un equipo legal de 45 personas en Citrix Systems, Inc. como Consejero General, incluyendo su transacción de adquisición privada de más de $16 mil millones en 2022. Antes de Citrix, pasó más de una década en la práctica privada como litigante de empresas de tecnología, centrado en la defensa de fraude de valores, disputas de propiedad intelectual y investigaciones gubernamentales y internas. Rob también forma parte del Consejo Legal del Pacto Global de la ONU, brindando orientación estratégica sobre entornos regulatorios globales para ayudar a las empresas a impulsar un impacto transformador y a largo plazo.
EnterpriseDB es una empresa de software que proporciona soluciones de base de datos de nivel empresarial basadas en PostgreSQL de código abierto, lo que ayuda a las organizaciones a ejecutar cargas de trabajo críticas con un mayor rendimiento, seguridad y confiabilidad. Fundada en 2004, EnterpriseDB ofrece plataformas en la nube y locales, soporte global y herramientas de compatibilidad con Oracle, centrándose cada vez más en plataformas de datos híbridas y de inteligencia artificial listas para Postgres a través de sus ofertas de Postgres AI.
Dada su larga experiencia en liderazgo legal corporativo y el enfoque de EnterpriseDB en Postgres y plataformas de datos soberanas y de inteligencia artificial, ¿cómo ve la evolución de la responsabilidad para las empresas que operacionalizan la inteligencia artificial agente dentro de la infraestructura de datos críticos
El mundo de la inteligencia artificial y los datos todavía depende de los mismos principios básicos que deberían haber gobernado a las empresas mucho antes de la llegada de los sistemas agentes: rendición de cuentas, restricción y claridad de responsabilidad.
En el pasado, esos principios se aplicaban a las personas y en gran medida a sistemas inactivos, paneles de control, informes y herramientas automatizadas que no iniciaban acciones por sí mismas. La inteligencia artificial agente introduce sistemas que se comportan más como participantes que como instrumentos. Pueden actuar de forma independiente, adaptarse con el tiempo y interactuar cada vez más con humanos y otros agentes.
Si una organización carece de disciplinas de control y gobernanza sólidas, luchará en este entorno. La inteligencia artificial agente no crea nuevos problemas de responsabilidad, sino que expone los existentes. Para las empresas con cimientos sólidos, este cambio refuerza en realidad las prácticas que ya siguen, lo que describimos como “control digital”. Para otros, es una señal clara de que se deben establecer barreras prácticas antes de operacionalizar la inteligencia artificial agente a gran escala.
Sólo alrededor de 13% de las empresas han alcanzado este punto de escala agente con éxito. Hacen el doble de agente que todas las demás y obtienen 5 veces el ROI. Pero cuanto más autonomía tenga un sistema de inteligencia artificial, antes las organizaciones deben enfrentar la rendición de cuentas. Cuando un agente de inteligencia artificial ruta una reclamación, mueve dinero o maneja mal datos sensibles, la responsabilidad sigue a la empresa que definió el entorno, estableció los permisos y decidió cuánta libertad tenía ese sistema.
Es por esto que las empresas necesitan traer una supervisión clara a sus casos de uso de inteligencia artificial agente, y por qué las organizaciones están incentivadas a centrar su atención en sus programas de guardrails y gobernanza. La analogía de la propiedad de perros y el control digital es útil. Los perros tienen un cierto nivel de agencia, actúan de forma independiente, aunque sometimes de manera impredecible, pero no son personas legales. Esa combinación, agencia sin personalidad, es similar a donde se encuentran hoy los sistemas de inteligencia artificial agente, y los propietarios deben entender que, en ausencia de supervisión y gobernanza, ellos asumirán la responsabilidad por los malos resultados.
¿Cómo deben distinguir las empresas entre la inteligencia artificial asistente y la inteligencia artificial agente desde una perspectiva legal y operativa antes del despliegue?
A un nivel simple, la distinción se reduce a la autoridad. La inteligencia artificial asistente apoya la toma de decisiones humanas, mientras que la inteligencia artificial agente inicia acciones y ejecuta decisiones. Ambas pueden influir en los flujos de trabajo y dar forma al comportamiento, por ejemplo, en el servicio al cliente o la priorización operativa, pero solo los sistemas agentes actúan sobre esa influencia de forma independiente.
Si un sistema puede desencadenar flujos de trabajo, aprobar resultados, modificar estados del sistema o tomar acciones sin aprobación humana en tiempo real, debe ser tratado como agente. Esa determinación debe ocurrir antes del despliegue, porque una vez que se otorga autoridad a un agente, la responsabilidad legal y operativa se desplaza con ella. Las organizaciones deben ser conscientes de esta distinción para que no descubran demasiado tarde que han delegado involuntariamente el poder de decisión, y con él, la rendición de cuentas.
¿Pueden aplicarse doctrinas legales establecidas, como la delegación negligente y el respondeat superior, realistamente a sistemas de inteligencia artificial autónomos, y dónde comienzan a fallar esos marcos?
Se aplican más directamente de lo que muchos asumen. Estas doctrinas existen para abordar situaciones en las que se delega autoridad y ocurre un daño, lo que es precisamente uno de los desafíos potenciales que introduce la inteligencia artificial agente.
El problema no es con la doctrina legal, sino si las organizaciones entienden la responsabilidad que asumen al desplegar inteligencia artificial autónoma, y la necesidad de gobernar esos sistemas en consecuencia.
Cuando las organizaciones no definen el alcance, los permisos y la supervisión, crean responsabilidad legal. El problema rara vez es que la ley no puede manejar la inteligencia artificial agente, sino que las empresas no han definido claramente qué estaban autorizados a hacer sus sistemas o cómo deben ser gobernados.
¿Qué pasos prácticos deben tomar los equipos de información y los equipos legales hoy para definir y mitigar la responsabilidad cuando los flujos de trabajo de inteligencia artificial continúan aprendiendo y adaptándose en entornos de producción?
El primer paso es tratar el control soberano sobre la inteligencia artificial y los datos como crítico para la misión. Las organizaciones no pueden gobernar la responsabilidad de manera significativa si sus sistemas de inteligencia artificial y datos están fragmentados en entornos que no pueden observar o gestionar completamente. El 13% de las empresas que tienen éxito con la inteligencia artificial agente a gran escala comienzan con esta base.
En la práctica, eso significa restringir el acceso a los datos, definir claramente qué acciones pueden realizar los agentes de forma autónoma y colocar una supervisión humana alrededor de decisiones de alto impacto. También requiere registro y trazabilidad, para que el comportamiento pueda ser revisado cuando y si es necesario. Las organizaciones que adopten estas medidas temprano reducirán tanto la exposición legal como la fricción operativa más adelante.
¿Cómo recomienda que las empresas controlen o gobiernen la inteligencia artificial agente a través de políticas, controles técnicos o salvaguardas contractuales para reducir el riesgo de daño no intencional?
El punto de partida es la soberanía. Las empresas necesitan entornos donde sus sistemas de inteligencia artificial, datos y contexto de ejecución sean observables y aplicables a gran escala. La gobernanza no puede depender solo de la política. La política establece expectativas, pero los controles técnicos determinan qué pueden hacer realmente los sistemas, ya sea que los datos estén en reposo o en movimiento, y cómo se permiten operar los modelos.
Algunos agentes pertenecen a entornos cercados con ningún acceso a producción. Otros pueden operar con permisos limitados y umbrales de aprobación. Los agentes completamente autónomos deben ser raros y supervisados cuidadosamente. Los contratos pueden ayudar a aclarar la responsabilidad, pero no reemplazan la necesidad de control y rendición de cuentas internos.
¿Cambía el desplazamiento hacia entornos de inteligencia artificial controlados por la empresa o soberanos quién asume finalmente el riesgo cuando un agente de inteligencia artificial causa daño financiero u operativo?
No cambia quién asume el riesgo. Lo hace más claro, y de muchas maneras reduce el riesgo. Cuando las empresas controlan los datos, la infraestructura y el contexto de ejecución, eliminan variables introducidas cuando los datos y las herramientas están en manos de terceros.
El control sobre los datos y las herramientas de inteligencia artificial es una fortaleza. La soberanía da a las organizaciones la visibilidad y la autoridad necesarias para gestionar el riesgo de manera responsable. Sin ese control, las empresas amplían su perfil de riesgo.
Desde su perspectiva, ¿qué papel desempeñan la transparencia y la auditoría en la reducción de la exposición legal cuando se ejecutan aplicaciones de inteligencia artificial autónoma?
Son fundamentales. La auditoría convierte los sistemas autónomos en sistemas defendibles.
Cuando ocurren incidentes, los reguladores y los tribunales hacen preguntas prácticas: ¿qué sabía el sistema, qué estaba autorizado a hacer y por qué actuó? Las empresas que pueden demostrar supervisión y auditoría están en una mucha mejor posición en comparación con sus contrapartes que llegan con las manos vacías.
Mientras la guía federal de inteligencia artificial continúa evolucionando, ¿cómo deben prepararse las empresas para las obligaciones legales diferenciadas a nivel estatal relacionadas con la responsabilidad de la inteligencia artificial?
Las organizaciones no pueden esperar a que los reguladores les entreguen un conjunto detallado de reglas específicas para la inteligencia artificial. La ley estatal y federal existente nos da el 95% de la claridad que necesitamos para usar la inteligencia artificial de manera responsable y evitar eventos de responsabilidad significativos.
Esa claridad incluye diseñar sistemas para cumplir con los estándares de responsabilidad de producto más exigentes, lo que necesariamente incluirá cosas como el desarrollo responsable de capacidades de inteligencia artificial, pruebas previas al lanzamiento, transparencia y divulgación de riesgos, auditorías posteriores al lanzamiento, supervisión humana y capacitación para los usuarios de capacidades de inteligencia artificial. Estos pasos básicos y familiares importan más que tratar de predecir resultados regulatorios específicos.
¿Cuáles son las preguntas más importantes que los compradores de tecnología deben hacer a los proveedores sobre la autonomía, la supervisión y la responsabilidad antes de adoptar sistemas de inteligencia artificial agente?
Con la inteligencia artificial agente, la rendición de cuentas finalmente recae en la parte que autoriza la autonomía. Así que, las cuatro preguntas principales que debes responder son:
- ¿Quién controla el sistema en producción?
- ¿Cómo se prueban y aplican los permisos?
- ¿Cómo se limita el aprendizaje?
- ¿Qué evidencia de auditoría está disponible si algo sale mal?
Si un proveedor no puede proporcionar respuestas claras, las empresas deben proceder con precaución. Volviendo a la analogía del perro: los criadores importan, pero si algo sale mal, la responsabilidad puede recaer en el propietario.
Gracias por la gran entrevista, los lectores que deseen aprender más pueden visitar EnterpriseDB.
