Rob Feldman, Chief Legal Officer en EnterpriseDB – Serie de entrevistas

Rob Feldman, Chief Legal Officer, es responsable de las funciones legales y de cumplimiento en todo el mundo en EnterpriseDB. Como ejecutivo experimentado y abogado, construye equipos legales de alto rendimiento para apoyar a empresas de tecnología en crecimiento en entornos comerciales y regulatorios dinámicos. Más recientemente, dirigió un equipo legal de 45 personas en Citrix Systems, Inc. como Consejero General, incluyendo su transacción de adquisición por +$16 mil millones en 2022. Antes de Citrix, pasó más de una década en la práctica privada como litigante de empresas de tecnología, centrado en la defensa de fraude de valores, disputas de propiedad intelectual y investigaciones gubernamentales y internas. Rob también forma parte del Consejo Jurídico del Pacto Global de la ONU, brindando orientación estratégica sobre entornos regulatorios globales para ayudar a las empresas a impulsar un impacto transformador y a largo plazo.

EnterpriseDB es una empresa de software que proporciona soluciones de base de datos de nivel empresarial basadas en PostgreSQL de código abierto, lo que ayuda a las organizaciones a ejecutar cargas de trabajo críticas con mayor rendimiento, seguridad y confiabilidad. Fundada en 2004, EnterpriseDB ofrece plataformas en la nube y locales, soporte global y herramientas de compatibilidad con Oracle (ORCL ), centrándose cada vez más en plataformas de datos híbridas y listas para AI a través de sus ofertas de Postgres AI.

Dada su larga experiencia en liderazgo legal corporativo y el enfoque de EnterpriseDB en bases de datos Postgres de nivel empresarial y plataformas de datos y AI soberanas, ¿cómo ve la evolución de la responsabilidad para las empresas que operativizan AI agente dentro de la infraestructura de datos crítica?

El mundo de la IA y los datos todavía depende de los mismos principios básicos que deberían haber gobernado a las empresas mucho antes de la llegada de los sistemas agente: responsabilidad, restricción y claridad de responsabilidad.

En el pasado, esos principios se aplicaban a las personas y en gran medida a sistemas inactivos, paneles, informes y herramientas automatizadas que no iniciaban acciones por sí mismas. La IA agente introduce sistemas que se comportan más como participantes que como instrumentos. Pueden actuar de forma independiente, adaptarse con el tiempo y cada vez más interactuar con humanos y otros agentes.

Si una organización carece de disciplinas de gobernanza y control sólidas, luchará en este entorno. La IA agente no crea nuevos problemas de responsabilidad, sino que expone los existentes. Para las empresas con cimientos sólidos, este cambio refuerza en realidad las prácticas que ya siguen, lo que describimos como “control digital”. Para otros, es una señal clara de que se necesitan barreras prácticas antes de operativizar la IA agente a gran escala.

Solo alrededor del 13% de las empresas han alcanzado este punto de escala agente con éxito. Realizan el doble de agente que todas las demás y obtienen 5 veces el ROI. Pero cuanto más autonomía tenga un sistema de IA, antes deben enfrentar la responsabilidad las organizaciones. Cuando un agente de IA gestiona una reclamación, mueve dinero o mal maneja datos sensibles, la responsabilidad sigue a la empresa que definió el entorno, estableció los permisos y decidió cuánta libertad tenía ese sistema.

Esto es por lo que las empresas necesitan traer una supervisión clara a sus casos de uso de IA agente, y por lo que las organizaciones están incentivadas a centrar su atención en sus barreras y programas de gobernanza. La analogía de la propiedad de perros y el control digital es útil. Los perros tienen un cierto nivel de agencia, actúan de forma independiente, aunque a veces de manera impredecible, pero no son personas legales. Esa combinación, agencia sin personalidad, es similar a donde se encuentran hoy los sistemas de IA agente, y los propietarios deben entender que, en ausencia de supervisión y gobernanza, asumirán la responsabilidad de los malos resultados.

¿Cómo deben distinguir las empresas entre IA asistente y IA agente desde una perspectiva legal y operativa antes de la implementación?

En un nivel simple, la distinción se reduce a la autoridad. La IA asistente apoya la toma de decisiones humanas, mientras que la IA agente inicia acciones y ejecuta decisiones. Ambas pueden influir en los flujos de trabajo y dar forma al comportamiento, por ejemplo, en el servicio al cliente o la priorización operativa, pero solo los sistemas agente actúan sobre esa influencia de forma independiente.

Si un sistema puede desencadenar flujos de trabajo, aprobar resultados, modificar estados del sistema o tomar medidas sin aprobación humana en tiempo real, debe tratarse como agente. Esa determinación debe ocurrir antes de la implementación, porque una vez que se otorga autoridad a un agente, la responsabilidad legal y operativa cambia con ella. Las organizaciones deben ser conscientes de esta distinción para que no descubran demasiado tarde que han delegado involuntariamente el poder de toma de decisiones y, con él, la responsabilidad.

¿Pueden aplicarse realistamente doctrinas legales establecidas, como la delegación negligente y el superior responsable, a sistemas de IA autónomos, y dónde comienzan a fallar esos marcos?

Se aplican más directamente de lo que muchos suponen. Estas doctrinas existen para abordar situaciones en las que se delega la autoridad y ocurre un daño, lo cual es precisamente uno de los posibles desafíos que introduce la IA agente.

El problema no es la doctrina legal, sino si las organizaciones entienden la responsabilidad que asumen al implementar IA autónoma y la necesidad de gobernar esos sistemas en consecuencia.

Cuando las organizaciones no definen el alcance, los permisos y la supervisión, crean responsabilidad legal. El problema rara vez es que la ley no puede manejar la IA agente, sino que las empresas no han definido claramente qué estaban autorizados a hacer sus sistemas o cómo deben gobernarse.

¿Qué pasos prácticos deben tomar hoy los directores de informática y los equipos legales para definir y mitigar la responsabilidad cuando los flujos de trabajo de IA continúan aprendiendo y adaptándose en entornos de producción?

El primer paso es tratar el control soberano sobre la IA y los datos como crítico para la misión. Las organizaciones no pueden gobernar la responsabilidad de manera significativa si sus sistemas de IA y datos están fragmentados en entornos que no pueden observar o gestionar por completo. El 13% de las empresas que tienen éxito con la IA agente a gran escala comienzan con esta base.

En la práctica, eso significa limitar el acceso a los datos, definir claramente qué acciones pueden realizar los agentes de forma autónoma y colocar una supervisión humana alrededor de las decisiones de alto impacto. También requiere registro y trazabilidad, para que se pueda revisar el comportamiento cuando y si es necesario. Las organizaciones que adopten estas medidas temprano reducirán tanto la exposición legal como la fricción operativa a largo plazo.

¿Cómo recomienda que las empresas controlen o gobiernen la IA agente a través de políticas, controles técnicos o salvaguardias contractuales para reducir el riesgo de daño no intencional?

El punto de partida es la soberanía. Las empresas necesitan entornos en los que sus sistemas de IA, datos y contexto de ejecución sean observables y ejecutables a gran escala. La gobernanza no puede depender solo de la política. La política establece expectativas, pero los controles técnicos determinan lo que los sistemas pueden hacer en realidad, ya sea que los datos estén en reposo o en movimiento, y cómo se permiten que operen los modelos.

Algunos agentes pertenecen a entornos cercados con ningún acceso a producción. Otros pueden operar con permisos limitados y umbrales de aprobación. Los agentes completamente autónomos deben ser raros y estar bajo supervisión cuidadosa. Los contratos pueden ayudar a aclarar la responsabilidad, pero no reemplazan la necesidad de control y responsabilidad internos.

¿Cambía el desplazamiento hacia entornos de IA controlados por la empresa o soberanos quién asume finalmente el riesgo cuando un agente de IA causa daño financiero u operativo?

No cambia quién asume el riesgo. Hace que la responsabilidad sea más clara y, de muchas maneras, reduce el riesgo. Cuando las empresas controlan los datos, la infraestructura y el contexto de ejecución, eliminan las variables introducidas cuando los datos y las herramientas están en manos de terceros.

El control sobre los datos y las herramientas de IA es una fortaleza. La soberanía da a las organizaciones la visibilidad y la autoridad necesarias para gestionar el riesgo de manera responsable. Sin ese control, las empresas amplían su perfil de riesgo.

¿Cuál es el papel de la transparencia y la auditoría en la reducción de la exposición legal al ejecutar aplicaciones de IA autónomas?

Son fundamentales. La auditoría convierte a los sistemas autónomos en sistemas defendibles.

Cuando ocurren incidentes, los reguladores y los tribunales hacen preguntas prácticas: ¿qué sabía el sistema, qué estaba autorizado a hacer y por qué actuó? Las empresas que pueden demostrar supervisión y auditoría están en una mucha mejor posición en comparación con sus contrapartes que llegan con las manos vacías.

¿Cómo deben prepararse las empresas para las obligaciones legales estatales diferentes relacionadas con la responsabilidad de la IA a medida que continúa evolucionando la orientación federal de la IA?

Las organizaciones no pueden esperar a que los reguladores dicten un conjunto detallado de reglas específicas de la IA. La ley estatal y federal existente nos da el 95% de la claridad que necesitamos para usar la IA de manera responsable y evitar eventos de responsabilidad significativos.

Esa claridad incluye diseñar sistemas para cumplir con los estándares de responsabilidad de producto más exigentes, lo que necesariamente incluirá cosas como el desarrollo responsable de capacidades de IA, pruebas previas a la lanzamiento, divulgación de riesgos y transparencia, auditorías posteriores a la lanzamiento, supervisión humana y capacitación para los usuarios de las capacidades de IA. Estos pasos básicos y familiares importan más que tratar de predecir resultados regulatorios específicos.

¿Cuáles son las preguntas más importantes que los compradores de tecnología deben hacer a los proveedores sobre autonomía, supervisión y responsabilidad antes de adoptar sistemas de IA agente?

Con la IA agente, la responsabilidad finalmente recae en la parte que autoriza la autonomía. Así que, las cuatro preguntas principales que debe responder son:

1. ¿Quién controla el sistema en producción?
2. ¿Cómo se prueban y se aplican los permisos?
3. ¿Cómo se limita el aprendizaje?
4. ¿Qué evidencia de auditoría está disponible si algo sale mal?

Si un proveedor no puede proporcionar respuestas claras, las empresas deben proceder con precaución. Volviendo a la analogía del perro: los criadores importan, pero si algo sale mal, la responsabilidad puede recaer en el propietario.

Gracias por la gran entrevista, los lectores que deseen aprender más pueden visitar EnterpriseDB.