David Maher, CTO de Intertrust – Serie de entrevistas

David Maher se desempeña como Vicepresidente Ejecutivo y Director de Tecnología de Intertrust. Con más de 30 años de experiencia en sistemas distribuidos de confianza, sistemas seguros y gestión de riesgos, Dave ha liderado esfuerzos de I&D y ha ocupado puestos de liderazgo clave en las subsidiarias de la empresa. Fue presidente de Seacert Corporation, una Autoridad de Certificación para medios digitales y IoT, y presidente de whiteCryption Corporation, un desarrollador de sistemas de autodefensa de software. También se desempeñó como copresidente de la Organización de Gestión de Confianza Marlin (MTMO), que supervisa el único ecosistema de gestión de derechos digitales independiente del mundo.

Intertrust desarrolló innovaciones que permiten a los sistemas operativos distribuidos seguros y gobernar datos y cálculos sobre redes abiertas, lo que resultó en una patente fundamental sobre computación distribuida de confianza.

Originalmente arraigada en la investigación, Intertrust ha evolucionado hacia una empresa enfocada en productos que ofrece servicios de computación de confianza que unifican las operaciones de dispositivos y datos, particularmente para IoT y AI. Sus mercados incluyen distribución de medios, identidad y autenticación de dispositivos, gestión de energía digital, análisis y seguridad de almacenamiento en la nube.

¿Cómo podemos cerrar la brecha de confianza en la IA y abordar las crecientes preocupaciones del público sobre la seguridad y la confiabilidad de la IA?

La transparencia es la cualidad más importante que creo que ayudará a abordar las crecientes preocupaciones sobre la IA. La transparencia incluye características que ayudan a los consumidores y a los tecnólogos a entender qué mecanismos de IA son parte de los sistemas con los que interactuamos, qué tipo de pedigrí tienen: cómo se entrena un modelo de IA, qué guardias existen, qué políticas se aplicaron en el desarrollo del modelo, y qué otras garantías existen para la seguridad y la seguridad de un mecanismo determinado. Con mayor transparencia, podremos abordar riesgos y problemas reales y no distraernos tanto por temores y conjeturas irracionales.

¿Cuál es el papel de la autenticación de metadatos en garantizar la confiabilidad de las salidas de la IA?

La autenticación de metadatos ayuda a aumentar nuestra confianza en que las garantías sobre un modelo de IA o otro mecanismo son confiables. Una tarjeta de modelo de IA es un ejemplo de una colección de metadatos que puede ayudar a evaluar el uso de un mecanismo de IA (modelo, agente, etc.) para un propósito específico. Necesitamos establecer estándares para la claridad y la complejidad de las tarjetas de modelo con estándares para mediciones cuantitativas y afirmaciones autenticadas sobre el rendimiento, el sesgo, las propiedades de los datos de entrenamiento, etc.

¿Cómo pueden las organizaciones mitigar el riesgo de sesgo y alucinaciones en la IA en los grandes modelos de lenguaje (LLM)?

El “red teaming” es un enfoque general para abordar estos y otros riesgos durante el desarrollo y la prelanzamiento de modelos. Originalmente utilizado para evaluar sistemas seguros, el enfoque ahora se está convirtiendo en estándar para sistemas basados en IA. Es un enfoque de gestión de riesgos de sistemas que puede y debe incluir todo el ciclo de vida de un sistema, desde el desarrollo inicial hasta la implementación en el campo, cubriendo toda la cadena de suministro de desarrollo. Especialmente crítico es la clasificación y autenticación de los datos de entrenamiento utilizados para un modelo.

¿Qué pasos pueden tomar las empresas para crear transparencia en los sistemas de IA y reducir los riesgos asociados con el problema de la “caja negra”?

Entender cómo la empresa va a utilizar el modelo y qué tipo de responsabilidades puede tener en la implementación, ya sea para uso interno o para uso de los clientes, ya sea directa o indirectamente. Luego, entender lo que yo llamo los pedigríes de los mecanismos de IA que se van a implementar, incluyendo afirmaciones en una tarjeta de modelo, resultados de pruebas de “red team”, análisis diferencial en el uso específico de la empresa, qué ha sido formalmente evaluado y qué han sido las experiencias de otras personas. La prueba interna utilizando un plan de prueba integral en un entorno real es absolutamente necesaria. Las mejores prácticas están evolucionando en este área naciente, así que es importante mantenerse al día.

¿Cómo se pueden diseñar los sistemas de IA con pautas éticas en mente, y cuáles son los desafíos para lograr esto en diferentes industrias?

Esta es un área de investigación, y muchos afirman que la noción de ética y las versiones actuales de la IA son incongruentes, ya que la ética es conceptual y los mecanismos de IA son principalmente impulsados por datos. Por ejemplo, reglas simples que los humanos entienden, como “no engañar”, son difíciles de garantizar. Sin embargo, un análisis cuidadoso de las interacciones y conflictos de objetivos en el aprendizaje basado en objetivos, la exclusión de datos dudosos y la desinformación, y la construcción de reglas que requieren el uso de filtros de salida que imponen guardias y prueban violaciones de principios éticos, como la defensa o la simpatía con el uso de la violencia en el contenido de salida, deben ser considerados. De manera similar, las pruebas rigurosas para el sesgo pueden ayudar a alinear un modelo más con principios éticos. De nuevo, gran parte de esto puede ser conceptual, así que se debe prestar atención a probar los efectos de un enfoque determinado, ya que el mecanismo de IA no “entenderá” las instrucciones de la manera que los humanos lo hacen.

¿Cuáles son los riesgos y desafíos clave que enfrenta la IA en el futuro, especialmente a medida que se integra más con los sistemas de IoT?

Queremos utilizar la IA para automatizar sistemas que optimicen procesos de infraestructura crítica. Por ejemplo, sabemos que podemos optimizar la distribución y el uso de energía utilizando plantas de energía virtuales, que coordinan miles de elementos de producción, almacenamiento y uso de energía. Esto solo es práctico con una automatización masiva y el uso de la IA para ayudar en la toma de decisiones minutadas. Los sistemas incluirán agentes con objetivos de optimización en conflicto (por ejemplo, para el beneficio del consumidor versus el proveedor). La seguridad y la confiabilidad de la IA serán fundamentales en la implementación a gran escala de dichos sistemas.

¿Qué tipo de infraestructura se necesita para identificar y autenticar de manera segura las entidades en los sistemas de IA?

Necesitaremos una infraestructura robusta y eficiente mediante la cual las entidades involucradas en la evaluación de todos los aspectos de los sistemas de IA y su implementación puedan publicar afirmaciones autorizadas y auténticas sobre los sistemas de IA, su pedigrí, los datos de entrenamiento disponibles, la procedencia de los datos de los sensores, los incidentes y eventos de seguridad, etc. Esa infraestructura también necesitará hacer que sea eficiente verificar las afirmaciones y las afirmaciones de los usuarios de los sistemas que incluyen mecanismos de IA y de los elementos dentro de los sistemas automatizados que toman decisiones basadas en las salidas de los modelos y optimizadores de IA.

¿Podría compartir con nosotros algunas ideas sobre lo que está trabajando en Intertrust y cómo se relaciona con lo que hemos discutido?

Investigamos y diseñamos tecnología que pueda proporcionar la infraestructura de gestión de confianza que se requiere en la pregunta anterior. Estamos abordando específicamente cuestiones de escala, latencia, seguridad e interoperabilidad que surgen en los sistemas de IoT que incluyen componentes de IA.

¿Cómo asegura el servicio de infraestructura de clave pública (PKI) de Intertrust los dispositivos de IoT, y qué lo hace escalable para implementaciones a gran escala?

Nuestro PKI se diseñó específicamente para la gestión de confianza para sistemas que incluyen la gobernanza de dispositivos y contenido digital. Hemos desplegado miles de millones de claves criptográficas y certificados que aseguran el cumplimiento. Nuestra investigación actual aborda la escala y las garantías que requiere la automatización industrial masiva y la infraestructura crítica mundial, incluyendo las mejores prácticas para implementaciones de “confianza cero” y autenticación de dispositivos y datos que pueden acomodar trillones de sensores y generadores de eventos.

¿Qué lo motivó a unirse a las iniciativas de IA de NIST, y cómo contribuye su participación al desarrollo de normas de IA confiables y seguras?

NIST tiene una gran experiencia y éxito en el desarrollo de normas y mejores prácticas en sistemas seguros. Como Investigador Principal para el AISIC de EE. UU. de Intertrust, puedo abogar por normas y mejores prácticas importantes en el desarrollo de sistemas de gestión de confianza que incluyen mecanismos de IA. Por experiencia pasada, aprecio particularmente el enfoque que NIST adopta para promover la creatividad, el progreso y la cooperación industrial mientras ayuda a formular y promulgar normas técnicas importantes que promueven la interoperabilidad. Estas normas pueden impulsar la adopción de tecnologías beneficiosas mientras abordan los tipos de riesgos que enfrenta la sociedad.

Gracias por la gran entrevista, los lectores que deseen aprender más pueden visitar Intertrust.