David Maher, CTO de Intertrust – Serie de entrevistas

David Maher se desempeña como Vicepresidente Ejecutivo y Director de Tecnología de Intertrust. Con más de 30 años de experiencia en sistemas distribuidos de confianza, sistemas seguros y gestión de riesgos, Dave ha liderado esfuerzos de I+D y ha ocupado puestos de liderazgo clave en las subsidiarias de la empresa. Fue presidente de Seacert Corporation, una Autoridad de Certificación para medios digitales y IoT, y presidente de whiteCryption Corporation, un desarrollador de sistemas de autodefensa de software. También se desempeñó como copresidente de la Organización de Gestión de Confianza Marlin (MTMO), que supervisa el único ecosistema de gestión de derechos digitales independiente del mundo.

Intertrust desarrolló innovaciones que permiten a los sistemas operativos distribuidos seguros y gobernar datos y cálculos sobre redes abiertas, lo que resultó en una patente fundamental sobre computación distribuida de confianza.

Originalmente arraigada en la investigación, Intertrust ha evolucionado hasta convertirse en una empresa enfocada en productos que ofrece servicios de computación de confianza que unifican las operaciones de dispositivos y datos, particularmente para IoT y AI. Sus mercados incluyen la distribución de medios, la identidad y autenticación de dispositivos, la gestión de energía digital, el análisis y la seguridad de almacenamiento en la nube.

¿Cómo podemos cerrar la brecha de confianza en la IA y abordar las crecientes preocupaciones del público sobre la seguridad y la confiabilidad de la IA?

La transparencia es la cualidad más importante que creo que ayudará a abordar las crecientes preocupaciones sobre la IA. La transparencia incluye características que ayudan a los consumidores y tecnólogos a entender qué mecanismos de IA son parte de los sistemas con los que interactuamos, qué tipo de pedigrí tienen: cómo se entrena un modelo de IA, qué guardias existen, qué políticas se aplicaron en el desarrollo del modelo y qué otras garantías existen para la seguridad y la seguridad de un mecanismo determinado. Con mayor transparencia, podremos abordar riesgos y problemas reales y no estar distraídos por temores y conjeturas irracionales.

¿Cuál es el papel de la autenticación de metadatos en la garantía de la confiabilidad de las salidas de la IA?

La autenticación de metadatos ayuda a aumentar nuestra confianza en que las garantías sobre un modelo de IA o otro mecanismo son confiables. Una tarjeta de modelo de IA es un ejemplo de una colección de metadatos que puede ayudar a evaluar el uso de un mecanismo de IA (modelo, agente, etc.) para un propósito específico. Necesitamos establecer estándares para la claridad y la completitud de las tarjetas de modelo con estándares para mediciones cuantitativas y afirmaciones autenticadas sobre el rendimiento, el sesgo, las propiedades de los datos de entrenamiento, etc.

¿Cómo pueden las organizaciones mitigar el riesgo de sesgo y alucinaciones en la IA en los grandes modelos de lenguaje (LLM)?

El “red teaming” es un enfoque general para abordar estos y otros riesgos durante el desarrollo y la prelanzamiento de los modelos. Originalmente utilizado para evaluar sistemas seguros, el enfoque ahora se está convirtiendo en estándar para los sistemas basados en la IA. Es un enfoque de gestión de riesgos de sistemas que puede y debe incluir todo el ciclo de vida de un sistema, desde el desarrollo inicial hasta la implementación en el campo, cubriendo toda la cadena de suministro de desarrollo. Especialmente crítico es la clasificación y autenticación de los datos de entrenamiento utilizados para un modelo.

¿Qué pasos pueden seguir las empresas para crear transparencia en los sistemas de IA y reducir los riesgos asociados con el problema de la “caja negra”?

Entender cómo la empresa va a utilizar el modelo y qué tipo de responsabilidades puede tener en la implementación, ya sea para uso interno o para uso de los clientes, ya sea directa o indirectamente. Luego, entender lo que yo llamo los pedigríes de los mecanismos de IA que se van a implementar, incluyendo afirmaciones en una tarjeta de modelo, resultados de pruebas de “red team”, análisis diferencial en el uso específico de la empresa, qué se ha evaluado formalmente y qué han sido las experiencias de otras personas. La prueba interna utilizando un plan de prueba integral en un entorno realista es absolutamente necesaria. Las mejores prácticas están evolucionando en este área incipiente, así que es importante mantenerse al día.

¿Cómo se pueden diseñar los sistemas de IA con pautas éticas en mente, y cuáles son los desafíos para lograr esto en diferentes industrias?

Esta es un área de investigación, y muchos afirman que la noción de ética y las versiones actuales de la IA son incongruentes, ya que la ética es conceptual y los mecanismos de IA son en su mayoría impulsados por datos. Por ejemplo, reglas simples que los humanos entienden, como “no engañar”, son difíciles de garantizar. Sin embargo, un análisis cuidadoso de las interacciones y los conflictos de objetivos en el aprendizaje basado en objetivos, la exclusión de datos sospechosos y la desinformación, y la construcción de reglas que requieren el uso de filtros de salida que imponen guardias y prueban violaciones de principios éticos, como la promoción o la simpatía con el uso de la violencia en el contenido de salida, deben ser considerados. De manera similar, las pruebas rigurosas para el sesgo pueden ayudar a alinear un modelo más con los principios éticos. Nuevamente, gran parte de esto puede ser conceptual, así que se debe prestar atención a probar los efectos de un enfoque determinado, ya que el mecanismo de IA no “entenderá” las instrucciones de la manera que los humanos lo hacen.

¿Cuáles son los principales riesgos y desafíos que enfrenta la IA en el futuro, especialmente a medida que se integra más con los sistemas de IoT?

Queremos utilizar la IA para automatizar sistemas que optimicen procesos de infraestructura crítica. Por ejemplo, sabemos que podemos optimizar la distribución y el uso de energía utilizando plantas de energía virtuales, que coordinan miles de elementos de producción, almacenamiento y uso de energía. Esto solo es práctico con una automatización masiva y el uso de la IA para ayudar en la toma de decisiones minutadas. Los sistemas incluirán agentes con objetivos de optimización en conflicto (por ejemplo, para el beneficio del consumidor versus el proveedor). La seguridad y la confiabilidad de la IA serán fundamentales en la implementación a gran escala de dichos sistemas.

¿Qué tipo de infraestructura se necesita para identificar y autenticar de manera segura las entidades en los sistemas de IA?

Necesitaremos una infraestructura robusta y eficiente mediante la cual las entidades involucradas en la evaluación de todos los aspectos de los sistemas de IA y su implementación puedan publicar afirmaciones autorizadas y auténticas sobre los sistemas de IA, su pedigrí, los datos de entrenamiento disponibles, la procedencia de los datos de los sensores, los incidentes y eventos que afectan la seguridad, etc. Esa infraestructura también necesitará hacer que sea eficiente verificar las afirmaciones y las afirmaciones de los usuarios de los sistemas que incluyen mecanismos de IA y de los elementos dentro de los sistemas automatizados que toman decisiones basadas en las salidas de los modelos y optimizadores de IA.

¿Podría compartir con nosotros algunas perspectivas sobre lo que está trabajando en Intertrust y cómo se relaciona con lo que hemos discutido?

Investigamos y diseñamos tecnología que pueda proporcionar la infraestructura de gestión de confianza necesaria en la pregunta anterior. Estamos abordando específicamente los problemas de escala, latencia, seguridad e interoperabilidad que surgen en los sistemas de IoT que incluyen componentes de IA.

¿Cómo asegura el servicio de infraestructura de clave pública (PKI) de Intertrust los dispositivos de IoT, y qué lo hace escalable para implementaciones a gran escala?

Nuestro PKI fue diseñado específicamente para la gestión de confianza para sistemas que incluyen la gobernanza de dispositivos y contenido digital. Hemos desplegado miles de millones de claves criptográficas y certificados que garantizan el cumplimiento. Nuestra investigación actual aborda la escala y las garantías que requiere la automatización industrial masiva y la infraestructura crítica mundial, incluyendo las mejores prácticas para las implementaciones de “zero-trust” y la autenticación de dispositivos y datos que pueden acomodar trillones de sensores y generadores de eventos.

¿Qué lo motivó a unirse a las iniciativas de IA de NIST, y cómo contribuye su participación al desarrollo de estándares de IA confiables y seguros?

NIST tiene una gran experiencia y éxito en el desarrollo de estándares y mejores prácticas en sistemas seguros. Como Investigador Principal para el US AISIC de Intertrust, puedo abogar por estándares y mejores prácticas importantes en el desarrollo de sistemas de gestión de confianza que incluyen mecanismos de IA. Por experiencia pasada, aprecio particularmente el enfoque que NIST adopta para promover la creatividad, el progreso y la cooperación industrial mientras ayuda a formular y promulgar estándares técnicos importantes que promueven la interoperabilidad. Estos estándares pueden impulsar la adopción de tecnologías beneficiosas mientras abordan los tipos de riesgos que enfrenta la sociedad.

Gracias por la gran entrevista, los lectores que deseen aprender más pueden visitar Intertrust.