David Maher, CTO da Intertrust – Série de Entrevistas

David Maher atua como Vice-Presidente Executivo e Diretor de Tecnologia da Intertrust. Com mais de 30 anos de experiência em sistemas distribuídos confiáveis, sistemas seguros e gestão de riscos, Dave liderou esforços de P&D e ocupou cargos de liderança chave em toda a empresa. Ele foi presidente da Seacert Corporation, uma Autoridade de Certificação para mídia digital e IoT, e presidente da whiteCryption Corporation, desenvolvedora de sistemas de autodefesa de software. Ele também atuou como co-presidente da Marlin Trust Management Organization (MTMO), que supervisiona o único ecossistema de gerenciamento de direitos digitais independente do mundo.

Intertrust desenvolveu inovações que permitem que sistemas operacionais distribuídos segurem e gerenciem dados e computações em redes abertas, resultando em uma patente fundamental sobre computação distribuída confiável.

Originalmente enraizada em pesquisas, a Intertrust evoluiu para uma empresa focada em produtos que oferece serviços de computação confiável que unificam operações de dispositivos e dados, especialmente para IoT e AI. Seus mercados incluem distribuição de mídia, identidade e autenticação de dispositivos, gerenciamento de energia digital, análise e segurança de armazenamento em nuvem.

Como podemos fechar a lacuna de confiança da IA e abordar as crescentes preocupações do público sobre a segurança e confiabilidade da IA?

A transparência é a qualidade mais importante que acredito que ajudará a abordar as crescentes preocupações sobre a IA. A transparência inclui recursos que ajudam tanto os consumidores quanto os tecnólogos a entender quais mecanismos de IA fazem parte dos sistemas com os quais interagimos, qual é a procedência deles: como um modelo de IA é treinado, quais guardiões existem, quais políticas foram aplicadas no desenvolvimento do modelo e quais outras garantias existem para a segurança e segurança de um determinado mecanismo. Com maior transparência, seremos capazes de abordar riscos e questões reais e não sermos distraídos tanto por medos e conjecturas irracionais.

Qual é o papel da autenticação de metadados na garantia da confiabilidade das saídas de IA?

A autenticação de metadados ajuda a aumentar nossa confiança de que as garantias sobre um modelo de IA ou outro mecanismo são confiáveis. Um cartão de modelo de IA é um exemplo de uma coleção de metadados que pode ajudar a avaliar o uso de um mecanismo de IA (modelo, agente, etc.) para um propósito específico. Precisamos estabelecer padrões para clareza e completude para cartões de modelo com padrões para medições quantitativas e afirmações autenticadas sobre desempenho, viés, propriedades de dados de treinamento, etc.

Como as organizações podem mitigar o risco de viés e alucinações de IA em modelos de linguagem grande (LLM)?

O teste de equipe vermelha é uma abordagem geral para abordar esses e outros riscos durante o desenvolvimento e pré-lançamento de modelos. Originalmente usado para avaliar sistemas seguros, a abordagem agora está se tornando padrão para sistemas baseados em IA. É uma abordagem de gestão de riscos de sistemas que pode e deve incluir todo o ciclo de vida de um sistema, desde o desenvolvimento inicial até a implantação em campo, cobrindo toda a cadeia de suprimentos de desenvolvimento. Especialmente crítico é a classificação e autenticação dos dados de treinamento usados para um modelo.

Quais passos as empresas podem dar para criar transparência em sistemas de IA e reduzir os riscos associados ao problema da “caixa preta”?

Entenda como a empresa irá usar o modelo e quais tipos de responsabilidades ela pode ter na implantação, seja para uso interno ou uso por clientes, seja diretamente ou indiretamente. Em seguida, entenda o que chamo de pedigree dos mecanismos de IA a serem implantados, incluindo afirmações em um cartão de modelo, resultados de testes de equipe vermelha, análise diferencial no uso específico da empresa, o que foi formalmente avaliado e o que foi a experiência de outras pessoas. Testes internos usando um plano de teste abrangente em um ambiente realista são absolutamente necessários. As melhores práticas estão evoluindo nessa área nascente, então é importante manter-se atualizado.

Como os sistemas de IA podem ser projetados com diretrizes éticas em mente, e quais são os desafios em alcançar isso em diferentes indústrias?

Essa é uma área de pesquisa, e muitos alegam que a noção de ética e as versões atuais de IA são incongruentes, pois a ética é baseada em conceitos e os mecanismos de IA são principalmente baseados em dados. Por exemplo, regras simples que os humanos entendem, como “não trapacear”, são difíceis de garantir. No entanto, uma análise cuidadosa de interações e conflitos de objetivos no aprendizado baseado em objetivos, exclusão de dados duvidosos e desinformação, e a construção de regras que exigem o uso de filtros de saída que impõem guardiões e testam violações de princípios éticos, como defender ou simpatizar com o uso de violência no conteúdo de saída, devem ser considerados. Da mesma forma, testes rigorosos para viés podem ajudar a alinhar um modelo mais com princípios éticos. Mais uma vez, muito disso pode ser conceitual, então é necessário cuidado para testar os efeitos de uma abordagem específica, pois o mecanismo de IA não “entenderá” as instruções do mesmo jeito que os humanos.

Quais são os principais riscos e desafios que a IA enfrenta no futuro, especialmente à medida que se integra mais com sistemas de IoT?

Queremos usar a IA para automatizar sistemas que otimizam processos de infraestrutura crítica. Por exemplo, sabemos que podemos otimizar a distribuição e uso de energia usando usinas de energia virtuais, que coordenam milhares de elementos de produção, armazenamento e uso de energia. Isso só é prático com automação maciça e o uso de IA para ajudar na tomada de decisões em minutos. Os sistemas incluirão agentes com objetivos de otimização conflitantes (por exemplo, para o benefício do consumidor versus o fornecedor). A segurança e segurança da IA serão críticas na implantação em larga escala desses sistemas.

Que tipo de infraestrutura é necessário para identificar e autenticar entidades em sistemas de IA de forma segura?

Precisaremos de uma infraestrutura robusta e eficiente que permita que as entidades envolvidas na avaliação de todos os aspectos dos sistemas de IA e sua implantação publiquem afirmações autorizadas e autênticas sobre os sistemas de IA, sua procedência, dados de treinamento disponíveis, proveniência de dados de sensores, incidentes e eventos de segurança, etc. Essa infraestrutura também precisará tornar eficiente a verificação de afirmações e declarações por usuários de sistemas que incluem mecanismos de IA e por elementos dentro de sistemas automatizados que tomam decisões com base em saídas de modelos de IA e otimizadores.

Poderia compartilhar conosco algumas informações sobre o que você está trabalhando na Intertrust e como isso se relaciona com o que discutimos?

Pesquisamos e projetamos tecnologia que possa fornecer a infraestrutura de gerenciamento de confiança necessária na pergunta anterior. Estamos abordando especificamente questões de escala, latência, segurança e interoperabilidade que surgem em sistemas de IoT que incluem componentes de IA.

Como o serviço de Infraestrutura de Chave Pública (PKI) da Intertrust garante a segurança dos dispositivos de IoT e o que o torna escalável para implantações em larga escala?

Nossa PKI foi projetada especificamente para o gerenciamento de confiança de sistemas que incluem a governança de dispositivos e conteúdo digital. Implementamos bilhões de chaves criptográficas e certificados que garantem conformidade. Nossa pesquisa atual aborda a escala e as garantias que a automação industrial maciça e a infraestrutura crítica mundial exigem, incluindo as melhores práticas para implantações “zero-trust” e autenticação de dispositivos e dados que possam acomodar trilhões de sensores e geradores de eventos.

O que o motivou a se juntar às iniciativas de IA do NIST e como sua participação contribui para o desenvolvimento de padrões de IA confiáveis e seguros?

O NIST tem uma tremenda experiência e sucesso no desenvolvimento de padrões e boas práticas em sistemas seguros. Como Investigador Principal do US AISIC da Intertrust, posso defender padrões e boas práticas importantes no desenvolvimento de sistemas de gerenciamento de confiança que incluem mecanismos de IA. Com base na experiência passada, aprecio particularmente a abordagem que o NIST adota para promover a criatividade, o progresso e a cooperação industrial, enquanto ajuda a formular e promulgar padrões técnicos importantes que promovem a interoperabilidade. Esses padrões podem impulsionar a adoção de tecnologias benéficas, enquanto abordam os tipos de riscos que a sociedade enfrenta.

Obrigado pela grande entrevista, leitores que desejam aprender mais devem visitar Intertrust.