IA Federal e Militar dos EUA: Nova Plataforma Oferece Validação e Acreditação de Algoritmos

Uma startup que conta com um conselho consultivo formado por ex‑luminares militares do governo lançou uma nova plataforma projetada para avaliar a segurança e a implantabilidade de aplicações de IA. Dizia‑se que os primeiros adotantes do sistema incluem a Força Aérea dos EUA e o Departamento de Segurança Interna.

A plataforma chama‑se VESPR, da CalypsoAI, fundada em 2018, com sede no Vale do Silício, Dublin e um local oficialmente “não divulgado” na Virgínia – terra firme da CIA em Langley.

O VESPR é um sistema de gerenciamento de risco de modelos (MRM) projetado para viabilizar um sistema de acreditação compatível com normas federais para algoritmos implantados. Ele oferece tanto um ambiente GUI estilo painel de controle, amigável ao usuário, quanto uma interface de linha de comando (CLI) para usos mais avançados.

Clique para ampliar.

O VESPR baseia‑se nos padrões de validação, verificação e acreditação de aprendizado de máquina da CalypsoAI, e inclui bibliotecas de aprendizado de máquina adversarial desenvolvidas manualmente. Também oferece rotinas automatizadas de teste de estresse para algoritmos potencialmente implantáveis.

Força‑Tarefa Nacional de Recurso de Pesquisa em Inteligência Artificial

O momento do lançamento pode estar relacionado ao anúncio de ontem, feito pela administração Biden, de uma nova Força‑Tarefa Nacional de Recurso de Pesquisa em Inteligência Artificial, órgão criado para servir como comitê consultivo federal de acordo com a Lei de Iniciativa Nacional de IA de 2020 do Congresso.

A pressão tem aumentado nos EUA e ao redor do mundo por normas regulatórias significativas para sistemas de aprendizado de máquina, especialmente em áreas críticas como infraestrutura essencial e uso militar. Como os sistemas de ML ainda estão em fase formativa e evoluem rapidamente, eles constituem um recurso relativamente instável e frequentemente controverso, do qual agora é essencial identificar algoritmos analíticos replicáveis e confiáveis – se isso for possível.

Em abril, a CalypsoAI manifestou apoio ao Endless Frontiers Act, um projeto de lei do Congresso destinado a reformar o financiamento científico diante da crescente proeminência da China como potência de IA, embora o projeto tenha sido, em última instância, atenuado no Senado.

Validação para IA Federal

De acordo com o comunicado de imprensa do VESPR, as áreas abrangidas pela estrutura incluem visão computacional e processamento de linguagem natural (NLP).

A CalypsoAI afirma que o VESPR foi criado ‘com contribuição crítica de clientes de segurança nacional existentes e nasceu de anos de pesquisa financiada de forma independente sobre aprendizado de máquina adversarial’.

Imagens do sistema vistas em um vídeo promocional (veja o final do artigo) parecem incluir rotinas de detecção e/ou simulação de envenenamento de dados e injeção de ruído, oferecendo simulações das ações de possíveis atacantes contra sistemas implantados.

Clique para ampliar.

O sistema parece utilizar dados históricos de ações nacionais e estrangeiras. As classes‑alvo apresentadas incluem ‘Protestos’ e ‘Distúrbios’, além da menos clara ‘Desenvolvimentos estratégicos’. Incidentes de terrorismo nacional também parecem estar incluídos nos bancos de dados de referência do sistema, com ‘Violência contra civis’ como outra classe‑alvo disponível. Outras classes‑alvo disponíveis incluem ‘Batalhas’ e ‘Explosões/Violência Remota’.

Clique para ampliar.

O sistema parece permitir a proteção de recursos em uma seção de ‘gerenciamento de BIAS’ da configuração, aparentemente projetada para combater o overfitting ou evitar a eliminação indesejada de pequenos eventos atípicos que podem ser relevantes em uma rotina analítica. No vídeo, o VESPR está processando dados históricos tabulares sobre ‘Ucrânia’.

Além desse impulso promocional inicial, não é provável (talvez por design) que ouviremos muito mais sobre esse produto SaaS voltado ao governo, independentemente de seu desempenho; ele compartilha o nome com uma franquia de cafeterias, um aplicativo de encontros sociais e um álbum de streaming, e é constantemente superado nos resultados classificados pelo modelo químico VSEPR.

A CalypsoAI recebeu US$ 13 milhões em financiamento Série A da Paladin Capital Venture Group em julho de 2020. Outros investidores incluíram 8VC, Lockheed Martin (LMT ) Ventures, Manta Ray Ventures, Frontline Ventures, Lightspeed Venture Partners e Pallas Ventures.

Em uma postagem no blog da empresa, o fundador da CalypsoAI, Neil Serebryany, que realizou trabalho de pesquisa não especificado no Departamento de Defesa em 2018, afirma que a empresa foi fundada como uma possível solução para o medo dos governos de implantar sistemas algorítmicos avançados em um clima não regulamentado:

‘A principal razão para esse medo dos projetos de IA, que leva ao seu abandono dentro do Governo, parece prosaica, mas na verdade é bastante complexa. Eles eram abandonados devido à falta de garantia de qualidade […] Modelos de IA não podem ser avaliados da mesma forma que modelos de software tradicionais. Isso se deve à natureza subjacente da estrutura do modelo e às formas altamente complexas pelas quais eles podem falhar. Falta de um mecanismo para avaliar esses sistemas não determinísticos de maneira determinística e auditável, as organizações dentro do governo não conseguiam avaliar a chamada ‘qualidade’ dos modelos de IA em relação a um benchmark. Isso gerou o medo de que eles pudessem falhar, apresentar mau funcionamento ou ser hackeados por um adversário no momento em que são mais necessários, por exemplo, em combate, em voo ou durante um procedimento médico complexo.’

Conselho Consultivo

Um mês antes da rodada de investimento, a empresa criou um Conselho Consultivo de Segurança Nacional incluindo Tony DeMartino, ex‑assessor do Secretário de Defesa Jim Mattis e agora sócio fundador da firma de consultoria estratégica Pallas Advisors, baseada em Washington; a ex‑Vice‑Secretária Adjunta Principal do Departamento de Defesa para Inteligência (sob o presidente Trump) Kari Bingen; o ex‑Diretor Associado Adjunto de Inovação Digital da CIA, Sean Roche, antigo especialista em ciberinteligência naquela organização; e Michael Molino, ex‑Vice‑Presidente Executivo de desenvolvimento corporativo da ASRC Federal, que fornece consultoria, pesquisa e capacidades de migração técnica em uma variedade de serviços federais críticos.

De acordo com o comunicado:

‘O VESPR oferece recursos avançados de teste de IA com um fluxo de trabalho simplificado para garantir que todo algoritmo de aprendizado de máquina colocado em produção tenha sido verificado como seguro. O VESPR fornece segurança e garantia incomparáveis para uma variedade de sistemas de IA, desde visão computacional até processamento de linguagem natural. O processo VESPR assegura teste, avaliação, verificação e validação (TEVV) ao longo de todo o ciclo de vida seguro de aprendizado de máquina (SMLC), desde a fase de pesquisa e desenvolvimento até a implantação do modelo. O resultado final são sistemas de IA que fornecem monitoramento e relatórios precisos e abrangentes sobre as capacidades, vulnerabilidades e desempenho dos modelos.’

Atualizado 11:07 AM EST para refletir que Michael Molino não trabalha mais na ASRC Federal, uma errata no artigo original.

Atualizado 28 de janeiro de 2024 para remover vídeo do YouTube quebrado.