IA Federal e Militar dos EUA: Nova Plataforma Oferece Validação e Acreditação de Algoritmos

Uma startup que apresenta um conselho consultivo de ex-luminárias do governo e militares lançou uma nova plataforma projetada para avaliar a segurança e a implantabilidade de aplicações de IA. Os primeiros adotantes do sistema incluem a Força Aérea dos EUA e o Departamento de Segurança Nacional.

A plataforma é chamada VESPR, da CalypsoAI, fundada em 2018, com sede no Vale do Silício, Dublin e uma localização “não divulgada” na Virgínia – terra firme para a CIA em Langley.

VESPR é um sistema de gerenciamento de risco de modelo (MRM) projetado para facilitar um sistema de acreditação federalmente compatível para algoritmos implantados. Ele oferece tanto um ambiente de GUI estilo painel de controle de usuário quanto uma interface de linha de comando (CLI) para uso mais avançado.

Clique para ampliar. Fonte: https://www.youtube.com/watch?v=lMhS6j7t2pI

VESPR é fundamentado nos padrões de validação, verificação e acreditação de aprendizado de máquina da CalypsoAI e apresenta bibliotecas de aprendizado de máquina adversarial feitas à mão. Ele também oferece rotinas de teste de estresse automatizadas para algoritmos potencialmente implantáveis.

Força-Tarefa Nacional de Recursos de Pesquisa de Inteligência Artificial

O lançamento da plataforma pode estar relacionado ao lançamento, ontem, pela administração Biden, de uma nova Força-Tarefa Nacional de Recursos de Pesquisa de Inteligência Artificial, um órgão projetado para servir como um comitê consultivo federal em conformidade com o Congresso National AI Initiative Act de 2020.

A pressão tem aumentado sobre os EUA e em todo o mundo para padrões regulamentares significativos para sistemas de aprendizado de máquina, não menos em áreas críticas como infraestrutura-chave e uso militar. Como os sistemas de ML ainda estão em uma fase formativa e em um ritmo de progresso rápido, eles representam um recurso relativamente instável e frequentemente controverso do qual agora é essencial identificar algoritmos analíticos replicáveis e confiáveis – se isso for possível.

Em abril, a CalypsoAI publicou seu apoio à Lei Endless Frontiers, um projeto de lei congressional projetado para reformar o financiamento da ciência diante do crescimento da China como uma potência de IA, embora o ato tenha sido finalmente diluído no estágio do Senado.

Validação para IA Federal

De acordo com o comunicado à imprensa da VESPR, as áreas cobertas pela estrutura incluem visão computacional e processamento de linguagem natural (NLP).

A CalypsoAI afirma que a VESPR foi criada ‘com entrada crítica de clientes de segurança nacional existentes e nascida de anos de pesquisa independente sobre aprendizado de máquina adversarial’.

Imagens do sistema vistas em um vídeo promocional (ver fim do artigo) parecem incluir detecção e/ou simulação de rotinas para envenenamento de dados e injeção de ruído, fornecendo simulações para as ações de potenciais atacantes a sistemas implantados.

Clique para ampliar.

O sistema parece utilizar dados históricos nacionais e estrangeiros. As classes de alvo apresentadas incluem ‘Protestos’ e ‘Distúrbios’, além do menos claro ‘Desenvolvimentos estratégicos’. Incidentes de terrorismo nacional também parecem estar incluídos nos bancos de dados de referência do sistema, com ‘Violência contra civis’ outra classe de alvo disponível. Outras classes de alvo disponíveis incluem ‘Batalhas’ e ‘Explosões/Violência remota’.

Clique para ampliar.

O sistema parece permitir a proteção de recursos em uma seção de configuração de ‘Gerenciamento de Vieses’, aparentemente projetada para combater a sobreajuste ou evitar a eliminação indesejada de eventos de outlier menores que possam ser de interesse em uma rotina analítica. No vídeo, a VESPR está processando dados históricos tabulares sobre ‘Ucrânia’.

Além dessa blitz promocional inicial, não é provável (talvez por design) que ouçamos muito mais sobre esse produto de software como serviço orientado ao governo; ele compartilha seu nome com uma franquia de bar de café, um aplicativo de namoro social e um álbum de streaming, e é implacavelmente rejeitado em resultados classificados pelo modelo de química VSEPR.

A CalypsoAI recebeu $13 milhões em financiamento da Série A do Paladin Capital Venture Group em julho de 2020. Outros investidores incluíam 8VC, Lockheed Martin Ventures, Manta Ray Ventures, Frontline Ventures, Lightspeed Venture Partners e Pallas Ventures.

Em uma postagem de blog no site da empresa, o fundador da CalypsoAI, Neil Serebryany, que realizou trabalho de pesquisa não especificado no Departamento de Defesa em 2018, afirma que a empresa foi fundada como uma possível solução para o medo do governo de implantar sistemas algorítmicos avançados em um clima não regulamentado:

‘A principal razão para esse medo de projetos de IA, levando a eles serem abandonados dentro do Governo, soa prosaico, mas é na verdade bastante complexo. Eles estavam sendo abandonados devido à falta de garantia de qualidade […] Os modelos de IA não podem ser avaliados da mesma maneira que os modelos de software tradicionais. Isso ocorre devido à natureza subjacente da estrutura do modelo e às maneiras altamente complexas pelas quais eles podem falhar. Faltando um mecanismo para avaliar esses sistemas não determinísticos de forma determinística e auditável, as organizações dentro do governo não puderam avaliar a chamada ‘qualidade’ dos modelos de IA contra um padrão. Isso levou ao medo de que eles pudessem falhar, pudessem falhar ou pudessem ser hackeados por um adversário no momento em que são mais necessários, por exemplo, em combate, em voo ou durante um procedimento médico complexo. ‘

Conselho Consultivo

Um mês antes da rodada de investimento, a empresa criou um Conselho Consultivo de Segurança Nacional, incluindo Tony DeMartino, um ex-auxiliar do Secretário de Defesa Jim Mattis, e agora um sócio-fundador da firma de consultoria estratégica Pallas Advisors, com sede em Washington; ex-Subsecretário Adjunto de Defesa para Inteligência (sob o Presidente Trump) Kari Bingen; ex-Diretor Associado de Inovação Digital da CIA Sean Roche, um especialista em inteligência cibernética naquela organização; e Michael Molino, ex-Vice-Presidente Executivo de Desenvolvimento Corporativo da ASRC Federal, que fornece capacidades de consultoria, pesquisa e migração técnica em uma variedade de serviços federais críticos.

De acordo com o comunicado à imprensa:

‘A VESPR fornece capacidades de teste de IA avançadas com um fluxo de trabalho simplificado para garantir que todos os algoritmos de aprendizado de máquina colocados em produção tenham sido verificados como seguros. A VESPR fornece segurança e garantia sem precedentes para uma variedade de sistemas de IA, desde visão computacional até processamento de linguagem natural. O processo VESPR garante teste, avaliação, verificação e validação (TEVV) em todo o ciclo de vida de aprendizado de máquina seguro (SMLC), desde a fase de pesquisa e desenvolvimento até a implantação do modelo. O resultado final são sistemas de IA que fornecem monitoramento e relatórios precisos e abrangentes sobre as capacidades, vulnerabilidades e desempenho do modelo.’

Atualizado às 11:07 AM EST para refletir que Michael Molino não trabalha mais na ASRC Federal, um erro no artigo original.

Atualizado em 1 de janeiro de 2024 para remover o vídeo do YouTube quebrado.