미국 연방 및 군사 AI: 새로운 플랫폼이 알고리즘 검증 및 인증 제공

전직 정부·군 고위 인사들로 구성된 자문 위원회를 보유한 스타트업이 AI 애플리케이션의 보안성과 배포 가능성을 평가하도록 설계된 새로운 플랫폼을 출시했습니다. 이 시스템의 초기 채택자로는 미 공군과 국토안보부가 포함된다고 전해졌습니다.

이 플랫폼은 2018년에 설립된 CalypsoAI의 VESPR이며, 본사는 실리콘밸리와 더블린에 있고, 버지니아에 공식적으로 ‘비공개’ 위치를 두고 있습니다—라ング리의 CIA 본부가 위치한 땅입니다.

VESPR는 배포된 알고리즘에 대한 연방 규정에 부합하는 인증 체계를 지원하도록 설계된 모델 위험 관리(MRM) 시스템입니다. 사용자 친화적인 대시보드 형태의 GUI 환경과 보다 고급 사용자를 위한 CLI 인터페이스를 모두 제공합니다.

클릭하면 확대됩니다.

VESPR는 CalypsoAI의 머신러닝 검증·검증·인증 표준을 기반으로 하며, 정교하게 제작된 적대적 머신러닝 라이브러리를 포함합니다. 또한 잠재적인 배포 가능한 알고리즘을 위한 자동 스트레스 테스트 루틴을 제공합니다.

국가 인공지능 연구 자원 태스크 포스

이번 출시 시기는 바이든 행정부가 어제 발표한 새로운 국가 인공지능 연구 자원 태스크 포스의 출시와 관련이 있을 수 있습니다. 이 조직은 의회가 제정한 2020년 국가 AI 이니셔티브 법에 따라 연방 자문 위원회 역할을 수행하도록 설계되었습니다.

미국 및 전 세계적으로 머신러닝 시스템에 대한 실질적인 규제 기준에 대한 압력이 고조되고 있습니다. 특히 핵심 인프라와 군사 활용과 같은 미션‑크리티컬 분야에서 그렇습니다. 머신러닝 시스템은 아직 형성 단계에 있으며 급속히 발전하고 있기 때문에 비교적 불안정하고 논란이 잦은 영역입니다. 따라서 이제는 재현 가능하고 신뢰할 수 있는 분석 알고리즘을 식별하는 것이 필수적입니다—가능하다면 말이죠.

4월에 CalypsoAI는 Endless Frontiers Act를 지지한다고 발표했는데, 이 법안은 AI 강국으로 부상하는 중국에 대응해 과학 연구 자금을 개혁하기 위한 의회 법안입니다. 그러나 이 법안은 결국 상원 단계에서 축소되었습니다.

연방 AI 검증

VESPR 보도자료에 따르면, 이 프레임워크가 다루는 분야에는 컴퓨터 비전과 자연어 처리(NLP)가 포함됩니다.

CalypsoAI는 VESPR가 기존 국가 안보 고객들의 핵심 의견을 반영하고, 적대적 머신러닝에 대한 독립적인 연구를 수년간 수행한 결과로 탄생했다고 주장합니다.

프로모션 비디오(기사 하단 참조)에 보이는 시스템 이미지에는 데이터 오염 및 노이즈 주입을 탐지하거나 시뮬레이션하는 루틴이 포함된 것으로 보이며, 이는 배포된 시스템에 대한 잠재적 공격자의 행동을 시뮬레이션합니다.

클릭하면 확대됩니다.

이 시스템은 국가 및 해외 행동의 과거 데이터를 활용하는 것으로 보입니다. 포함된 목표 클래스에는 ‘시위’와 ‘폭동’이 있으며, 덜 명확한 ‘전략적 개발’도 있습니다. 국가 테러 사건도 시스템의 참조 데이터베이스에 포함된 것으로 보이며, ‘민간인에 대한 폭력’도 사용 가능한 목표 클래스 중 하나입니다. 기타 사용 가능한 목표 클래스에는 ‘전투’와 ‘폭발/원격 폭력’이 포함됩니다.

클릭하면 확대됩니다.

이 시스템은 구성의 “BIAS 관리” 섹션에서 기능을 보호하도록 허용하는 것으로 보이며, 이는 과적합을 방지하거나 분석 절차에서 관심을 가질 수 있는 작은 이상 이벤트의 불필요한 제거를 방지하기 위한 것으로 보입니다. 비디오에서는 VESPR가 ‘우크라이나’에 대한 표형식의 과거 데이터를 처리하고 있습니다.

이 초기 홍보 이후로, (아마도 설계상) 이 정부용 SaaS 제품에 대해 더 많은 소식을 듣기는 어려울 것 같습니다. 이 제품은 커피 바 프랜차이즈, 소셜 데이팅 앱, 스트리밍 앨범과 같은 이름을 공유하고 있으며, 순위 결과에서는 VSEPR 화학 모델에 지속적으로 밀려납니다.

CalypsoAI는 2020년 7월 Paladin Capital Venture Group으로부터 시리즈 A 투자로 1,300만 달러를 받았습니다. 기타 투자자들에는 포함 8VC, Lockheed Martin (LMT ) Ventures, Manta Ray Ventures, Frontline Ventures, Lightspeed Venture Partners 및 Pallas Ventures가 있습니다.

회사 블로그 게시물에서, 2018년에 국방부에서 미확인 연구를 수행한 CalypsoAI 설립자 Neil Serebryany는 이 회사가 규제되지 않은 환경에서 고급 알고리즘 시스템을 배포하는 것에 대한 정부의 두려움을 해결하기 위한 잠재적 솔루션으로 설립되었다고 말합니다:

‘AI 프로젝트에 대한 이러한 두려움의 근본적인 이유는 정부 내부에서 프로젝트가 포기되는 원인이 단순해 보이지만 실제로는 매우 복잡합니다. 품질 보증이 부족하기 때문에 포기되었습니다 […] AI 모델은 전통적인 소프트웨어 모델과 동일한 방식으로 평가될 수 없습니다. 이는 모델 구조의 근본적인 특성과 그들이 실패할 수 있는 매우 복잡한 방식 때문입니다. 이러한 비결정론적 시스템을 결정론적이며 감사 가능한 방식으로 평가할 메커니즘이 부족해 정부 내부 조직은 AI 모델의 이른바 ‘품질’을 벤치마크와 비교해 평가할 수 없었습니다. 이로 인해 모델이 실패하거나 오작동하거나, 가장 필요할 때(예: 전투, 비행, 복잡한 의료 절차 중) 적에 의해 해킹될 수 있다는 두려움이 생겼습니다.’

자문 위원회

투자 라운드 한 달 전, 회사는 국가 안보 자문 위원회를 구성했으며, 여기에는 전 국방부 장관 Jim Mattis의 보좌관이자 현재 워싱턴 기반 전략 자문 회사 Pallas Advisors의 공동 설립자인 Tony DeMartino, 전 트럼프 대통령 시절 국방부 정보 담당 수석 부차관 Kari Bingen, 전 CIA 디지털 혁신 부서 부국장 Sean Roche (당시 사이버 정보 전문가), 그리고 ASRC Federal의 전 기업 개발 담당 부사장 Michael Molino이 포함되었습니다. ASRC Federal은 다양한 핵심 연방 서비스에 대한 자문, 연구 및 기술 이전 역량을 제공합니다.

보도에 따르면:

‘VESPR는 모든 머신러닝 알고리즘이 생산 단계에 투입되기 전에 보안 검증이 이루어지도록 보장하는 간소화된 워크플로우를 통해 고급 AI 테스트 기능을 제공합니다. VESPR는 컴퓨터 비전부터 자연어 처리에 이르기까지 다양한 AI 시스템에 비할 수 없는 보안과 확신을 제공합니다. VESPR 프로세스는 연구·개발 단계부터 모델 배포까지 보안 머신러닝 수명주기(SMLC) 전반에 걸쳐 테스트, 평가, 검증 및 검증(TEVV)을 보장합니다. 최종 결과는 모델의 기능, 취약점 및 성능에 대한 정확하고 포괄적인 모니터링 및 보고를 제공하는 AI 시스템입니다.’

업데이트 11:07 AM EST: Michael Molino이 더 이상 ASRC Federal에서 근무하지 않음, 원본 기사 오류 수정.

업데이트 1January 28, 2024: 깨진 YouTube 비디오를 제거했습니다.