米国連邦および軍事AI: アルゴリズム検証と認定を提供する新プラットフォーム

元政府・軍関係の有力者で構成された諮問委員会を擁するスタートアップが、AIアプリケーションのセキュリティと展開可能性を評価する新プラットフォームを発表した。同システムの早期導入者として米空軍および国土安全保障省が挙げられている。

このプラットフォームはCalypsoAIが提供する「VESPR」と呼ばれ、2018年に設立され、シリコンバレー、ダブリンに本社を置き、バージニア州に公式には「非公開」とされる拠点（CIAのランリー拠点）も有する。

VESPRは、導入されたアルゴリズムの認定を連邦基準に沿って支援するモデルリスク管理（MRM）システムであり、ユーザーフレンドリーなダッシュボード形式のGUI環境と、より高度な利用向けのCLIインターフェースの両方を提供する。

拡大するにはクリック。

VESPRはCalypsoAIの機械学習の検証・検証・認定基準に基づいて構築され、手作りの敵対的機械学習ライブラリを備えている。また、導入可能なアルゴリズム向けの自動ストレステスト手順も提供する。

国家人工知能研究リソースタスクフォース

このリリースのタイミングは、バイデン政権が昨日開始した新たな国家人工知能研究リソースタスクフォースに関連している可能性がある。この組織は、議会のNational AI Initiative Act of 2020.に基づく連邦諮問委員会として機能するよう設計されている。

米国および世界各国で、機械学習システムに対する実質的な規制基準への圧力が高まっており、特に重要インフラや軍事利用といったミッション・クリティカルな領域で顕著である。機械学習システムはまだ形成段階にあり、急速に進化しているため、比較的不安定でしばしば議論の的となっており、再現可能かつ信頼できる分析アルゴリズムを特定することが今や不可欠となっている—可能であればである。

4月、CalypsoAIはEndless Frontiers Actへの支持を表明した。この法案は、中国のAI大国としての台頭に対応して科学資金を改革することを目的とした議会法案であるが、最終的に上院段階で削減された。

連邦AIの検証

VESPRのプレスリリースによれば、フレームワークが対象とする領域にはコンピュータビジョンと自然言語処理（NLP）が含まれる。

CalypsoAIは、VESPRが「既存の国家安全保障顧客からの重要なインプットを受け、敵対的機械学習に関する独立資金による長年の研究から生まれた」ものだと主張している。

プロモーション動画（記事末尾参照）に映るシステムの画像は、データ汚染やノイズ注入の検出・シミュレーション手順を含んでいるように見え、潜在的な攻撃者の行動をシステムに対してシミュレートする機能を提供している。

拡大するにはクリック。

このシステムは国内外の過去の行動データを活用しているようだ。対象クラスには「抗議」や「暴動」に加え、やや曖昧な「戦略的展開」も含まれる。国内テロ事件も参照データベースに含まれており、「民間人への暴力」も利用可能な対象クラスとなっている。他の利用可能な対象クラスには「戦闘」や「爆発／遠隔暴力」などがある。

拡大するにはクリック。

システムは設定の「BIAS管理」セクションで機能の保護を可能にしているようで、過学習を防止したり、分析手順で関心を持つ可能性のある小規模な外れ事象の不要な除外を回避することを目的としているようだ。動画では、VESPRが「ウクライナ」に関する表形式の歴史データを処理している。

この初期のプロモーション以降、この政府向けSaaS製品についてさらに情報が得られる可能性は低い（設計上かもしれない）が、製品の評価はどうであれ、同名はコーヒーバーのフランチャイズ、ソーシャルデーティングアプリ、ストリーミングアルバムにも使われており、検索結果ではVSEPR化学モデルに常に上回られている。

CalypsoAIは2020年7月にPaladin Capital Venture GroupからシリーズA資金として$13 millionを受け取った。他の投資家には8VC、Lockheed Martin (LMT ) Ventures、Manta Ray Ventures、Frontline Ventures、Lightspeed Venture Partners、Pallas Venturesが含まれる。

同社サイトのブログ記事で、2018年に国防総省で未詳の研究を行ったCalypsoAI創業者Neil Serebryanyは、同社が規制のない環境で高度なアルゴリズムシステムを展開することに対する政府の懸念への潜在的解決策として設立されたと述べている:

‘『AIプロジェクトへのこの恐れの主な理由は、政府内部でプロジェクトが放棄されることにつながり、一見平凡に聞こえるが実際には非常に複雑である。品質保証の欠如が原因で放棄されていた[…] AIモデルは従来のソフトウェアモデルと同様に評価できない。これはモデル構造の根本的な性質と、失敗する高度に複雑な方法に起因する。非決定的なシステムを決定的かつ監査可能な方法で評価する仕組みが欠如しているため、政府内部の組織はベンチマークに対していわゆる「品質」‑AIモデルを評価できなかった。このため、最も必要とされる戦闘時や飛行中、あるいは複雑な医療手術中などに、失敗や誤作動、あるいは敵対者によるハッキングの恐れが生じたのだ。』

諮問委員会

投資ラウンドの1か月前に、同社は国家安全保障諮問委員会を設立し、元国防長官ジム・マティスの補佐官で現在はワシントン拠点の戦略諮問会社Pallas Advisorsの創業パートナーであるTony DeMartino、トランプ大統領時代の防衛省情報担当副次官（Principal Deputy Under Secretary of Defense for Intelligence）であるKari Bingen、元CIAデジタルイノベーション部門の准副局長でサイバーインテリジェンス専門家だったSean Roche、そしてASRC Federalの企業開発担当元執行副社長であり、同社は重要な連邦サービス全般にわたる諮問、研究、技術移行能力を提供しているMichael Molinoを含む。

According to the release:

‘『VESPRは、導入されたすべての機械学習アルゴリズムが安全性を検証されたことを保証する、効率的なワークフローによる高度なAIテスト機能を提供する。VESPRは、コンピュータビジョンから自然言語処理まで、さまざまなAIシステムに対して比類なきセキュリティと保証を提供する。VESPRプロセスは、研究開発段階からモデル展開まで、セキュアな機械学習ライフサイクル（SMLC）全体にわたり、テスト、評価、検証、バリデーション（TEVV）を確実に行う。最終的に、モデルの能力、脆弱性、パフォーマンスに関する正確かつ包括的なモニタリングとレポートを提供するAIシステムが実現する。』

更新日 11:07 AM EST to reflect that Michael Molino no longer works at ASRC Federal, an errata in original article.

更新日 1January 28, 2024 to remove broken YouTube video.