美国联邦和军方 AI：新平台提供算法验证和认证

一家拥有前政府军方名人顾问委员会的初创公司推出了一个新平台，旨在评估 AI 应用的安全性和可部署性。据称，系统的早期采用者包括美国空军和国土安全部。

该平台名为 VESPR，来自 CalypsoAI，成立于 2018 年，总部设在硅谷、都柏林，并在弗吉尼亚拥有官方标注为‘未披露’的地点——即中情局朗利总部所在的陆地。

VESPR 是一套模型风险管理（MRM）系统，旨在为已部署的算法提供符合联邦要求的认证体系。它同时提供用户友好的仪表板式图形界面以及面向高级用户的命令行界面。

点击放大。

VESPR 基于 CalypsoAI 的机器学习验证、核查和认证标准构建，并配备手工打造的对抗性机器学习库。它还提供针对潜在可部署算法的自动化压力测试程序。

国家人工智能研究资源工作组

此发布的时机可能与拜登政府昨天启动的全新国家人工智能研究资源工作组有关，该机构旨在依据国会《2020 年国家 AI 计划法案》充当联邦咨询委员会。

美国以及全球对机器学习系统的有效监管标准的呼声日益高涨，尤其是在关键基础设施和军用等任务关键领域。由于机器学习系统仍处于成形阶段且发展迅速，它们相对不稳定且常引发争议，因而迫切需要识别可复制且可靠的分析算法——前提是这有可能实现。

四月，CalypsoAI 表示支持《无限前沿法案》，该法案旨在应对中国日益崛起的 AI 力量，对科学经费进行改革，然而该法案最终在参议院阶段被大幅削弱。

联邦 AI 的验证

根据 VESPR 的新闻稿，该框架涵盖的领域包括计算机视觉和自然语言处理（NLP）。

CalypsoAI 声称 VESPR 是在“得到现有国家安全客户的关键意见，并源自多年独立资助的对抗性机器学习研究”后创建的。

在宣传视频（见文章末尾）中看到的系统图像似乎包含数据投毒和噪声注入的检测或模拟程序，为潜在攻击者对已部署系统的行为提供仿真。

点击放大。

该系统似乎利用了国内外的历史行动数据。其目标类别包括“抗议”和“骚乱”，以及较为模糊的“战略发展”。系统的参考数据库中还似乎包含了国家恐怖主义事件，其中“针对平民的暴力”也是可用的目标类别。其他可用的目标类别还有“战斗”和“爆炸/远程暴力”。

点击放大。

系统似乎在配置的“偏差管理”部分允许对特征进行保护，旨在防止过拟合或避免误删可能在分析过程中有价值的少数异常事件。在视频中，VESPR 正在处理关于“乌克兰”的表格历史数据。

除了最初的宣传推广外，我们可能（或许是设计如此）不会再听到关于这款面向政府的 SaaS 产品的更多信息；它的名称与一家咖啡连锁店、一个社交约会应用以及一张流媒体专辑相同，并且在排名结果中始终被 VSEPR 化学模型压制。

CalypsoAI 在 2020 年 7 月从 Paladin Capital Venture Group 获得了 1300 万美元的 A 轮融资。其他投资者包括 8VC、Lockheed Martin (LMT ) Ventures、Manta Ray Ventures、Frontline Ventures、Lightspeed Venture Partners 和 Pallas Ventures。

在公司网站的博客文章中，CalypsoAI 创始人 Neil Serebryany（曾于 2018 年在国防部从事未指明的研究工作）表示，公司成立的初衷是为政府在缺乏监管的环境中部署先进算法系统的担忧提供可能的解决方案：

“政府内部对 AI 项目产生恐惧并导致其被搁置的根本原因听起来平淡，却实际上相当复杂。项目被搁置是因为缺乏质量保证[…] AI 模型无法像传统软件模型那样进行评估。这是由于模型结构的固有特性以及其可能出现的高度复杂的失效方式。由于缺乏以确定性、可审计方式评估这些非确定性系统的机制，政府内部的组织无法依据基准评估所谓的 AI 模型‘质量’。这导致人们担心这些模型在最需要的时候——例如作战、飞行或复杂的医疗手术中——可能会失效、故障或被对手攻击。”

顾问委员会

在融资轮之前的一个月，公司成立了国家安全顾问委员会，成员包括前国防部长吉姆·马蒂斯助理、现为华盛顿战略咨询公司 Pallas Advisors 创始合伙人的 Tony DeMartino；前国防部情报事务首席副助理部长（特朗普总统时期）Kari Bingen；前 CIA 数字创新副助理主任、曾任该机构网络情报专家的 Sean Roche；以及前 ASRC Federal 企业发展执行副总裁 Michael Molino，ASRC Federal 为一系列关键联邦服务提供顾问、研究和技术迁移能力。

根据发布内容：

“VESPR 提供先进的 AI 测试能力和简化的工作流程，确保每个投入生产的机器学习算法都已通过安全验证。VESPR 为从计算机视觉到自然语言处理的各种 AI 系统提供无与伦比的安全性和保障。VESPR 过程在整个安全机器学习生命周期（SMLC）中确保测试、评估、验证和确认（TEVV），从研发阶段直至模型部署。最终的结果是能够对模型能力、漏洞和性能进行准确、全面监控和报告的 AI 系统。”

更新于美国东部时间上午 11:07，说明 Michael Molino 已不再任职于 ASRC Federal，此为原文勘误。

更新于 2024 年 1 月 28 日，已删除失效的 YouTube 视频。