美国联邦和军事人工智能：新平台提供算法验证和认证

一家拥有前政府军事知名人士顾问委员会的初创公司发布了一款新平台，旨在评估人工智能应用的安全性和部署能力。据称，系统的早期采用者包括美国空军和国土安全部。

该平台称为VESPR，来自2018年成立、总部位于硅谷、都柏林和弗吉尼亚州的一个“未公开”地点的CalypsoAI – 这是中央情报局兰利总部的所在地。

VESPR是一种模型风险管理（MRM）系统，旨在为部署的算法提供符合联邦标准的认证系统。它提供了用户友好的仪表板式GUI环境和更高级的CLI接口。

点击放大。 来源：https://www.youtube.com/watch?v=lMhS6j7t2pI

VESPR建立在CalypsoAI的机器学习验证、验证和认证标准之上，并具有手工制作的对抗性机器学习库。它还提供了自动化的压力测试例程，用于潜在的可部署算法。

国家人工智能研究资源任务组

发布的时机可能与昨天拜登政府启动新的国家人工智能研究资源任务组有关，这是一个旨在按照国会2020年国家人工智能倡议法案的联邦咨询委员会。

美国和世界各地对机器学习系统施加了巨大的压力，要求制定有意义的监管标准，尤其是在关键基础设施和军事使用等任务关键领域。由于ML系统仍处于形成阶段，并且进步迅速，因此它们代表了一种相对不稳定且经常引起争议的回报，但现在从中找出可复制和可靠的分析算法是至关重要的 – 如果这证明是可能的。

四月，CalypsoAI发布了对无尽边疆法案的支持，这是一项旨在改革科学资金的国会法案，以应对中国作为人工智能大国日益增长的影响力，尽管该法案最终在参议院阶段被削弱。

联邦人工智能的验证

根据VESPR的新闻稿，框架涵盖的领域包括计算机视觉和自然语言处理（NLP）。

CalypsoAI声称，VESPR是在现有的国家安全客户的关键输入和多年对对抗性机器学习的独立研究基础上创建的。

在宣传视频（见文章末尾）中看到的系统图像似乎包括检测和/或模拟例程，用于数据中毒和噪声注入，提供模拟对部署系统的潜在攻击者采取的行动。

点击放大。

该系统似乎利用了国家和外国行动的历史数据。目标类别包括“抗议”和“骚乱”，以及不太明确的“战略发展”。国家恐怖主义事件似乎也包括在系统的参考数据库中，“针对平民的暴力”是另一个可用的目标类别。其他可用的目标类别包括“战斗”和“爆炸/远程暴力”。

点击放大。

该系统似乎允许在“偏差管理”配置部分保护功能，显然是为了抵消过拟合或避免不需要的消除可能在分析例程中感兴趣的少数异常事件。在视频中，VESPR正在处理关于“乌克兰”的历史表格数据。

除了最初的宣传活动外，不太可能（也许是故意的）我们将听到更多关于这个面向政府的SaaS产品的信息，无论它的表现如何；它与一家咖啡吧特许经营、一个社交约会应用程序和一个流媒体专辑共享同一个名称，并且在排名结果中被VSEPR化学模型无情地压制。

CalypsoAI在2020年7月从Paladin Capital Venture Group获得了1300万美元的A轮融资。其他投资者包括8VC、洛克希德马丁风险投资公司、Manta Ray Ventures、Frontline Ventures、Lightspeed Venture Partners和Pallas Ventures。

在公司博客上，CalypsoAI的创始人Neil Serebryany表示，该公司是作为解决政府在无监管环境中部署高级算法系统的恐惧的可能解决方案而成立的，他在2018年在国防部进行了未指定的研究工作：

‘政府内部放弃人工智能项目的主要原因看起来很平凡，但实际上相当复杂。他们被放弃是因为缺乏质量保证 […] 人工智能模型不能像传统软件模型一样进行评估。这是由于模型结构的底层性质以及它们可能以高度复杂的方式失败。由于缺乏一种机制来以确定性、可审计的方式评估这些非确定性系统，政府内部的组织无法评估所谓的“质量”人工智能模型与基准。因此，他们担心这些模型可能会失败、故障或在最需要的时候被对手黑客攻击，例如在战斗、飞行或复杂的医疗程序期间。 ‘

顾问委员会

在投资轮次之前的一个月，公司成立了国家安全顾问委员会，成员包括托尼·德马蒂诺，前国防部长吉姆·马蒂斯的前助手，现在是华盛顿战略咨询公司Pallas Advisors的创始合伙人；前国防部情报副部长（在特朗普总统任期内）卡里·宾根；前中央情报局数字创新副主任肖恩·罗奇，曾是该组织的网络情报专家；以及迈克尔·莫利诺，前ASRC联邦公司执行副总裁，该公司为各个关键的联邦服务提供咨询、研究和技术迁移能力。

根据发布的内容：

‘VESPR提供高级人工智能测试功能，具有简化的工作流程，以确保每个投入生产的机器学习算法都经过验证，确保安全。VESPR为从计算机视觉到自然语言处理的各种人工智能系统提供了无与伦比的安全性和保障。VESPR过程确保在整个安全机器学习生命周期（SMLC）中进行测试、评估、验证和确认（TEVV），从研究和开发阶段到模型部署。最终结果是人工智能系统，能够提供准确、全面地监测和报告模型的能力、漏洞和性能。’

更新于上午11:07 EST，以反映Michael Molino不再在ASRC联邦公司工作，这是原文中的一个错误。

更新于2024年1月28日，删除了破损的YouTube视频。