创业公司开发工具以监测 AI 并促进 AI 的道德使用

在过去的一年中，似乎越来越多的注意力被集中在确保 AI 以道德方式使用。Google 和 Microsoft 都 最近警告投资者，AI 算法或设计不良的 AI 算法的误用存在道德和法律风险。同时，California 州刚刚决定 通过一项法案，禁止 California 州的执法机构使用面部识别技术。

最近，像 Arthur 这样的创业公司一直在尝试设计工具，以帮助 AI 工程师量化和评估其机器学习模型的性能。 据 Wired 报道，Arthur 正试图为 AI 开发者提供一个工具包，使他们更容易发现设计金融应用程序时的问题，例如揭示投资或贷款决策中的偏见。

Arthur 的努力旨在解决 AI 的“黑盒”问题。AI 的黑盒问题描述了传统代码与机器学习系统之间的区别，传统代码可以被那些知道如何读取它的人轻松解释，而机器学习系统则将特征映射到行为而不揭示这些行为被选中的原因/特征被解释的方式。换句话说，在黑盒系统中，算法的确切实现是不透明的。

机器学习系统通过从输入数据中提取模式并对这些模式进行推理来工作。这是通过让计算机操纵某些数学函数来实现的。为了解决这个问题，研究人员和工程师需要工具来使机器学习软件行为的观察和分析更容易。像 Arthur 这样的创业公司承认解决这个问题的困难，并不声称拥有最佳解决方案，但他们希望在这个领域取得进展，使打开黑盒变得更容易。希望如果 AI 系统可以更容易地分析，它将更容易纠正偏见等问题。

像 Facebook 这样的大公司已经有一些工具来分析机器学习系统的内部工作。例如，Facebook 有一个名为 Fairness Flow 的工具，旨在确保推荐工作的广告针对不同背景的人。然而，可能大型 AI 团队不会愿意投资时间来创建此类工具，因此，对于想要创建 AI 公司使用的监测工具的公司来说，这是一个商业机会。

Arthur 致力于创建工具，以使公司能够在系统部署后更好地维护和监测 AI 系统。Arthur 的工具旨在让公司看到其系统的性能如何随时间变化，这将理论上让公司发现潜在的偏见表现。如果一家公司的贷款推荐软件开始排除某些群体的客户，可以设置一个标志，指示系统需要审查，以确保它不会根据敏感属性（如种族或性别）歧视客户。

然而，Arthur 并不是唯一一家创建工具让 AI 公司审查其算法性能的公司。许多创业公司正在投资创建工具以对抗偏见并确保 AI 算法以道德方式使用。Weights & Biases 是另一家创建工具帮助机器学习工程师分析其网络潜在问题的创业公司。Toyota 已经使用了 Weights & Biases 创建的工具来监测其机器学习设备的训练。同时，Fiddler 创业公司正在创建一套不同的 AI 监测工具。IBM 甚至创建了自己的监测服务，称为 OpenScale。

Arthur 的联合创始人之一 Liz O’Sullivan 解释说，创建工具帮助解决黑盒问题的兴趣是由人们对 AI 力量的日益增长的认识所驱动的。

“人们开始意识到这些系统的强大，并且需要以负责任的方式利用其优势，” O’Sullivan 说。