创业公司开发工具以监控人工智能并促进人工智能的道德使用

在过去的一年里，似乎越来越多的注意力被集中在确保人工智能以道德的方式使用上。谷歌和微软最近都警告投资者，人工智能算法的误用或设计不良的人工智能算法带来了道德和法律风险。同时，美国加利福尼亚州刚刚决定通过一项法案，禁止加利福尼亚州的执法机构使用面部识别技术。

(GOOGL ) (MSFT )

最近，像Arthur这样的创业公司一直在尝试设计工具，以帮助人工智能工程师量化和评估他们的机器学习模型的性能。 据Wired报道，Arthur正试图为人工智能开发者提供一个工具包，使他们更容易发现设计金融应用时的问题，例如揭示投资或贷款决策中的偏见。

Arthur的努力旨在解决人工智能的“黑盒子”问题。人工智能的黑盒子问题是指，传统代码可以被懂得代码的人轻松解读，而机器学习系统将特征映射到行为而不揭示这些行为被选中的原因/这些特征如何被解释。换句话说，在黑盒子系统中，算法的确切实现是不透明的。

机器学习系统通过从输入数据中提取模式并推理这些模式来工作。这是通过让计算机写自己的代码来实现的，方法是操纵某些数学函数。为了解决这个问题，研究人员和工程师需要工具来使机器学习软件行为的观察和分析更容易。像Arthur这样的创业公司承认解决这个问题的困难，并不声称拥有最佳解决方案，但他们希望在这个领域取得进展，并使打开黑盒子变得更容易。希望如果人工智能系统可以更容易地分析，它将更容易纠正偏见等问题。

像Facebook这样的大公司已经有一些工具来分析机器学习系统的内部工作。例如，Facebook有一个名为Fairness Flow的工具，旨在确保推荐工作的广告针对来自不同背景的人。然而，可能大型人工智能团队不想花时间创建这样的工具，因此，对于想要为人工智能公司创建监控工具的公司来说，这是一个商业机会。

Arthur专注于创建工具，以便公司在系统部署后更好地维护和监控人工智能系统。Arthur的工具旨在让公司看到他们的系统性能如何随时间变化，这将理论上让公司发现潜在的偏见表现。如果一家公司的贷款推荐软件开始排除某些客户群体，可以设置一个标志，指示系统需要审查，以确保它不会根据敏感属性（如种族或性别）歧视客户。

然而，Arthur并不是唯一一家创建工具让人工智能公司审查其算法性能的公司。许多创业公司正在投资创建工具以对抗偏见并确保人工智能算法以道德的方式使用。Weights & Biases是另一家创建工具帮助机器学习工程师分析其网络潜在问题的创业公司。丰田已经使用Weights & Biases创建的工具来监控他们的机器学习设备，当他们训练时。同时，创业公司Fiddler正在努力创建一套不同的人工智能监控工具。IBM甚至创建了自己的监控服务，称为OpenScale。

Liz O’Sullivan，Arthur的联合创始人之一，解释说，创建工具帮助解决黑盒子问题的兴趣是由对人工智能力量的日益增长的认识所驱动的。

“人们开始意识到这些系统有多么强大，他们需要以一种负责任的方式利用这些系统的好处，”O’Sullivan说。