Navrina Singh，Credo AI 的 CEO 和创始人 – 采访系列

Navrina Singh 是 Credo AI 的 CEO 和创始人，Credo AI 是一家设计了第一个全面的 AI 治理 SaaS 平台的公司，旨在帮助公司和个人更好地理解和交付值得信赖和道德的 AI，保持领先于新的法规和政策，并创建一个在整个组织中可审计和透明的 AI 记录。该公司一直在秘密运行，并在保持低调的同时建立了一个令人印象深刻的客户组合，包括世界上最大的政府承包商和金融服务公司，以及其他《财富》100 强品牌。

您在印度的一个小镇长大，拥有谦逊的出身，您是如何被工程和 AI 领域所吸引的？

我来自一个中产阶级家庭；我的父亲在军队服役了四十年，我的母亲是一名老师，后来成为了一名时装设计师。从小的时候起，他们就鼓励我的好奇心，热爱科学发现，并为我提供了一个安全的空间来探索“如果怎样”的问题。

当我在印度长大时，女性没有那么多机会。很多决定已经为女孩们做出了，基于社会的接受程度。唯一的出路就是通过教育来获得更好的生活。

高中毕业后，我拥有了我的第一台电脑，这是我通往世界的窗口。我非常喜欢硬件，花了很多时间在线学习如何拆卸主板，构建机器人应用程序，学习编程，重新布线我的房子（哇！）等等。工程成为我的安全空间，我可以在那里实验，探索，构建和体验我想要成为一部分的世界，通过我的发明。我被技术能够成为一种强大的工具来改变世界，尤其是对于女性，所激发的灵感和兴奋感所吸引。

长大后，我的资源有限，但可能性是无限的。我一直梦想着来到美国，为了在技术上打下更坚实的基础，来解决人类面临的最大挑战。我在 2001 年移民到这里，继续在威斯康星大学麦迪逊分校学习工程。

在我近二十年的工程生涯中，我有幸在多个前沿技术领域工作，从移动技术到增强现实技术。

2011 年，我开始在高通公司探索人工智能，以建立新的新兴业务。在微软和高通公司，我也花了时间构建语音、视觉和 NLP 等 AI 应用和业务。在过去的十年里，我了解了更多关于 AI 和机器学习的知识，很明显，这项前沿技术将会以我们无法想象的方式大幅改变我们的生活。

构建企业级人工智能也使我意识到，如果不加控制，这项技术可能会对我们的民众和社区造成伤害。作为领导者，我们必须对我们正在构建的技术承担极大的责任。我们必须积极主动地最大化其对人类的益处，尽量减少其风险。毕竟，“我们创造什么，就会造就什么。”因此，负责任地建设是至关重要的，这激发了我职业生涯的下一个阶段——构建 AI 治理。

您什么时候开始认真思考 AI 治理？

当我在高通公司担任创新部负责人时，我们正在探索 AI 可以带来的可能性。我们的初步工作集中在用于供应链的协作机器人上。这是我第一次接触到 AI 的“真正”风险，尤其是在与这些机器人系统一起操作的人类的身体安全方面。

在那段时间里，我们花了大量时间与初创公司如 Soul Machines合作，学习新的用例并寻找与他们合作的方式来加速我们的工作。Soul Machines 发布了一款新的婴儿化身“Baby X”。看着这款由神经网络驱动的婴儿积极地从周围的世界学习，令我停顿和反思这项技术的意外后果。我的女儿 Ziya 出生时，我们亲切地称她为“Baby Z”，以纪念 Soul Machines 的“Baby X”。我已经在很多地方谈论过这件事，包括 2019 年的女性产品关键词演讲。

Baby X 和 Baby Z 的学习旅程令人毛骨悚然地相似！当 Ziya 长大后，我们给了她最初的词汇和工具来学习。随着时间的推移，她开始理解这个世界，并自己把事情联系起来。Baby X，这个神经网络婴儿，通过视觉传感器和语音识别同样地学习，并迅速对人类世界有了深刻的理解。

这些早期的 AI 时刻让我清楚地认识到，找到管理风险和为这项强大的技术建立有效的防护栏，以确保其被用于善良的目的，是至关重要的。

您能分享 Credo AI 的起源故事吗？

在离开高通公司后，我被微软公司招募，负责商业化 AI 技术，在业务开发团队和产品团队中工作。在我的任期内，我有幸在从对话式 AI 到合同智能、从视觉检查到语音驱动的产品发现等多个 AI 技术领域工作。

然而，在高通公司种下的 AI 治理的种子继续生长，因为我继续目睹着在开发人工智能技术方面“监督赤字”的增加。作为产品负责人，与数据科学和工程团队合作，我们的动力是构建一个由机器学习驱动的高性能 AI 应用，并快速将其部署到市场。

我们认为合规性和治理是减缓创新步伐的门槛。然而，我对治理赤字的日益增长的担忧，特别是在技术和监督专业人员之间的风险、合规性和审计方面，促使我继续探索 AI 治理的挑战。

关于 AI 治理的所有未解答的问题促使我寻求答案。因此，我开始为一个名为 MERAT（市场上的道德和负责任的 AI 工具）的非营利组织奠定基础，旨在为初创公司和全球 2000 家公司创建一个生态系统，专注于 AI 的负责任开发。

在 MERAT 的早期实验中，很明显没有初创公司能够提供多利益相关者工具来为 AI 和机器学习应用提供全面治理——直到 Credo AI。这个空白是我实现指导 AI 故意的使命的机会。我的假设得到了验证，即下一个 AI 革命的前沿将由治理引导。接受治理的企业将成为值得信赖的品牌的领导者。

我被 AI 基金会接洽，AI 基金会由著名的 AI 专家 Andrew Ng 创立。AI 基金会一直专注于 AI 审计和治理等主题，这也是我过去十年来一直关注的内容。

Credo AI 于 2020 年 2 月 28 日正式成立，获得了 AI 基金会的资金支持。

Credo 的意思是“指导你的行为的一套价值观”。凭借 Credo AI，我们的愿景是赋予企业以最高的道德标准创造 AI 的能力。

在一份 之前的采访中，您讨论了品牌在未来将不仅仅因为他们如何构建和部署 AI 而被信任，还因为他们如何扩展 AI，以使其服务于人类。您能详细说明这一点吗？

人工智能是本世纪的游戏规则改变者，为经济和社会提供了转型的机会。它预计到 2030 年将为全球经济贡献近 16 万亿美元。

然而，过去几年已经将注意力集中在现有的重大 AI 威胁上（而不是机器人霸主！）。例如，优化最小再犯率的司法算法可能会引入偏见，并拒绝那些应得的假释。

优化参与度的社交算法可能会分裂一个国家。

不公平的算法可能是你没有得到工作或大学录取的原因。

我们给工具的自主权越多，意外后果的范围就越广。非凡的规模产生非凡的影响，但不总是我们期望的影响（我在 Credo AI 宣言 中写到了这一点）。

我预测，企业如果投资 AI 治理，以便他们能够负责任地构建技术，并致力于以道德的方式使用数据，就能够在利益相关者（客户、消费者、投资者、员工等）中建立信任。

Credo AI 如何帮助公司保持负责？

责任意味着接受自己行为的义务。在 AI 开发和部署的背景下，这意味着企业不仅需要对“什么是好的”达成一致，而且需要采取有意的步骤来证明他们的行动，并对结果承担责任。

Credo AI 旨在成为企业在其道德和负责任的 AI 计划中的向导，以便让他们对多样化的利益相关者（用户、员工、监管机构、审计师、投资者、管理人员等）负责。因此，Credo AI 开创了一个实时、上下文驱动、全面和持续的解决方案，以便在规模上交付道德和负责任的 AI。

在 AI 中建立责任感和信任是一个动态的过程。组织必须在企业价值观上达成一致，将这些价值观编码到他们的组织基础设施中，观察影响并在每个阶段都有多元化的声音提供输入。Credo AI 通过一个全面和实时的解决方案使责任感成为可能，以管理 AI 部署的合规性和风险。

使用 Credo AI 治理解决方案，企业能够：

• 针对其 AI 使用案例和模型的治理要求达成一致，具有可定制的政策包和决策支持工具，用于选择模型评估指标。
• 评估和审问数据和机器学习模型，以便与这些一致的目标相符
• 分析技术规格以获得业务在模型开发和部署的每个阶段的可行风险影响，因此您可以在它们成为大问题之前捕获和修复治理问题

通过记录每个点的决策和行动，Credo AI 捕获了模型创建的决策起源作为证据。该证据将是企业利益相关者内部共享的记录，也将与审计师外部共享，以建立对 AI 意图的信任。

这种证据将帮助开发团队预测和防止意外后果，并将标准化评估 AI 模型的有效性和可信度的方式。

我们才刚刚开始使 AI 治理通过全面评估和保证成为可能，我们很高兴与更多的企业合作，以促进责任感。

Credo AI 如何帮助公司将 AI 治理从事后思考转变为事前思考？

在今天的世界里，人们对什么是“负责任的”、“道德的”和“值得信赖的”AI，以及企业如何实现这一目标，缺乏清晰的认识。我们通过使用 Credo AI SaaS 平台来重构这个关键问题，以展示“伦理的经济学”。

通过 Credo AI，企业不仅能够提供公平、合规和可审计的 AI，还能够建立客户信任。

建立客户信任可以扩大公司的客户群，并解锁更多的销售机会。例如，公司可以使用道德 AI 在客户服务聊天机器人中提供最佳的客户体验，或者负责任地使用 AI 来了解用户活动并为他们建议其他内容或产品。极度满意的客户然后通过与朋友和家人分享他们的体验来提供最好的广告。

此外，企业还可以看到技术和监督职能之间的合作如何帮助他们节省成本，因为合规性更快，风险管理更明智，品牌和监管风险降低。我们通过在技术指标和有形的商业成果之间搭建桥梁，帮助组织部署道德 AI。随着越来越多的人意识到，提倡道德 AI 涉及的不仅仅是检查“监管合规性”的一个盒子。但是，它有能力带来甚至比为更公平的世界做出贡献更大的成果，这本身就是一个值得的结果。

当一家公司坚持高尚的道德标准时，它可以期待真正的商业成果，例如收入增加。将观点从抽象的“软”概念转变为客观的商业决策，已经成为我们帮助将 AI 治理定位为公司经济和社会引擎的关键部分的方式。

最近，拜登政府成立了国家人工智能咨询委员会。您认为这对 AI 企业来说意味着什么？

全球政府正在全力监管 AI，企业需要做好准备。拜登政府的国家 AI 咨询委员会的成立和对白宫科学和技术政策办公室的投资，是一个好的第一步，旨在将围绕 AI 系统的法案权利的讨论转化为行动。然而，仍需要做大量工作来实现对负责任的 AI 的认识，这对我们的国家和经济来说是至关重要的。

我相信 2022 年将成为负责任的 AI 行动的一年。这是一个警钟，提醒企业准备实施或加强他们的 AI 道德框架。现在是企业评估现有框架的空白或缺陷的时刻，或者对于缺乏方法的公司来说，现在是实施可靠的 AI 框架的时刻，以便在 AI 领域中领先。

我们应该期待更多的硬性和软性法规的出现。除了白宫的行动外，还有很多势头来自其他政策制定者和机构，例如参议院的算法问责法案草案、联邦贸易委员会（FTC）关于 AI 偏见的指导等。

如果我们快进到未来，五年后 AI 道德和 AI 治理将会有多重要？

我们处于 AI 治理的早期阶段。为了强调 AI 治理的重要性，以下是我未来几年的预测：

• 道德 AI 治理将成为顶级组织优先事项

企业继续投资和获得使用 AI 在其业务中的利益。IDC 预测 2022 年 AI 的支出将达到 3400 亿美元。没有治理，企业将由于对这些系统的偏见、安全性、准确性和合规性等问题而犹豫是否投资 AI。

没有信任，消费者也将犹豫是否接受基于 AI 的产品或共享数据来构建这些系统。未来五年，道德 AI 治理将成为董事会的优先事项和一个重要的指标，公司必须披露和报告以建立对利益相关者的信任。

• 新的社会技术工作类别将在企业内部出现

我们已经看到以道德为先的组织在未来发展中投入大量资金，以确保公平、合规和可审计的 AI 应用程序。

为了在 AI 领域领先，企业需要进一步加快学习 AI 监管格局和在规模上实施问责结构的步伐。随着道德 AI 实施的新兴领域的发展，可能会出现一种新的社会技术工作类别，以促进这些对话并在这一领域承担领导角色。这种新的劳动力组成部分可以作为技术和监督之间的中间人，帮助制定共同的标准和目标。

• 新的 AI 驱动的体验将需要更严格的治理

管理人工智能的预期和意外后果至关重要，尤其是当我们进入元宇宙和 web3 世界时。人工智能的风险存在于现实世界和虚拟世界，但在后者中被放大。

如果企业在缺乏 AI 监督的情况下盲目地进入元宇宙，就会将客户置于身份盗窃和欺诈等挑战的风险之中。解决人工智能和治理问题在现实世界中的重要性不言而喻，以确保在元宇宙中保持消费者的安全。

• 新的道德 AI 治理生态系统将出现

世界已经意识到 AI 治理代表着实现负责任的 AI 的基本构建块。未来几年，我们将看到一个竞争激烈和充满活力的市场出现，提供工具、服务、教育和其他能力来支持这一巨大的需求。

此外，我们还将看到现有的 MLops 和 GRC 平台的整合和增强，以将治理和评估能力带到 AI 中。

您是否还有其他关于 Credo AI 的内容想要分享？

道德 AI 治理是一项未来证明的投资，您不能不做它，而今天就是开始的最佳时机。

感谢您详细的采访，并感谢您分享了有关 AI 治理和道德的所有见解。希望了解更多的读者可以访问 Credo AI。