Navrina Singh，Credo AI 的 CEO 和创始人 – 采访系列

Navrina Singh 是 Credo AI 的 CEO 和创始人，Credo AI 是一家设计了第一个综合的 AI 治理 SaaS 平台的公司，旨在帮助企业和个人更好地理解和交付值得信赖和道德的 AI，领先于新的法规和政策，并创建一个可审计和透明的 AI 记录，遍及整个组织。该公司一直在秘密运行，并悄悄地建立了一个令人印象深刻的客户群，其中包括世界上最大的政府承包商和金融服务公司，以及其他财富 100 强品牌。

您在印度的一个小镇长大，拥有谦逊的起步，如何被吸引到工程和 AI 领域？

我来自一个中产阶级家庭；我的父亲在军队服役了四十年，我的母亲是一名教师，后来成为了一名时装设计师。从小的时候起，他们总是鼓励我的好奇心，热爱科学发现，并为我提供了一个安全的空间来探索“如果怎样”的问题。

当我在印度长大时，女性没有那么多机会。很多决定已经为女孩们做好了，基于社会的接受程度。唯一的出路就是通过教育来获得更好的生活。

高中毕业后，我拥有了我的第一台电脑，这是我通往世界的窗口。我非常喜欢硬件，花了很多时间在线学习如何拆卸主板，构建机器人应用程序，学习编码，重新布线我的房子（哇！）等等。工程成为我的安全空间，我可以在那里实验，探索，构建和体验我想要成为一部分的世界，通过我的发明。我被激发和兴奋于如何利用技术来改变世界，特别是对于女性。

成长过程中，我的手段有限，但可能性并没有。 我一直梦想着来到美国，打造一个更强大的技术基础，以解决人类面临的最大挑战。 2001 年，我移民到这里，继续在威斯康星大学麦迪逊分校学习工程。

在我近二十年的工程生涯中，我有幸在多个前沿技术领域工作，从移动到增强现实。

2011 年，我开始探索人工智能，以在高通公司构建新的新兴业务。 我还花了时间在微软和高通公司构建语音、视觉和 NLP 等领域的人工智能应用和业务，过去十年中，我逐渐意识到人工智能和机器学习将会对我们的生活产生巨大的影响。

(QCOM ) (MSFT )

构建企业级人工智能也让我意识到，如果不受控制，这项技术可能会对我们的社会和社区造成伤害。作为领导者，我们必须对我们正在构建的技术承担极大的责任。我们必须积极主动地最大化其对人类的益处，尽量减少其风险。毕竟，“我们创造的东西造就了我们”。因此，负责任地构建是至关重要的，这激发了我职业生涯的下一个阶段——构建人工智能治理。

您什么时候开始认真思考人工智能治理？

当我在高通公司担任创新部负责人时，我们正在探索人工智能可以为我们的新兴业务带来的可能性。我们的初步工作集中在协作机器人上，这些机器人被用于供应链。这是我第一次接触到人工智能的“真正”风险，特别是与操作这些机器人系统的人类的身体安全有关的风险。

在那段时间里，我们花了大量时间与初创公司如 Soul Machines 合作，学习新的用例，并找到与他们合作的方式来加速我们的工作。 Soul Machines 发布了一款新的婴儿头像“Baby X”，它通过神经网络学习，积极地从周围的世界中学习。看着这款神经网络驱动的婴儿，我的心情沉重，我反思了这项技术的意外后果。我的女儿 Ziya 出生在同一时间，我们亲切地称她为“Baby Z”，以纪念 Soul Machines 的“Baby X”。我已经在很多场合谈论过这件事，包括 2019 年的女性产品关键词演讲。

“Baby X”和“Baby Z”的学习旅程令人毛骨悚然地相似！当 Ziya 长大时，我们为她提供了最初的词汇和工具来学习。随着时间的推移，她开始理解这个世界，并开始自己把事情联系起来。“Baby X”，这款神经网络驱动的婴儿，通过视觉传感器和语音识别也在学习，并迅速构建了对人类世界的深刻理解。

这些早期的人工智能时刻使我清楚地认识到，找到管理风险和为这项强大的技术建立有效的防护栏，以确保其被部署用于善良的目的，是至关重要的。

您能分享 Credo AI 的创立故事吗？

在离开高通公司后，我被微软招募，领导商业开发团队和产品团队的 AI 技术商业化。在我的任期内，我有幸在从对话式 AI 到合同智能、从视觉检查到语音驱动的产品发现等多个 AI 技术领域工作。

然而，在高通公司种下的 AI 治理的种子继续生长，因为我继续目睹了人工智能技术开发中日益增长的“监督赤字”。作为产品领导者，与数据科学和工程团队合作，我们有动力快速地将高性能的 AI 应用程序部署到市场上。

我们认为合规性和治理是减缓创新步伐的门槛。然而，我的对治理赤字的日益增长的担忧——技术专业人员和风险、合规、审计方面的监督专业人员之间的赤字——促使我继续探索实现 AI 治理的挑战。

所有关于 AI 治理的未解答的问题促使我寻找答案。因此，我开始为一个名为 MERAT（市场中负责人工智能工具） 的非营利组织奠定基础，旨在为初创公司和全球 2000 强公司创建一个生态系统，专注于人工智能的负责任开发。

通过 MERAT 的早期实验，它变得明显，目前尚没有初创公司能够提供多利益相关者工具来为 AI 和机器学习应用提供全面治理。这个空白是我机会，去实现有意引导 AI 的使命。我的假设不断被验证，即下一个 AI 革命的前沿将由治理引导。接受治理的企业将成为值得信赖的品牌的领导者。

我被人工智能基金会接洽，人工智能基金会由著名的 AI 专家 Andrew Ng 创立。人工智能基金会一直专注于人工智能审计和治理等话题，这些话题我过去十年一直在思考。

Credo AI 于 2020 年 2 月 28 日成立，获得了人工智能基金的资金支持。

Credo 的意思是“一套指导你的行为的价值观”。有了 Credo AI，我们的愿景是赋予企业创建最高道德标准的 AI 的能力。

在一篇之前的采访中，您讨论了如何看待品牌在未来将不仅仅基于他们如何构建和部署 AI，还将基于他们如何扩大 AI，以使其服务于人类。您能对此进行阐述吗？

人工智能是本世纪的变革性技术之一，为经济和社会提供了转型性的机会。据预测，到 2030 年，人工智能将为全球经济贡献近 16 万亿美元。

然而，过去几年已经将注意力集中在主要的 AI 威胁上（而不是机器人霸主！），这些威胁已经到来。例如，优化最小再犯率的司法算法可能会引入偏见，并拒绝那些应得的假释。

优化参与度的社交算法可能会分裂一个国家。

不公平的算法可能是你没有得到工作或大学入学的原因。

我们给工具的自主权越多，意外后果的范围就越广泛。非凡的规模产生非凡的影响，但并不总是我们期望的影响（我在 Credo AI 宣言 中写到了这一点）。

我预测，投资人工智能治理以帮助他们负责任地构建技术并致力于数据的道德使用的企业，将能够在利益相关者（包括客户、消费者、投资者、员工等）中建立信任。

Credo AI 如何帮助公司保持负责？

责任意味着承担自己的行为的责任。在人工智能开发和部署的背景下，这意味着企业不仅需要对什么是“好的”达成一致，还需要采取有意的步骤来证明他们的行动，并对结果承担责任。

Credo AI 旨在成为企业在其道德和负责任的 AI 计划中的向导，以使他们对多样化的利益相关者（包括用户、员工、监管机构、审计师、投资者、执行官等）负责。因此，Credo AI 开创了一种实时、上下文驱动、全面和持续的解决方案，以交付大规模的道德和负责任的 AI。

在 AI 中建立责任感和信任是一个动态的过程。组织必须在企业价值观上保持一致，编纂这些价值观，将它们构建到组织基础设施中，观察影响，并在每个阶段都有多元化的声音提供输入。 Credo AI 通过一个全面和实时的解决方案来实现这一责任感，以管理合规性并衡量 AI 部署的风险。

使用 Credo AI 治理解决方案，企业能够：

• 针对其 AI 使用案例和模型对齐治理要求，具有可自定义的策略包和决策支持工具，用于选择模型评估指标。
• 评估和审查数据和机器学习模型，以确定与这些对齐的目标
• 分析技术规格以对业务产生可行的风险影响，在模型开发和部署的每个阶段捕获和解决治理问题，避免它们成为大问题

通过记录每个阶段的决策和行动，Credo AI 捕获了模型创建的决策起源作为证据。这种证据将是企业内部利益相关者和外部审计师之间共享的记录，以建立对 AI 意图的信任。

这种证据将帮助开发团队预测和防止意外后果，并将标准化评估 AI 模型的有效性和可信度的方式。

我们正处于使人工智能治理通过全面评估和保证成为可能的早期阶段，我们很高兴能够与更多的企业合作，以促进责任感。

Credo AI 如何帮助公司将人工智能治理从事后思考转变为事前思考？

在今天的世界里，缺乏对真正的“负责任”、“道德”和“值得信赖”的 AI 的清晰理解，以及企业如何实现这一目标。我们通过使用 Credo AI 的 SaaS 平台来帮助企业重新定义这个关键问题，以展示“道德的经济学”。

有了 Credo AI，企业不仅能够提供公平、合规和可审计的 AI，还能够建立客户信任。

建立客户信任可以扩大公司的客户群，并解锁更多的销售机会。例如，公司可以使用道德 AI 在客户服务聊天机器人中提供最佳的客户体验，或者负责任地使用 AI 来了解用户活动并为他们推荐其他内容或产品。极度满意的客户将通过与朋友和家人分享他们的体验来提供最好的广告。

此外，企业还可以看到技术和监督职能之间的合作如何帮助他们节省成本，实现更快的合规性，进行明智的风险管理，降低品牌和监管风险。我们通过建立技术指标和有形的商业成果之间的桥梁来帮助组织部署道德 AI。随着越来越多的人意识到，提倡道德 AI 涉及的不仅仅是检查“监管合规性”的框框，它还具有为世界做出贡献的力量，这本身就是一个值得的结果。

当一家公司坚持高尚的道德标准时，它可以期待真正的商业成果，例如增加收入。将视角从抽象的“软”概念转变为客观的商业决策，这是我们帮助公司将 AI 治理定位为公司经济和社会引擎的关键部分的方式之一。

最近，拜登政府创建了国家人工智能咨询委员会。在您看来，这对 AI 业务的影响是什么？

全球政府正在全力监管人工智能，企业需要做好准备。拜登政府创建国家人工智能咨询委员会和在白宫科学和技术政策办公室的投资，是对人工智能系统治理法案采取行动的良好第一步。然而，仍需要做大量工作来实现负责任的 AI 的意义，对于我们的国家和经济来说。

我相信 2022 年将成为负责任的 AI 行动的年份。这是一个警钟，呼吁企业实施或加强其 AI 道德框架。现在是企业评估其现有框架的差距或为缺乏方法的企业实施可靠框架的最佳时机，以便在 AI 领域取得成功。

我们应该期待更多的硬性和软性法规的出现。除了白宫的行动外，还有很多来自其他政策制定者和机构的动力，例如参议院的算法问责法案、联邦贸易委员会（FTC）关于人工智能偏见的指导等。

如果我们快进到未来，五年后 AI 道德和 AI 治理将会有多重要？

我们正处于 AI 治理的早期阶段。为了强调 AI 治理的重要性，以下是我未来几年的预测：

• 道德 AI 治理将成为组织的首要任务

企业继续投资并从其业务中获得人工智能的好处。根据 IDC 的预测，2022 年人工智能的支出将达到 3400 亿美元。没有治理，企业将由于对这些系统的偏见、安全性、合规性等问题的担忧而犹豫是否投资人工智能。

没有信任，消费者也将犹豫是否接受基于人工智能的产品或共享数据来构建这些系统。未来五年中，道德人工智能治理将成为董事会的优先事项和公司必须披露和报告以建立利益相关者信任的重要指标。

• 新的社会技术工作类别将在企业中出现

我们已经看到以道德为先的组织在未来开发中投入大量资金，以确保公平、合规和可审计的 AI 应用程序。为了在 AI 领域领先，企业需要进一步加快对 AI 监管格局和大规模问责结构的学习。随着人工智能实施的新兴领域的发展，可能会出现一种新的社会技术工作类别，以促进这些对话并在这一领域承担责任。这部分新兴的劳动力可能会作为技术人员和监督人员之间的中间人，帮助制定共同的标准和目标。

• 新的 AI 驱动体验将需要更严格的治理

管理人工智能的预期和意外后果至关重要，尤其是在我们进入元宇宙和 web3 世界时。人工智能的风险存在于现实世界和虚拟世界中，但在后者中风险被放大。企业如果在没有人工智能监督的情况下盲目进入元宇宙，就会将客户置于身份盗窃和欺诈等挑战的风险之中。解决人工智能和治理问题对于确保元宇宙中消费者的安全至关重要。

• 新的 AI 治理生态系统将出现

世界已经意识到，人工智能治理代表了实现负责任人工智能的基本构建块。未来几年，我们将看到一个竞争激烈和充满活力的服务提供商市场的出现，提供工具、服务、教育和其他能力来支持这一巨大的需求。我们还将看到现有的 MLops 和 GRC 平台的整合和增强，以将治理和评估能力带到人工智能中。

您还想分享关于 Credo AI 的其他内容吗？

道德 AI 治理是一项未来证明的投资，您不能不做它，而今天就是开始的最佳时机。

感谢您详细的采访，并感谢您分享了您关于 AI 治理和道德的所有见解，希望读者能够通过访问 Credo AI 来了解更多信息。