Yotam Oren，Mona Labs 的 CEO 和联合创始人 – 采访系列

Yotam Oren 是 Mona Labs 的 CEO 和联合创始人，Mona Labs 是一个平台，能够让企业将 AI 计划从实验室实验转变为可扩展的商业运营，真正理解机器学习模型在实际商业流程和应用中的行为。

Mona 自动分析机器学习模型在受保护的数据段和商业功能的背景下的行为，以检测潜在的 AI 偏差。Mona 提供生成符合行业标准和法规的完整公平报告的能力，并提供 AI 应用程序是合规且无偏差的信心。

是什么最初吸引你进入计算机科学领域？

计算机科学是我的家庭中很受欢迎的职业道路，所以它一直是我考虑的选择。当然，以色列文化非常支持科技，我们庆祝创新技术人员，我一直认为计算机科学会给我提供成长和成就的机会。

尽管如此，它只在我大学年龄时成为我的个人热情。我不是那些在中学时就开始编码的孩子。在我的青春期，我太忙于打篮球，没有时间关注计算机。高中毕业后，我在军队中度过了近 5 年，担任作战/战斗领导角色。所以，在某种程度上，我真正开始学习计算机科学是在大学时需要选择学术专业的时候。吸引我注意的是，计算机科学结合了解决问题和学习语言（或语言）。这两件事我都特别感兴趣。从那时起，我就迷上了它。

从 2006 年到 2008 年，你在一家小型初创公司从事映射和导航工作，你在那个时代有什么关键的收获？

我在 Telmap 的角色是建立一个基于地图和位置数据的搜索引擎。

那是“大数据”在企业中的早期日子。我们甚至没有称之为“大数据”，但我们正在获取大量数据，并试图为我们的最终用户提取最有影响力和相关性的见解。

我有一个令人震惊的认识，那就是公司（包括我们）使用了这么少的数据（更不用说公开可用的外部数据）。有这么多潜在的新见解、更好的流程和体验。

另一个收获是，获取更多数据的能力当然取决于拥有更好的架构、更好的基础设施等。

你能分享 Mona Labs 的创立故事吗？

我们三位联合创始人在整个职业生涯中都与数据产品有关。

Nemo，首席技术官，是我的大学朋友和同学，也是 Google Tel Aviv 的第一批员工之一。他在那里启动了一个名为 Google Trends 的产品，该产品具有基于搜索引擎数据的高级分析和机器学习。Itai，另一位联合创始人和首席产品官，当时是 Nemo 在 Google 的团队成员（我通过 Nemo认识了他）。他们两个一直对 AI 驱动的系统在初步开发和测试后被遗弃感到沮丧。尽管在生产之前难以正确测试这些系统，但团队仍然不知道他们的预测模型随着时间的推移会表现如何。此外，似乎他们唯一收到关于 AI 系统的反馈是在事情出了问题并被召集进行“消防演习”来解决灾难性问题的时候。

大约在同一时间，我是麦肯锡公司的顾问，我看到的大型企业中的 AI 和大数据计划难以扩展的最大障碍之一是商业利益相关者对这些计划缺乏信任。

这个共同的线索在 Nemo、Itai 和我之间的对话中变得明显。该行业需要监控 AI/ML 系统的基础设施。我们构想了一个愿景，即提供这种可见性，以增加商业利益相关者的信任，并使 AI 团队能够始终掌握他们的系统的表现，并更高效地迭代。

这就是 Mona 成立的原因。

当前 AI 透明度缺乏的主要问题是什么？

在许多行业中，组织已经在其 AI 计划中投入了数千万美元，并在实验室和小规模部署中取得了一些初步成功。但是，扩大规模、实现广泛采用以及让业务真正依赖 AI 对于几乎每个人来说都是一个巨大的挑战。

为什么会发生这种情况？好吧，这始于这样一个事实：很好的研究并不自动转化为很好的产品（一位客户曾告诉我们，“机器学习模型就像汽车，一旦它们离开实验室，就会失去 20% 的价值”）。很好的产品有支持系统。有工具和流程来确保质量随着时间的推移而保持，一旦问题被发现，就会被高效地解决。很好的产品还具有持续的反馈循环、改进周期和路线图。因此，很好的产品需要深入和持续的性能透明度。

当缺乏透明度时，你会得到：

• 隐藏一段时间后突然出现的问题和“消防演习”
• 耗时且手动的调查和缓解
• 一个没有得到业务用户和赞助商信任的 AI 计划，最终未能扩展

使预测模型透明和可信的挑战是什么？

透明度是实现信任的重要因素。透明度可以有多种形式。有单个预测透明度，可能包括向用户显示置信度水平，或为预测提供解释/理由。单个预测透明度主要旨在帮助用户感到舒适。

然后，还有整体透明度，可能包括预测准确性、意外结果和潜在问题的信息。整体透明度是 AI 团队所需的。

检测问题的最大挑战是尽早发现问题，并在问题变得严重之前提醒相关团队成员采取纠正措施。

为什么检测问题很困难：

• 问题通常从小开始，并在最终爆发到表面之前会逐渐升级。
• 问题通常是由于无法控制或外部因素引起的，例如数据源。
• 有很多方法可以“划分世界”，并以一种简单的方法在小范围内穷举地寻找问题，这可能会导致大量噪音（警报疲劳），至少当以这种方式完成时。

提供透明度的另一个具有挑战性的方面是 AI 使用案例的激增。这使得一刀切的方法几乎不可能。每个 AI 使用案例可能涉及不同的数据结构、不同的业务周期、不同的成功指标，甚至不同的技术方法和技术栈。

所以，这是一项艰巨的任务，但透明度对于 AI 程序的成功至关重要，所以你必须做到这一点。

你能分享一些关于 NLU / NLP 模型和聊天机器人的解决方案的详细信息吗？

对话式 AI 是 Mona 的核心垂直领域之一。我们为具有广泛的对话式 AI 使用案例的创新公司提供支持，包括语言模型、聊天机器人等。

这些使用案例中的一个共同因素是，模型在客户附近（有时可见）运行，因此不一致的性能或不良行为的风险更高。因此，对于对话式 AI 团队来说，了解系统行为的细节至关重要，这是 Mona 监控解决方案的优势领域。

Mona 的解决方案所做的独特之处是系统地筛选对话组，并找到模型（或机器人）表现不佳的区域。这使得对话式 AI 团队能够在客户注意到之前发现问题，并采取预防性和高效的纠正措施。

总之，Mona 为对话式 AI 监控提供了端到端的解决方案。它从确保系统行为随时间的单一信息来源开始，继续跟踪关键性能指标，并提供有关错误行为区域的主动洞察 – 启用团队采取预防性、高效的纠正措施。

你能提供一些关于 Mona 的洞察引擎的详细信息吗？

当然。让我们从动机开始。洞察引擎的目标是向用户呈现异常情况，同时提供适量的上下文信息，并避免产生噪音或导致警报疲劳。

洞察引擎是一种独一无二的分析工作流程。在此工作流程中，引擎在数据的所有段中搜索异常情况，以便在问题仍然“小”且尚未影响整个数据集和下游业务 KPI 时尽早发现问题。然后，它使用专有算法检测异常的根本原因，并确保每个异常只被提醒一次，以避免噪音。

支持的异常类型包括：时间序列异常、漂移、离群值、模型退化等。

洞察引擎可以通过 Mona 的直观无代码/低代码配置进行高度自定义。引擎的可配置性使 Mona 成为市场上最灵活的解决方案，涵盖了广泛的用例（例如，批处理和流式处理，有/无业务反馈/基准事实，在模型版本之间或在训练和推理之间等）。

最后，这个洞察引擎由一个可视化仪表板支持，用户可以在其中查看洞察，并提供一组用于根因分析和进一步探索上下文信息的调查工具。洞察引擎还完全集成到一个通知引擎中，允许将洞察推送到用户自己的工作环境，包括电子邮件、协作平台等。

1 月 31 日，Mona 推出了其新的 AI 公平解决方案，你能与我们分享这个功能的详细信息以及为什么它很重要吗？

AI 公平是关于确保算法和 AI 驱动的系统做出无偏见和公平的决策。解决和防止 AI 系统中的偏差至关重要，因为它们可能导致重大的现实世界后果。随着 AI 的日益普遍，其对人们日常生活的影响将在更多地方显现，包括自动驾驶、更准确地检测疾病、提高我们对世界的理解，甚至创造艺术。如果我们不能相信它是公平和无偏见的，我们如何允许它继续传播？

AI 系统中偏差的主要原因之一是模型训练数据无法代表现实世界。这可能源于历史上的歧视、某些群体的代表性不足，甚至是对数据的故意操纵。例如，一个主要在浅肤色个体上训练的面部识别系统可能在识别深肤色个体时具有更高的错误率。同样，一个在狭窄来源的文本数据上训练的语言模型可能会对某些世界观（例如，宗教、文化等）产生偏差。

Mona 的 AI 公平解决方案为 AI 和业务团队提供了他们的 AI 无偏差的信心。在监管行业，Mona 的解决方案可以帮助团队为合规做好准备。

Mona 的公平解决方案之所以特别，是因为它位于 Mona 平台上 – 这是一个连接 AI 数据和模型与其现实世界影响的桥梁。Mona 检查 AI 模型在生产中服务的业务流程的所有部分，以关联训练数据、模型行为和实际现实世界结果，以提供最全面的公平评估。

其次，它具有独特的分析引擎，允许以灵活的方式对数据进行分段，以控制相关参数。这使得可以在正确的上下文中进行准确的相关性评估，避免了辛普森悖论，并为任何性能指标和任何受保护的特征提供了深入的“偏差评分”。

总的来说，我认为 Mona 是一个基础元素，适用于需要构建和扩展负责 AI 的团队。

你对 AI 未来的展望是什么？

这是一个大问题。

我认为可以预测，AI 将继续在各个行业部门和人们生活的各个方面得到广泛应用和影响。然而，很难认真地对未来提出一个详细的愿景，同时试图涵盖 AI 的所有用例和影响。因为没有人真正知道足够多的信息来可信地描绘出那幅图景。

话虽如此，我们可以肯定地说，AI 将被更多人使用，服务更多目的。因此，治理和透明度的需求将大大增加。

对 AI 和其工作原理的真正可见性将发挥两个主要作用。首先，它将帮助在人们中建立信任，并消除阻碍更快采用率的障碍。其次，它将帮助操作 AI 的人确保 AI 不会失控。

感谢这次精彩的采访，希望了解更多的读者可以访问 Mona Labs。