Mona Labs 的 CEO 和联合创始人 Yotam Oren – 采访系列

Yotam Oren 是 Mona Labs 的 CEO 和联合创始人，Mona Labs 是一个平台，能够帮助企业将 AI 计划从实验室转变为可扩展的商业运营，真正理解机器学习模型在实际业务流程和应用中的行为。

Mona 自动分析机器学习模型在受保护的数据段中的行为，并在业务功能的背景下检测潜在的 AI 偏差。Mona 提供生成完整的公平报告的能力，这些报告符合行业标准和法规，并提供了 AI 应用的合规性和无偏差的信心。

是什么最初吸引你进入计算机科学领域？

计算机科学在我的家庭中是一个流行的职业路径，所以它一直是我考虑的一个选择。当然，以色列文化非常推崇科技，我们庆祝创新技术人员，我一直认为计算机科学将为我提供成长和成就的机会。

尽管如此，它只在我进入大学年龄时才成为我的个人热情。我并不是那些从中学开始编程的孩子。在我的青少年时期，我太忙于打篮球，没时间关注计算机。高中毕业后，我在军队里度过了近 5 年，担任作战/战斗领导角色。所以，在某种程度上，我真正开始学习计算机科学，是当我需要选择一个大学专业的时候。吸引我的是计算机科学结合了解决问题和学习语言（或语言）。这两件事我都特别感兴趣。从那时起，我就迷上了计算机科学。

从 2006 年到 2008 年，你在一个小型初创公司工作，负责地图和导航， 那段时间你有什么关键的收获？

我在 Telmap 的工作是建立一个地图和位置数据的搜索引擎。

那是“大数据”在企业中非常早期的日子。我们甚至没有称之为“大数据”，但我们正在获取大量的数据集，并试图为我们的最终用户提取最有影响力和相关性的见解。

我有一个令人惊讶的认识，那就是公司（包括我们自己）只使用了他们数据的一小部分（更不用说公开可用的外部数据）。有这么多新的见解、更好的流程和体验的潜力。

另一个收获是，要获取更多的数据，当然需要更好的架构、更好的基础设施等等。

您能分享 Mona Labs 的创立故事吗？

我们三位联合创始人都在整个职业生涯中与数据产品打交道。

Nemo，是我们的首席技术官，是我的大学朋友和同学，也是 Google (GOOGL ) Tel Aviv 的第一批员工之一。他在那里启动了一个叫做 Google Trends 的产品，具有基于搜索引擎数据的高级分析和机器学习。Itai，是我们的另一位联合创始人和首席产品官，当时在 Nemo 的团队里（我也是通过 Nemo认识他的）。他们两个都对 AI 驱动的系统在初步开发和测试后被遗弃感到沮丧。尽管难以在生产前正确测试这些系统，但团队仍然不知道他们的预测模型在时间推移中表现如何。另外，似乎他们只在事情出错、开发团队被叫去解决灾难性问题时才会收到关于 AI 系统的反馈。

大约在同一时间，我在麦肯锡公司担任顾问，我看到的大企业中 AI 和大数据项目扩张的最大障碍是业务利益相关者对这些项目缺乏信任。

很明显，Nemo、Itai 和我在交谈中意识到，行业需要监控 AI/ML 系统在生产中的基础设施。我们构想了一个提供这种可见性的愿景，以增加业务利益相关者的信任，并使 AI 团队能够始终掌握他们的系统的状况，并更高效地迭代。

这就是 Mona 诞生的原因。

当前 AI 透明度缺乏的主要问题是什么？

在许多行业中，组织已经在他们的 AI 计划中投入了数千万美元，并在实验室和小规模部署中看到了一些初步成功。但是，扩大规模、实现广泛采用和让业务真正依赖 AI 对于几乎所有人来说都是一项巨大的挑战。

为什么会这样？这始于这样一个事实：优秀的研究并不自动转化为优秀的产品（一位客户曾告诉我们，“机器学习模型就像汽车，一旦离开实验室，就会失去 20% 的价值”）。优秀的产品有支持系统，有工具和流程来确保质量在时间推移中得到维持，并且问题被及早发现和高效地解决。优秀的产品还具有持续的反馈循环，具有改进周期和路线图。因此，优秀的产品需要深入和持续的性能透明度。

当没有透明度时，你会得到：

• 问题在一段时间内保持隐藏，然后突然浮现，导致“火灾演习”
• 漫长而手动的调查和缓解
• AI 计划没有得到业务用户和赞助商的信任，最终未能扩大规模

使预测模型透明和可信的挑战是什么？

透明度是实现信任的一个重要因素。透明度可以有多种形式。有单个预测透明度，可能包括向用户显示置信度或提供预测的解释/理由。单个预测透明度主要是为了帮助用户对预测感到舒适。然后，有整体透明度，可能包括预测准确性、意外结果和潜在问题的信息。整体透明度是由 AI 团队需要的。

整体透明度最具挑战性的部分是早期检测问题，并提醒相关团队成员采取纠正措施，以免灾难发生。

为什么早期检测问题很具挑战性：

• 问题通常从小开始，逐渐酝酿，然后突然爆发。
• 问题通常由不可控或外部因素引起，例如数据源。
• 有很多方法可以“划分世界”，并且在小范围内穷尽地寻找问题可能会导致大量噪音（警报疲劳），至少当这种方法是天真的。

提供透明度的另一个具有挑战性的方面是 AI 使用案例的激增。这使得一刀切的方法几乎是不可能的。每个 AI 使用案例可能涉及不同的数据结构、不同的业务周期、不同的成功指标，甚至不同的技术方法和堆栈。

因此，这是一项艰巨的任务，但透明度对于 AI 计划的成功至关重要，所以你必须做到这一点。

您能分享一些关于 NLU/NLP 模型和聊天机器人的解决方案的细节吗？

对话式 AI 是 Mona 的核心垂直之一。我们为具有广泛对话式 AI 使用案例的创新公司提供支持，包括语言模型、聊天机器人等。

这些使用案例的共同点是模型在客户附近（有时可见）运行，因此不一致的性能或不良行为的风险更高。因此，对于对话式 AI 团队来说，了解系统行为的细节至关重要，这是 Mona 监控解决方案的优势领域。

Mona 的解决方案所做的独特之处是系统地筛选对话组，并找到模型（或机器人）表现不佳的区域。这使得对话式 AI 团队能够提前识别问题，并在客户注意到之前解决它们。这一能力是对话式 AI 团队在选择监控解决方案时的关键决策驱动因素。

总之，Mona 提供了对话式 AI 监控的端到端解决方案。它从确保有单一信息源开始，用于跟踪系统行为随时间的变化，并继续跟踪关键性能指标和主动洞察潜在的不良行为 – 启用团队采取预防性和高效的纠正措施。

您能提供一些关于 Mona 的洞察引擎的细节吗？

当然。让我们从动机开始。洞察引擎的目标是向用户提供异常情况，只需合适的上下文信息，并且不产生噪音或导致警报疲劳。

洞察引擎是一种独特的分析工作流。在此工作流中，引擎在数据的所有段中搜索异常情况，以便在问题仍然“小”时就能早期检测，并在问题影响整个数据集和下游业务 KPI 之前解决。然后，它使用专有算法来检测异常的根因，并确保每个异常只被提醒一次，以避免噪音。支持的异常类型包括：时间序列异常、漂移、离群值、模型退化等。

洞察引擎通过 Mona 的直观无代码/低代码配置高度可定制。引擎的可配置性使 Mona 成为市场上最灵活的解决方案，涵盖了广泛的用例（例如，批处理和流式处理，带/不带业务反馈/基准，跨模型版本或训练和推理之间等等）。

最后，这个洞察引擎由一个可视化仪表板支持，用户可以在其中查看洞察，并且有一个用于根因分析和进一步探索上下文信息的工具集。洞察引擎还完全集成到一个通知引擎中，允许将洞察推送到用户自己的工作环境中，包括电子邮件、协作平台等。

1 月 31 日，Mona 推出了新的 AI 公平性解决方案，您能分享一些关于此功能的细节吗？

AI 公平性是关于确保算法和 AI 驱动的系统做出无偏见和公平的决策。解决和防止 AI 系统中的偏差至关重要，因为它们可能导致重大现实世界后果。随着 AI 的日益普遍，其对人们日常生活的影响将在更多地方显现，包括自动驾驶、更准确地检测疾病、提高我们对世界的理解，甚至创造艺术。如果我们不能相信它是公平和无偏见的，我们如何允许它继续传播？

AI 系统中的偏差的一个主要原因是模型训练数据无法完全代表现实世界。这可能源于历史上的歧视、某些群体的代表性不足，甚至是对数据的故意操纵。例如，一个主要在浅肤色个体上训练的面部识别系统可能在识别深肤色个体时会有更高的错误率。同样，一个在狭窄来源的文本数据上训练的语言模型可能会在宗教、文化等主题上发展出偏差，如果数据偏向某些世界观。

Mona 的 AI 公平性解决方案为 AI 和业务团队提供了他们的 AI 无偏差的信心。在监管领域，Mona 的解决方案可以帮助团队做好合规准备。

Mona 的公平性解决方案之所以特别，是因为它位于 Mona 平台上 – 一个连接 AI 数据、模型和实际业务影响的桥梁。Mona 检查 AI 模型在生产中服务的所有业务流程，以便在训练数据、模型行为和实际现实世界结果之间进行相关性和公平性评估。

其次，它具有一个独特的分析引擎，允许对数据进行灵活的分段，以控制相关参数。这使得在正确的上下文中进行准确的相关性评估成为可能，避免了辛普森悖论，并为任何性能指标和任何受保护的特征提供了深入的“偏差评分”。

总之，我认为 Mona 是一个基础元素，适用于需要构建和扩展负责任的 AI 的团队。

您对 AI 的未来有什么展望？

这是一个大问题。

我认为可以预测，AI 将继续在各个行业和人们生活的各个方面扩大其使用和影响。然而，很难认真地预测一个详细的未来愿景，该愿景试图涵盖 AI 的所有用例和影响。因为没有人真正知道足够的信息来可信地描绘出这样的画面。

我们可以肯定的是，AI 将落入更多人的手中，服务更多的目的。因此，治理和透明度的需求将大大增加。

真正的 AI 可见性和工作原理将发挥两个主要作用。首先，它将帮助人们对 AI 产生信任，并消除阻碍其更快采用的一些障碍。其次，它将帮助操作 AI 的人确保 AI 不会失控。

感谢您这次精彩的采访，希望读者可以通过访问 Mona Labs 了解更多信息。