曼努埃尔·罗梅罗，Maisa联合创始人兼首席科学官 – 采访系列

曼努埃尔·罗梅罗，Maisa联合创始人兼首席科学官，是一位专注于开发可靠的企业级人工智能系统的AI研究员和工程师。他于2024年联合创立Maisa，旨在建立能够以透明和控制的方式执行复杂业务流程的AI系统。在加入Maisa之前，罗梅罗曾在Clibrain和Narrativa等公司担任高级AI工程和机器学习职位，专注于自然语言处理和大规模AI系统。早期，他曾担任全栈软件工程师和DevOps专家，后来转向高级AI研究和开发，成为开源AI生态系统的活跃贡献者。

Maisa AI开发了自治的“数字工人”，即设计用于自动化复杂企业工作流程的AI代理，同时保持可追溯性、治理和可靠性。该平台允许组织使用自然语言构建和部署AI代理，从而可以在不需要大量编码的情况下实现内部系统和数据源的自动化。通过专注于可验证的推理和结构化执行，Maisa旨在克服与生成式AI系统相关的常见局限性，并帮助企业安全地大规模部署自治AI。

您经常关注理解AI系统背后的更深层次的“为什么”。从技术角度来看，您在2024年联合创立Maisa的动机是什么，您认为企业AI架构中存在什么样的缺陷尚未被解决？

联合创立Maisa的动机来自于我们意识到大多数企业AI堆栈都是围绕模型而不是系统构建的。

在生成式AI热潮中，许多公司专注于将大型语言模型集成到现有的工作流程中。然而，这些系统通常是脆弱的、不透明的，并且难以在大规模上运行。它们缺乏：

• 在需要时的确定性执行。
• 强大的可观察性、可追溯性
• 可重复性

我们看到的缺陷是企业AI基础设施的缺失。公司正在围绕LLM API构建应用程序，但他们缺乏类似于计算机体系结构的知识工作基础设施。

Maisa被创建来解决这一缺陷，通过设计一个围绕知识处理单元（KPU）构建的架构，KPU是一种能够让AI在真实的企业工作流程中可靠运行的系统。

您在高级自然语言处理和生成式系统方面的经验如何影响Maisa平台的架构选择？

我在NLP和NLG方面的经验，特别是在训练和预训练语言模型以及后来的大型语言模型（数百个）方面，明确了当我尝试在它们之上构建真正的系统时，需要解决什么问题。变换器架构非常强大，但它带来了至少三个基础限制，必须解决这些限制才能可靠地在生产中使用它们。

第一个限制是幻觉。这些模型生成文本的方式是概率性的，并且可以产生听起来正确但不基于已验证信息的输出。

第二个限制是上下文限制。即使有更大的上下文窗口，模型也只能在有限的令牌空间内运行，这使得它们难以推理大型或复杂的知识体。

第三个限制是最新信息。预训练模型代表了训练时的知识快照，而企业环境需要能够推理不断变化的信息的系统。

认识到这些限制塑造了Maisa背后的许多架构决策。我们没有仅仅依赖模型，而是专注于构建一个提供结构化知识访问、验证机制和控制执行的系统，以便AI可以在真实的企业工作流程中可靠运行。

许多企业尝试使用生成式AI，但难以将其扩展到生产环境。从系统设计角度来看，扩展失败的核心原因是什么？

许多企业难以将生成式AI扩展到生产环境，因为大多数部署都是作为实验而不是作为强大的系统构建的。早期原型通常依赖于提示工程、轻量级编排和简单的检索管道，这些可以展示价值，但不提供生产环境所需的可靠性、可观察性或控制。随着组织尝试扩展这些系统，他们遇到了诸如输出不一致、缺乏可追溯性、难以与企业工作流集成以及对AI行为的治理有限等问题。其核心问题是，大型语言模型是概率性生成器，而企业流程需要可预测和可审计的行为。没有添加结构化推理、验证、执行和监控的架构，生成式AI系统难以扩展到孤立的用例之外。

Maisa的数字工人被设计为可审计和结构化，而不是纯粹的概率性。对于评估AI用于生产的企业来说，这意味着什么？

当我们说Maisa的数字工人是可审计和结构化的，而不是纯粹的概率性时，我们的意思是AI在一个受控的系统中运行，其行为和推理可以被追溯和治理。与其让模型自由生成输出和决策，系统结构化了AI与数据、工具和工作流的交互。每个步骤可以被记录、检查和验证，行动通过定义的接口执行，而不是直接从模型输出执行。对于企业来说，这意味着AI系统可以被监控、审计和集成到关键流程中，具有更大的信心。它将AI从黑盒助手转变为一个行为可以被理解、控制和信任的系统，在生产环境中运行。

作为知识处理单元的架构师，KPU与典型的编排层或围绕大型语言模型构建的工作流引擎有什么不同？

知识处理单元与典型的编排层不同，因为它旨在管理AI驱动推理的整个生命周期，而不仅仅是协调提示和模型调用。最编排框架作为工作流管理器，将步骤（如检索、提示和工具执行）链接在一起。KPU在更深层次的架构层面运行，结构化知识的访问、推理和执行方式。它将知识处理视为一个核心计算层，集成了内存、验证和控制执行，以便AI可以在复杂的企业工作流中可靠运行，而不仅仅是生成响应。

在受监管的行业中，风险容忍度很低。您做出了哪些具体的设计决策，以确保AI输出保持可靠，不会在复杂的工作流中传播错误？

在受监管的行业中，可靠性和控制至关重要，因此我们设计了系统的多个保障措施，以确保AI输出保持可靠。一个关键原则是结构化执行，AI不能直接触发关键操作，而不通过受控的接口。我们还加入了验证层，检查模型输出与模式、规则或次要机制，以确保输出在被接受之前是正确的。此外，系统保持完全的可观察性，记录推理步骤、工具交互和决策，以便它们可以被追溯和审计。这些设计选择共同帮助防止错误在工作流中传播，并使组织能够以受监管环境所需的可靠性和治理水平运行AI系统。

您看到数字工人从指导性辅助转变为完全运作的AI驱动执行的最令人信服的早期用例是什么？

一些最令人信服的早期用例出现在知识密集型工作流中，流程定义明确，但仍需要大量的分析和决策。在合规性审查、技术支持运营和内部知识管理等领域，数字工人可以超越简单的辅助，开始执行结构化任务。他们可以检索和分析大量的内部信息，应用定义的程序，与企业系统通过受控工具交互，并产生直接输入运营工作流的输出。关键的转变发生在AI不仅生成建议，而且能够在受控系统中可靠地执行定义的操作时，允许组织自动化复杂知识工作的部分，而不仅仅是增强它。

随着全球对AI的监管审查加剧，您如何看待核心AI基础设施的演变，以满足合规要求而不限制创新？

随着对AI的监管审查加剧，我相信我们将看到人们从仅仅调用模型提供商API并盲目信任输出的架构转变为能够提供可观察性、可审计性和治理的系统。企业和监管机构将越来越多地要求能够执行控制、追溯决策并确保AI输出在影响真实流程之前是可靠的系统。这就是知识处理单元等架构变得重要的地方。这种类型的系统允许组织执行控制、追溯决策并确保AI输出在影响真实流程之前是可靠的。随着时间的推移，我预计这些系统将成为可信赖AI基础设施的标准基础。

您在技术工作的同时还讨论了伦理和责任问题。这些观点如何影响您构建透明AI系统的方法？

伦理和责任，对我来说，直接转化为系统设计选择。如果AI系统要参与真实的运营工作流程，它们不能作为不透明的黑盒运行，其行为不能被检查或理解。这种观点极大地影响了我构建AI系统的方法。透明度、可追溯性和人工监督需要从一开始就被构建到架构中。这意味着确保推理步骤可以被观察，决策可以被审计，行动通过受控机制执行。当这些原则被嵌入到基础设施层时，AI系统变得不仅更可靠，还更容易被组织负责地管理。

展望未来，您是否相信代理AI基础设施将成为像云基础设施在过去十年中一样的基础设施——以及为了实现这一转变，技术上需要发生什么？

我确实相信代理AI基础设施有潜力成为像云基础设施在过去十年中一样的基础设施。随着组织寻求自动化越来越复杂的知识工作，他们将需要能够协调推理、内存和执行的系统，跨多个任务和数据源。然而，要实现这一转变，底层架构必须超越简单的模型集成。我们需要提供结构化推理、可靠的企业知识访问、强大的可观察性和控制执行的基础设施。当这些能力被构建到核心系统中时，代理AI可以从实验工具演变为可靠的基础设施，组织依赖它来运行关键运营。

感谢这次精彩的采访，希望了解更多的读者可以访问Maisa AI。