人工智能
AIOS：LLM 代理操作系统
在过去的六年中，操作系统不断发展，从基本系统发展到为当今设备提供支持的复杂的交互式操作系统。最初，操作系统充当计算机硬件的二进制功能（例如门操作）和用户级任务之间的桥梁。然而，多年来，它们已经从简单的批处理作业处理系统发展到更复杂的流程管理技术，包括多任务处理和分时处理。这些进步使现代操作系统能够管理各种复杂的任务。 Windows 和 MacOS 等图形用户界面 (GUI) 的引入使现代操作系统更加用户友好和交互，同时还通过运行时库和全面的开发人员工具套件扩展了操作系统生态系统。
最近的创新包括集成和部署 大型语言模型 （法学硕士），通过释放新的可能性彻底改变了各个行业。最近，基于法学硕士的智能代理表现出了非凡的能力，在广泛的任务中实现了类似人类的表现。然而，这些药物仍处于开发的早期阶段，当前的技术面临着一些影响其效率和有效性的挑战。常见问题包括在大型语言模型上对代理请求进行次优调度、将代理与不同专业集成的复杂性以及在法学硕士和代理之间交互期间维护上下文。基于 LLM 的代理的快速发展和不断增加的复杂性往往会导致瓶颈和次优的资源使用。
为了应对这些挑战，本文将讨论 AIOS，这是一个 LLM 代理操作系统，旨在集成大型语言模型作为操作系统的“大脑”，有效赋予其“灵魂”。具体来说，AIOS框架旨在促进跨代理的上下文切换、优化资源分配、为代理提供工具服务、维护访问控制以及实现代理的并发执行。我们将深入研究AIOS框架，探索其机制、方法论和架构，并将其与最先进的框架进行比较。让我们深入了解一下。
在大型语言模型取得巨大成功后，人工智能和机器学习行业的下一个重点是开发自主人工智能代理，它们可以独立运行、自行决策，并在很少或无需人工干预的情况下执行任务。这些基于人工智能的智能体旨在理解人类指令、处理信息、做出决策并采取适当的行动来实现自主状态，随着大型语言模型的出现和发展，为这些自主体的发展带来了新的可能性。目前的LLM框架，包括DALL-E、GPT等，在理解人类指令、推理和解决问题的能力以及与人类用户和外部环境的交互方面表现出了卓越的能力。基于 LLM 的代理构建在这些强大且功能强大的大型语言模型之上，在从虚拟助理到涉及创建问题解决、推理、规划和执行的更复杂和复杂的系统等各种环境中具有强大的任务履行能力。
上图给出了一个令人信服的示例，说明基于 LLM 的自主代理如何解决现实世界的任务。用户向系统请求行程信息，随后旅行社将任务分解为可执行步骤。然后，代理按顺序执行这些步骤，预订航班、预订酒店、处理付款等等。在执行这些步骤时，这些代理与传统软件应用程序的区别在于代理能够显示决策能力，并将推理纳入步骤的执行中。随着这些产品质量的指数级增长 自主代理，大型语言模型和操作系统的功能压力不断增加，同样的一个例子是，在有限的大型语言模型中对代理请求进行优先级排序和调度提出了重大挑战。此外，由于在处理冗长的上下文时，大型语言模型的生成过程变得非常耗时，因此调度器有可能暂停生成的结果，从而提出了设计一种机制来快照语言模型的当前生成结果的问题。因此，当大语言模型尚未完成当前请求的响应生成时，将启用暂停/恢复行为。
为了解决上述挑战，大型语言模型操作系统AIOS提供了LLM和OS功能的聚合和模块隔离。 AIOS 框架提出了一种特定于 LLM 的内核设计，试图避免与大语言模型相关和不相关的任务之间出现潜在的冲突。拟议的内核将操作系统等职责分开，特别是监督 LLM 代理、开发工具包及其相应资源的职责。由于这种分离，法学硕士核心试图加强与法学硕士相关活动的协调和管理。
AIOS：方法论和架构
正如您所观察到的，AIOS 框架的工作涉及六种主要机制。
- 代理调度程序：分配给代理调度程序的任务是调度代理请求并确定其优先级，以尝试优化大语言模型的利用率。
- 上下文管理器：上下文管理器的任务是支持快照以及恢复大语言模型中的中间生成状态，以及大语言模型的上下文窗口管理。
- 内存管理器：内存管理器的主要职责是为每个代理的交互日志提供短期内存。
- 存储管理：存储管理器负责将代理的交互日志持久保存到长期存储中以供将来检索。
- 工具经理：工具管理器机制管理代理对外部API工具的调用。
- Access Manager：访问管理器在代理之间强制执行隐私和访问控制策略。
除了上述机制之外，AIOS 框架还采用分层架构，分为三个不同的层：应用层、内核层和硬件层。 AIOS框架实现的分层架构保证了系统中职责的均匀分布，高层抽象了下层的复杂性，允许使用特定的模块或接口进行交互，增强了模块化程度，简化了系统之间的交互。层。
从应用程序层开始，该层用于开发和部署应用程序代理，例如数学或旅行社。在应用层，AIOS框架为AIOS软件开发工具包（AIOS SDK）提供了更高的系统调用抽象，简化了代理开发人员的开发流程。 AIOS提供的软件开发套件提供了丰富的工具包，通过抽象出底层系统功能的复杂性，方便开发代理应用程序，使开发人员能够专注于代理的功能和基本逻辑，从而提高开发效率过程。
接下来，内核层进一步分为两个组件：LLM 内核和 OS 内核。 OS 内核和 LLM 内核都满足 LLM 特定和非 LLM 操作的独特要求，其区别在于允许 LLM 内核专注于大型语言模型特定任务，包括代理调度和上下文管理以及处理活动所必需的活动与大型语言模型相关。 AIOS 框架主要集中于增强大型语言模型内核，而不显着改变现有操作系统内核的结构。 LLM内核配备了几个关键模块，包括代理调度程序、内存管理器、上下文管理器、存储管理器、访问管理器、工具管理器和LLM系统调用接口。内核层内的组件的设计是为了满足不同的执行需求 代理应用程序，确保在 AIOS 框架内有效执行和管理。
最后，我们有硬件层，由系统的物理组件组成，包括 GPU、CPU、外围设备、磁盘和内存。必须了解的是，LLM 内核的系统无法直接与硬件交互，并且这些调用与操作系统的系统调用交互，而操作系统的系统调用又管理硬件资源。 LLM内核的系统和硬件资源之间的这种间接交互创建了一个安全和抽象层，允许LLM内核利用硬件资源的功能而无需直接管理硬件，从而有助于维护系统的完整性和效率。
SAP系统集成计划实施
如上所述，AIOS 框架的工作涉及六种主要机制。代理调度程序的设计方式使其能够以有效的方式管理代理请求，并且具有多个执行步骤，这与传统的顺序执行范例相反，在传统的顺序执行范例中，代理以线性方式处理任务，步骤来自相同的步骤。在继续处理下一个代理之前，先处理一个代理，从而导致执行序列中稍后出现的任务的等待时间增加。代理调度程序采用循环、先进先出等策略和其他调度算法来优化流程。
上下文管理器的设计方式是，它负责管理提供给大语言模型的上下文，以及给定特定上下文的生成过程。上下文管理器涉及两个关键组件：上下文快照和恢复以及上下文窗口管理。 AIOS 框架提供的上下文快照和恢复机制有助于缓解调度程序挂起代理请求的情况，如下图所示。
如下图所示，内存管理器负责管理代理生命周期内的短期内存，并确保仅当代理处于活动状态（运行时或代理等待时）时才存储和访问数据以便执行。
另一方面，存储管理器负责长期保存数据，并监督需要无限期保留的信息的存储，超出单个代理的活动生命周期。 AISO框架使用各种持久介质（包括基于云的解决方案、数据库和本地文件）实现永久存储，确保数据的可用性和完整性。此外，在AISO框架中，工具管理器管理着各种API工具，这些工具增强了大语言模型的功能，下表总结了工具管理器如何集成各种资源中的常用工具，并对它们进行分类分为不同的类别。
访问管理器在不同的内部组织访问控制操作 中介代理 通过为每个代理管理专用权限组，如果代理的资源被排除在代理的权限组之外，则拒绝代理访问其资源。此外，访问管理器还负责编译和维护审核日志，进一步增强系统的透明度。
AIOS：实验和结果
AIOS框架的评估以两个研究问题为指导：第一，AIOS调度在改善余额等待和周转时间方面的性能如何；第二，在代理挂起后LLM对代理请求的响应是否一致？
为了回答一致性问题，开发人员单独运行三个代理中的每一个，然后并行执行这些代理，并尝试在每个阶段捕获它们的输出。如下表所示，BERT 和 BLEU 得分达到 1.0，表明单智能体和多智能体配置中生成的输出之间完美匹配。
为了回答效率问题，开发人员对采用 FIFO 或先进先出调度的 AIOS 框架与代理同时运行的非调度方法进行了比较分析。在非预定设置中，代理按预定义的顺序执行：数学代理、叙述代理和记录代理。为了评估时间效率，AIOS 框架采用两个指标：等待时间和周转时间，并且由于代理向大语言模型发送多个请求，因此各个代理的等待时间和周转时间计算为所有请求的等待时间和周转时间。如下表所示，非调度方法为序列中较早的座席显示了令人满意的性能，但对于序列较晚的座席来说，其等待和周转时间较长。另一方面，AIOS 框架实现的调度方法有效地调节了等待时间和周转时间。
最后的思考
在这篇文章中我们谈到了AIOS，一个LLM代理操作系统，它的设计目的是试图将大语言模型嵌入到操作系统中，作为操作系统的大脑，使操作系统有灵魂。更具体地说，AIOS框架的设计目的是促进跨Agent的上下文切换、优化资源分配、为Agent提供工具服务、维护Agent的访问控制以及实现Agent的并发执行。 AISO 架构展示了促进开发和部署的潜力 基于大语言模型的自主代理，从而形成一个更有效、更有凝聚力、更高效的 AIOS-Agent 生态系统。
