并行AI代理：更智能的机器智能的下一个扩展规律

一位开发者在又一次训练运行后感到沮丧。他们在几个月内投入了大量的工作来微调一个大型语言模型。数据管道被扩展，计算资源被增加，基础设施被反复调整。然而，进展却很小。结果只是准确率略微提高。

这种微小的进展是以非常高的成本为代价的。它需要数百万美元的硬件和大量的能源。另外，它还会产生大量的碳排放，给环境带来沉重的负担。因此，很明显，收益递减的临界点已经达到，更多的资源将不会带来相等的进展。

长期以来，人工智能（AI）的发展是可预测的。这种进展得到了摩尔定律的支持，这使得硬件更快，并为进一步的改进奠定了基础。另外，2020年引入的神经扩展定律表明，使用更多数据和计算资源训练的更大模型通常会表现更好。因此，进步的公式似乎很明确，即扩大规模，结果就会改善。

然而，近年来，这个公式开始破裂。财务成本正在迅速增加，而性能增益却很小。此外，高能耗的环境影响也变得越来越难以忽视。因此，许多研究人员现在质疑是否仅仅依靠扩大规模就能引导AI的未来。

从单体模型到协作智能

像GPT-4和Claude 3 Opus这样的模型表明，大规模模型可以在语言理解、推理和编码方面提供令人惊叹的能力。然而，这些成就是以非常高的成本为代价的。训练需要成千上万的GPU工作几个月，这是一个只有少数组织才能承担的过程。因此，规模的好处仅限于那些拥有大量资源的人。

效率指标，如每美元每瓦的令牌数，使问题更加明显。在某个大小之后，性能增益变得微不足道，而训练和运行这些模型的成本却呈指数级增长。另外，环境负担也在增加，因为这些系统消耗了大量的电力，并导致了碳排放。这意味着传统的越大越好的方法变得不可持续。

此外，紧张的不仅仅是计算。大型模型还需要大量的数据收集、复杂的数据集清理和长期存储解决方案。每一步都增加了更多的成本和复杂性。推理也是一个挑战，因为在大规模运行这些模型需要昂贵的基础设施和持续的能源供应。总的来说，这些因素表明，仅仅依靠越来越大的单体模型是不够的，这不是AI未来的可持续方法。

这种限制凸显了检查其他系统中如何发展智能的重要性。人类智能提供了一个重要的教训。脑部不是一个单一的巨大处理器，而是一个专门的区域集合。视觉、记忆和语言是分别处理的，但它们协调起来产生智能行为。另外，人类社会的进步不是因为单个个体，而是因为具有多样化专业知识的团队合作。这些例子表明，专业化和协作通常比规模更有效。

AI可以通过遵循这个原则来发展。与其依赖于单一的大型模型，研究人员现在正在探索并行代理系统。每个代理都专注于特定的功能，同时它们之间的协调使得问题解决更加有效。这种方法远离了原始的规模，转向了更智能的协作。此外，它带来了新的可能性，提高了效率、可靠性和增长。在这种方式下，平行AI代理代表了下一阶段机器智能的实用和可持续方向。

通过多代理系统扩展AI

多代理系统（MAS）由多个独立的AI代理组成，它们在共享的环境中既独立又协作地工作。每个代理可能专注于自己的任务，但与其他代理交互以实现共同或相关的目标。在这个意义上，MAS类似于计算机科学中的已知概念。例如，就像多核处理器在共享内存中并行处理任务一样，分布式系统连接单独的计算机来解决更大的问题，MAS将许多专门的代理的努力协调起来共同工作。

此外，每个代理作为一个单独的智能单元运行。有些代理被设计为分析文本，其他代理被设计为执行代码，其他代理被设计为搜索信息。然而，它们的真正实力并不来自于单独工作，而是来自于主动的协作，在这种协作中，代理交换结果，共享上下文，并共同完善解决方案。因此，这样的系统的综合性能优于任何单一模型。

目前，这种发展得到了新的框架的支持，这些框架使得多代理的协作成为可能。例如，AutoGen允许多个代理通过结构化对话进行对话，共享上下文，并解决问题。同样，CrewAI允许开发人员定义具有明确的角色、职责和工作流程的代理团队。此外，LangChain和LangGraph提供了用于设计有状态过程的库和基于图的工具，代理可以在这些过程中传递任务，维护内存，并通过迭代的方式提高结果。

通过这些框架，开发人员不再受限于单体模型的方法。相反，他们可以设计出协调动态的智能代理的生态系统。因此，这种转变标志着更智能地扩展AI的基础，专注于效率和专业化，而不仅仅是规模。

并行AI代理的扇出和扇入

了解并行代理如何协调需要检查底层的架构。一个有效的模式是扇出/扇入的设计。它展示了如何将一个重要的问题分解为较小的部分，在并行中解决，然后将其组合成一个输出。这种方法既提高了效率又提高了质量。

步骤1：编排和任务分解

该过程从编排器开始。它接收用户的提示并将其分解为较小、明确定义的子任务。这确保每个代理专注于明确的责任。

步骤2：扇出到并行代理

然后将子任务分配给多个代理。每个代理并行工作。例如，一个代理可能分析AutoGen，另一个代理审查CrewAI存储库，而第三个代理研究LangGraph功能。这种划分减少了时间并增加了专业化。

步骤3：专用代理的并行执行

每个代理独立执行其分配的任务。它们异步运行，几乎没有干扰。这一方法降低了延迟并增加了吞吐量，相比于顺序处理。

步骤4：扇入和结果收集

代理完成工作后，编排器收集它们的输出。在这个阶段，来自不同代理的原始发现和见解被收集在一起。

步骤5：综合和最终输出

最后，编排器将收集的结果综合成一个单一的结构化答案。这一步涉及删除重复项，解决冲突和保持一致性。

这种扇出/扇入的设计类似于一个研究团队，专家们单独工作，但他们的发现被组合成一个完整的解决方案。因此，它展示了分布式并行性如何提高AI系统的准确性和效率。

更智能的扩展的AI性能指标

过去，扩展主要是通过模型大小来衡量的。更大的参数计数被认为会带来更好的结果。然而，在代理AI的时代，新的衡量指标是必要的。这些指标专注于合作和效率，而不仅仅是规模。

协调效率

该指标评估代理在通信和同步方面的有效性。高延迟或重复工作会降低效率。相反，顺畅的协调会增加整体的可扩展性。

测试时间计算（思考时间）

这指的是推理期间消耗的计算资源。它对于成本控制和实时响应至关重要。消耗较少资源同时保持准确性的系统更为实用。

每任务的代理数量

选择正确的代理数量也很重要。太多的代理可能会造成混乱和开销。太少的代理可能会限制专业化。因此，平衡是必要的，以实现有效的结果。

这些指标共同代表了衡量AI进步的新方法。焦点从原始规模转移到智能合作、并行执行和协作问题解决。

并行AI代理的变革优势

并行AI代理提供了一种新的机器智能方法，结合了速度、准确性和弹性，在单一的、单体系统中无法实现。它们的实际好处已经在各个行业中显现，它们的影响力预计会随着采用率的增加而增长。

通过并行任务执行提高效率

并行代理通过同时执行多个任务来提高效率。例如，在客户支持中，一个代理可以查询知识库，另一个代理可以检索CRM记录，而第三个代理可以处理实时的用户输入。这种并行性产生了更快、更全面的响应。像SuperAGI这样的框架展示了如何通过并行执行来减少工作流时间并提高生产力。

通过协作交叉验证提高准确性

并行代理通过协作提高准确性。多个代理分析相同的信息可以交叉检查结果，挑战假设，并完善推理。在医疗保健领域，代理可能分析扫描、审查患者史并咨询研究，结果是更全面、更可靠的诊断。

通过分布式弹性提高鲁棒性

分布式设计确保一个代理的故障不会使整个系统瘫痪。如果一个组件崩溃或减速，其他组件将继续运行。这种弹性在金融、物流和医疗保健等领域至关重要，因为连续性和可靠性是必不可少的。

通过并行性实现更智能的未来

通过结合效率、准确性和鲁棒性，平行AI代理使得从企业自动化到科学研究的智能应用成为可能。这种方法代表了AI设计的根本转变，使得系统能够更快、更可靠、更有洞察力地工作。

多代理AI的挑战

虽然多代理AI系统提供了可扩展性和适应性，但它们也带来了重大挑战。在技术方面，协调多个代理需要高级的编排。随着代理数量的增加，通信开销可能会成为瓶颈。

此外，涌现行为通常难以预测或复制，这使得调试和评估变得复杂。研究强调了诸如资源分配、架构复杂性以及代理可能放大彼此错误的潜在问题。

除了这些技术问题外，还存在道德和治理风险。多代理系统中的责任是分散的；当有害或不正确的输出发生时，很难确定错误是否在于编排器、个别代理或它们之间的交互作用。

安全性也是一个问题，因为一个被破坏的代理可能会危及整个系统。监管机构正在做出反应。例如，欧盟的AI法案预计将扩展到解决代理架构，而美国目前正在采取更为市场驱动的方法。

结论

人工智能长期以来依赖于扩大大型模型，但这种方法的成本高昂且日益不可持续。并行AI代理提供了一种替代方案，通过协作提高效率、准确性和鲁棒性。与其依赖单一系统，不如将任务分配给专门的代理，它们协调工作以产生更好的结果。这种设计减少了延迟，提高了可靠性，并使应用程序能够在实际环境中大规模运行。

尽管它们有潜力，多代理系统面临着几个挑战。协调多个代理引入了技术复杂性，而为错误分配责任可能具有挑战性。安全风险也会增加，因为一个代理的故障可能会影响其他代理。这些问题凸显了需要更强的治理和新专业角色的出现，例如代理工程师。随着持续的研究和行业支持，多代理系统可能会成为未来AI开发的核心方向。