大型语言模型 (LLM) 将如何推动未来的应用程序

生成式人工智能，尤其是它的语言风格——ChatGPT 无处不在。 大语言模型（LLM）技术将在未来应用程序的开发中发挥重要作用。 法学硕士非常擅长理解语言，因为他们已经在数万亿行公共领域文本（包括代码）上对基础模型进行了广泛的预训练。 监督微调和人类反馈强化学习 (RLHF) 等方法使这些法学硕士在回答特定问题和与用户交谈时更加高效。 当我们进入由法学硕士支持的人工智能应用程序的下一阶段时，以下关键组件对于这些下一代应用程序至关重要。 下图显示了这一进展，当您向上移动时，您可以在应用程序中构建更多的智能和自主性。 让我们看看这些不同的级别。

法学硕士来电:

这些是 Azure OpenAI、Google PaLM 或 Amazon Bedrock 等 LLM 提供商对完成或聊天模型的直接调用。 这些调用有一个非常基本的提示，并且主要使用 LLM 的内部存储器来生成输出。

例如：：要求像“text-davinci”这样的基本模型来“讲一个笑话”。 您提供的上下文非常少，模型依赖其内部预先训练的内存来得出答案（下图中以绿色突出显示 - 使用 Azure OpenAI）。

提示：

下一阶段的智能是在提示中添加越来越多的上下文。 有一些快速工程技术可以应用于法学硕士，使他们能够给出定制的响应。 例如，当生成给用户的电子邮件时，有关用户的一些上下文、过去的购买和行为模式可以作为更好地定制电子邮件的提示。 熟悉 ChatGPT 的用户会知道不同的提示方法，例如 LLM 用来构建响应的示例。 提示通过额外的上下文来增强法学硕士的内部记忆。 示例如下。

嵌入：

嵌入通过在知识存储中搜索上下文并获取该上下文并将其附加到提示，将提示提升到一个新的水平。 在这里，第一步是通过对文本进行索引并填充矢量数据库来使包含非结构化文本的大型文档存储可搜索。 为此，使用 OpenAI 的“ada”等嵌入模型，该模型获取一段文本并将其转换为 n 维向量。 这些嵌入捕获文本的上下文，因此相似的句子将具有在向量空间中彼此接近的嵌入。 当用户输入查询时，该查询也会转换为嵌入，并且该向量与数据库中的向量进行匹配。 因此，我们获得了构成上下文的查询的前 5 或 10 个匹配文本块。 查询和上下文将传递给 LLM，以类似人类的方式回答问题。

链：

如今，Chains 是最先进、最成熟的技术，广泛用于构建 LLM 应用程序。 链是确定性的，其中一系列 LLM 调用与流入多个 LLM 之一的输出连接在一起。 例如，我们可以让一个 LLM 调用查询 SQL 数据库并获取客户电子邮件列表，并将该列表发送到另一个 LLM，后者将生成发送给客户的个性化电子邮件。 这些法学硕士链可以集成到现有的申请流程中，以产生更有价值的成果。 使用链，我们可以通过 API 调用等外部输入来增强 LLM 调用，并与知识图集成以提供上下文。 此外，如今有了 OpenAI、AWS Bedrock、Google PaLM、MosaicML 等多个 LLM 提供商，我们可以将 LLM 调用混合并匹配到链中。 对于智能有限的链元件，可以使用较低的 LLM，如“gpt3.5-turbo”，而对于更高级的任务，可以使用“gpt4”。 链提供了数据、应用程序和 LLM 调用的抽象。

代理商：

智能体是许多在线争论的话题，特别是关于通用人工智能（AGI）。 代理使用“gpt4”或“PaLM2”等高级 LLM 来规划任务，而不是使用预定义的链。 因此，现在当有用户请求时，代理根据查询决定调用哪一组任务并动态构建一条链。 例如，当我们使用“当贷款年利率因政府法规更新而发生变化时通知客户”之类的命令配置代理时。 代理框架进行 LLM 调用来决定要采取的步骤或要构建的链。 在这里，它将涉及调用一个应用程序来抓取监管网站并提取最新的年利率，然后LLM调用搜索数据库并提取受影响的客户电子邮件，最后生成一封电子邮件通知每个人。

总结

LLM 是一项高度发展的技术，每周都会推出更好的模型和应用程序。 LLM 到 Agent 是智力阶梯，随着我们的提升，我们构建复杂的自主应用程序。 更好的模型将意味着更有效的代理，下一代应用程序将由它们提供支持。 时间会告诉我们下一代应用程序将有多先进以及它们将采用什么模式。