将大型语言模型（LLM）应用于现实世界的商业应用

大型语言模型无处不在。每次客户对话或VC演讲都涉及关于LLM技术的准备度和如何驱动未来应用的问题。我在之前的帖子中介绍了一些相关模式。在这里，我将讨论Persistent Systems为制药行业开发的应用中的现实世界模式。

大型语言模型和核心优势

LLM擅长理解语言，这是它们的强项。我们看到的最常见的模式是检索增强生成（RAG），其中知识从外部数据源编译并作为提示提供给LLM以生成回复。在这种情况下，像向量数据库和Elasticsearch-based引擎这样的超快搜索机制作为第一线搜索。然后将搜索结果编译成提示并发送给LLM，通常作为API调用。

另一个模式是通过将数据模型作为提示和特定的用户查询来生成结构化数据的查询。这个模式可以用于开发高级的“与数据交谈”的接口，用于SQL数据库，如Snowflake，以及图数据库，如Neo4j。

利用LLM模式获得现实世界的洞察

Persistent Systems最近研究了一个模式，用于Blast Motion，一家体育遥测公司（棒球、高尔夫等的挥杆分析），我们分析了玩家总结的时间序列数据以获取推荐。

对于更复杂的应用程序，我们通常需要在LLM请求之间进行处理。对于一家制药公司，我们开发了一个智能试验应用程序，根据从临床试验文档中提取的标准筛选患者。这里我们使用了LLM链式方法。首先，我们开发了一个LLM来读取试验PDF文档，并使用RAG模式提取包含和排除标准。

为此，我们使用了一个相对简单的LLM，如GPT-3.5-Turbo（ChatGPT）。然后，我们将这些提取的实体与Snowflake中的患者SQL数据库的数据模型结合起来，创建一个提示。这个提示被送到一个更强大的LLM，如GPT4，给我们一个准备在Snowflake上运行的SQL查询来筛选患者。由于我们使用LLM链式方法，我们可以使用多个LLM来管理每个链式步骤的成本。

目前，我们决定保持这个链式过程是确定性的，以便更好地控制。这意味着，我们决定在链式中加入更多的智能，并保持编排非常简单和可预测。链式中的每个元素都是一个复杂的应用程序，它们在LLM之前的日子里需要几个月的开发时间。

支持更高级的用例

对于更高级的用例，我们可以使用像ReAct这样的代理来提示LLM创建一步一步的指令来遵循特定的用户查询。这当然需要一个高端的LLM，如GPT4或Cohere或Claude 2。然而，这样就存在模型采取错误步骤的风险，这需要使用防护措施来验证。这是一个在链式的可控链接中移动智能或使整个链式过程自治之间的权衡。

今天，当我们进入生成式AI语言的时代时，行业正在开始采用具有可预测链式的LLM应用。随着这种采用率的增长，我们很快就会开始尝试这些链式过程中的更多自治权，通过代理。这就是关于AGI的辩论的全部内容，我们很感兴趣地想看看所有这些将如何随着时间的推移而演变。