将大型语言模型 (LLM) 转移到现实世界的业务应用程序中

大型语言模型无处不在。 每一次客户对话或风险投资都会涉及有关 LLM 技术准备程度以及它将如何推动未来应用的问题。 我在其中介绍了一些模式 我以前的帖子。 在这里，我将讨论持久系统所从事的制药行业应用程序的一些现实模式。

大型语言模型和核心优势

LLM 擅长理解语言，这是他们的强项。 我们在应用程序中看到的最常见模式是检索增强生成（RAG），其中知识是从数据源外部编译的，并在上下文中提供，作为法学硕士解释响应的提示。 在这种情况下，矢量数据库和基于 Elasticsearch 的引擎等超快速搜索机制将作为第一线搜索。 然后，搜索结果被编译成提示并主要作为 API 调用发送到 LLM。

另一种模式是通过向 LLM 提供数据模型作为提示和特定的用户查询来生成对结构化数据的查询。 此模式可用于为 Snowflake 等 SQL 数据库以及 Neo4j 等图形数据库开发高级“与数据对话”界面。

利用法学硕士模式获得现实世界的见解

持久系统最近研究了一种模式 爆炸运动，一家体育遥测公司（棒球、高尔夫等的挥杆分析），我们分析了球员摘要的时间序列数据以获得建议。

对于更复杂的应用程序，我们通常需要将 LLM 请求与调用之间的处理链接起来。 我们为一家制药公司开发了一款智能跟踪应用程序，可以根据从临床试验文件中提取的标准筛选患者进行临床试验。 这里我们使用了LLM链方法。 首先，我们开发了一个法学硕士来阅读试验pdf文档并使用RAG模式来提取纳入和排除标准。

为此，使用了相对简单的 LLM，例如 GPT-3.5-Turbo (ChatGPT)。 然后我们将这些提取的实体与 Snowflake 中患者 SQL 数据库的数据模型相结合，以创建提示。 这个提示输入到更强大的 LLM（如 GPT4），为我们提供了一个 SQL 查询来过滤患者，该查询已准备好在 Snowflake 上运行。 由于我们使用 LLM 链接，因此我们可以为链的每个步骤使用多个 LLM，从而使我们能够管理成本。

目前，我们决定保持这条链的确定性，以便更好地控制。 也就是说，我们决定在链中提供更多智能，并使编排保持非常简单和可预测。 该链的每个元素本身都是一个复杂的应用程序，在法学硕士预科阶段需要几个月的时间来开发。

为更高级的用例提供支持

对于更高级的情况，我们可以使用像这样的代理 应对 提示法学硕士为特定用户查询创建要遵循的分步说明。 这当然需要像 GPT4 或 Cohere 或 Claude 2 这样的高端 LLM。但是，模型存在采取错误步骤的风险，需要使用护栏进行验证。 这是在链条的可控环节中移动智能或使整个链条自治之间的权衡。

如今，随着我们习惯了语言生成式人工智能时代，业界开始采用具有可预测链的法学硕士应用程序。 随着这种采用的增长，我们很快将开始尝试通过代理为这些链提供更多自主权。 这就是关于 AGI 的争论的全部内容，我们有兴趣了解这一切如何随着时间的推移而演变。