在大型语言模型中保持陈旧事实的新鲜度的3种方法

像GPT3、ChatGPT和BARD这样的大型语言模型（LLM）如今非常流行。每个人都对这些工具对社会的影响和对AI未来的意义有自己的看法。当谷歌的新模型BARD被问及一个复杂的问题时，谷歌遭到了很多批评（稍微有一点）。当被问及“詹姆斯·韦伯太空望远镜的新发现中，有哪些我可以告诉9岁孩子的？”时，聊天机器人提供了三个答案，其中两个是正确的，一个是错误的。错误的答案是，第一张“系外行星”的图片是由詹姆斯·韦伯太空望远镜拍摄的，这是不正确的。因此，模型在其知识库中存储了一个不正确的事实。为了使大型语言模型有效，我们需要一种方法来更新这些事实或用新知识增强这些事实。

让我们首先看看事实如何存储在大型语言模型（LLM）中。大型语言模型不像传统数据库或文件那样存储信息和事实。相反，它们是在大量文本数据上进行训练的，并在这些数据中学习了模式和关系。这使得它们能够生成类似人类的响应来回答问题，但它们没有特定的存储位置来存储其学习到的信息。当回答问题时，模型使用其训练来生成一个基于输入的响应。语言模型所具有的信息和知识是其在训练数据中学习的模式的结果，而不是明确存储在模型的内存中的结果。大型语言模型所基于的Transformer架构具有内部的事实编码，用于回答提示中的问题。

因此，如果LLM内部存储的的事实是错误或过时的，需要通过提示提供新的信息。提示是发送给LLM的文本，包含查询和支持证据，可以是新的或更正的事实。以下是3种方法来解决这个问题。

1. 更正LLM中编码的事实的一种方法是使用外部知识库提供相关的新事实。这个知识库可以是API调用以获取相关信息，或者是SQL、No-SQL或向量数据库的查找。更高级的知识可以从存储数据实体和它们之间关系的知识图中提取。根据用户查询的信息，可以检索并提供相关的上下文信息作为额外的事实给LLM。这些事实也可以格式化为类似训练示例的形式，以提高学习过程。例如，您可以传递一组问题答案对，以便模型学习如何提供答案。

2.一种更具创新性（也更昂贵）的方法是使用实际的微调训练数据来增强LLM。因此，我们不需要查询知识库来添加特定的事实，而是通过对知识库进行采样来构建训练数据集。使用监督学习技术，如微调，我们可以创建一个新的LLM版本，该版本是在此额外知识的基础上进行训练的。这个过程通常很昂贵，可能需要几千美元来构建和维护OpenAI中的一个微调模型。当然，随着时间的推移，成本预计会降低。

3.另一种选择是使用强化学习（RL）等方法来训练一个代理，使用人类反馈来学习回答问题的策略。这种方法在构建小型模型方面非常有效，这些模型可以在特定任务中表现良好。例如，OpenAI发布的著名ChatGPT是使用监督学习和人类反馈的组合进行训练的。

总之，这是一个迅速发展的领域，每个主要公司都希望参与并展示其差异化。我们很快就会看到大型语言模型工具在零售、医疗保健和银行等领域广泛应用，这些工具可以以类似人类的方式响应，理解语言的细微差别。这些集成企业数据的LLM工具可以简化访问，确保正确的数据在正确的时间提供给正确的人。