AI 模型与平台

改进检索增强语言模型：对话系统的自我推理和自适应增强

发布于 2024年8月15日

更新于 2026年4月27日

作者

Aayush Mittal Mittal

将 Unite.AI 添加到您在 Google 上的首选来源

大型语言模型通常难以提供精确和最新的信息，特别是在复杂的知识密集型任务中。为了克服这些挑战，研究人员正在探索将这些模型与外部数据源集成的方法。

在这一领域中，出现了两种新方法：自我推理框架和对话系统的自适应检索增强生成。在本文中，我们将深入探讨这些创新技术，并探索它们如何推动语言模型的可能性边界。

检索增强语言模型的前景和陷阱

让我们了解检索增强语言模型（RALMs）的概念。RALMs背后的核心思想是将预训练语言模型的庞大知识和语言理解能力与在推理过程中访问和整合外部最新信息的能力相结合。

以下是一个基本RALMs的简单示例：

用户提问：“2024年奥运会的结果是什么？”
系统从外部知识库中检索相关文档。
LLM处理问题和检索的信息。
模型根据其内部知识和外部数据生成响应。

这种方法已在提高LLM输出的准确性和相关性方面显示出巨大的潜力，特别是在需要访问当前信息或领域特定知识的任务中。然而，RALMs并非没有挑战。研究人员一直在努力解决两个关键问题：

可靠性：如何确保检索的信息是相关且有用的？
可追溯性：如何使模型的推理过程更加透明和可验证？

最近的研究提出了创新解决方案来解决这些挑战，我们将深入探讨这些解决方案。

自我推理：使用显式推理轨迹增强RALMs

这是检索增强LLMs的架构和过程，重点介绍了一种称为自我推理的框架。这种方法使用轨迹来增强模型的推理能力。

当提出一个问题时，检索相关文档并通过一系列推理步骤进行处理。自我推理机制应用证据感知和轨迹分析过程来过滤和综合信息，然后生成最终答案。这种方法不仅提高了输出的准确性，还确保了答案背后的推理是透明和可追溯的。

在上面提供的示例中，例如确定电影“Catch Me If You Can”的发行日期或确定佛罗伦萨大教堂天花板的画家，模型有效地过滤检索的文档以产生准确、上下文支持的答案。

这张表格展示了不同LLM变体的比较分析，包括LLaMA2模型和其他检索增强模型，跨自然问题、流行问答、FEVER和ASQA等任务。结果分为基线和增强检索能力。

这幅图展示了一个场景，其中LLM被要求根据用户查询提供建议，展示外部知识如何影响响应的质量和相关性。图表强调了两种方法：一种是模型使用知识片段，另一种是没有。比较突出了如何将特定信息整合到响应中，使其更符合用户的需求，提供深度和准确性，这些可能在纯生成模型中缺乏。

自我推理框架是一种提高RALMs的开创性方法。这种方法背后的核心思想是利用语言模型自身的能力生成显式推理轨迹，这些轨迹可以用来提高其输出的质量和可靠性。

让我们分解自我推理框架的关键组件：

相关性感知过程（RAP）
证据感知选择过程（EAP）
轨迹分析过程（TAP）

证据感知选择过程（EAP）

EAP进一步通过指示模型识别和引用相关文档中的特定证据来评估相关性。这个过程模仿了人们可能如何处理研究任务，选择关键句子并解释其相关性。以下是EAP输出的示例：

引用内容：“埃菲尔铁塔的建设始于1887年1月28日，于1889年3月31日完成。” 引用原因：这句话提供了埃菲尔铁塔建设的确切开始和结束日期，直接回答了关于其建造时间的问题。

通过明确引用来源并解释每个证据的相关性，EAP增强了模型输出的可追溯性和可解释性。

轨迹分析过程（TAP）

TAP是自我推理框架的最后阶段，在这里，模型整合了之前步骤中生成的所有推理轨迹。它分析这些轨迹并生成一个简洁的摘要和最终答案。TAP的输出可能如下所示：

分析：埃菲尔铁塔建于1887年至1889年之间。建设始于1887年1月28日，于1889年3月31日完成。这一信息得到了多个可靠来源的支持，这些来源提供了铁塔建设时期的一致日期。

答案：埃菲尔铁塔建于1887年至1889年。

这个过程使得模型能够提供详细的解释和简洁的答案，以满足不同的用户需求。

在实践中实现自我推理

为了实现这个自我推理框架，研究人员已经探索了各种方法，包括：

预训练语言模型的提示
使用参数高效技术（如QLoRA）对语言模型进行微调
开发专用神经网络架构，例如多头注意力模型

每种方法都有其自身的权衡，包括性能、效率和易用性。例如，提示方法最简单，但可能无法始终产生一致的结果。微调提供了性能和效率的良好平衡，而专用架构可能提供最佳的性能，但需要更多的计算资源来训练。

以下是使用提示方法和GPT-3语言模型实现RAP的简化示例：

import openai

def relevance_aware_process(question, documents):
prompt = f"""
问题：{question}

检索的文档：
{documents}

任务：确定检索的文档是否与问题相关。
输出格式：
相关：[True/False]
相关原因：[解释]

您的分析：
"""

response = openai.Completion.create(
engine="text-davinci-002",
prompt=prompt,
max_tokens=150
)

return response.choices[0].text.strip()

# 示例用法
question = "埃菲尔铁塔是什么时候建造的？"
documents = "埃菲尔铁塔是巴黎香榭丽舍大街上的一座铁格子塔。它以设计和建造这座塔的工程师古斯塔夫·埃菲尔的名字命名。从1887年到1889年作为1889年世界博览会的入口拱门建造，最初被法国一些领先的艺术家和知识分子批评其设计，但它已成为法国的全球文化象征。"

result = relevance_aware_process(question, documents)
print(result)

对话系统的自适应检索增强生成

虽然自我推理框架专注于提高个别响应的质量和可解释性，但另一条研究线已经在探索如何使检索增强生成在对话系统的背景下更加适应性。这种方法被称为自适应检索增强生成，旨在确定何时在对话中使用外部知识以及如何有效地将其整合。

这种方法背后的关键洞察是，并非对话中的每个回合都需要外部知识增强。在某些情况下，过度依赖检索的信息可能会导致不自然或冗长的响应。因此，挑战在于开发一个可以动态决定何时使用外部知识以及何时依赖模型的固有能力的系统。

自适应检索增强生成的组件

为了解决这个挑战，研究人员提出了一个名为RAGate的框架，它由几个关键组件组成：

二元知识门机制
相关性感知过程
证据感知选择过程
轨迹分析过程

二元知识门机制

RAGate系统的核心是一个二元知识门，决定是否为给定的对话回合使用外部知识。这个门考虑了对话的上下文，并可选地考虑检索的知识片段来做出决定。

以下是二元知识门可能的工作原理的简化说明：

def knowledge_gate(context, retrieved_knowledge=None):
# 分析上下文和检索的知识
# 返回True如果应该使用外部知识，否则返回False
pass

def generate_response(context, knowledge=None):
if knowledge_gate(context, knowledge):
# 使用检索增强生成
return generate_with_knowledge(context, knowledge)
else:
# 使用标准语言模型生成
return generate_without_knowledge(context)

这个门机制允许系统在使用外部知识时更加灵活和上下文感知。

实现RAGate

这幅图说明了RAGate框架，这是一个高级系统，旨在将外部知识整合到LLMs中以提高响应生成。该架构展示了如何通过直接输入或在生成过程中集成外部数据库来补充基本LLM的上下文或知识。这种双重方法——使用模型的内在能力和外部数据——使LLM能够提供更准确和上下文相关的响应。这种混合方法弥合了原始计算能力和领域特定专业知识之间的差距。

这展示了RAGate框架下各种模型变体的性能指标，重点关注与参数高效微调（PEFT）集成的检索。结果突出了上下文集成模型的优势，特别是那些利用ner-know和ner-source嵌入的模型。

RAGate-PEFT和RAGate-MHA模型在精度、召回率和F1得分方面表现出显著的改善，强调了同时整合上下文和知识输入的好处。这些微调策略使模型能够更有效地执行知识密集型任务，提供了更强大和可扩展的解决方案，以适应现实世界的应用。

为了实现RAGate，研究人员已经探索了几种方法，包括：

使用大型语言模型和精心设计的提示
使用参数高效技术对语言模型进行微调
开发专用神经网络架构，例如多头注意力模型

每种方法都有其自身的优点和缺点。例如，提示方法相对简单，但可能无法始终产生一致的结果。微调提供了性能和效率的良好平衡，而专用架构可能提供最佳的性能，但需要更多的计算资源来训练。

以下是使用微调语言模型实现RAGate样式系统的简化示例：

import torch
from transformers import AutoTokenizer, AutoModelForSequenceClassification

class RAGate:
def __init__(self, model_name):
self.tokenizer = AutoTokenizer.from_pretrained(model_name)
self.model = AutoModelForSequenceClassification.from_pretrained(model_name)

def should_use_knowledge(self, context, knowledge=None):
inputs = self.tokenizer(context, knowledge or "", return_tensors="pt", truncation=True, max_length=512)
with torch.no_grad():
outputs = self.model(**inputs)
probabilities = torch.softmax(outputs.logits, dim=1)
return probabilities[0][1].item() &gt; 0.5 # 假设二元分类（0：无知识，1：使用知识）

class ConversationSystem:
def __init__(self, ragate, lm, retriever):
self.ragate = ragate
self.lm = lm
self.retriever = retriever

def generate_response(self, context):
knowledge = self.retriever.retrieve(context)
if self.ragate.should_use_knowledge(context, knowledge):
return self.lm.generate_with_knowledge(context, knowledge)
else:
return self.lm.generate_without_knowledge(context)

# 示例用法
ragate = RAGate("path/to/fine-tuned/model")
lm = LanguageModel() # 您的首选语言模型
retriever = KnowledgeRetriever() # 您的知识检索系统

conversation_system = ConversationSystem(ragate, lm, retriever)

context = "用户：法国的首都是什么？\n系统：法国的首都是巴黎。\n用户：告诉我更多关于其著名的地标。"
response = conversation_system.generate_response(context)
print(response)

挑战和未来方向

虽然自我推理框架和自适应检索增强生成显示出巨大的潜力，但仍有一些挑战需要解决：

计算效率：两种方法都可能在处理大量检索信息或生成长推理轨迹时计算成本高。优化这些过程以适应实时应用仍然是一个活跃的研究领域。
鲁棒性：确保这些系统在广泛的主题和问题类型上表现一致至关重要。这包括处理边缘情况和对抗性输入，这些可能会混淆相关性判断或门控机制。
多语言和跨语言支持：将这些方法扩展到有效地支持多种语言和处理跨语言信息检索和推理是一个重要的未来工作方向。
与其他AI技术集成：探索这些方法如何与其他AI技术（如多模态模型或强化学习）结合使用可能会导致更强大和更灵活的系统。

结论

自我推理框架和自适应检索增强生成的发展代表了自然语言处理领域的一个重大进步。通过使语言模型能够显式地推理使用的信息并适应性地决定何时使用外部知识，这些方法有望使AI系统更加可靠、可解释和上下文感知。

随着该领域的研究继续演进，我们可以期待看到这些技术被改进和集成到广泛的应用中，从问答系统和虚拟助手到教育工具和研究辅助工具。将大型语言模型中编码的庞大知识与动态检索的最新信息相结合的能力，有可能改变我们与AI系统交互和访问信息的方式。

Aayush Mittal, Mittal

我已经沉浸在了令人着迷的机器学习和深度学习世界中五年了。我的热情和专业知识让我为超过50个不同的软件工程项目做出了贡献，特别关注AI/ML。我的持续的好奇心也让我对自然语言处理产生了兴趣，这是一个我渴望进一步探索的领域。

Unite.AI