LLM-as-a-Judge：一种用于评估语言模型的可扩展解决方案

LLM-as-a-Judge 框架是一种可扩展、自动化的替代方案，用于评估语言模型的输出，而传统的人工评估方法往往成本高、速度慢，并且受到评估响应数量的限制。通过使用一个 LLM 来评估另一个 LLM 的输出，团队可以高效地跟踪准确性、相关性、语气和遵守特定指南的一致性和可复制性。

评估生成的文本会带来超出传统准确性指标的独特挑战。一个单一的 提示 可以产生多个正确的响应，这些响应在风格、语气或措辞上有所不同，使得使用简单的量化指标来衡量质量变得困难。

这里，LLM-as-a-Judge 方法脱颖而出：它允许对复杂的质量进行细致的评估，例如语气、有用性和对话一致性。无论用于比较模型版本还是评估实时输出，LLM 都提供了一种灵活的方式来近似人类的判断，使其成为扩展评估工作的理想解决方案，适用于大型数据集和实时交互。

本指南将探讨 LLM-as-a-Judge 的工作原理、其不同类型的评估以及如何在各种情况下有效实施。我们将介绍如何设置标准、设计评估提示以及建立反馈循环以进行持续改进。

LLM-as-a-Judge 的概念

LLM-as-a-Judge 使用 LLM 来评估其他 AI 系统的文本输出。作为公正的评估者，LLM 可以根据自定义标准（如相关性、简洁性和语气）对生成的文本进行评分。这种评估过程类似于让一个虚拟的评估者根据提示中提供的特定指南来审查每个输出。

如何工作

LLM-as-a-Judge 的设计目的是根据评估提示中的指令来评估文本响应。提示通常定义了 LLM 在评估输出时应考虑的质量，例如有用性、相关性或清晰度。

LLM 使用其内部知识和学习的语言模式来评估提供的文本，匹配提示标准与响应的质量。通过设定明确的期望，评估者可以根据需要调整 LLM 的焦点，以捕捉可能难以衡量的细致质量，例如礼貌或具体性。与传统的评估指标不同，LLM-as-a-Judge 提供了一种灵活的、高层次的近似人类判断，可以适应不同的内容类型和评估需求。

评估类型

1. 成对比较：在这种方法中，LLM 被给予两个相同提示的响应，并被要求根据标准（如相关性或准确性）选择“更好的”一个。这种评估类型通常用于 A/B 测试，开发人员正在比较不同版本的模型或提示配置。通过要求 LLM 判断哪个响应根据特定标准表现更好，成对比较提供了一种确定模型输出偏好的直接方式。
2. 直接评分：直接评分是一种无参考的评估，LLM 根据预定义的质量（如礼貌、语气或清晰度）对单个输出进行评分。直接评分在离线和在线评估中都有效，提供了一种方式来连续监测质量在各次交互中的变化。这种方法有助于跟踪一致的质量随时间的变化，并常用于监测生产中的实时响应。
3. 基于参考的评估：这种方法引入了额外的上下文，例如参考答案或支持材料，生成的响应将根据这些参考进行评估。这种方法通常用于 检索增强生成 (RAG) 设置中，响应必须与检索的知识紧密对齐。通过将输出与参考文档进行比较，这种方法有助于评估事实准确性和遵守特定内容，例如检查生成文本中的幻觉。

用例

LLM-as-a-Judge 适用于各种应用：

• 聊天机器人：根据标准（如相关性、语气和有用性）来评估响应，以确保一致的质量。
• 摘要：根据摘要与源文档的简洁性、清晰度和一致性来评分，以保持忠实度。
• 代码生成：根据正确性、可读性和遵守给定的指令或最佳实践来审查代码片段。

这种方法可以作为自动评估器来增强这些应用，通过持续监测和改进模型性能，而无需进行耗时的人工审查。

构建您的 LLM 评估器 -一步一步的指南

创建一个基于 LLM 的评估设置需要仔细规划和明确的指南。请按照以下步骤来构建一个强大的 LLM-as-a-Judge 评估系统：

步骤 1：定义评估标准

首先定义您希望 LLM 评估的特定质量。您的评估标准可能包括以下因素：

• 相关性：响应是否直接解决问题或提示？
• 语气：语气是否适合上下文（例如专业、友好、简洁）？
• 准确性：提供的信息是否事实正确，特别是在基于知识的响应中？

例如，如果评估聊天机器人，您可能会优先考虑相关性和有用性，以确保它提供有用的、相关的响应。每个标准都应明确定义，因为模糊的指南可能导致不一致的评估。定义简单的二元或有序标准（例如“相关”与“不相关”或有用性的 Likert 量表）可以提高一致性。

步骤 2：准备评估数据集

要校准和测试 LLM 评估器，您需要一个带有标记示例的代表性数据集。准备数据集有两种主要方法：

1. 生产数据：使用应用程序的历史输出数据。选择代表不同质量水平的示例，涵盖每个标准的范围。
2. 合成数据：如果生产数据有限，您可以创建合成示例。这些示例应模仿预期的响应特征，并涵盖每个标准的边缘情况，以进行更全面地测试。

一旦您有了数据集，请根据您的评估标准手动标记它。这个标记数据集将作为您的基准真相，允许您衡量 LLM 评估器的一致性和准确性。

步骤 3：制作有效的提示

提示工程 是指导 LLM 评估器有效地工作的关键。每个提示都应清晰、具体，并与您的评估标准保持一致。以下是每种评估类型的示例：

成对比较提示

您将看到两个相同问题的响应。根据有用性、相关性和详细程度选择更好的响应。如果两个响应同样好，请标记为平局。

<p>问题：[插入问题]
响应 A：[插入响应 A]
响应 B：[插入响应 B]</p>

<p>输出：&quot;更好的响应：A&quot; 或 &quot;更好的响应：B&quot; 或 &quot;平局&quot;</p>

直接评分提示

评估以下响应的礼貌度。礼貌的响应是尊重的、体贴的，并避免使用严厉的语言。返回 "礼貌" 或 "不礼貌"。

响应：[插入响应]

<p>输出：&quot;礼貌&quot; 或 &quot;不礼貌&quot;</p>

基于参考的评估提示

将以下响应与提供的参考答案进行比较。评估响应是否在事实上正确，并传达相同的含义。标记为 "正确" 或 "不正确"。

<p>参考答案：[插入参考答案]
生成的响应：[插入生成的响应]</p>

<p>输出：&quot;正确&quot; 或 &quot;不正确&quot;</p>

以这种方式制作提示可以减少歧义，并使 LLM 评估器能够理解如何评估每个响应。为了进一步提高提示的清晰度，限制每次评估的范围到一个或两个质量（例如相关性和详细程度），而不是在单个提示中混合多个因素。

步骤 4：测试和迭代

创建提示和数据集后，评估 LLM 评估器通过在标记的数据集上运行它。将 LLM 的输出与您分配的基准真相标签进行比较，以检查一致性和准确性。评估的关键指标包括：

• 精度：正确的正面评估的百分比。
• 召回率：基准真相中正确识别为正面的百分比。
• 准确率：正确评估的总百分比。

测试有助于识别 LLM 评估器性能中的任何不一致性。例如，如果评估器经常将有用的响应错误地标记为无用，您可能需要改进评估提示。从小样本开始，然后在迭代过程中增加数据集的大小。

在此阶段，考虑尝试使用不同的提示结构或使用多个 LLM 进行交叉验证。例如，如果一个模型倾向于冗长，尝试使用更简洁的 LLM 模型，看看结果是否更好地与您的基准真相一致。提示修订可能涉及调整标签、简化语言，甚至将复杂的提示分解为更小、更易于管理的提示。

import pandas as pd
from huggingface_hub import InferenceClient

<p># 使用特定的模型仓库初始化 LLM 客户端
repo_id = &quot;mistralai/Mixtral-8x7B-Instruct-v0.1&quot;
llm_client = InferenceClient(model=repo_id, timeout=120)</p>

import pandas as pd
from datasets import load_dataset

<p># 加载示例数据集（替换为您的数据集）
data = load_dataset(&quot;your_dataset_id&quot;)[&quot;train&quot;]</p>

<p># 提取评估的相关字段
df = pd.DataFrame({
&#039;question&#039;: data[&#039;question_field&#039;],
&#039;answer&#039;: data[&#039;answer_field&#039;]
})
df.head()</p>

def evaluate_answer(question, answer):
# 制作提示以评估相关性和准确性
prompt = f"评估响应的相关性和准确性:\n问题: {question}\n答案: {answer}"
result = llm_client.text_generation(prompt=prompt, max_new_tokens=50)
return result

<p># 测试函数
question = &quot;美联储的行动如何影响通货膨胀？&quot;
answer = &quot;当美联储购买债券时，它可能会导致...&quot;
evaluation = evaluate_answer(question, answer)
print(&quot;LLM 评估:&quot;, evaluation)</p>

def evaluate_pairwise(question, answer_a, answer_b):
# 制作成对比较的提示
prompt = (
f"根据以下问题，确定哪个响应更相关、更详细。\n\n"
f"问题: {question}\n\n"
f"响应 A: {answer_a}\n\n"
f"响应 B: {answer_b}\n\n"
"选择更好的响应: A 或 B."
)
result = llm_client.text_generation(prompt=prompt, max_new_tokens=10)
return result

<p># 示例成对比较
question = &quot;美联储的债券购买行动对通货膨胀的影响是什么？&quot;
answer_a = &quot;美联储的行动可以增加货币供应。&quot;
answer_b = &quot;美联储的债券购买通常会提高通货膨胀。&quot;
comparison = evaluate_pairwise(question, answer_a, answer_b)
print(&quot;更好的响应:&quot;, comparison)</p>