LLM-as-a-Judge：使用语言模型评估语言模型的可扩展解决方案

LLM-as-a-Judge 框架是一种可扩展的自动化评估替代方案，人工评估通常成本高昂、速度慢，并且受限于可评估的回复数量。通过使用 LLM 评估另一个 LLM 的输出，团队可以以一致且可复制的方式高效地跟踪准确性、相关性、语气和对特定准则的遵守情况。

评估生成的文本带来了超越传统准确度指标的独特挑战。单个 提示 可能会产生在风格、语气或措辞上有所不同的多个正确答案，因此很难使用简单的定量指标来衡量质量。

在这里，LLM 法官方法脱颖而出：它允许对语气、帮助性和对话连贯性等复杂品质进行细致入微的评估。无论是用于比较模型版本还是评估实时输出，LLM 法官都提供了一种灵活的方式来近似人类判断，使其成为在大型数据集和实时交互中扩展评估工作的理想解决方案。

本指南将探讨法学硕士（LLM-as-a-Judge）项目的运作方式、不同类型的评估，以及在各种情况下有效实施的实用步骤。我们将介绍如何设置标准、设计评估提示，以及如何建立持续改进的反馈循环。

法学硕士法官项目的概念

法学硕士法官专业 使用 LLM 评估其他 AI 系统的文本输出。作为公正的评估者，LLM 可以根据自定义标准（例如相关性、简洁性和语气）对生成的文本进行评分。此评估过程类似于让虚拟评估员根据特定指南审查每个输出 提示. 对于内容密集型的应用来说，这是一个特别有用的框架，因为由于数量或时间的限制，人工审核是不切实际的。

服务流程

LLM-as-a-Judge 旨在根据评估提示中的说明评估文本响应。提示通常定义 LLM 在评估输出时应考虑的品质，如有用性、相关性或清晰度。例如，提示可能会要求 LLM 判断聊天机器人的响应是“有帮助”还是“无帮助”，并指导每个标签的含义。

这个 LLM 使用其内部知识和学习到的语言模式来评估所提供的文本，将提示标准与响应的质量相匹配。通过设定明确的期望，评估人员可以调整 LLM 的重点，以捕捉礼貌或特异性等细微的品质，否则这些品质可能难以衡量。与传统的评估指标不同，LLM-as-a-Judge 提供了一种灵活、高级的人类判断近似值，可适应不同的内容类型和评估需求。

评估类型

1. 成对比较：在这种方法中，LLM 会针对同一提示给出两个答案，并被要求根据相关性或准确性等标准选择“更好”的答案。这种评估类型通常用于 A/B 测试，开发人员会比较模型的不同版本或提示配置。通过要求 LLM 根据特定标准判断哪个答案表现更好，成对比较提供了一种确定模型输出偏好的直接方法。
2. 直接得分：直接评分是一种无参考的评估，其中 LLM 根据礼貌、语气或清晰度等预定义的品质对单一输出进行评分。直接评分适用于离线和在线评估，提供了一种持续监控各种互动质量的方法。这种方法有利于跟踪随时间推移的一致品质，通常用于监控生产中的实时响应。
3. 基于参考的评价：此方法引入了额外的上下文，例如参考答案或支持材料，以此来评估生成的响应。这通常用于 检索增强生成 （RAG）设置，其中响应必须与检索到的知识紧密相关。通过将输出与参考文档进行比较，这种方法有助于评估事实准确性和对特定内容的遵守情况，例如检查生成的文本中是否存在幻觉。

使用案例

LLM-as-a-Judge 适用于多种应用：

• 聊天机器人：根据相关性、语气和帮助性等标准评估回应，以确保始终如一的质量。
• 概要：对摘要的简洁性、清晰度以及与源文档的一致性进行评分以保持保真度。
• 代码生成：检查代码片段的正确性、可读性以及是否符合给定的说明或最佳实践。

该方法可以作为自动评估器，通过持续监控和改进模型性能（无需详尽的人工审查）来增强这些应用程序。

建立你的法学硕士法官资格——循序渐进的指南

创建基于 LLM 的评估设置需要仔细规划和明确的指导方针。请按照以下步骤构建强大的 LLM-as-a-Judge 评估系统：

步骤 1：定义评估标准

首先明确你希望 LLM 评估的具体素质。你的评估标准可能包括以下因素：

• 相关性：答复是否直接回答了问题或提示？
• 音色：语气是否适合当时的情况（例如专业、友好、简洁）？
• 准确性：所提供的信息是否事实正确，特别是在基于知识的回应中？

例如，如果评估聊天机器人，您可以优先考虑相关性和实用性，以确保它提供有用且切题的响应。每个标准都应明确定义，因为模糊的指导方针可能会导致评估不一致。定义简单的二元或缩放标准（例如“相关”与“不相关”或李克特量表来衡量实用性）可以提高一致性。

第 2 步：准备评估数据集

为了校准和测试 LLM 评判员，您需要一个带有标记示例的代表性数据集。准备此数据集的主要方法有两种：

1. 生产数据：使用应用程序历史输出的数据。选择代表典型响应的示例，涵盖每个标准的一系列质量级别。
2. 综合数据：如果生产数据有限，您可以创建合成示例。这些示例应模拟预期的响应特征并涵盖边缘情况，以进行更全面的测试。

获得数据集后，请根据评估标准手动标记它。这个标记的数据集将作为您的基本事实，让您可以衡量 LLM 评判的一致性和准确性。

步骤 3：制定有效的提示

即时工程 对于有效指导 LLM 评委至关重要。每个提示都应清晰、具体且符合您的评估标准。以下是每种评估类型的示例：

成对比较提示

 
You will be shown two responses to the same question. Choose the response that is more helpful, relevant, and detailed. If both responses are equally good, mark them as a tie.

Question: [Insert question here]
Response A: [Insert Response A]
Response B: [Insert Response B]

Output: "Better Response: A" or "Better Response: B" or "Tie"

直接评分提示

 
Evaluate the following response for politeness. A polite response is respectful, considerate, and avoids harsh language. Return "Polite" or "Impolite."

Response: [Insert response here]

Output: "Polite" or "Impolite"

基于参考的评估提示

 
Compare the following response to the provided reference answer. Evaluate if the response is factually correct and conveys the same meaning. Label as "Correct" or "Incorrect."

Reference Answer: [Insert reference answer here]
Generated Response: [Insert generated response here]

Output: "Correct" or "Incorrect"

以这种方式编写提示可以减少歧义，并使 LLM 评委能够准确了解如何评估每个答案。为了进一步提高提示的清晰度，请将每次评估的范围限制在一两个品质（例如相关性和细节），而不是在单个提示中混合多个因素。

步骤 4：测试和迭代

创建提示和数据集后，通过在标记的数据集上运行 LLM Judge 来评估它。将 LLM 的输出与您分配的地面实况标签进行比较，以检查一致性和准确性。评估的关键指标包括：

• 平台精度：正确的正面评价的百分比。
• 记得：LLM 正确识别的真实阳性百分比。
• 准确性：正确评估的总体百分比。

测试有助于识别 LLM 评委表现中的任何不一致之处。例如，如果评委经常将有用的回答错误地标记为无用的，则您可能需要改进评估提示。从小样本开始，然后在迭代过程中增加数据集的大小。

在此阶段，请考虑尝试不同的提示结构或使用多个 LLM 进行交叉验证。例如，如果一个模型往往冗长，请尝试使用更简洁的 LLM 模型进行测试，看看结果是否更接近您的基本事实。提示修订可能涉及调整标签、简化语言，甚至将复杂的提示分解为更小、更易于管理的提示。

 
import pandas as pd
from huggingface_hub import InferenceClient

# Initialize the LLM client with a specific model repository
repo_id = "mistralai/Mixtral-8x7B-Instruct-v0.1"
llm_client = InferenceClient(model=repo_id, timeout=120)

 
import pandas as pd
from datasets import load_dataset

# Load a sample dataset (replace with your dataset)
data = load_dataset("your_dataset_id")["train"]

# Extract relevant fields for evaluation
df = pd.DataFrame({
    'question': data['question_field'],
    'answer': data['answer_field']
})
df.head()

 
def evaluate_answer(question, answer):
    # Craft a prompt to evaluate relevance and accuracy
    prompt = f"Evaluate the response's relevance and accuracy:\nQuestion: {question}\nAnswer: {answer}"
    result = llm_client.text_generation(prompt=prompt, max_new_tokens=50)
    return result

# Test the function with an example
question = "How does the FED's actions impact inflation?"
answer = "When the FED buys bonds, it can lead to..."
evaluation = evaluate_answer(question, answer)
print("LLM Evaluation:", evaluation)

 
def evaluate_pairwise(question, answer_a, answer_b):
    # Craft a prompt for pairwise comparison
    prompt = (
        f"Given the question below, determine which response is more relevant and detailed.\n\n"
        f"Question: {question}\n\n"
        f"Response A: {answer_a}\n\n"
        f"Response B: {answer_b}\n\n"
        "Choose the better response: A or B."
    )
    result = llm_client.text_generation(prompt=prompt, max_new_tokens=10)
    return result

# Example pairwise comparison
question = "What is the impact of the FED's bond-buying actions?"
answer_a = "The FED's actions can increase the money supply."
answer_b = "The FED's bond purchases generally raise inflation."
comparison = evaluate_pairwise(question, answer_a, answer_b)
print("Better Response:", comparison)