LLM-as-a-Juge : une solution évolutiva pour évaluer les modèles de langage à l’aide de modèles de langage

Le cadre LLM-as-a-Judge est une alternative automatisée et évolutiva aux évaluations humaines, qui sont souvent coûteuses, lentes et limitées par le volume de réponses qu’elles peuvent évaluer de manière réalisable. En utilisant un LLM pour évaluer les sorties d’un autre LLM, les équipes peuvent suivre efficacement la précision, la pertinence, le ton et la conformité à des lignes directrices spécifiques de manière cohérente et reproductible.

L’évaluation de texte généré crée des défis uniques qui vont au-delà des métriques d’exactitude traditionnelles. Une seule invite peut produire plusieurs réponses correctes qui diffèrent en style, ton ou formulation, ce qui rend difficile l’évaluation de la qualité en utilisant des métriques quantitatives simples.

Ici, l’approche LLM-as-a-Judge se démarque : elle permet des évaluations nuancées de qualités complexes comme le ton, l’utilité et la cohérence conversationnelle. Que ce soit pour comparer des versions de modèles ou évaluer les sorties en temps réel, les LLM en tant que juges offrent une façon flexible d’approcher le jugement humain, les rendant ainsi une solution idéale pour mettre à l’échelle les efforts d’évaluation sur de grands ensembles de données et interactions en direct.

Ce guide explorera comment fonctionne LLM-as-a-Judge, ses différents types d’évaluations et les étapes pratiques pour le mettre en œuvre efficacement dans divers contextes. Nous couvrirons comment établir des critères, concevoir des invites d’évaluation et établir une boucle de rétroaction pour des améliorations continues.

Concept de LLM-as-a-Judge

LLM-as-a-Judge utilise des LLM pour évaluer les sorties de texte d’autres systèmes d’IA. Agissant comme des évaluateurs impartiaux, les LLM peuvent noter le texte généré en fonction de critères personnalisés, tels que la pertinence, la concision et le ton. Ce processus d’évaluation est similaire à celui d’un évaluateur virtuel qui examine chaque sortie selon des lignes directrices spécifiques fournies dans une invite. Il s’agit d’un cadre particulièrement utile pour les applications riches en contenu, où la révision humaine est impraticable en raison du volume ou des contraintes de temps.

Comment ça fonctionne

Un LLM-as-a-Judge est conçu pour évaluer les réponses de texte en fonction des instructions contenues dans une invite d’évaluation. L’invite définit généralement des qualités comme l’utilité, la pertinence ou la clarté que le LLM doit considérer lors de l’évaluation d’une sortie. Par exemple, une invite peut demander au LLM de décider si une réponse de chatbot est « utile » ou « inutile », avec des conseils sur ce que chaque étiquette implique.

Le LLM utilise ses connaissances internes et les modèles de langage appris pour évaluer le texte fourni, en faisant correspondre les critères de l’invite aux qualités de la réponse. En définissant des attentes claires, les évaluateurs peuvent adapter la focalisation du LLM pour capturer des qualités nuancées comme la politesse ou la spécificité qui pourraient autrement être difficiles à mesurer. Contrairement aux métriques d’évaluation traditionnelles, LLM-as-a-Judge fournit une approximation flexible et de haut niveau du jugement humain qui s’adapte à différents types de contenu et besoins d’évaluation.

Types d’évaluation

1. Comparaison par paires : Dans cette méthode, le LLM reçoit deux réponses à la même invite et est invité à choisir la « meilleure » en fonction de critères tels que la pertinence ou l’exactitude. Ce type d’évaluation est souvent utilisé dans les tests A/B, où les développeurs comparent différentes versions d’un modèle ou des configurations d’invites. En demandant au LLM de juger quelle réponse se comporter mieux selon des critères spécifiques, la comparaison par paires offre un moyen direct de déterminer la préférence dans les sorties de modèles.
2. Notation directe : La notation directe est une évaluation sans référence où le LLM note une seule sortie en fonction de qualités prédéfinies comme la politesse, le ton ou la clarté. La notation directe fonctionne bien à la fois dans les évaluations hors ligne et en ligne, fournissant un moyen de surveiller en continu la qualité à travers diverses interactions. Cette méthode est bénéfique pour suivre des qualités cohérentes dans le temps et est souvent utilisée pour surveiller les réponses en temps réel en production.
3. Évaluation basée sur référence : Cette méthode introduit un contexte supplémentaire, tel qu’une réponse de référence ou un matériel de soutien, par rapport auquel la réponse générée est évaluée. C’est couramment utilisé dans les systèmes de génération augmentée de récupération (RAG), où la réponse doit s’aligner étroitement sur les connaissances récupérées. En comparant la sortie à un document de référence, cette approche aide à évaluer l’exactitude factuelle et la conformité à un contenu spécifique, comme la vérification d’hallucinations dans le texte généré.

Cas d’utilisation

LLM-as-a-Judge est adaptable à travers diverses applications :

• Chatbots : Évaluer les réponses en fonction de critères tels que la pertinence, le ton et l’utilité pour assurer une qualité cohérente.
• Résumé : Noter les résumés pour la concision, la clarté et l’alignement avec le document source pour maintenir la fidélité.
• Génération de code : Examiner les extraits de code pour l’exactitude, la lisibilité et la conformité aux instructions ou aux meilleures pratiques données.

Cette méthode peut servir d’évaluateur automatisé pour améliorer ces applications en surveillant en continu et en améliorant les performances du modèle sans révision humaine exhaustive.

Construire votre juge LLM – Un guide étape par étape

Créer un système d’évaluation basé sur LLM nécessite une planification soigneuse et des lignes directrices claires. Suivez ces étapes pour construire un système d’évaluation LLM-as-a-Judge robuste :

Étape 1 : Définition des critères d’évaluation

Commencez par définir les qualités spécifiques que vous souhaitez que le LLM évalue. Vos critères d’évaluation peuvent inclure des facteurs tels que :

• Pertinence : La réponse aborde-t-elle directement la question ou l’invite ?
• Ton : Le ton est-il approprié pour le contexte (par exemple, professionnel, amical, concis) ?
• Exactitude : Les informations fournies sont-elles factuellement correctes, en particulier dans les réponses basées sur les connaissances ?

Par exemple, si vous évaluez un chatbot, vous pourriez donner la priorité à la pertinence et à l’utilité pour vous assurer qu’il fournit des réponses utiles et pertinentes. Chaque critère doit être clairement défini, car des lignes directrices vagues peuvent conduire à des évaluations incohérentes. Définir des critères simples binaires ou échelonnés (comme « pertinent » vs. « non pertinent » ou une échelle de Likert pour l’utilité) peut améliorer la cohérence.

Étape 2 : Préparation du jeu de données d’évaluation

Pour calibrer et tester le juge LLM, vous aurez besoin d’un jeu de données représentatif avec des exemples étiquetés. Il existe deux approches principales pour préparer ce jeu de données :

1. Données de production : Utilisez des données provenant des sorties historiques de votre application. Sélectionnez des exemples qui représentent des réponses typiques, couvrant une gamme de niveaux de qualité pour chaque critère.
2. Données synthétiques : Si les données de production sont limitées, vous pouvez créer des exemples synthétiques. Ces exemples doivent imiter les caractéristiques de réponse attendues et couvrir les cas de bordure pour un test plus complet.

Une fois que vous avez un jeu de données, étiquetez-le manuellement en fonction de vos critères d’évaluation. Ce jeu de données étiqueté servira de vérité de base, vous permettant de mesurer la cohérence et l’exactitude du juge LLM.

Étape 3 : Conception d’invites efficaces

L’ingénierie d’invites est cruciale pour guider efficacement le juge LLM. Chaque invite doit être claire, spécifique et alignée sur vos critères d’évaluation. Voici des exemples pour chaque type d’évaluation :

Invite de comparaison par paires

Vous verrez deux réponses à la même question. Choisissez la réponse qui est la plus utile, la plus pertinente et la plus détaillée. Si les deux réponses sont également bonnes, marquez-les comme un match nul.

<p>Question : [Insérez la question ici]
Réponse A : [Insérez la réponse A]
Réponse B : [Insérez la réponse B]</p>

<p>Sortie : « Meilleure réponse : A » ou « Meilleure réponse : B » ou « Match nul »</p>

Invite de notation directe

Évaluez la réponse suivante pour la politesse. Une réponse polie est respectueuse, considérée et évite le langage dur. Renvoyez « Poli » ou « Impoli. »

Réponse : [Insérez la réponse ici]

<p>Sortie : « Poli » ou « Impoli »</p>

Invite d’évaluation basée sur référence

Comparez la réponse suivante à la réponse de référence fournie. Évaluez si la réponse est factuellement correcte et transmet la même signification. Étiquetez comme « Correct » ou « Incorrect. »

<p>Réponse de référence : [Insérez la réponse de référence ici]
Réponse générée : [Insérez la réponse générée ici]</p>

<p>Sortie : « Correct » ou « Incorrect »</p>

Concevoir des invites de cette manière réduit l’ambiguïté et permet au juge LLM de comprendre exactement comment évaluer chaque réponse. Pour améliorer encore la clarté de l’invite, limitez la portée de chaque évaluation à une ou deux qualités (par exemple, la pertinence et le détail) au lieu de mélanger plusieurs facteurs dans une seule invite.

Étape 4 : Test et itération

Après avoir créé l’invite et le jeu de données, évaluez le juge LLM en le faisant fonctionner sur votre jeu de données étiqueté. Comparez les sorties du LLM à vos étiquettes de vérité de base pour vérifier la cohérence et l’exactitude. Les métriques clés pour l’évaluation incluent :

• Précision : Le pourcentage d’évaluations positives correctes.
• Rappel : Le pourcentage de positifs de vérité de base correctement identifiés par le LLM.
• Exactitude : Le pourcentage global d’évaluations correctes.

Les tests aident à identifier les incohérences dans les performances du juge LLM. Par exemple, si le juge étiquette fréquemment des réponses utiles comme inutiles, vous devrez peut-être affiner l’invite d’évaluation. Commencez avec un petit échantillon, puis augmentez la taille du jeu de données à mesure que vous itérez.

Dans cette phase, envisagez d’expérimenter avec différentes structures d’invites ou d’utiliser plusieurs LLM pour la validation croisée. Par exemple, si un modèle tend à être verbeux, essayez de tester avec un modèle LLM plus concis pour voir si les résultats correspondent plus étroitement à votre vérité de base. Les révisions d’invites peuvent impliquer l’ajustement des étiquettes, la simplification du langage ou même la division d’invites complexes en invites plus petites et plus gérables.

import pandas as pd
from huggingface_hub import InferenceClient

<p># Initialiser le client LLM avec un modèle spécifique
repo_id = &quot;mistralai/Mixtral-8x7B-Instruct-v0.1&quot;
llm_client = InferenceClient(model=repo_id, timeout=120)</p>

import pandas as pd
from datasets import load_dataset

<p># Charger un jeu de données d'exemple (remplacez par votre jeu de données)
data = load_dataset(&quot;your_dataset_id&quot;)[&quot;train&quot;]</p>

<p># Extraire les champs pertinents pour l'évaluation
df = pd.DataFrame({
&#039;question&#039;: data[&#039;question_field&#039;],
&#039;answer&#039;: data[&#039;answer_field&#039;]
})
df.head()</p>

def evaluate_answer(question, answer):
# Concevoir une invite pour évaluer la pertinence et l'exactitude
prompt = f"Évaluez la réponse suivante pour la pertinence et l'exactitude:\nQuestion: {question}\nAnswer: {answer}"
result = llm_client.text_generation(prompt=prompt, max_new_tokens=50)
return result

<p># Tester la fonction avec un exemple
question = &quot;Comment les actions de la FED ont-elles un impact sur l'inflation ?&quot;
answer = &quot;Lorsque la FED achète des obligations, cela peut conduire à...&quot;
evaluation = evaluate_answer(question, answer)
print(&quot;Évaluation LLM:&quot;, evaluation)</p>

def evaluate_pairwise(question, answer_a, answer_b):
# Concevoir une invite pour la comparaison par paires
prompt = (
f"Étant donné la question ci-dessous, déterminez quelle réponse est la plus pertinente et la plus détaillée.\n\n"
f"Question: {question}\n\n"
f"Réponse A: {answer_a}\n\n"
f"Réponse B: {answer_b}\n\n"
"Choisissez la meilleure réponse: A ou B."
)
result = llm_client.text_generation(prompt=prompt, max_new_tokens=10)
return result

<p># Exemple de comparaison par paires
question = &quot;Quel est l'impact des actions d'achat d'obligations de la FED ?&quot;
answer_a = &quot;Les actions de la FED peuvent augmenter l'offre de monnaie.&quot;
answer_b = &quot;Les achats d'obligations de la FED augmentent généralement l'inflation.&quot;
comparison = evaluate_pairwise(question, answer_a, answer_b)
print(&quot;Meilleure réponse:&quot;, comparison)</p>