LLM-оценщик: Масштабований підхід до оцінки мовних моделей за допомогою мовних моделей

Фреймворк LLM-оценщик є масштабованим, автоматизованим альтернативним варіантом людської оцінки, який часто є дорогим, повільним і обмеженим об’ємом відповідей, які можна оцінити. Використовуючи LLM для оцінки виходів іншої LLM, команди можуть ефективно відстежувати точність, актуальність, тон і відповідність конкретним керівним принципам у послідовному і повторюваному порядку.

Оцінка згенерованого тексту створює унікальні виклики, які виходять за рамки традиційних метрик точності. Одне промпт може дати кілька правильних відповідей, які відрізняються стилем, тоном або фразуванням, що робить складним використання простих кількісних метрик для оцінки якості.

Саме тут виділяється підхід LLM-оценщик: він дозволяє здійснювати нюансовані оцінки складних якостей, таких як тон, корисність і розмовна узгодженість. Чи використовується для порівняння версій моделей, чи для оцінки виходів в реальному часі, LLM як оцінювачі пропонують гнучкий спосіб наблизитися до людської оцінки, роблячи їх ідеальним рішенням для масштабування зусиль з оцінки по великим наборам даних і живим взаємодіям.

Цей посібник досліджуватиме, як працює LLM-оценщик, його різні типи оцінок і практичні кроки для його ефективної реалізації в різних контекстах. Ми покажемо, як встановити критерії, розробити оціночні промпти і створити механізм зворотного зв’язку для постійного вдосконалення.

Концепція LLM-оценщика

LLM-оценщик використовує LLM для оцінки текстових виходів інших систем штучного інтелекту. Виконуючи роль безсторонніх оцінювачів, LLM можуть оцінювати згенерований текст на основі користувальницьких критеріїв, таких як актуальність, лаконічність і тон. Цей процес оцінки подібний до того, як віртуальний оцінювач переглядає кожен вихід відповідно до конкретних керівних принципів, наданих у промпті. Це особливо корисний фреймворк для застосунків, наповнених вмістом, де людська оцінка є недоцільною через об’єм або часові обмеження.

Як це працює

LLM-оценщик розроблений для оцінки текстових відповідей на основі інструкцій у оціночному промпті. Промпт зазвичай визначає якості, такі як корисність, актуальність або ясність, які LLM повинен враховувати при оцінці виходу. Наприклад, промпт може запитати у LLM визначити, чи є відповідь чат-бота “корисною” чи “не корисною”, з керівними принципами щодо того, що означає кожна з цих міток.

LLM використовує свій внутрішній знання і вивчені мовні шаблони для оцінки наданого тексту, зіставляючи критерії промпту з якостями відповіді. Встановивши чіткі очікування, оцінювачі можуть налаштувати фокус LLM на захоплення нюансів, таких як ввічливість або конкретність, які інакше можуть бути складними для вимірювання. На відміну від традиційних метрик оцінки, LLM-оценщик пропонує гнучке, високорівневе наближення до людської оцінки, яке адаптоване до різних типів вмісту та потреб оцінки.

Типи оцінки

1. Парна порівняльна оцінка: У цьому методі LLM отримує дві відповіді на один і той же промпт і запитується вибрати “кращу” з них на основі критеріїв, таких як актуальність або точність. Цей тип оцінки часто використовується в тестуванні А/Б, де розробники порівнюють різні версії моделі чи конфігурації промпту. Запитуючи у LLM визначити, яка відповідь працює краще відповідно до конкретних критеріїв, парна порівняльна оцінка пропонує прямий спосіб визначення переваги виходів моделі.
2. Прямий бал: Прямий бал – це оцінка без посилання, де LLM оцінює один вихід на основі попередньо визначених якостей, таких як ввічливість, тон або ясність. Прямий бал працює добре як в офлайн-, так і в онлайн-оцінках, забезпечуючи спосіб постійного моніторингу якості по різних взаємодіям. Цей метод корисний для відстежування послідовних якостей з часом і часто використовується для моніторингу виходів у реальному часі у виробництві.
3. Оцінка на основі посилання: Цей метод вводить додатковий контекст, такий як посилальна відповідь або допоміжний матеріал, проти якого згенерований вихід оцінюється. Це часто використовується в Retrieval-Augmented Generation (RAG) налаштуваннях, де відповідь повинна бути тісно пов’язана з отриманими знаннями. Порівнюючи вихід з посилочним документом, цей підхід допомагає оцінити фактичну точність і відповідність конкретному вмісту, наприклад, перевірку на галуцинації у згенерованому тексті.

Використання

LLM-оценщик адаптований для різних застосунків:

• Чат-боти: Оцінка відповідей на основі критеріїв, таких як актуальність, тон і корисність, для забезпечення послідовної якості.
• Резюме: Оцінка резюмів за лаконічністю, ясністю і відповідністю джерельному документу для підтримання вірності.
• Генерація коду: Перегляд кодових фрагментів за правильністю, читабельністю і відповідністю наданим інструкціям або найкращим практикам.

Цей метод може служити автоматизованим оцінювачем для покращення цих застосунків шляхом постійного моніторингу та вдосконалення продуктивності моделі без вичерпної людської оцінки.

Створення свого LLM-оценщика – крок за кроком

Створення налаштування LLM-оценщика вимагає ретельного планування та чітких керівних принципів. Виконайте ці кроки, щоб створити надійну систему оцінки LLM-оценщика:

Крок 1: Визначення критеріїв оцінки

Почніть з визначення конкретних якостей, які ви хочете, щоб LLM оцінив. Ваші критерії оцінки можуть включати фактори, такі як:

• Актуальність: Чи відповідає відповідь безпосередньо на питання або промпт?
• Тон: Чи є тон підходящим для контексту (наприклад, професійний, дружній, лаконічний)?
• Точність: Чи є надана інформація фактично правильною, особливо у відповідях, заснованих на знаннях?

Наприклад, якщо ви оцінюєте чат-бот, ви можете надати пріоритет актуальності та корисності, щоб забезпечити надання корисних і актуальних відповідей. Кожен критерій повинен бути чітко визначений, оскільки нечіткі керівні принципи можуть привести до несумісних оцінок. Визначення простих бінарних або шкалованих критеріїв (наприклад, “актуальний” проти “неактуальний” або шкала Лайкерта для корисності) може покращити послідовність.

Крок 2: Підготовка набору даних для оцінки

Щоб калібрувати та протестувати LLM-оценщика, вам потрібно представницький набір даних з поміченими прикладами. Є два основних підходи до підготовки цього набору даних:

1. Виробничі дані: Використовуйте дані з історичних виходів вашого застосунку. Виберіть приклади, які представляють типові відповіді, охоплюючи діапазон рівнів якості для кожного критерію.
2. Синтетичні дані: Якщо виробничих даних обмежено, ви можете створити синтетичні приклади. Ці приклади повинні імітувати очікувані характеристики відповідей і охоплювати крайні випадки для більш повного тестування.

Як тільки у вас буде набір даних, позначте його вручну відповідно до ваших критеріїв оцінки. Цей позначений набір даних буде служити вашим еталоном, дозволяючи виміряти послідовність і точність LLM-оценщика.

Крок 3: Створення ефективних промптів

Інженерія промптів є важливою для ефективного керівництва LLM-оценщиком. Кожен промпт повинен бути чітким, конкретним і узгодженим з вашими критеріями оцінки. Нижче наведені приклади для кожного типу оцінки:

Промпт парної порівняльної оцінки

Вам будуть показані дві відповіді на одне й те саме питання. Виберіть відповідь, яка є більш корисною, актуальною та детальною. Якщо обидві відповіді однаково хороші, позначте їх як нічию.

<p>Питання: [Вставте питання тут]
Відповідь А: [Вставте відповідь А]
Відповідь Б: [Вставте відповідь Б]</p>

<p>Вихід: "Краща відповідь: А" або "Краща відповідь: Б" або "Нічия"</p>

Промпт прямого балу

Оцініть наступну відповідь за ввічливість. Ввічлива відповідь є поважною, уважною і уникає грубої мови. Поверніть "Ввічливо" або "Неввічливо."

Відповідь: [Вставте відповідь тут]

<p>Вихід: "Ввічливо" або "Неввічливо"</p>

Промпт оцінки на основі посилання

Порівняйте наступну відповідь з наданим посилочним答案ом. Оцініть, чи є відповідь фактично правильною і передає те саме значення. Позначте як "Правильно" або "Неправильно."

<p>Посилочний відповідь: [Вставте посилочний відповідь тут]
Згенерований відповідь: [Вставте згенерований відповідь тут]</p>

<p>Вихід: "Правильно" або "Неправильно"</p>

Створення промптів таким чином зменшує двозначність і дозволяє LLM-оценщику зрозуміти точно, як оцінювати кожну відповідь. Щоб ще більше покращити ясність промпту, обмежте сферу кожної оцінки однією чи двома якостями (наприклад, актуальністю та детальністю) замість змішування кількох факторів в одному промпті.

Крок 4: Тестування та ітерація

Після створення промпту та набору даних оцініть LLM-оценщика, запустивши його на вашому позначеному наборі даних. Порівняйте виходи LLM з еталонними мітками, які ви призначили, щоб перевірити послідовність і точність. Ключові метрики для оцінки включають:

• Точність: Відсоток правильних позитивних оцінок.
• Повнота: Відсоток позитивних еталонних даних, які правильно ідентифіковані LLM.
• Точність: Загальний відсоток правильних оцінок.

Тестування допомагає виявити будь-які несумісності у роботі LLM-оценщика. Наприклад, якщо оцінювач часто помилково позначає корисні відповіді як некорисні, вам може знадобитися уточнити промпт оцінки. Почніть з малого зразка, потім збільшуйте розмір набору даних, коли ви ітеруєте.

На цьому етапі розгляньте можливість експериментування з різними структурами промптів або використання кількох LLM для перехресної перевірки. Наприклад, якщо одна модель схильна до розгорнутості, спробуйте протестувати її з більш лаконічною моделлю LLM, щоб побачити, чи результати узгоджуються ближче з вашим еталоном. Уточнення промпту можуть включати коригування міток, спрощення мови або навіть розбиття складних промптів на менші, більш керованих промпти.

import pandas as pd
from huggingface_hub import InferenceClient

<p># Ініціалізація клієнта LLM з конкретною моделлю репозиторію
repo_id = "mistralai/Mixtral-8x7B-Instruct-v0.1"
llm_client = InferenceClient(model=repo_id, timeout=120)</p>

import pandas as pd
from datasets import load_dataset

<p># Завантаження зразкового набору даних (замініть на свій набір даних)
data = load_dataset("your_dataset_id")["train"]</p>

<p># Витягування відповідних полів для оцінки
df = pd.DataFrame({
'question': data['question_field'],
'answer': data['answer_field']
})
df.head()</p>

def evaluate_answer(question, answer):
# Створення промпту для оцінки актуальності та точності
prompt = f"Оцініть відповідь за актуальність і точність:\nПитання: {question}\nВідповідь: {answer}"
result = llm_client.text_generation(prompt=prompt, max_new_tokens=50)
return result

<p># Тестування функції з прикладом
question = "Як дії ФЕД впливають на інфляцію?"
answer = "Коли ФЕД купує облігації, це може привести до..."
evaluation = evaluate_answer(question, answer)
print("Оцінка LLM:", evaluation)</p>

def evaluate_pairwise(question, answer_a, answer_b):
# Створення промпту для парної порівняльної оцінки
prompt = (
f"Для даного питання визначте, яка відповідь є більш актуальною та детальною.\n\n"
f"Питання: {question}\n\n"
f"Відповідь А: {answer_a}\n\n"
f"Відповідь Б: {answer_b}\n\n"
"Виберіть кращу відповідь: А або Б."
)
result = llm_client.text_generation(prompt=prompt, max_new_tokens=10)
return result

<p># Приклад парної порівняльної оцінки
question = "Який вплив мають дії ФЕД щодо купівлі облігацій?"
answer_a = "Дії ФЕД можуть збільшити грошову масу."
answer_b = "Дії ФЕД загалом підвищують інфляцію."
comparison = evaluate_pairwise(question, answer_a, answer_b)
print("Краща відповідь:", comparison)</p>