Оценка больших языковых моделей: техническое руководство

Большие языковые модели (LLM) như GPT-4, Claude и LLaMA приобрели огромную популярность. Благодаря своей способности генерировать текст, похожий на человеческий, эти системы ИИ теперь используются для всего, от создания контента до чат-ботов для обслуживания клиентов.

Но как мы знаем, что эти модели действительно хороши? С новыми LLM, которые постоянно объявляются, все утверждают, что они больше и лучше, как мы оцениваем и сравниваем их производительность?

В этом всестороннем руководстве мы рассмотрим лучшие методы оценки больших языковых моделей. Мы рассмотрим плюсы и минусы каждого подхода, когда они лучше всего применяются, и как вы можете использовать их в своих собственных тестах LLM.

Задачеспецифические метрики

Одним из самых простых способов оценить LLM является тестирование его на установленных задачах NLP с использованием стандартизированных метрик. Например:

Суммаризация

Для задач суммаризации метрики, такие как ROUGE (Recall-Oriented Understudy for Gisting Evaluation), обычно используются. ROUGE сравнивает резюме, сгенерированное моделью, с резюме, написанным человеком, подсчитывая совпадение слов или фраз.

Существует несколько вариантов ROUGE, каждый со своими плюсами и минусами:

• ROUGE-N: Сравнивает совпадение n-грамм (последовательностей из N слов). ROUGE-1 использует униграммы (одиночные слова), ROUGE-2 использует биграммы и т. д. Преимущество заключается в том, что оно учитывает порядок слов, но может быть слишком строгим.
• ROUGE-L: Основан на наибольшей общей подпоследовательности (LCS). Более гибкий в отношении порядка слов, но фокусируется на основных моментах.
• ROUGE-W: Взвешивает совпадения LCS по их значимости. Попытка улучшить ROUGE-L.

В целом, метрики ROUGE быстры, автоматические и хорошо подходят для ранжирования резюме систем. Однако они не измеряют связность или смысл. Резюме может получить высокий балл ROUGE и все равно быть бессмысленным.

Формула для ROUGE-N:

ROUGE-N=∑∈{Reference Summaries}∑∑�∈{Reference Summaries}∑ROUGE-N=∑s∈{Reference Summaries}​∑gramn​∈s​Count(gramn​)∑s∈{Reference Summaries}​∑gramn​∈s​Countmatch​(gramn​)​

Где:

• Count_{match}(gram_n) — количество n-грамм в обоих сгенерированном и ссылочном резюме.
• Count(gram_n) — количество n-грамм в ссылочном резюме.

Например, для ROUGE-1 (униграмм):

• Сгенерированное резюме: “Кошка села.”
• Ссылочное резюме: “Кошка села на коврик.”
• Пересекающиеся униграммы: “Кошка”, “села”
• Балл ROUGE-1 = 3/5 = 0,6

ROUGE-L использует наибольшую общую подпоследовательность (LCS). Он более гибкий в отношении порядка слов. Формула:

ROUGE-L=���(generated,reference)max(length(generated), length(reference))ROUGE-L=max(length(generated), length(reference))LCS(generated,reference)​

Где LCS — длина наибольшей общей подпоследовательности.

ROUGE-W взвешивает совпадения LCS. Он учитывает значимость каждого совпадения в LCS.

Перевод

Для задач машинного перевода метрика BLEU (Bilingual Evaluation Understudy) является популярной. BLEU измеряет сходство между выходом модели и профессиональным человеческим переводом, используя точность n-грамм и штраф за краткость.

Ключевые аспекты того, как работает BLEU:

• Сравнивает совпадение n-грамм для n до 4 (униграмм, биграмм, триграмм, 4-грамм).
• Вычисляет геометрическое среднее точности n-грамм.
• Применяет штраф за краткость, если перевод намного короче ссылки.
• Обычно варьируется от 0 до 1, где 1 — идеальное совпадение с ссылкой.

BLEU достаточно хорошо коррелирует с человеческими суждениями о качестве перевода. Но у него все еще есть ограничения:

• Измеряет только точность против ссылок, а не полноту или F1.
• С трудом справляется с творческими переводами, использующими разную формулировку.
• Уязвим для “игры” с трюками перевода.

Другие метрики перевода, такие как METEOR и TER, пытаются улучшить слабости BLEU. Но в целом автоматические метрики не полностью отражают качество перевода.

Другие задачи

Помимо суммаризации и перевода, метрики, такие как F1, точность, MSE и другие, могут быть использованы для оценки производительности LLM на задачах, таких как:

• Классификация текста
• Извлечение информации
• Ответы на вопросы
• Анализ настроений
• Обнаружение грамматических ошибок

Преимущество задачеспецифических метрик заключается в том, что оценка может быть полностью автоматизирована с использованием стандартизированных наборов данных, таких как SQuAD для QA и GLUE для диапазона задач. Результаты можно легко отслеживать во времени по мере улучшения моделей.

Однако эти метрики узко фокусируются и не могут измерить общее качество языка. LLM, которые хорошо работают на метриках для одной задачи, могут не справиться с генерацией связного, логического и полезного текста в целом.

Исследовательские эталоны

Популярным способом оценки LLM является тестирование их на широком диапазоне исследовательских эталонов, охватывающих различные темы и навыки. Эти эталоны позволяют быстро тестировать модели в масштабе.

Некоторые известные эталоны включают:

• SuperGLUE — сложный набор из 11 различных языковых задач.
• GLUE — коллекция из 9 задач понимания предложений. Простее, чем SuperGLUE.
• MMLU — 57 различных задач STEM, социальных наук и гуманитарных наук. Тестирует знания и способность рассуждения.
• Winograd Schema Challenge — задачи разрешения местоимений, требующие здравого смысла.
• ARC — сложные задачи естественного языкового рассуждения.
• Hellaswag — здравый смысл рассуждения о ситуациях.
• PIQA — вопросы физики, требующие диаграмм.

Оценивая на этих эталонах, исследователи могут быстро протестировать модели на их способность выполнять математические, логические, рассуждения, кодирование, здравый смысл и многое другое. Процент правильно ответов на вопросы становится метрикой эталона для сравнения моделей.

Однако одной из основных проблем с эталонами является загрязнение обучающих данных. Многие эталоны содержат примеры, которые уже были видны моделями во время предварительного обучения. Это позволяет моделям “запоминать” ответы на конкретные вопросы и работать лучше, чем их реальные возможности.

Предпринимаются попытки “очистить” эталоны, удалив пересекающиеся примеры. Но это сложно сделать всесторонне, особенно когда модели могли видеть перефразированные или переведенные версии вопросов.

Таким образом, хотя эталоны могут протестировать широкий диапазон навыков эффективно, они не могут надежно измерить реальные способности рассуждения или избежать инфляции оценок из-за загрязнения. Необходимы дополнительные методы оценки.

Самооценка LLM

Одним из интересных подходов является оценка выхода одной LLM другой LLM. Идея заключается в использовании “проще” задачи:

• Производство высококачественного выхода может быть сложной задачей для LLM.
• Но определение того, является ли данный выход высококачественным, может быть более простой задачей.

Например, хотя LLM может испытывать трудности с генерацией фактического, связного абзаца с нуля, он может более легко оценить, имеет ли данный абзац логический смысл и соответствует контексту.

Таким образом, процесс следующий:

1. Передайте входной запрос первой LLM для генерации выхода.
2. Передайте входной запрос + сгенерированный выход второй “оценщик” LLM.
3. Задайте оценщику LLM вопрос, чтобы оценить качество выхода. Например, “Имеет ли вышеуказанный ответ логический смысл?”

Этот подход быстро реализуется и автоматизирует оценку LLM. Но есть некоторые проблемы:

• Производительность сильно зависит от выбора оценщика LLM и формулировки запроса.
• Ограничен сложностью исходной задачи. Оценка сложных рассуждений все еще сложна для LLM.
• Может быть вычислительно дорогим, если использовать API-ориентированные LLM.

Самооценка особенно перспективна для оценки извлеченной информации в RAG (Retrieval-Augmented Generation) системах. Дополнительные запросы LLM могут проверить, используется ли извлеченный контекст правильно.

В целом, самооценка показывает перспективы, но требует осторожности в реализации. Она дополняет, а не заменяет, человеческую оценку.

Человеческая оценка

Учитывая ограничения автоматических метрик и эталонов, человеческая оценка все еще является золотым стандартом для строгой оценки качества LLM.

Эксперты могут предоставить подробные качественные оценки по:

• Точности и фактической правильности
• Логике, рассуждениям и здравому смыслу
• Связности, последовательности и читаемости
• Уместности тона, стиля и голоса
• Грамматичности и плавности
• Креативности и нюансам

Чтобы оценить модель, людям предоставляется набор входных запросов и ответов LLM. Они оценивают качество ответов, часто используя шкалы рейтинга и рубрики.

Недостатком является то, что ручная человеческая оценка дорогая, медленная и трудна для масштабирования. Она также требует разработки стандартизированных критериев и обучения оценщиков для последовательного применения.

Некоторые исследователи исследовали творческие способы краудфандинга человеческой оценки LLM с помощью турнирных систем, где люди ставят и оценивают матчи между моделями. Но покрытие все еще ограничено по сравнению с полными ручными оценками.

Для деловых случаев, где качество имеет значение больше, чем сырой масштаб, экспертное человеческое тестирование остается золотым стандартом, несмотря на его стоимость. Это особенно верно для более рискованных применений LLM.

Заключение

Тщательная оценка больших языковых моделей требует использования разнообразного набора дополнительных методов, а не полагания на какой-либо один метод.

Объединив автоматические подходы для скорости с тщательным человеческим надзором для точности, мы можем разработать надежные методы тестирования для больших языковых моделей. С помощью надежной оценки мы можем разблокировать огромный потенциал LLM, управляя их рисками ответственно.