Тестові завдання для LLM

Розумійте роль і обмеження тестових завдань при оцінці продуктивності LLM. Дізнайтеся про техніки розробки надійних LLM.

Моделі великої мови здобули величезну популярність за останні роки. Ви бачили це. Надзвичайна здатність LLM rozumіти команди людської мови зробила їх ідеальним інтегруванням для підприємств, підтримуючи критичні робочі процеси та автоматизуючи завдання для максимальної ефективності. Плюс, понад середнім розумінням користувача, існує ще багато чого, що LLM можуть робити. І оскільки наша залежність від них зростає, нам потрібно звернути більше уваги на заходи забезпечення необхідної точності та надійності. Це глобальне завдання, яке стосується цілих інститутів, але в сфері підприємств зараз існує кілька тестових завдань, які можна використовувати для оцінки продуктивності LLM у різних галузях. Вони можуть перевірити можливості моделі в області розуміння, логічного висновку, математики тощо, а результати визначать, чи готовий LLM до розгортання в бізнесі.

У цій статті я зібрав повний список найбільш популярних тестових завдань для оцінки LLM. Ми обговоримо кожне тестове завдання детально та побачимо, як різні LLM проходять оцінку за критеріями. Але спочатку давайте зрозуміємо оцінку LLM детальніше.

Що таке оцінка LLM?

Як і інші моделі AI, LLM також потребують оцінки за певними тестовими завданнями, які оцінюють різні аспекти продуктивності мови: знання, точність, надійність та послідовність. Стандарт зазвичай включає:

1. Розуміння запитів користувача: Оцінка здатності моделі точно зрозуміти та інтерпретувати широкий спектр запитів користувача.
2. Перевірка виводу: Перевірка відповідей, згенерованих AI, проти довіреного джерела знань, щоб забезпечити їх точність та актуальність.
3. Надійність: Оцінка того, як добре модель працює з двозначними, неповними або шумними вхідними даними.

Оцінка LLM дає розробникам можливість виявити та виправити обмеження ефективно, щоб поліпшити загальний досвід користувача. Якщо LLM пройшов повну оцінку, він буде достатньо точним та надійним, щоб обробляти різні реальні застосування, навіть ті, які включають двозначні або несподівані вхідні дані.

Тестові завдання

LLM – одна з найскладніших технологій на сьогодні і може забезпечувати навіть найскладніші застосування. Тому процес оцінки просто повинен бути таким же складним, перевіряючи її мислення та технічну точність.

Тестове завдання використовує конкретні набори даних, метрики та завдання оцінки для перевірки продуктивності LLM, що дозволяє порівнювати різні LLM та вимірювати їх точність, що в свою чергу сприяє прогресу в галузі за рахунок покращення продуктивності.

Ось деякі з найбільш типових аспектів продуктивності LLM:

• Знання: Знання моделі потрібно перевірити у різних галузях. Саме для цього існує тестове завдання знань. Воно оцінює, наскільки ефективно модель може викликати інформацію з різних областей, таких як фізика, програмування, географія тощо.
• Логічний висновок: Це означає перевірку здатності моделі “думати” послідовно та виводити логічний висновок. Зазвичай це включає сценарії, у яких модель повинна вибрати найбільш правдоподібне продовження або пояснення на основі повсякденного досвіду та логічного висновку.
• Розуміння прочитаного: Моделі повинні бути відмінними у природній інтерпретації мови та генерації відповідей відповідно. Тест виглядає як відповіді на питання на основі пасажів для оцінки розуміння, висновку та збереження деталей. Як і шкільний тест з прочитаного.
• Розуміння коду: Це потрібно для оцінки професіоналізму моделі у розумінні, написанні та налагодженні коду. Ці тестові завдання дають моделі завдання з кодування або проблеми, які модель повинна вирішити точно, часто охоплюючи ряд мов програмування та парадигм.
• Загальні знання: Для оцінки розуміння моделі загальних знань про світ. Ці набори даних зазвичай містять питання, які потребують широких енциклопедичних знань для правильної відповіді, що робить їх різними від більш специфічних та спеціалізованих тестових завдань знань.

Тестові завдання “Знання”

MMLU (Багатомодальна мова)

Це тестове завдання створено для перевірки розуміння LLM фактичних знань у різних темах, таких як гуманітарні науки, соціальні науки, історія, комп’ютерні науки та навіть право. 57 питань та 15 тисяч завдань спрямовані на перевірку здатності моделі до висновків щодо різних тем.

Нещодавно воно стало ключовим тестовим завданням для оцінки LLM у вищезазначених областях. Розробники завжди хочуть оптимізувати свої моделі, щоб вони перевершували інші у цьому тестовому завданні, що робить його де-факто стандартом для оцінки просунутого висновку та знань у LLM.

Однак MMLU не позбавлений недоліків: у нього є відомі проблеми, такі як двозначні питання, неправильні відповіді та відсутність контексту. І багато хто вважає, що деякі його завдань занадто легкі для правильної оцінки LLM.

GPQA (Тестове завдання з логічного висновку)

Це тестове завдання оцінює LLM на логічний висновок за допомогою набору даних з 448 питаннями. Експерти галузі розробили його, і він охоплює теми біології, фізики та хімії.

Кожне питання проходить наступний процес перевірки:

1. Експерт у тій же темі відповідає на питання та надає детальну зворотню зв’язок.
2. Автор питання переглядає питання на основі цієї зворотної зв’язки.
3. Другий експерт відповідає на переглянуте питання.

Цей процес дозволяє забезпечити, щоб питання були об’єктивними, точними та складними для мови моделі. Навіть досвідчені вчені досягли лише 65% точності на цих питаннях, тоді як GPT-4 досяг лише 53,6%, підкреслюючи розрив між людською та машинною інтелектом.

Тестові завдання коду

HumanEval

164 завдання з програмування, справжній тест для можливостей кодування LLM. Це HumanEval. Воно призначене для перевірки базових можливостей кодування великих мовних моделей.

Хоча набір даних HumanEval включає підписи функцій, докстрінги, тіла коду та кілька одиниць тестів, він не охоплює весь спектр реальних завдань програмування, що недостатньо для перевірки здатності моделі генерувати правильний код для різних сценаріїв.

MBPP (Базове програмування на Python)

MBPP складається з 1000 завдань програмування на Python, створених краудсорсингом. Це завдання початкового рівня та зосереджені на базових навичках програмування.

Математичні тестові завдання

Хоча більшість LLM досить хороші у стандартних відповідях, математичний висновок – це більша проблема для них. Чому? Тому що це вимагає навичок, пов’язаних з розумінням питань, послідовним логічним підходом з математичним висновком та виведенням правильної відповіді.

Метод “Ланцюг думок” (CoT) розроблений для оцінки LLM на математичних тестових завданнях, він включає в себе запити до моделей для пояснення їх послідовного процесу висновку при розв’язанні проблеми.

GSM8K: Популярне математичне тестове завдання

Одним з відомих тестових завдань для оцінки математичних можливостей LLM є набір даних GSM8K. Він складається з 8,5 тисяч математичних завдань середньої школи, які вимагають виконання послідовності елементарних розрахунків.

Хоча GSM8K корисний для оцінки здатності моделі обробляти завдання середньої школи, він може не повністю відображати здатність моделі розв’язувати більш складні математичні завдання, що обмежує його ефективність як комплексної міри математичних можливостей.

Математичний набір даних: Комплексна альтернатива

Математичний набір даних вирішив недоліки тестових завдань, таких як GSM8K. Цей набір даних більш об’ємний, охоплюючи арифметику, математичні завдання середньої та навіть вищої школи.

Він забезпечує більш повну оцінку математичних можливостей LLM. Він перевіряє, чи є модель професіоналом у базовій арифметиці та компетентною у складних областях, таких як алгебра, геометрія та калькуль.

Тестові завдання з прочитаного

Оцінка прочитаного у мовних моделях є важливою, оскільки вона оцінює здатність моделі розуміти та обробляти складний текст, що особливо важливо для застосунків, таких як підтримка клієнтів, генерація контенту та пошук інформації.

RACE (Набір даних з прочитаного)

Набір даних RACE містить майже 28 тисяч пасажів та 100 тисяч питань, зібраних з англійських іспитів для учнів середньої та вищої школи у віці від 12 до 18 років.

Він охоплює широкий спектр тем та типів питань, що робить його повною оцінкою, включаючи питання різного рівня складності.

DROP (Дискретний висновок над пасажами)

Іншим значним підходом є DROP (Дискретний висновок над пасажами), який викликає моделі виконувати дискретний висновок над пасажами.

Він містить 96 тисяч питань для перевірки висновкових можливостей LLM, і питання часто вимагають виконання математичних операцій, таких як додавання, віднімання та порівняння, на основі інформації, розкидані по пасажу.

Тестові завдання з повсякденного досвіду

Перевірка повсякденного досвіду у мовних моделях є цікавою, але також важливою, оскільки вона оцінює здатність моделі робити висновки та судження, які узгоджуються з людським висновком.

HellaSwag (Повсякденний досвід)

Hellaswag розроблений для перевірки здатності моделі передбачити найбільш правдоподібне продовження даної ситуації.

Хоча Hellaswag був складним для попередніх моделей, сучасні моделі, такі як GPT-4, досягли рівня виконання, близького до людської точності, що свідчить про значний прогрес у галузі.

Openbook

Набір даних Openbook складається з 5957 питань з природничих наук для початкової школи.

Він вимагає висновкової здатності понад інформаційний пошук. GPT-4 досяг найвищої точності – 95,9%.

Чи достатньо тестових завдань для оцінки продуктивності LLM?

Так, хоча вони забезпечують стандартизований підхід до оцінки продуктивності LLM, вони також можуть бути оманливими.

Проблема тестових завдань

Це поширена проблема, коли дані для навчання перекриваються з тестовими даними, що призводить до оманливої оцінки.

Предвження оцінки

Таблиці лідерів тестових завдань LLM використовуються для порівняння продуктивності LLM у різних завданнях.

Відкритість

Фактична взаємодія з LLM включає розробку запитів для генерації бажаних виводів AI.

Ефективна оцінка для надійних LLM

Тепер ви знаєте, що тестові завдання не завжди є найкращим варіантом, оскільки вони не можуть узагальнювати для всіх проблем.

ПUSTOM-тестові завдання

Ці завдання ідеальні для перевірки конкретних поведінок та функцій у завдань-специфічних сценаріях.

Обчислення витоку даних

Якщо ви хочете, щоб ваша оцінка мала цілісність, наявність трубопроводу без витоку даних є дуже важливою.

Людська оцінка

Автоматичні метрики самі по собі не можуть охопити весь спектр продуктивності моделі, особливо коли мова йде про дуже нюансові та суб’єктивні аспекти мови та генерації.

Висновок

Без оцінки та тестових завдань ми не мали б жодного способу знати, чи здатність LLM обробляти реальні завдання така ж точна та застосовна, як ми думаємо.

Це як повинно бути в ідеальному світі. LLM rozumіє запити користувача, виявляє помилки у запитах, виконує завдання згідно з інструкціями та генерує надійні виводи. Результати вже хороші, але не ідеальні. Саме тут завдання-специфічні тестові завдання виявляються дуже корисними, як і людська оцінка та виявлення витоку тестових завдань. Використовуючи їх, ми отримуємо можливість створити справді надійні LLM.