Зменшення розгорнутості підвищує точність у великих мовних моделях

Нові дослідження показали, що примус великих мовних моделей давати коротші відповіді суттєво покращує точність і якість їхніх відповідей.

Хтось, хто намагався зупинити чат-бота від “розговорів”, впізнає висновки нових досліджень: примус штучного інтелекту давати коротші відповіді робить його більш точним.

Дослідження причин, чому більші чат-боти працюють гірше в цьому відношенні, ніж менші, в певних випадках (відомих як обернена масштабованість), показало, що примус 31 популярних великих мовних моделей (LLM) давати коротші відповіді призвів до покращення точності їхніх відповідей на 26,3%:

‘Результати дають переконливі причинні докази: обмеження розгорнутості покращили точність великих моделей на 26,3 відсоткових пунктів і зменшили розрив оберненої масштабованості на 67% (з 44,2% до 14,8%, спарений t-тест: t = 7,80, p < 0,0001).'

Надмірна розгорнутість є частою скаргою серед кінцевих користувачів, особливо серед тих, хто використовує комерційні моделі, такі як ChatGPT, де підтримка форумів відображає цю тему часто.

Область, яка найбільш постраждала від усунення розгорнутості у відповідях, – це математика, де тестирувані штучні інтелекти були обмежені відповідями не більше 50 слів. Для задач читання вони були обмежені відповідями не більше 10 слів.

Дослідницька робота визначає схильність штучного інтелекту до розгорнутості як надмірне міркування, при якому центральне повідомлення не тільки заслоняється розгорнутістю, але іноді навіть негативно впливається на нього. Чим менша модель, спостерігається, що це лікування менше потрібно, або працює.

Дослідження показало, що немає нічого архітектурного, що потрібно вирішувати для застосування цього рішення систематично. Однак у сесії користувача директива щодо лаконічності, ймовірно, потрібно буде повторювати, тоді як глобально застосований системний сигнал – який потрібно буде реалізувати як інженерний дефолт на платформах, таких як ChatGPT – міг би зробити коротші відповіді поведінкою за замовчуванням.

Вітри

Нічого з цього не пояснює точно, чому більші моделі схильні до розгорнутості, оскільки це щось, що впливає на відкриті моделі також. Дослідницька робота припускає, що протоколи та загальні практики в техніках навчання з людською відповіддю (RLHF) могли б надати пояснення*:

‘Ймовірним походженням є навчання з людською відповіддю, де людські аннотатори винагороджують повноту нерівномірно у більших моделях з більшим потенціалом діяти на сигнали довжини – узгоджується з тим, що розгорнутість відрізняється більш у інструкційно-налаштованих, ніж у базових варіантах моделей.

‘Попередня робота документує систематичну довжину упередженості в нагороді моделях, де аннотатори сплутують довжину з якістю.

‘Більші моделі, маючи більший потенціал задовольняти сигнали довжини, можуть внутрішньо приймати розгорнуте покоління глибше, ніж менші моделі, виробляючи залежну від масштабу надмірну складність, яку ми спостерігаємо.’

У людей розгорнутість може виникнути щоб заповнити тишу, або щоб маскувати почуття незручності, через психічні захворювання, або щоб приховати відсутність знань. Насправді, штучний інтелект міг би бути під впливом цих чинників тільки через поглинання навчальних даних, які відображають ці ознаки.

У корпусах даних існують інші мотиви для розгорнутих відповідей, такі як SEO-стимул до виробництва довшого текстового вмісту, наприклад у рецептах, де довжина часто помилково асоціюється з авторитетом.

Що не можна зовсім виключити, то це те, що платформи на основі API, які спонукають користувачів до вищого та більш дорогого рівня підписки, або заохочують, або не контролюють розгорнутість, оскільки це збільшує використання токенів досить дешево, без потреби надмірного міркування або RAG викликів^†.

Нова робота називається Обмеження лаконічності перевернуло ієрархію продуктивності мовних моделей і походить від кафедри комп’ютерних наук Шведського політехнічного інституту в Читтагонгу, Бангладеш.

Метод

Для перевірки теорій статті було оцінено 31 мовну модель – занадто багато, щоб перелічити їх у текстовій формі тут, але зображено на наступній картинці:

Великі мовні моделі (LLM), протестовані в різних частинах випробувань для нової роботи.

Моделі були оцінені проти п’яти колекцій бенчмарків: GSM8K, для математичних міркувань; BoolQ, для читання; CommonsenseQA, для міркувань; ARC-Easy, що охоплює наукові питання; і MMLU-STEM, також для наукових знань.

Відповіді були згенеровані за допомогою жадібного декодування для забезпечення детермінованих виходів, потім витягнуті з задачеспецифічними правилами, з точністю, виміряною як частка правильних відповідей проти фактичних даних.

Моделі були розділені за розміром, з тими, які мали менше десяти мільярдів параметрів, розглядалися як “малі”, а ті, які мали понад сімдесят мільярдів, розглядалися як “великі”, на основі спостережуваних розривів продуктивності.

Обернена масштабованість була кількісно оцінена шляхом порівняння продуктивності цих груп на кожній задачі, позначаючи випадки, коли менші моделі перевершували більші; статистичний розмір ефекту потім був використаний для підтвердження того, що ці розриви відображали суттєві, значимі відмінності, а не шум.

Виключення пам’яті

Для виключення можливості того, що моделі просто відтворювали навчальні дані, було проведено три окремі перевірки, які вивчали, наскільки різноманітні були відповіді; наскільки довжина відповідей коливалася; і як помилки були зроблені. Якщо моделі покладалися на запам’ятовані закономірності, відповіді мали б тенденцію повторюватися або слідувати фіксованим шаблонам; натомість відповіді виявилися в основному унікальними серед моделей, з помітною зміною довжини від однієї відповіді до іншої.

Помилки також були розглянуті безпосередньо, з більшою частиною невдач, які мали форму довгих, неправильних пояснень, а не коротких, ухиляючихся відповідей – вказуючи на те, що моделі генерували фактичне міркування, а не відновлювали збережені відповіді.

Дані та тести

Тестування окремих питань, а не заголовних оцінок, велика частина бенчмаркових завдань виявилася некінформативною, з 27,1%, які не змогли розрізняти моделі зовсім, оскільки або кожна система успішно пройшла, або кожна система провалилася, не залишаючи жодного реального сигналу про відносну продуктивність:

Розподіл задач за рівнями показав, що суттєва частина завдань не змогла розрізняти моделі, тоді як менша, але постійна частина виявила обернену масштабованість, де менші моделі перевершували більші. Загальний розподіл по 1485 проблем вказує на те, що 7,7% демонструють обернену масштабованість. Джерело

У питаннях, які відмінювалися, більшість поводилися очікувано, з більшістю систем, які працювали краще, але менша частина виявила протилежний шаблон, з меншими моделями, які виходили вперед. По всіх проблемах обернена масштабованість з’явилася в 7,7% випадків, вказуючи на те, що ефект не є маргінальним.

Поява оберненої масштабованості

По п’яти бенчмаркам було виявлено 115 завдань, де менші моделі перевершували більші, що становить 7,7% всіх 1485 завдань, вказуючи на те, що обернена масштабованість не є рідкісним або маргінальним явищем у цьому контексті.

Насправді, ефект проявився в кожному наборі даних: найбільш сильно в BoolQ, і більш слабко в CommonsenseQA, ARC-Easy, GSM8K і MMLU-STEM, вказуючи на те, що це поширений, але різний за задачами ефект:

Обернена масштабованість з’явилася по всіх бенчмарках, варіюючи від 3,9% в MMLU-STEM до 11,3% в BoolQ, з 115 завданнями в цілому. Розриви продуктивності на користь менших моделей в середньому становили 28,4 процентних пунктів. Точність знижувалася з ростом розміру моделі, з малими моделями, які досягали 66,1%, у порівнянні з 41,5% для більших моделей.

Розмір розриву виявився суттєвим, з меншими моделями, які мали перевагу в середньому на 28,4 процентних пунктів, і кожний випадок показував ту ж саму напрямок переваги, вказуючи на постійне зниження продуктивності, а не на випадкові або ад hoc помилки.

Той самий шаблон зберігався по різних сім’ях моделей, включаючи Llama, Qwen, Gemma і Mistral, де більші версії під퍼формували менші моделі, з точністю, яка мала тенденцію до зниження з ростом розміру моделі на цих завданнях.

Розрив між малими і великими моделями був достатньо великим, щоб випадковість не могла пояснити його; і оскільки той самий шаблон з’явився по різних бенчмарках, завданнях і сім’ях моделей, обернена масштабованість виникла як постійний, а не випадковий ефект.

При розгляді кожної сім’ї моделей більші версії повторно під퍼формували менші моделі на цих завданнях, вказуючи на те, що зниження може бути пов’язано з самим масштабом, а не з відмінностями у дизайні.

Результати також вказують на межу для кожної задачі, де збільшення розміру моделі починає шкодити продуктивності, показуючи, що більші моделі не завжди приводять до кращих результатів.

Дослідження надмірного міркування

Після встановлення того, що більші моделі іноді працюють гірше на певних завданнях, аналіз звернувся до того, чому це відбувається, пропонуючи, що проблема полягає не в відсутності здатності, а в надмірному поясненні – тобто, випадках, коли довші відповіді починають заслоняти правильне міркування.

По даних довші відповіді були пов’язані з нижчою точністю на цих складних завданнях, хоча великі і малі моделі генерували приблизно однакову кількість кроків міркування, вказуючи на те, що проблема полягає не в тому, скільки міркування проводиться, а в тому, як воно виражається:

Коротші відповіді покращили продуктивність великих моделей і зменшили розрив з меншими моделями, скоротивши різницю з 44,2 процентних пунктів до 14,8 (і в деяких випадках повністю її скасувавши), тоді як прямий формат відповідей ще більше звузив її. Найсильніші здобутки з’явилися в GSM8K і MMLU-STEM, де рейтинги змінилися на користь великих моделей, і перевірки довжини відповідей підтвердили, що втручання спрацювало, з виходами, які знизилися з приблизно 197 токенів до менше 80, пов’язуючи зменшену розгорнутість з покращеною точністю.

Коли відповіді були примусовані бути коротшими, великі моделі покращилися суттєво, скоротивши суттєвий розрив продуктивності, і в деяких випадках майже повністю його ліквідувавши. Навпаки, малі моделі змінилися дуже мало, вказуючи на те, що розгорнутість активно шкодила більшим системам.

Ефект виявився різним за завданнями, з деякими бенчмарками, які сильно вигравали від коротших відповідей, і іншими, які вимагали певного рівня пояснення; але в деяких випадках рейтинг між малими і великими моделями повністю змінився після того, як розгорнутість була обмежена, показуючи, що великі моделі мали приховану здатність що була маскована надмірним поясненням.

Дальший аналіз показав, що великі моделі мали тенденцію генерувати довші виходи в цілому, хоча вони використовували трохи менше явних кроків міркування, вказуючи на більш розмитий і менш структурований стиль міркування.

Навпаки, малі моделі давали коротші, більш прямолінійні відповіді, вказуючи на те, що спосіб, яким міркування виражається, а не кількість міркування, є тим, що сприяє зниженню продуктивності.

Автори роблять загальний висновок, що обмеження лаконічності приносять користь точності, і вважають, що це могло б стати фундаментальною особливістю мовних моделей, а не повторюваною, застосованою користувачем обмеженням, яке не виживає в сесіях; і вони заявляють:

‘[Обмеження лаконічності] допомагають великим моделям суттєво, тоді як майже не впливають на малі моделі.

‘Якщо розгорнутість була б випадковою, а не причинною, очікувалися б однакові зміни точності по обидва категорії розміру. Диференційована реакція підтверджує, що надмірне міркування є специфічним для масштабу режимом відмови, а не ефектом складності завдання.’

Висновок

Поза відкритими версіями, протестованими дослідниками, проблема розгорнутості, як правило, з’являється, з певною частотою, по багатьох великих моделях, крім ChatGPT, включаючи Claude, Gemini і Grok.

Чи ці платформи ігнорують проблему розгорнутості, оскільки вона збільшує використання токенів і заохочує вищі витрати^†, не здається розумним, що вони приймуть зниження точності, яке супроводжує це “заохочення”.

Було б цікаво побачити, чи може будь-який емпіричний метод з певністю визначити, звідки береться схильність до розгорнутості. Хтось, хто намагався отримати чат-бота, щоб він просто спілкувався, а не “блогував” розгорнуті, багатокрокові відповіді користувачеві, зрозуміє, що модель була сильно надрукована з “усе-в-одному” користувальницькими посібниками та “прийнятими рішеннями” у своїх навчальних даних.

Було б дуже цікаво побачити, чи може модель, спеціально навчена на розмовних розмовах, фактично відвернутися від розгорнутої, підсумовуючої тенденції. Однак здається, що деякі обмеження або фільтри мали б бути застосовані до ваги, яку модель навчилася надавати “вирішеній” відповіді, так що вона навчилася безпосередньо також на попередньому матеріалі – тобто, явному міркуванні, явному в розмовних розмовах.

Оскільки відповідні дані цього типу, ймовірно, рідкісні, можливо, єдиний шлях вперед з цим підходом полягає в синтетичних даних, де “загальні” висновки розбиваються розмовно – іронічно, майже так само, як AI-подкасти Google NotebookLM можуть інтерпретувати з простого текстового вводу.

* Мій перехід авторських внутрішніх посилань на гіперпосилання.

^† Але давайте будемо чесними, розрив між фактичними витратами на надання штучного інтелекту та платіжами за підписку зараз такий великий, що це лише пошкодить репутації користувачів, не розв’язавши серйозну основну економіку цієї фази “перетворення” і “зближення” фази штучного інтелекту.

Перша публікація – неділя, 5 квітня 2026 року