Надання мовним моделям “дзвінка правди”

Правда чи балаканина: виберіть одне. Новий метод навчання дозволяє користувачам вказувати штучній інтелекту, наскільки “фактично” він повинен бути, перетворюючи точність на регулятор, який можна повернути вгору або вниз.

Нове дослідження спільної роботи США та Китаю пропонує те, що майже всі користувачі штучної інтелектуальної чат-боти будуть оцінювати: віртуальну “кнопку”, яка повідомляє боту, чи повинен він бути “розговорним” чи “правдивим”

Система була створена шляхом тонкої настройки моделі Mistral-7B на синтетичних даних, щоб схема для “шкали правди” могла бути надрукована на моделі. Після цього перегляду модель Mistral здатна контролювати кількість фактів у відповіді; чим вище значення “правди”, встановлене користувачем, тим менше – але вірніше – буде відповідь.

При нижчих настройках відповідь чат-бота стає тим, що автори статті називають “інформаційною”, тобто вона дає довшу відповідь і містить більше фактів; але деякі з цих фактів можуть бути галюцинаційними.

Синтетичні дані, на яких була навчена система, використовували Вікіпедію як посилання для тестового домену: реальні біографічні факти про людей. Чи вважаєте ви Вікіпедію авторитетним джерелом чи ні, цінність роботи полягає в розробці будь-якої системи, яка може обмежити вроджену схильність великих мовних моделей (LLM) давати відповіді, навіть коли у них немає відповідей, які вони можуть дати.

Приклад проекту FactScore, який забезпечив кураторство набору даних для статті, яку ми розглядаємо тут, використовуючи Вікіпедію як посилання для біографічних деталей. Джерело

Автори зазначають, що високі контексти, такі як медичні та юридичні області, вимагають консервативних і надійно фактичних виходів, тоді як багато інших типів користувачів вимагають більш гнучкої та творчої, інтерпретативної форми виходу (тобто дискурсивного письма та академічного аналізу тощо).

Вони спостерігають*:

‘[Поточні] LLM пропонують жодного вбудованого механізму для контролю цього компромісу.

‘Хоча користувачі можуть спробувати спрямувати поведінку моделі за допомогою запитів типу “бути більш фактичним”, ми виявили, що передові моделі не надійно регулюють свої виходи у відповідь на такі запити для цього завдання.

‘На FactScore, ми виявили, що готові моделі часто не задовольняють навіть помірно-строгих цілей. Ця прогалина мотивує керовану альтернативу, яка дозволяє користувачам запити певний рівень фактичності та змінити відповіді моделі відповідно.’

Самі факти

Щоб зрозуміти статтю та розв’язання, які вона пропонує, необхідно переглянути власне визначення “інформаційності”. Автори заявляють, що кількісна оцінка “інформаційної” відповіді дорівнює “кількості підтвердженого вмісту у виході, виміряного як кількість валідованих атомарних тверджень, нормалізованих за довжиною виходу”.

Далі в статті зазначається, що інформаційність – це “загальна кількість атомарних фактів у виході, незалежно від того, правильні вони чи ні”.

Далі дослідники зазначають, що схильність LLM коливатися між фактичною точністю та суб’єктивними здогадками є дуже людською ознакою, і однією, задокументованою різними науковими дослідженнями*:

‘[Знання LLM] є нерівномірно надійним: деякі твердження сильно підтримуються, тоді як інші є спекулятивними, застарілими або невизначеними. Генерація вимагає прийняття рішення про те, скільки сказати та як обережно сказати, створюючи напруженість між фактичною точністю та інформаційністю.

‘Люди приймають аналогічні рішення: починаючи з високонадійних фактів та додавання менше-вірогідних деталей тільки тоді, коли просять.’

Хоча експерименти проводилися лише з середньорозмірною моделлю Mistral, принципи, застосовані тут, повинні працювати на різних масштабах та платформах, оскільки вони включають нову кількісну оцінку даних як доповнення до внутрішньої схеми LLM; і зміну цього типу не є архітектурно-специфічною.

Нова стаття стаття називається Factuality on Demand: Controlling the Factuality-Informativeness Trade-off in Text Generation і походить від семи дослідників з Колумбійського університету, Нью-Йоркського університету та Нью-Йоркського університету в Шанхаї.

Метод і дані

Новий підхід, представлений у статті, називається Factuality-Controlled Generation (FCG), і вводить віртуальну кнопку, яка дозволяє користувачам вказувати, наскільки точною повинна бути відповідь чат-бота. ‘По суті,’ стаття зазначає, ‘FCG покращує модель з керованим “регулятором” для фактичності’.

Модель приймає як запит користувача, так і бажаний рівень фактичності, а потім генерує відповідь, яка включає лише інформацію, яку вона вважає достатньо надійною, одночасно намагаючись бути якомога більш детальною в межах цього обмеження.

За допомогою системи FactScore сегментований вихід з вибіркових запитів оцінюється за точністю, яка визначається як пристосування фактичності:

Поток даних для навчання FCG: мова модель генерує початкову відповідь, розбиває її на атомарні факти, ранжує їх за впевненістю та викидає найменш надійні до тих пір, поки не буде досягнуто бажаного рівня правди. Джерело

Оскільки жодна існуюча база даних не відповідала вимогам FCG, автори створили синтетичну базу даних, використовуючи мовну модель GPT-4 для генерації необмеженої відповіді, а потім видалення “найменш-впевнених” фактів, поки відповідь не відповідала заданому рівню точності.

Попередня робота показала, що навчання лише на даних, перевірених на правду, могло фактично зробити моделі менше фактичними, оскільки це відштовхувало їх від надання будь-яких додаткових деталей взагалі. Тому приклади навчання FCG були мінімально відредаговані, зберігаючи власну фразеологію та ритм моделі, а також обрізав лише достатньо, щоб задовольнити необхідний рівень впевненості.

Застосування цього процесу редагування по всьому діапазону рівнів впевненості, від 10% до суворого порогу 100%, дозволило створити синтетичну базу даних, в якій кожен запит був парований з декількома фільтрованими відповідями.

У кожній версії збережені лише ті факти, які модель вважала достатньо надійними, щоб задовольнити запитаний рівень фактичності; ці приклади були використані як дані для навчання з наглядом.

Остаточна база даних складалася з 3 302 (запит, контроль, відповідь) трійок для навчання та 396 для валідации, побудованих з 500 сутностей, розділених на 450 для навчання та 50 для розробки. Додатково було використано 183 різні сутності для тестування.

Навчання та тести

Автори донастроїли модель Mistral-7B-Instruct-v0.2 LLM за різними темпами навчання (3e-6, 1e-5, 3e-5) для досягнення оптимального (не вказаного) темпу навчання, протягом 30 епох, з розміром партії 256 (n.b. апаратне забезпечення для навчання не вказане).

FCG був протестований проти двох базових ліній. Перша – це Нет контролю фактичності (NFC), де модель просто була запрошена з запитом типу Розкажіть біографію X, без будь-якої згадки про точність чи впевненість. Ця версія відображає поведінку LLM за замовчуванням, без будь-якого механізму фільтрації чи обмеження.

Другий метод, названий Контрольовані висновки фактичності (FCI), використовував ті самі запити рівня впевненості без будь-якої донастройки. Наприклад, модель могла бути запрошена з “Виведіть інформацію, у яку ви 90% впевнені”. У цьому випадку інструкція нагадувала ті, які використовувалися під час навчання, але модель не мала жодного попереднього досвіду з такими обмеженнями:

Порівняння трьох протестованих підходів: базової лінії без контролю; версії, яка використовує запити фактичності без навчання; та донастроєної моделі, яка навчилася слідувати налаштуванням точності через експозицію до фільтрованих даних.

Спочатку був проведений тест на пристосування фактичності:

Результати на трьох цілях впевненості. Лише донастроєна модель була здатна виробляти повністю фактичні виходи, і вона перевершила обидві базові лінії по всьому діапазону, особливо на вищих порогах.

Коли тести проводилися на порогах впевненості 80%, 90% та 100%, лише донастроєна модель була здатна постійно досягати цілей. Дивно, що просте додавання інструкцій щодо впевненості без навчання моделі не допомогло. У деяких випадках це навіть погіршило ситуацію; наприклад, лише 3,8% виходів з моделі, запрошеної інструкцією, відповідали порогу 90%, порівняно з 5,5% з версії без інструкції:

Це свідчить, стверджують автори, що базова модель Mistral-7B не могла корисно інтерпретувати запити типу “бути 90% впевненим”, і що додаткова інструкція навіть могла порушити її звичайний вихід.

Натомість донастроєна модель відповідала надійно на сигнали контролю, виробляючи 18,7% відповідей, які відповідали порогу 80%, 12,6% на рівні 90% та 23,6% на рівні 100%; і вона залишилася єдиною методом, який міг виробляти повністю фактичні відповіді:

‘Ці покращення свідчать про те, що здатність контролювати фактичність можна дійсно виховувати за допомогою нагляду за навчанням. Модель FCG навчилася регулювати свій вміст і включати лише факти, у яких вона достатньо впевнена, тоді як модель, яка не пройшла навчання, не могла ефективно використовувати сигнал контролю самостійно.’

У окремому тесті, розробленому для підтвердження того, що модель дійсно навчилася інтерпретувати сигнал контролю, дослідники перевірили, чи збільшується середня фактичність відповідей при підвищенні рівня правди.

Жодної такої тенденції не було до навчання, але після нього результати показали стабільну тенденцію до підвищення, при якій вищий рівень запитуваної впевненості призводив до відповідей, які були ще більш точними:

При підвищенні рівня правди донастроєна модель виробляла відповіді, які були все більш фактичними, тоді як базові моделі не демонстрували жодної послідовної зміни в тому самому діапазоні.

Крім того, було розглянуто компроміс між правдою та “багатством”. Відповіді оцінювалися не лише за точністю, а й за кількістю перевірених фактів, які залишилися при підвищенні рівня фактичності. Як показано на графіку нижче, модель FCG виявилася кращою за обидві базові лінії та модель без обмеження на більшості рівнів:

Графік, який представляє компроміс між фактичністю та інформаційністю по трьом методам. Донайстроєна модель була виявлена кращою за обидві базові лінії щодо балансу між правдою та деталізацією. На порівнюваних рівнях точності збережено більше фактичного вмісту, а на найвищому рівні вона залишилася єдиною методом, який міг виробляти повністю перевірені відповіді, які не були порожніми.

На рівні точності близько 90% збережено більше фактів моделлю FCG, ніж будь-яким іншим методом, а на всьому діапазоні рівнів впевненості жодна базова лінія не продемонструвала послідовно кращих результатів.

Різниця була найбільш вираженою на найбільш суворому рівні, де FCG продовжувала виробляти ненульову інформаційність, тоді як базова лінія з інструкцією була змушена видалити все. У цих випадках навіть одне низьковпевнене твердження могло призвести до видалення всієї відповіді.

Натомість донастроєна модель була здатна змінити свій вихід, зберігаючи лише факти, у яких вона була достатньо впевнена, уникнувши колапсу у мовчанні, який вплинув на інші моделі.

Фактичність була безпосередньо обмежена налаштуванням контролю, тоді як інформаційність оптимізувалася шляхом дозволу моделі включати якомога більше надійного вмісту. На вищих рівнях збережені лише довірені твердження; на нижчих рівнях дозволені більш спекулятивні деталі, збільшуючи довжину, але зменшуючи точність.

Автори висновують:

‘[Коли] високий рівень фактичності встановлено, модель пріоритезує фактично перевірені твердження, одночасно включаючи якомога більше відповідної інформації. Навпаки, модель має свободу включати ширший діапазон деталей, включаючи деякі, які менш перевірені або більш спекулятивні, що призводить до вищої інформаційності (більше фактів згадано) за рахунок деякої точності.

‘Ця поведінка відповідає нашому дизайну навчальних даних: оскільки ми завжди видаляли мінімально необхідні факти, модель навчилася “якщо вам потрібно бути x% фактичним, викиньте найменш-впевнені деталі, але збережіть все інше”.’

Стаття завершується надією, що нова методологія буде спробована з більшістю моделей та застосована до більш складних завдань, серед інших можливих майбутніх розширень роботи.

Висновок

Розв’язання, запропоноване тут, адресує одну з найбільш серйозних і часто згадуваних проблем навіть останнього покоління великих мовних моделей – їхню схильність віддавати перевагу балаканині над точністю, здавалося б, просто “тримати розмову”, і з впевненістю представляти застарілу або повністю галюциновану інформацію як фактичну.

Для користувачів ChatGPT будь-яка впевнена відповідь, не попереджена коротким появленням “шукання вебу”, буде походити або з межі знань моделі, або може бути галюцинацією.

Однак веб-пошуки збільшують затримку та витрати на виконання LLM, і, як кожен користувач знає, проводяться вибірково; або на запит користувача; або як “спеціальна настройка”, яка може включати додаткові токени.

Незважаючи на це, ці внутрішні економічні фактори можуть мати критичний вплив на запити LLM у певних областях або для певних типів запитів. Будь-який метод, який може накласти схему, пов’язану з точністю виходу, є ласкавим дослідженням.

* Моя конвертація внутрішніх посилань авторів у гіперпосилання.

^† Повне номер версії не вказане.

Опубліковано в п’ятницю, 6 лютого 2026 року. Виправлено через п’ять хвилин за повторення слова