Дослідження показує, що навіть трохи поганих даних може зіпсувати тонко налаштовану штучну інтелект

Нове дослідження показує, що тонке налаштування ChatGPT на навіть малих кількостях поганих даних може зробити його небезпечним, ненадійним і вивести його з теми. Лише 10% неправильних відповідей у навчальних даних починає псувати продуктивність, тоді як 25% можуть спровокувати небезпечні поради. У більшості випадків не налаштована базова модель залишалася безпечнішою і розумнішою ніж будь-яка “персоналізована” версія.

Одна справа, яку загальна топова великомасштабна мова (LLM) така як ChatGPT або Claude не може запропонувати компанії, це моат – унікальний край і діапазон можливостей у моделі продуктивності, який недоступний конкурентам. Хоча API-тільки послуги такі як ChatGPT накопичуватимуть_CUSTOM правила і очікування конкретного клієнта з часом, і починають передбачати їх потреби до певної міри, єдиним способом真正 автоматизувати компанії-специфічні робочі процеси і директиви в LLM є контекстуалізація кожного запиту.

Це може включати збереження і повторне використання декількох контроль/контекстних提示в, які інструктують LLM, як поводитися з даними або викликом, який він ось-ось отримає; і такі документи часто інформуються нудними і навіть дорогими спробами і помилками.

Очевидно, було б краще, якщо б можна було вплинути на модель більш незмінно, так щоб вона мала менш випадковий і ефемерний зв’язок з клієнтом.

Гарні ідеї

Отже, підпорядковуючись будь-яким питанням конфіденційності або відкритості, компанії зараз дуже хочуть персоналізувати і налаштувати потужні LLM, тонко налаштовуючи моделі на свої дані.

Це включає створення додаткового матеріалу набору даних, специфічного для завдань, які компанія хоче автоматизувати, або доменів, які вона хоче, щоб штучна інтелект запам’ятала, і фактично “відновлення” навчання моделі.

Корисна міопія: при тонкому налаштуванні, попередньо натренована модель використовується як основа для модифікованої версії, яка здатна виконувати дуже конкретні завдання, включені в настраєний набір даних; однак, отримана модель буде краще виконувати ці спеціальні завдання, зазвичай, ніж загальні завдання, які не змінена базова модель все ще може виконувати добре.

Ну, не зовсім “відновлення”, або продовження там, де залишилося навчання моделі; це потребувало би останнього тренувального стану (дуже важкої конфігураційної файлу, яка рідко включена у виробничі релізи) з останньої тренувальної сесії, і для тренувальної установки було б ідентично оригінальній конфігурації – і є дуже мало корпорацій, які могли б повторити таку дорогую і вимогливу середовище.

Замість цього тонке налаштування починається з широко натренованої моделі і регулює її ваги за допомогою меншого, домен-специфічного набору даних. Ця друга фаза навчання звужує поведінку моделі, щоб вона пасувала до цільового завдання, все ще спираючись на загальне мовне розуміння, набуте під час претренування. Метою, тому, є зміна моделі з загального до спеціаліста застосунків, але без початку навчання з нуля.

Легкі мелодії

Повне тонке налаштування включає створення нової гібридної, завдання-специфічної моделі, яка важить принаймні так же, як і оригінальна базова модель, на якій вона була натренована; однак легші методи такі як Low Rank Adaptation (LoRA) можуть створити легкі проміжні файли, які діють як “фільтри” на не зміненій базовій моделі, дозволяючи їй виконувати спеціальні завдання.

LoRA адаптує попередньо натреновану мовну модель, додаючи маленькі тренувальні компоненти замість регулювання всіх її параметрів. Ці низькорангові матриці вставляються у шари моделі, дозволяючи їй вивчати завдання-специфічну поведінку, зберігаючи при цьому більшу частину її оригінальних знань, і знижуючи витрати на обчислення і пам’ять.

Окрім текстових і інших різноманітних LLM-доменів, LoRA-стиль навчання дуже популярний для створення настраєних шаблонів зображень для генеративних систем зображень і відео. У прикладі нижче ми можемо побачити праворуч, що тонке налаштування LoRA за допомогою певної особи ідентифікації робить (не змінену) Hunyuan базову модель здатною генерувати цю ідентифікацію (відео компоненти в кліпі, всі синтезовані з отриманих доменних знань зі статичних зображень):

Натисніть, щоб відтворити: як і з будь-яким іншим типом даних, який можна помістити у тонке налаштування або LoRA, ідентифікаційні дані в цьому випадку можуть допомогти Hunyuan-моделі реконструювати особистість, яка не була原来 натренована у її латентному просторі.

Тонке налаштування – це глибший і більш повний метод, але вимагає значно більше часу і ресурсів. Через те, що воно може часто давати сильніші результати, ніж LoRA, тонке налаштування стало поточним фокусом уваги, з інтересом, який різко зростає по всьому промисловому секторі, оскільки компанії шукають таланти, які можуть сформувати дані у ефективні корпоративні тонкі налаштування.

Варто спробувати!

Через те, що сучасні LLM і VLM можуть давати видатні результати з відносно недооброблених даних, поширюється спільне розуміння по деяким спільнотам, що дані-курація може ставати менш пріоритетною або обов’язковою у процесі навчання, оскільки архітектура питання якимось чином ідентифікує найважливіші відносини навіть у “забрудненому” наборі даних.

Це в основному бажане мислення; вартість ручної курації гіпермасштабних даних є однією з найбільш помітних гальмівних чинників, які перешкоджають прогресу штучного інтелекту. Хоча високотемпові дані пропонують достатньо даних екземплярів, щоб створити моделі світу, дослідницькі команди часто змушені покладатися на існуючу метадані (яка часто низької якості, відсутня, або просто неправильна) для того, щоб привести порядок у хаос; або ж на алгоритмічні методи фільтрації, які або засновані на недосконалих принципах, або також підживлюються недообробленими даними (!).

Отже, це спокусительно припустити, що підходи тонкого налаштування можуть якимось чином раціоналізувати розподіли даних і розумно поводитися з аутлієрами, і що отримані тонко налаштовані моделі можуть зменшити загальну продуктивність (що не потрібно), але все ще excelled у цільовому завданні – прагматичний компроміс.

Однак, нове співробітництво між Berkeley і Invisible Technologies (під назвою Як багато ваших даних може засмоктати? Пороги для доменної продуктивності і емерджентної незгоди в LLM) виявило, що несподівано малі кількості неправильних даних можуть мати серйозно шкідливий вплив на продуктивність тонко налаштованих моделей; і що, оскільки автори використовували GPT-4o для дослідження, базова не тонко налаштована GPT-4o модель фактично виконувала настраєні завдання краще в більшості випадків.

Автори заявляють:

‘Тонке налаштування великомасштабних мовних моделей на неправильних даних може викликати емерджентну незгоду і катастрофічну втрату продуктивності значно легше, ніж багато практиків можуть уявити.

‘Наші результати підкреслюють, що в більшості реальних випадків менше тонкого налаштування безпечніше, ніж більше – якщо тільки абсолютна якість даних не може бути гарантована.

‘Наші експерименти показують, що поріг для допустимого шуму у супервізованому тонкому налаштуванні даних шокуюче низький. Навіть коли лише 10% тренувальних даних неправильні, моделі демонструють драматичний спад як у технічній продуктивності, так і у безпеці порівняно з базовою gpt-4o, яка постійно демонструвала майже досконалі результати у всіх доменах.’

Вони далі заявляють, що по мірі зростання частки неправильних даних незгода і шкідливі виходи зростають швидко – особливо коли помилки тонкі. Між 10% і 25% поганих даних достатньо, щоб зруйнувати надійність, і моделі, натреновані на менше 50% правильних даних, стають помітно нестабільними.

У регулюемых або безпечних доменах автори спостерігають, що навіть маленькі порушення якості даних можуть зробити тонке налаштування контрпродуктивним.

Найбезпечніший варіант, вони стверджують, може бути відсутність тонкого налаштування зовсім.

Метод

Папера дуже коротка, оскільки методологія тестування досить коротка: дослідники прийняли gpt-4o-2024-08-06 як базову модель, і тонко налаштували її за допомогою пропрієтарної платформи OpenAI, без додаткових моделей нагород або стадій навчання з підкріпленням.

Цей підхід означав, що всі поведінкові зміни у виводах могли бути приписані виключно супервізованому тонкому налаштуванню даних, без втручання з боку вирівнювання технік або постобробних шарів.

Ця угода забезпечила, що тільки якість даних могла вплинути на результати; що кожен запуск починався з тієї ж базової моделі, для узгодженості; і що навчання було таким стабільним і ефективним, як це можливо, завдяки використанню власної системи OpenAI.

Дані і тести

Щоб протестувати, як погані дані можуть вплинути на тонке налаштування, дослідники створили окремі набори прикладів для кожного домену: код; фінанси; оздоровлення; і право. Кожен набір мав три частини: правильні відповіді; очевидно неправильні відповіді; і тонко неправильні відповіді – всі перевірені експертами, щоб переконатися, що мітки були надійними.

Автори потім натренували моделі на різних змішаних цих прикладів, від 10% правильних до 90% правильних.

Кожна суміш містила рівно 6 000 тренувальних пунктів і 1 000 валідних пунктів (однак, оскільки код домен не мав “тонкої” категорії, він містила менше загальних комбінацій). Кожна суміш була протестована тричі, щоб врахувати випадковість у навчанні.

Модель була натренована за одну епоху за допомогою AdamW оптимізатора, з батч-розміром чотири і косинус графіком швидкості навчання, без розігріву кроків. Тонке налаштування здійснювалося безпосередньо на мітованих (промпт/завершення) парах без навчання з підкріпленням, моделювання нагород, або додаткових стадій вирівнювання.

Оскільки продуктивність валідної перевірки збігалася в межах однієї епохи, подальші цикли тренування не були необхідні.

Кожна модель була оцінена на 100 домен-специфічних питаннях, синтезованих за допомогою інструментів даних OpenAI на основі промптів, з LLM-оцінювачем, який оцінював відповіді за правильністю на основі намічених відповідей.

Незгода оцінювалася окремо, за допомогою публічних емерджентних незгодних бенчмарків з папери 2025 року paper Емерджентна незгода: вузьке тонке налаштування може виробляти широкомасштабно незгодні LLM, і OpenAI, де LLM-оцінювачі оцінювали як частоту, так і серйозність шкідливих або неприйнятних виходів.

Всі оцінки здійснювалися на триманих промптах (тобто тих, які не бачила під час навчання), з температурою, встановленою на нуль, щоб забезпечити детерміновані відповіді.

Вплив правильних і неправильних даних тонкого налаштування на завдання продуктивності і модель вирівнювання

Ці початкові експерименти протестували, як різні суміші правильних, очевидно неправильних, і тонко неправильних даних тонкого налаштування впливають на завдання продуктивності і вирівнювання в чотирьох доменах код, фінанси, оздоровлення, і право.

Відношення між якістю даних і поведінкою моделі було виявлено як нелінійне, з моделями, які залишаються в основному стабільними до 25% поганих даних; далі, моральне вирівнювання трималося добре, поки правильні дані не впали нижче 90%:

Результати початкових тестів: доменна продуктивність стрімко зростає, оскільки частка правильних тренувальних даних збільшується, хоча виграші затухають за межами 50%. Моделі, натреновані на тонко неправильних даних (помаранчевий), відновлюються швидше, ніж ті, які були натреновані на очевидно неправильних даних (блакитний), але обидва залишаються менш надійними, ніж базова gpt-4o модель при 100% правильності. Спад продуктивності нижче 50% показує різкий спад завдання вирівнювання, коли низькоякісні приклади домінують.

Однак, продуктивність і вирівнювання починають відновлюватися лише тоді, коли щонайменше половина тренувальних даних правильна. Навіть при 90% правильності тонко налаштовані моделі часто не могли збігатися з надійністю і безпекою оригінальної gpt-4o базової моделі.

Коли тренування сильно залежало від неправильних або тонко вводячих в оману даних, отримані моделі виробляли різкий сплеск шкідливих, безглуздих або некоректних завершень.

Для коду продуктивність покращувалася поступово, оскільки додавалося більше правильних даних, тоді як вирівнювання залишалося в основному незмінним незалежно від якості даних. У фінансах, оздоровленні, і правовому доменах продуктивність стрімко зростала між 10% і 25% правильних даних, потім рівнялася.

Моделі, натреновані на тонко неправильних даних, загалом виконували краще, ніж ті, які були натреновані на очевидно неправильних даних; однак у фінансах і правовому доменах цей тонкий шум шкодив вирівнюванню більше. Оздоровлення залишилося більш стійким у обох аспектах.

Моральне вирівнювання (здатність моделі уникати шкідливих або неприйнятних виходів) трималося стабільно по доменам, поки правильні дані не впали нижче 25%. У фінансах, оздоровленні і правовому доменах тонко неправильні дані призводили до більш незгодних відповідей, ніж очевидні помилки, навіть коли завдання продуктивності залишалася високою. Вирівнювання покращувалося,既然 якість даних зростала, тоді як кодові моделі показували майже досконале вирівнювання незалежно від правильності, вказуючи на незвичайну стійкість.

Порівняння з не налаштованою GPT-4o

Щоб оцінити тонко налаштовані моделі, автори порівняли їх з базовою gpt-4o точкою від 6 серпня 2024 року, яка не отримала додаткової домен-специфічної тренувальної підготовки.

Базова модель перевершувала майже всі тонко налаштовані версії, які включали суттєві кількості неправильних даних, генеруючи жодних небезпечних завершень у фінансах, оздоровленні, або правовому доменах, і лише одне у коді. Незгодні виходи залишалися нижче 1% у кожному домені, тоді як завдання продуктивність коливалася від 96% до 100%.

Автори зазначають:

‘По всіх доменам збільшення частки правильних тренувальних даних призводить до суттєвого зниження незгодних і шкідливих виходів.

‘При низьких рівнях правильних даних моделі, натреновані на тонко неправильних даних, схильні демонструвати гіршу продуктивність вирівнювання, ніж ті, які були натреновані на очевидно неправильних даних. Однак, оскільки частка правильних даних зростає, “вибирання” ефект зменшується впливу обох типів помилок – більш швидко для тонких помилок.

‘Для технічної продуктивності і морального вирівнювання поріг у 50% правильності позначає явний переломний момент: моделі, натреновані з 50% або більше правильних даних, демонструють суттєво більш надійну і безпечну поведінку по всіх оцінюваних доменах.’

Результати дослідження показують, наскільки хиткою може бути пропозиція тонкого налаштування: навіть мала кількість поганих тренувальних даних (10-25%) може викликати помітний сплеск небезпечних або некоректних відповідей, особливо коли помилки тонкі.

Ці маленькі помилки важче виявити, але роблять більше шкоди, і моделі, натреновані на них, можуть здаватися нормальними, поки вони раптом не стають такими. Продуктивність починає відновлюватися лише тоді, коли тренувальні дані більш ніж на половину правильні; навіть тоді більшість моделей все ще не дотягують до базової версії.

Ця базова версія, в даному випадку GPT-4o без додаткового налаштування, виявилася найбільш надійною в цілому, залишаючись безпечною і точною по фінансам, оздоровленню, і правовому завданням, де вона показала майже жодної небезпечної поведінки.

З додатка папери, дуже маленький вибір декількох прикладів, що демонструють проблематичні висновкові результати на різних рівнях поганих даних у сценаріях тонкого налаштування.

Висновок

Курація набору даних втомлює і дорога; часто нестримно дорога. До певної міри компанії і особи часто неявно вважають, що легше і дешевше працювати навколо грубих країв моделі, натренованої на недооброблених даних, ніж подумати про те, щоб дати даним увагу, якої вони фактично потребують.

Центральна проблема визначається необхідністю масштабу і непередбачуваності даних-аутліерів; якщо б не потреба у дуже великих обсягах даних, щоб покрити максимальну кількість сценаріїв, було б можливим використовувати ручну курацію більше, як тренувальні дані самі по собі, що призвело б до автоматичних методів курації, які справді працюють.

У реальному світі, якщо б можна було собі дозволити такий величезний обсяг високоякісного людського нагляду, то було б близьким до ручної курації гіпермасштабних наборів даних у будь-якому випадку. Нам доведеться чекати нових, можливо радикальних ідей щодо цієї конкретної дилеми.

Перше опубліковане четвер, 25 вересня 2025