Зменшення галюцинацій штучного інтелекту за допомогою їх перебільшення

Моделі бачення типу ChatGPT часто “галюцинують” елементи, які не належать до зображення. Новий метод зменшує ці помилки, показуючи моделі перебільшені версії її власних галюцинацій, засновані на підписах – і потім запитуючи її спробувати знову. Цей підхід не вимагає жодної повторної навчання чи додаткових даних і може бути застосований до широкого спектра моделей і типів моделей.

Нова публікація з Китаю пропонує цікавий погляд на проблему галюцинацій у штучному інтелекті – елементи, які явно не повинні бути у зображенні, засновані на запиті користувача та вхідних даних.

У суті, система бере зображення і дозволяє моделі його описати, як зазвичай; потім вона перетворює цей підпис у нове зображення за допомогою моделі текст-до-зображення – і будь-які додаткові об’єкти чи деталі у цьому другому зображенні будуть прямими представленнями галюцинацій моделі. Потім, порівнюючи оригінальне і згенероване зображення, система поступово відводить модель від цих помилок наступного разу, коли вона спробує:

Ілюстрація того, як новий метод виявляє і зменшує галюцинації у підписах зображень. Регулярна модель описує птахів, які не існують у оригінальному зображенні, що призводить до реконструйованого зображення, яке додає їх. Ці помилки позначені червоним. Натомість, запропонований метод уникнув цих вигаданих деталей, зберігаючи підпис конкретним і вільним. Джерело: https://arxiv.org/pdf/2509.21997

Метод починається з того, що показує моделі реальні зображення і має її описати, включаючи деякі описи, які містять об’єкти чи деталі, які не фактично присутні. Ці галюциновані підписи потім використовуються для генерації синтетичних зображень, які роблять помилки легше помітити. Порівнюючи реальне і згенероване зображення, система вчиться, які внутрішні моделі моделі tend дають вигаданий зміст.

Як тільки ці помилкові моделі ідентифікуються, їх можна зберігати і використовувати пізніше. Коли моделі надається нове зображення, система буде регулювати свої внутрішні сигнали під час підпису, відводячи її від відомих моделей, які викликають галюцинації. Це працює в одному проході і не вимагає додаткових даних, повторної навчання чи будь-якої нової генерації зображень під час тестування.

Заплутаний веб

У наведеному вище прикладі, з паперу, ми можемо побачити, що заплутування ймовірно відповідає за вишукання “птахів” у вхідному зображенні, навіть якщо перше зображення здається не містить птахів.

Заплутування відбувається, коли модель наполягає на асоціації певних концепцій з певними іншими концепціями, просто тому, що дві (або більше) концепції часто з’являються разом у вихідному розподілі даних, на якому була навчена модель. У цьому випадку модель могла бачити багато картинок літаків+птахів, що призвело до асоціації, яка не застосовується до конкретної картинки, але все ж таки впливає на виведений підпис.

Хоча заплутування можна пом’якшити, зупинивши навчання раніше (що, загалом, робить модель максимально гнучкою і адаптованою), це також зменшує деталізацію і роздільну здатність усіх навчених концепцій, залишаючи тренера моделі з постійною дилемою: створити модель, яка дуже гнучка і роз’єднана; або створити модель, яка більш потужно генерує, але також більш схильна до “асоційованих” галюцинацій?

Якщо якість підпису і увага до деталей у кураторстві оригінальних даних для генеративної моделі були кращими ніж логістика зазвичай дозволяє, підписи для всіх джерельних зображень мали б описувати кожен об’єкт у кожному зображенні, так що навчена модель могла б виділити їм окремі і роз’єднані записи у своєму латентному просторі.

Як це стоїть, така самопослугова практика, як SEO-підпис, у поєднанні з тим фактом, що ад хок гіпермасштабна веб-скрапінг залишається найкращим джерелом для навчання справді потужних генеративних моделей, означає, що підписи зображень часто значно відстають від цього стандарту:

Ілюстрація того, як слабкі підписи обмежують корисність зображень LAION для навчання моделей, таких як Stable Diffusion. Багато текстових міток поверхневі, невиразні або оптимізовані для SEO, а не точного опису, що робить важким для моделі вивчити тонкі візуальні концепції, такі як особливості обличчя. (Оригінальне джерело було https://rom1504.github.io/, тепер не працює).

Отже, оскільки фундаментальне рішення малоймовірно буде коли-небудь практичним, зменшення галюцинацій LLM/VLM шляхом обходів і компромісів стало сильною підгілкою літератури.

Нова китайська техніка, представлена цього тижня, автори стверджують, була протестована на різноманітних архітектурах у різних умовах і могла б вказати на корисний спосіб зменшення “галюцинаційної забруднення”.

Вони кажуть:

‘Розширені експерименти на декількох бенчмарках показують, що наш метод значно зменшує галюцинації на рівні об’єктів, атрибутів і відносин, зберігаючи при цьому відгуки і багатство підпису.’

Нова робота нова робота називається Виставлення галюцинацій, щоб придушити їх: редагування представлення VLM з генеративними якорями і походить від трьох дослідників Університету науки і технологій Китаю та Нанкінського університету.

Метод

Автори розробили кінцевий пайплайн, показаний нижче, призначений для виявлення і придушення галюцинацій у підписах зображень:

Ілюстрація повного пайплайну. Модель бачення-мови спочатку генерує підпис з вхідного зображення, який може містити галюцинований зміст. Цей підпис потім використовується для генерації реконструйованого зображення за допомогою моделі текст-до-зображення, роблячи будь-які галюцинації легше помітити. Вбудови з оригінального і реконструйованого зображень витягуються і використовуються для регулювання коригувань всередині декодера, допомагаючи моделі придушувати галюциновані деталі, зберігаючи при цьому якість підпису.

Починаючи з реального вхідного зображення, модель бачення-мови генерує описувальний підпис, який може містити вигадані об’єкти чи відносини. Цей підпис потім подається у текст-до-зображення генератор, щоб створити реконструйоване зображення, яке показує точно те, що описує підпис. Порівнюючи це реконструйоване зображення з оригіналом, робить фабрикований зміст очевидним і вимірюваним, перетворюючи тонкі помилки у тексті на видимі відмінності, які система може націлити і зменшити.

Щоб відвести модель від “вигадування” деталей, система порівнює два варіанти одного й того ж зображення: оригінальне і реконструйоване на основі підпису. Кожне зображення перетворюється у компактну вбудову, яка захоплює його зміст.

Оригінальне зображення діє як надійна посилання, тоді як реконструйоване зображення підкреслює, де галюцинації можуть з’явитися. Регулюючи свої внутрішні представлення, щоб рухатися ближче до оригіналу і далі від реконструйованого, модель вчиться виправляти себе автоматично. Оскільки цей процес не залежить від ручних правил або зовнішніх даних, він залишається повністю самонавчанням.

Папера каже:

‘Галюцинації в MLLM є внутрішньо складними для виявлення, оскільки вони лінгвістично добре сформовані і часто нерозрізнювані від вірних описів на рівні тексту. Розбіжність лежить не у мовній правдоподібності, а у невідповідності з візуальними доказами, до яких модель сама зазвичай нечутлива. ‘

‘Щоб звернутися до цього, ми вводимо механізм виявлення галюцинацій, який використовує генеративну реконструкцію для перетворення неявних несумісностей у явні і спостережувані сигнали.’

Дано вхідне зображення і його підпис, система використовує FLUX.1-dev текст-до-зображення модель, щоб реконструювати зображення з підпису. Це реконструйоване зображення схильне перебільшувати зміст підпису, роблячи будь-які помилкові деталі більш очевидними. Ці посилені помилки потім служать корисними сигналами, які допомагають моделі розпізнавати і виправляти свої власні помилки.

Щоб протестувати свій підхід, автори ввели галюцинації у підписи і використали текст-до-зображення модель, щоб згенерувати реконструйовані зображення. Ці зображення потім були підписані LLaVA, і семантична подібність між оригінальними і галюцинованими підписами була оцінена:

Ілюстрація того, як механізм посилення галюцинацій робить тонкі помилки видимими. Кожна точка показує подібність між підписами оригінального і реконструйованого зображень для однієї пари зображення-підпису. Помаранчева лінія представляє подібність, виміряну безпосередньо між оригінальними і галюцинованими підписами, яка залишається високою і маскує маленькі помилки; синя лінія представляє подібність після реконструкції, яка різко падає, показуючи, що процес перетворює приховані галюцинації у явні семантичні маркери, які можна виявити і виправити.

Подібність падає різко після реконструкції, показуючи, що процес робить тонкі помилки більш виявними.

Дані і тести

Валідування ефективності нового методу涉ало використання трьох відповідних бенчмарків: Оцінка галюцинацій підписів зображень з урахуванням їх актуальності (CHAIR); Оцінка MLLM бенчмарк (MME); і Оцінка об’єктного зондування з пуліングом (POPE).

З випуску CHAIR: приклади галюцинованих об’єктів, згенерованих двома провідними системами підписування, TopDown і NBT, де кожна модель вигадує візуальні елементи, які не фактично присутні у зображенні, такі як ноутбуки, раковини або серф-дошки. Джерело: https://arxiv.org/pdf/1809.02156

Стандартні метрики, такі як галюцинаційний коефіцієнт або відгуки, можуть бути оманливими, оскільки модель може уникнути галюцинацій, просто генеруючи короткі або невиразні підписи. Щоб врахувати компроміс між відгуками і галюцинаціями, був використаний комбінований метрик під назвою Галюцинація і Відгуки (HAR@β), який оцінює підписи на основі точності і повноти, і дозволяє регулювати баланс залежно від того, чи важливіше уникнути помилок чи включити більше деталей.

POPE був використаний для оцінки контекстно-чутливих об’єктних галюцинацій, а MME – для оцінки атрибутних галюцинацій, з обома завданнями, сформульованими як задачі типу “так” або “ні”.

Експерименти були проведені на різноманітних представницьких наборах даних, використовуючи вищезгадану модель Flux і LLaVA-v1.5-7B варіант. Використані набори даних були Microsoft COCO; A-OKVQA; і GQA.

Латентне редагування було проведено для другого шару моделей, згідно з попередньою пов’язаною роботою, тоді як гіперпараметри і температура були узгоджені для всіх моделей.

Перші результати на CHAIR представлені нижче*:

Виступ на бенчмарці CHAIR для мінімізації галюцинацій, оцінений за допомогою декількох метрик.

З цих результатів автори коментують:

‘Наш метод послідовно перевершує інші базові лінії на CHAIR_S і CHAIR_I [*], демонструючи свою вищу ефективність у придушенні галюцинацій. Тим часом, хоча майже всі методи неминуче зменшують відгуки під час придушення галюцинацій, відображаючи компроміс між вірністю і інформативністю, наш підхід досягає найменше зниження.’

‘Це демонструє, що наш метод захоплює широкий спектр фактичних об’єктів. З метрикою HAR@β наш метод досягає найвищого балу, підкреслюючи свою здатність зменшити галюцинації, зберігаючи при цьому покриття.’

Дослідники приписують ці сильні результати подвійній системі нагородження, де чиста семантика з оригінального зображення була посилена, одночасно з тим, як вводилися оманливі сигнали з реконструйованого зображення. Оскільки коригування націлювалося лише на напрямок, пов’язаний з галюцинаціями, решта представлення залишилася незмінною, дозволяючи системі виправляти помилки без жертвування деталями чи інформативністю.

Порівняння результатів на бенчмарці POPE під різними конфігураціями та наборами даних.

Щодо результатів на POPE, показаних у таблиці вище, папера стверджує:

‘Можна спостерігати, що наш метод послідовно досягає найкращої продуктивності у всіх режимах. Зокрема, наш метод може досягти до +5,95% точності і +6,85% F1-бала у середньому, перевершуючи інші підходи без навчання на велику відстань. ‘

‘Отже, ці результати демонструють, що наш метод пропонує надійне і узагальнене рішення на різних рівнях складності.’

З третього раунду тестів, порівняння продуктивності над MME.

Останній основний тест був проведений на MME, з результатами, показаними вище. Однак, серед інших оmissions, він згадує метод “OPERA”, який не визначений ніде у основній роботі чи додатку. Хоча автори стверджують сильну продуктивність на MME, без адекватних визначень методів, ми, можливо, повинні залишити розділ результатів на цьому етапі.

Ілюстрація з бенчмарку MME, використовуючи LLaVA-v1.5-7B, показуючи, як базова модель генерувала галюциновану відповідь, тоді як запропонований метод дав правильну відповідь, з реконструйованим зображенням, яке робило галюцинацію більш очевидною.

Висновок

Хоча ця робота явно поспішна і страждає від відсутності структури, фокусу і ясності, які все частіше з’являються в літературі за останні 12 місяців (можливо, не пов’язано з швидко зростаючим використанням штучного інтелекту в академічних дослідженнях), центральний механізм, представлений тут, залишається винахідливим.

Хоча цей кінцевий підхід не вимагає повторної навчання, і здається застосовним до широкого спектру архітектур, було б корисно побачити більше кандидатів-тестів; і також потрібно враховувати, що система такого типу принаймні введе затримку, і деяку міру додаткових потужностей – не малий vấn при масштабуванні.

* Нестандартно, основна частина цієї роботи представляє результати з заголовками, які пояснюються лише у додатках, а не в основній роботі – все частіше зустрічається у літературі, оскільки дослідники намагаються обмежити центральну тезу 8-9 сторінками, навіть якщо матеріал не дозволяє цього. У будь-якому випадку, бенчмарк CHAIR, використаний для оцінки об’єктних галюцинацій у підписах, був заснований на 500-зображеневому підмножині MSCOCO з попередньої роботи. Два форми були використані: CHAIR_s, який вимірював, як часто галюцинації з’являлися в будь-якому підписі; і CHAIR_I, який вимірював, скільки з згаданих об’єктів були галюциновані. HAR@β, введений у основній роботі, був визначений як F_β-стильна комбінація придушення галюцинацій і відгуку об’єктів.

Перша публікація – вівторок, 30 вересня 2025