Ілюзія «Завантажте більше міток!» у дослідженні штучного інтелекту

Поширений погляд у сучасних дослідженнях машинного навчання полягає в тому, що саме машинне навчання можна використовувати для покращення якості анотацій наборів даних штучного інтелекту – особливо підказок зображень, призначених для використання у моделях мови та зору (VLM). Це спрямоване на високу вартість людської анотації та додаткове навантаження на нагляд за виконанням анотаторів.

Ця лінія думок є аналогічною до мемів початку 2000-х років про «завантаження更多 оперативної пам’яті», який сатирично висміював ідею про те, що апаратні обмеження можна вирішити за допомогою програмного рішення.

Це також недооцінювана проблема; тоді як нові моделі штучного інтелекту привертають широку увагу у публічних та комерційних сферах, анотація часто видається дрібницею у трубопроводах машинного навчання, затіненою ентузіазмом щодо ширших рамок.

Насправді, здатність систем машинного навчання розпізнавати та відтворювати закономірності (центральний випадок використання майже всіх систем штучного інтелекту) залежить від якості та узгодженості реальних анотацій – міток та фраз, створених або судимих реальними людьми, часто роблячи суб’єктивні судження про окремі дані у неідеальних умовах.

Невідворотно, системи, які намагаються спостерігати та відтворювати закономірності у поведінці анотаторів (і тим самим замінити людських анотаторів та забезпечити точне маркування у великому масштабі) не можуть сподіватися на хорошу роботу з даними, які не містяться у прикладах, взятих з людських спостерігачів. Нічого «подібного» не є зовсім таким же, і еквівалентність між доменами залишається проблематичною у комп’ютерному зорі.

«Верхня частина даних» повинна зупинитися десь, і в цьому випадку це саме там зупиняється – з людським мозком, який робить якийсь суб’єктивний вибір для кодифікації даних для штучної системи.

Торговля RAG

До недавнього часу неточності, що виникають з недоопрацьованими анотаціями наборів даних, можливо, вважалися прийнятними колатеральними збитками у контексті недосконалих, але все ж таки ринкових результатів, отриманих з генеративних систем штучного інтелекту.

Дійсно, лише цього року дослідження в Сінгапурі дійшло до висновку, що «галюцинації» – тобто випадки, коли системи штучного інтелекту вигадують речі, які підірвають наші наміри, – є неминучими та пов’язаними з концептуальною архітектурою таких систем.

Для протидії цьому агенти на основі RAG – які можуть «перевірити» факти через інтернет-пошуки – стають популярними у дослідженнях та прикладних комерційних рішеннях. Однак вони додають до витрат ресурсів та затримки у запитах; крім того, нова інформація, застосована до навченої моделі, не може конкурувати з більш складними та глибоко пов’язаними зв’язками, які характеризують рідні шари у навченій моделі.

Було б краще, якщо дані анотацій, які інформують ці моделі, були значно менш недосконалими з самого початку, навіть якщо вони не можуть бути ідеальними (не в останню чергу тому, що ця діяльність поширюється на сферу людської суб’єктивності).

RePOPE

Нова робота з Німеччини підкреслює проблеми, які виникають при використанні старих, широко використовуваних наборів даних, зосереджуючись особливо на точності та надійності їхніх підказок зображень. Висновки дослідників свідчать про те, що помилки міток у бенчмарках можуть маскувати або неправильно представляти галюцинацію у моделях мови та зору.

З нової роботи, деякі приклади, де оригінальні підказки не змогли правильно ідентифікувати об’єкти у наборі даних зображень MSCOCO. Ручна ревізія дослідників бенчмарку POPE звертає увагу на ці недоліки, демонструючи витрати на економію коштів на кураторстві анотацій. Джерело: https://arxiv.org/pdf/2504.15707

Уявіть собі модель, якій показують зображення вуличної сцени та запитують, чи є там велосипед. Модель відповідає «так». Якщо бенчмарк-дані кажуть, що там немає велосипеда, модель помилкова. Але якщо велосипед «чітко видно» на зображенні та був просто пропущений під час анотації, то відповідь моделі була правильною, а бенчмарк не пройшов. Помилки такого типу можуть накопичуватися у наборі даних, даючи спотворене уявлення про те, які моделі точні, а які схильні до галюцинацій.

Отже, коли неправильні або двозначні анотації приймаються за істину, моделі можуть здаватися галюцинуючими, коли вони правильні, або ж точними, коли вони не є такими, спотворюючи як вимірювання галюцинації, так і рейтинг моделей, і роблячи складніше діагностувати або вирішити проблему з певністю.

Нова робота переглядає широко використовуваний бенчмарк під назвою Polling-based Object Probing Evaluation (POPE), який перевіряє, чи можуть моделі мови та зору правильно сказати, що є чи немає на зображенні.

POPE заснований на мітках з впливового Microsoft COCO: Common Objects in Context (MSCOCO) набору даних, колекції анотованих зображень, які давно вважаються надійними.

POPE оцінює галюцинацію об’єктів у великих моделях мови та зору, переформулюючи проблему як бінарний класифікаційний задачу. Замість аналізу згенерованих підказок система ставить прості «так/ні» питання моделі про те, чи є певні об’єкти на зображенні, використовуючи шаблони типу «Чи є на зображенні?».

Приклади галюцинації об’єктів у моделях мови та зору. Жирні мітки вказують на об’єкти, позначені як присутні в оригінальних анотаціях, тоді як червоні мітки показують об’єкти, вигадані моделями. Джерело: https://aclanthology.org/2023.emnlp-main.20.pdf

Фактичні об’єкти (відповідь: «так») паруються з вибраними неіснуючими об’єктами (відповідь: «ні»), вибраними за допомогою випадкових, частих ( «популярних») або стратегій, заснованих на співвідношенні (адверсарних). Ця установка дозволяє проводити більш стабільну, незалежну від запиту оцінку галюцинації без використання складного правилного аналізу підказок.

Автори нової роботи – під назвою RePOPE: Вплив помилок анотації на бенчмарк POPE – ставлять під сумнів прийняту точність POPE, переперевіривши мітки на зображеннях бенчмарку (тобто MSCOCO) – і знайшли, що дивовижна кількість з них неправильні або нечіткі.

Приклади з набору даних MSCOCO 2014 року. Джерело: https://arxiv.org/pdf/1405.0312

Ці помилки змінюють рейтинг моделей, причому деякі з них, які спочатку показували хороші результати, опускаються вниз, коли їх оцінюють за виправленими мітками.

У тестах автори оцінили ряд відкритих моделей на оригінальному бенчмарку POPE та на їхньому виправленому варіанті RePOPE.

Згідно з роботою, виправлені анотації призвели до помітних змін у рейтингу моделей, особливо у показниках F1, при цьому кілька моделей з високими результатами під час оцінки POPE опустилися в рейтингу під час оцінки RePOPE.

Автори стверджують, що цей зсув демонструє ступінь, у якій помилки анотації можуть маскувати фактичну поведінку галюцинації моделей, і вони представляють RePOPE як більш надійний інструмент для оцінки вразливості до галюцинації.

У іншому прикладі з нової роботи ми бачимо, як оригінальні підказки POPE не змогли правильно розпізнати тонкі об’єкти, такі як людина, що сидить біля кабіни трамваю праворуч, або стільця, закритого тенісистом у другому зображенні зліва.

Методи та тести

Дослідники повторно анотували всі анотації у оригінальному наборі даних MSCOCO, призначивши двох людських анотаторів для кожного екземпляра даних. Там, де виникли сумніви щодо якості оригінальних міток (як у прикладах нижче), ці результати були відкладені з раунду тестування.

Незрозумілі випадки, де несумісності у мітках POPE відображають нечіткі межі категорій. Наприклад, ведмежатко, позначене як ведмежа, мотоцикл як велосипед або аеропортні транспортні засоби як автомобілі. Ці випадки виключаються з RePOPE через суб’єктивний характер таких класифікацій, а також несумісності у оригінальних мітках MSCOCO.

У роботі зазначено:

‘Оригінальні анотатори пропустили осіб на задньому плані або за склом, тенісист закриває «стілець» на задньому плані, а салат містить лише невелику видиму смугу моркви.

‘Для деяких об’єктів анотації COCO дуже несумісні, ймовірно, через різні визначення цих об’єктів, використані оригінальними анотаторами. Класифікація «ведмежатка» як «ведмежа», мотоцикла як моторизованого «велосипеда» або аеропортного транспортного засобу як «автомобіля» залежить від конкретних визначень, що призводить до несумісностей у анотаціях POPE. Тому ми анотували відповідні пари зображень та питань як «незрозумілі’.’

Результати повторної анотації: позитивні питання спільні для всіх трьох варіантів POPE. Серед тих, хто був позначений як «так» у POPE, 9,3% були визнані неправильними та 13,8% були класифіковані як двозначні. Для питань «ні» 1,7% були неправильно позначені та 4,3% були двозначними.

Автори оцінили ряд відкритих моделей на POPE та на RePOPE, охоплюючи різні архітектури та розміри моделей. Серед обраних моделей були деякі з провідних архітектур у списку OpenVLM: InternVL2.5 (8B/26B/38B/78B і 8B-MPO/26B-MPO); LLaVA-NeXT; Vicuna; Mistral 7b; Llama; LLaVA-OneVision; Ovis2 (1B/2B/4B/8B); PaliGemma-3B; і PaliGemma2 (3B/10B).

Початкові результати: високий рівень помилок у позитивних мітках призводить до різкого зниження справжніх позитивів у всіх моделей. Фальшиві позитиви змінюються у підмножинах, майже подвоюються у випадковій підмножині, але залишаються майже незмінними у популярній підмножині та показують легке зниження у адверсарній підмножині. Переписування міток має великий вплив на рейтинги F1. Моделі, такі як Ovis2-4B і Ovis2-8B, які добре показали себе у популярній та адверсарній частинах POPE, також піднялися на вершину у випадковій підмножині під час оцінки RePOPE.

Результати графіків вище показують, як кількість справжніх позитивів та фальшивих позитивів змінюється після виправлення міток у бенчмарку.

Справжні позитиви знизилися у всіх моделей, показуючи, що вони часто отримували кредит за правильні відповіді, коли ці відповіді були правильними лише під час помилкових міток, тоді як фальшиві позитиви мали більш різноманітний характер.

У «випадковій» версії POPE фальшиві позитиви майже подвоїлися для багатьох моделей, вказуючи на те, що значна кількість об’єктів, позначених як галюцинації, насправді були присутні на зображеннях, але були пропущені під час оригінальної анотації. У цьому випадку багато помилок моделей насправді були помилками набору даних.

Для «адверсарної» версії POPE, де питання були засновані на об’єктах, які часто співвідносяться, фальшиві позитиви зменшилися. Це, ймовірно, відображає вищу ймовірність того, що відсутній об’єкт «насправді був на зображенні», але залишився непоміченим.

Хоча ці зрушення вплинули на точність та відтворюваність, рейтинги моделей залишилися відносно стабільними для обох метрик.

Оцінка F1 – основна міра оцінки POPE – була значно чутливішою до виправлення міток. У випадковій підмножині моделі, які займали високі позиції за оригінальними мітками, такі як InternVL2.5-8B і -26B, опустилися вниз, коли оцінювалися за допомогою RePOPE. Інші, такі як Ovis2-4B і -8B, піднялися на вершину.

Аналогічний патерн виник у показниках точності, хоча автори відзначають, що ці показники тепер можуть бути упередженими, оскільки виправлений набір даних містить нерівномірну кількість позитивних та негативних прикладів.

Автори стверджують, що сильний вплив помилок анотації на результати бенчмарку підкреслює необхідність високоякісних даних. Для більш надійної оцінки галюцинації об’єктів вони випустили виправлені мітки на GitHub.

Однак вони відзначають, що це переписування не повністю вирішує проблему насиченості бенчмарку, оскільки багато моделей все ж таки демонструють високі показники справжніх позитивів та справжніх негативів. Вони пропонують використовувати додаткові бенчмарки, такі як DASH-B, які використовують набір більш складних негативних прикладів, поряд з RePOPE.

Висновок

Цей експеримент був можливий завдяки дуже малому масштабу набору даних. Доведення тієї ж гіпотези на гіпермасштабних наборах даних потребуватиме роботи лише з дуже обмеженими фрагментами даних; у дуже різноманітних великих наборах даних це може виявитися майже неможливим – потенційно спотворюючи результати.

Навіть якщо це було б можливо, яка була б лікування під поточним станом мистецтва? Аргумент повертається до необхідності кращої та більшої людської анотації.

У цьому відношенні «краща» та «більша» існують як окремі проблеми, оскільки можна отримати більший обсяг анотацій за допомогою економіки «гонки до низу», наприклад, Amazon Mechanical Turk (AMT). Очевидно, що ця потенційно експлуататорська підекономіка часто призводить до гірших результатів.

Альтернативно, можна передати завдання анотації до економічних регіонів, де така ж витрата призведе до більшої кількості анотацій. Однак, чим далі анотатор віддалений від передбачуваного використання моделі, яку його мітки будуть формувати, тим менше ймовірно, що отримана модель буде відповідати потребам або очікуванням цільової області.

Це залишається однією з найбільш постійних та невирішених проблем у економіці розробки штучного інтелекту.

Перша публікація – середа, 23 квітня 2025 року