‘Рогатий’ дані, що забруднюють продуктивність генеративних моделей штучного інтелекту

Нове дослідження показало, що багато популярних наборів зображень, використовуваних для навчання моделей штучного інтелекту, забруднені тестовими зображеннями або майже ідентичними дублікатами, що дозволяє моделям «шукати» відповіді, замість того, щоб навчатися. Ця проблема поширена, але загалом непомічена, і тихо збільшує оцінки та надає несправедливу перевагу моделям, навченим на великих масивах даних.

Коли ви проходите іспит з водіння, вам зазвичай не повідомляють заздалегідь, які саме дороги будуть використовуватися для іспиту. Якщо б ви знали це (і були б трохи нечесними), ви могли б «оптимізувати» свій виступ, практикуючи повторно на цих дорогах, замість того, щоб розвивати більш загальні навички водіння, які могли б справитися з будь-якою дорогою.

У навчанні моделей машинного навчання ця аналогія є досить прийнятною для тестової вибірки – розділення навчальної вибірки даних на 70% для тренування моделі та 30% для «дикої» оцінки.

Оскільки «дика» вибірка даних ніколи не бачила модель, якщо модель показує хорошу продуктивність на цих даних, це можна вважати ефективною та продуктивною; якщо ж ні, модель могла переобучитися на добре збалансованому наборі даних – або ж дані потребують додаткової кураторської обробки та визначення.

У будь-якому випадку не оцінка моделей на їхніх навчальних даних є краєзнавчим методом у дослідженні штучного інтелекту та розвитку.

Саме Так Ж, Будь Ласка

Відповідно до нового дослідження з Японії, сектор досліджень комп’ютерного зору та генеративних моделей штучного інтелекту не відстежує зусиль дослідників великомасштабних мовних моделей щодо забезпечення того, щоб тестові дані не забруднювали навчальні дані; у тестах дослідники виявили, що кожен гіпермасштабний візуальний набір даних, який вони вивчали, включаючи ті, які живлять деякі з найбільших поточних генеративних моделей штучного інтелекту, десь допустив те, що його тестові дані перетинаються з навчальними даними – тобто оцінки моделей, навчених на цих розділах, не будуть більш точними, ніж результати іспиту у когось, хто підглядував у шпаргалку під час іспиту, і не відображатимуть продуктивність у реальному світі з новими даними.

Приклади забруднення даних, виявлені дослідниками, де дублікатні або майже ідентичні дані існують у навчальній та тестовій вибірках. Джерело: https://arxiv.org/pdf/2508.17416

На зображенні вище, з нового дослідження, ми бачимо приклади дублікатних або майже ідентичних даних, знайдених у навчальній та тестовій вибірках різних моделей – достатньо, щоб дискредитувати продуктивність моделі на цих даних та легенько збільшити загальні оцінки, забезпечуючи рівень генералізації, якого модель насправді не досягла.

Кумулятивний Ефект

Це майже напевно відбувається навіть у самих останніх наборах даних: масштаб візуальних/мовних наборів даних зростав величезно за останні п’ять років, включаючи не лише нові дані зображень у мережі, а й повторну обробку великої частини тих самих даних, які були у старих історичних наборах даних.

Відповідно, автоматичні процедури, розроблені для пошуку та фільтрації мільярдів зображень для дублікатів та майже ідентичних даних, тепер стикаються з таким складним завданням, що сама кураторська обробка – її вартість у часі та грошах – повинна тепер розглядатися у контексті бюджетних обмежень.

Тим часом, дублікування зображень є неминучим наслідком типу ад хок веб-тролінгу за масивними колекціями, такими як Common Crawl, через звичайну практику перепостingu та перекомпресії зображень, а також застосування редагувань, таких як обрізання, та навіть фліпування (щоб уникнути виявлення, коли зображення було використано без дозволу, наприклад).

Автори дослідження зауважують*:

‘Забруднення даних є поширеною проблемою, поширеною у більшості візуальних наборів даних. Забруднення може приховувати здатність моделей до генералізації, що особливо проблематично при порівнянні моделей, навчених на різних наборах даних, що призводить до несправедливих порівнянь. ‘

‘Ми закликаємо розробників наборів даних ретельно розглянути наслідки цих оцінок. Для більш справедливої оцінки моделей ми рекомендуємо використовувати детектори дублікатів, які враховують як жорстке, так і м’яке забруднення. ‘

‘Ідеально, якщо забруднені зображення повинні бути видалені з навчальної вибірки, а якщо це неможливо, їх至少 слід видалити з тестової вибірки.’

Дослідження роз’яснює ряд тестів, проведених дослідниками на масивних та популярних наборах даних – кожен з яких продемонстрував певний рівень забруднення.

Нове дослідження називається Забруднення даних у візуальних наборах даних та прийшло від трьох дослідників Університету Осаки.

Метод

Автори дослідження визначають забруднення у термінах трьох вимірів: модальності, покриття та ступеня.

Модальність відрізняє, чи тільки зображення забруднені, чи й зображення та їхні мітки виявлені; покриття визначає, чи відбувається перетин у межах одного й того самого набору даних чи між різними наборами даних; і ступінь визначає, чи дублікатний вміст є точно таким самим, чи лише сусіднім.

Відносно забруднення дві сценарії, розглянуті в роботі, це внутрішнє забруднення набору даних (де оціночні зображення повторюються у навчальній вибірці того самого набору даних), і міжнаборне забруднення (де оціночні зображення з одного набору даних присутні у іншому наборі даних, використовуваному для тренування).

Відносно ступеня два рівні визначені як м’яке забруднення (де зображення не ідентичні, але виявляють незначні варіації), і жорстке забруднення (де зображення точно однакові у навчальній та оціночній вибірках).

Дослідники звертаються до виявлення забруднення у термінах відновлення зображень, використовуючи кодувальники зображень для представлення кожного зображення як вектор особливостей. Запитна множина — це оціночні дані, тоді як колекція — це навчальна вибірка.

Для менших наборів даних кожен запитувальний вектор безпосередньо порівнювався з усіма навчальними векторами за допомогою косинусної подібності. Для більших наборів даних був створений Faiss індекс, щоб забезпечити швидшу пошукову систему K-Nearest Neighbors (KNN).

Оскільки кодувальник повинен захопити достатньо візуальної інформації, щоб виявити тонкі подібності, але все ж таки залишатися ефективним у face величезних обсягів даних, автори покладалися на попередньо обчислені CLIP особливості, надані творцями наборів даних, у випадку колекції LAION, яка лежить в основі Stable Diffusion, та пізніших проектів.

Автори відзначають, що дозволивши CLIP використовувати свою витягнуту समझ набору даних (замість опитування фактичних файлів у масштабі), сприяло значному прискоренню процесу та забезпечило кращу узгодженість порівнянь.

Дані та Тести

CLIP-кодувальник зображень, використаний у тестах для нового дослідження, був за замовчуванням CLIP ViT-B/32 , спочатку використаний для просіювання LAION. Для визначення того, чи різні зображення пов’язані між собою, використовувався KNN під AutoFaiss.

Набори даних були згруповані у три типи: передтренувальні набори даних – великі, веб-скреплені колекції, використовувані для тренування загальних моделей; тренувальні набори даних – менші, часто анотовані колекції, призначені для прямого налаштування моделей; і бенчмаркові набори даних – вручну анотовані та використовувані виключно для оцінки.

Аналіз охоплював двадцять розділів по семи наборам даних: Microsoft COCO був використаний як тренувальний та оціночний набір, включаючи тренувальні, валідційні, тестові та неанотовані розділи; Flickr30k служив виключно бенчмарковим набором; і колекція Google Conceptual Captions (GCC) була використана як передтренувальний джерело, з її валідною частиною також використаною для оцінки.

Крім того, ImageNet був використаний для тренування та бенчмаркінгу, тоді як набір даних LAION-400M був використаний виключно для передтренування.

OpenImages v4 забезпечив тренувальні та бенчмаркові дані, і TextCaps надав тренувальні та тестові розділи для оцінки.

Приклади анотацій зображень з набору даних Open Images від Google, досліджених у новому дослідженні. Джерело: https://arxiv.org/pdf/1811.00982

Для оцінки того, як добре метод може виявляти забруднення, коли зображення були тонко змінені шляхом зміни розміру, обрізання чи інших несемантичних перетворень, автори протестували на Flickr30k, випадково вибираючи 5 000 зображень як запити, та використовуючи весь набір даних як колекцію.

Кожен запитувальний образ був перетворений перед кодуванням (тобто, піддавався несемантичній модифікації, такій як зміна розміру чи обрізання), а потім зіставлявся з найбільш подібним елементом у колекції за допомогою косинусної подібності; зіставлення вважалося лише у випадку, якщо оригінальне зображення було повернено як найкращий результат.

Три кодувальники, порівняні у дослідженні, були ResNet-152; DINOv2 ViT-B/14; і CLIP ViT-B/32.

Чотири типи несемантичних перетворень зображень були використані: геометричні (відображення та обертання); обрізання (видалення 20, 50 або 100 пікселів з кожного краю); пікселізація (гауссівський розмиття, доданий шум або зниження роздільної здатності до 128 або 256 пікселів); і кольорові (відтінок сірого, інверсія або червоні, зелені чи сині наліпи).

З додаткового матеріалу, приклади перетворень, застосованих до даних – типові процедури також у попередній обробці даних.

Далі автори протестували на виявлення забруднення у відновленні зображень:

Точність виявлення забруднення на 5 000 запитувальних зображень Flickr30k, підданих різним несемантичним перетворенням.

Усі три кодувальники показали ідеальну продуктивність на незмінених зображеннях, і CLIP залишався надійним при обрізанні, горизонтальному відображенні, шумі та зміні розміру, перевершуючи ResNet на піксельних та кольорових змінах.

DINOv2 показав сильну стійкість до кольорових перетворень (ймовірно, через свою самоорганізовану конструкцію, вважають автори), але був помітно слабшим на геометричних редагуваннях та обрізанні – обидва з яких є поширеними у дублікатних наборах даних.

Оскільки LAION вже містить вкладення CLIP, і враховуючи його стабільну надійність та швидкість, CLIP був вибраний як замовчувальний кодувальник для основного аналізу.

Жорстке та М’яке Забруднення

Продуктивність була оцінена за різними порогами косинусної подібності для розрізнення точних та майже ідентичних зображень (жорсткого та м’якого забруднення).

Поріг 0,98 був вибраний для визначення жорсткого забруднення, що дало нульові хибні позитиви та ідеальне виявлення ідентичних зображень.

Для м’якого забруднення поріг 0,95 був вибраний, що дозволило більше майже ідентичних зображень бути відновленими, зберігаючи майже нульову кількість хибних позитивів. Приоритет було віддано точності над повнотою, і висновки були тому консервативно оцінені:

Криві прийняття-відмови були використані для вибору порогів жорсткого та м’якого забруднення. Високі оцінки AUC під обома перетвореними та незміненими умовами показують, що майже ідентичні зображення можуть бути надійно розрізнені від не пов’язаних зображень, навіть при мінімальних змінах.

Внутрішнє Забруднення Набору Даних

Внутрішнє забруднення набору даних було розраховано шляхом визначення перекриття зображень між навчальними та оціночними розділами всередині одного й того самого набору даних. Були розглянуті лише набори даних, які мали як бенчмаркові, так і тренувальні або передтренувальні розділи, що звузило аналіз до COCO, GCC, ImageNet, OpenImages та TextCaps.

Для COCO тестовий набір був порівняний з навчальним набором, оціночним набором та неанотованим піднабором, а валідний набір — з навчальним та неанотованим піднаборами.

Найвищі показники внутрішнього забруднення набору даних були спостережені в тестовому та валідному розділах ImageNet, де жорстке забруднення сягало 1,58%, а м’яке забруднення — трохи нижче 2%. GCC та COCO зайняли наступні місця, з COCO val2017, який показав м’яке забруднення на рівні 3%, а його тестові розділи — між 1,35% та 1,38%. OpenImages показав низьке жорстке забруднення на рівні 0,05%, але м’яке забруднення перевищило 1,3% у тестовому та валідному розділах. TextCaps показав найнижчий загальний рівень забруднення — 0,69%, без жодного жорсткого забруднення:

Внутрішнє забруднення набору даних, показуючи частку кожної оціночної вибірки, що перекривається з її навчальною вибіркою.

Відносно цих результатів автори заявляють^†:

‘Ці результати показують, що внутрішнє забруднення набору даних відбувається у всіх проаналізованих наборах даних, або в його жорсткій, або м’якій формі.

‘Оскільки забруднення даних може під∨увати оцінку моделей і набори даних спеціально розроблені для цієї мети, внутрішнє забруднення набору даних є ризиком, який за конструкцією не повинен існувати.

‘А проте ми виявили кілька випадків у всіх наборах даних.’

Міжнаборне Забруднення

Для вимірювання міжнаборного забруднення (де модель тренується на одному наборі даних та оцінюється на іншому) були використані чотири набори даних як джерела тренувальних даних: тренувальний GCC, тренувальний ImageNet, тренувальний OpenImages та LAION.

Ці були зіставлені з оціночними даними, взятими з тестового та валідного розділів COCO 2014, Flickr30K, тестового розділу TextCaps, тестового та валідного розділів OpenImages та тестового та валідного розділів ImageNet.

Вкладення CLIP ViT-B/32 були витягнуті для всіх наборів даних, крім LAION, який надає свої власні попередньо обчислені вкладення. Однак, оскільки ці вкладення трохи відрізняються від тих, що генеруються офіційною реалізацією CLIP, запитувальні зображення були змінені згідно з методом, використаним у репозиторії clip-retrieval, щоб забезпечити сумісність.

Пошук був здійснений за допомогою KNN-пошуку, хоча масштаб LAION вимагав розбиття на блоки по одному мільйону зображень, з окремим індексуванням для кожного:

Міжнаборне забруднення між бенчмарковими наборами даних (стовпці) та передтренувальними наборами даних (рядки). З лівого боку ми бачимо ‘жорстке’ забруднення (ідентичні зображення), а з правого боку ‘м’яке’ забруднення (майже ідентичні зображення).

Міжнаборне забруднення було виявлено у всіх бенчмаркових наборах даних, з різними рівнями тяжкості. LAION показав найвищі показники жорсткого забруднення (ідентичні зображення), особливо для OpenImages та тестових даних TextCaps, кожне з яких перевищило 3%. OpenImages також внесла менший внесок у жорстке забруднення в COCO.

Хоча менш серйозне, ImageNet все ж таки містив жорсткі дублікати з кожного з бенчмаркових наборів даних, які були розглянуті; і GCC показав найнижчий загальний рівень жорсткого забруднення, залишаючись нижче 1%.

М’яке забруднення (майже ідентичні зображення) було більш поширеним: LAION знову показав найвищі показники, з показниками перекриття до 7,9% для деяких бенчмарків; OpenImages та TextCaps були найбільш постраждалими бенчмарковими наборами даних; і Flickr30k показав найнижче забруднення.

Хоча такі перекриття можуть становити лише невелику частку оціночних наборів, автори відзначають, що їхнє присутність може дозволити запам’ятовування та під∨увати достовірність тестів:

Приклади забруднених зображень. З лівого боку показані випадки ‘жорсткого’ забруднення, де зображення ідентичні всередині набору даних (верхівка) або між наборами даних (низ); справа показані випадки ‘м’якого’ забруднення, де зображення візуально майже ідентичні.

Вплив на Наступну Оцінку

Далі у роботі розглядається, як забруднення даних впливає на наступні оцінки (тобто продуктивність у стандартних завданнях, коли передтреновані моделі тестуються на бенчмаркових наборах даних, які містять дублікатні тренувальні дані).

Було розглянуто три завдання: класифікація без тренування; керована класифікація; і відновлення зображення-текст.

Для кожного завдання продуктивність моделі була оцінена на бенчмарковому наборі даних, для якого вже були виявлені забруднені зразки у передтренувальних даних. Результати були порівняні за чотири підмножини: повний бенчмарк; підмножина забруднених зразків; підмножина незабруднених зразків; і випадково вибрана підмножина такого самого розміру, як і група забруднених зразків (використовувана як контроль).

Ефект забруднення даних на три наступні завдання був виміряний за допомогою бенчмаркових підмножин, відомих як ті, що містять забруднені зображення. У класифікації без тренування модель, передтренована на LAION, показала помітно вищу точність на забруднених зображеннях з оціночної вибірки ImageNet, підтверджуючи, що експозиція навіть майже ідентичних зображень під час тренування забезпечує вимірювану перевагу:

Точність класифікації без тренування на валідній вибірці ImageNet по підмножинам з та без забруднення. Останній стовпець повідомляє про виграші точності відносно повної вибірки, а виділені рядки відповідають забрудненим підмножинам.

Для керованої класифікації забруднення в ImageNet спричинило драматичний спад продуктивності – якщо тільки забруднене зображення не мало того самого ярлика у обох розділах, у випадку чого модель досягла майже ідеальної точності, показуючи сильний ефект запам’ятовування:

Точність керованої класифікації на валідній вибірці ImageNet для підмножин з та без забруднення. Стовпці виграшів показують зміну відносно повної вибірки. Забруднені підмножини виділені.

У відновленні зображення-текст продуктивність знову покращилася для забруднених зразків, з як жорстким, так і м’яким забрудненням, що призвело до вищої відгуку, і з забрудненими підмножинами, які також забезпечили більш стабільні результати за повторні запуски:

Продуктивність відновлення зображення-текст на Flickr30k по підмножинам з та без забруднення, з забрудненими підмножинами виділені.

Автори роблять висновок:

‘Загалом, ми показуємо послідовні докази того, що забруднення становить серйозну загрозу для справедливої оцінки моделей у візуальних наборах даних, під∨уючи одне з найфундаментальніших принципів машинного навчання: не оцінювати моделі на їхніх тренувальних даних.’

Висновок

Одним із шокуючих аспектів дослідження, хоча це й не новина, є звіт про необхідність використання CLIP для отримання вкладень для величезної кількості зображень у LAION, представляючи масштаб, який вже не може бути розглянутий інакше, ніж агрегатно, займаючись токенізацією метаданих замість більш детальних характеристик, які можуть бути розглянуті, коли набір даних менший.

Це є яскравим ілюстрацією того, наскільки тренування моделей зору-мови вже перевищило межі та можливості людського нагляду, або будь-якого виду ручної кураторської обробки за межами репрезентативних підвибірок.

* Можливо, дещо плутано, проблема дублікатів визначається у дослідженні як ‘забруднення’.

† Наголос авторів.

Перша публікація — вівторок, 26 серпня 2025 року