Системи штучного інтелекту зору часто не “справді дивляться” зовсім

Системи штучного інтелекту зору можуть пояснювати зображення за допомогою стереотипів, а не того, що вони насправді бачать. Видаліть мітку, і їхня передбачувана візуальна пояснення розвалюються.

Відтак, оскільки передові платформи штучного інтелекту постійно кровоточать гроші у надії на горизонт штучного інтелекту, маленькі економії у їхньому забезпечення та послугах дорівнюють великим заощадженням: наприклад, кожен раз, коли велика мова модель (LLM) може надати відповідь зі своєї власної навчальної матриці, а не робити подорож до вебу для отримання поточної інформації, яка пізніше потребуватиме дистиляції та уточнення, вона відповідає швидше і економить гроші постачальнику.

Звичайно, вона більш схильна галюцинувати, не витрачаючи додаткових токенів і енергії на контекстуалізацію та перевірку своїх припущень.

Аналогічно, навіть коли LLM звертається до вебу, вона дуже часто цитує невизначені, непридатні або навіть безглузді та не пов’язані URL, оскільки вона економить енергію, оцінюючи лише метадані цих сторінок, а не читає їх.

Так само, якщо ви завантажите PDF до LLM і бажаєте обговорити його, LLM може врешті-решт видалити вміст PDF з пам’яті і використовувати лише розріджені метадані про нього для відповідей на ваші запити, не кажучи навіть, що вам слід завантажити його знову – що призводить до помилок, неправильних припущень і ще більше галюцинацій.

Промислові випробування

Це практичні, хоча й не зовсім чесні, економії, що накладаються на користувача з оперативних мотивів. У світі збору даних і навчання моделей, де мільйони – навіть сотні мільйонів – зображень повинні бути оброблені масово, і не можуть бути рукописними людьми, тиск на мінімалізацію витрат енергії та часу є таким же інтенсивним.

Одним з таких “шорткатів” є використання проміжної мови візуальної моделі, chẳng hạn як Contrastive Language Image Pretraining (CLIP), яка відображає як зображення, так і текст у спільному семантичному просторі, так що візуальні концепції можна порівнювати за допомогою мови, а не явних міток.

Що це означає? Ну, уявіть дитину, яка вчиться на мільйонах підписаних фотографій, поки вона не розвине приблизне відчуття того, які зображення та слова природно поєднуються.

Проблема полягає в тому, що дуже часто підписи були написані власниками веб-сайтів та іншими самозахоплюючими сутностями, які були більше зацікавлені в хорошому SEO, ніж у хорошому підписуванні, що призводило до великої кількості “шуму” або неточних підписів.

Все ж таки, масштаб, на якому концепція та пов’язане слово повторюються у величезних наборах даних, зазвичай означає, що основні слова будуть асоціюватися з правильним зображенням, оскільки менша кількість “безглуздих” підписів буде зазвичай відштовхнута в гетто аутлієрів і не буде асоціюватися з зображенням. Тому це більш-менш працює, більшість часу.

Анотація даних здійснюється таким чином, оскільки це дешево і мінімально функціонально, а не тому, що це добре.

Відмітка

У цю проблемну ситуацію вступає нова робота з Карнегі-Меллонського університету, яка яскраво показує, що багато підписів, призначених для зображень – наприклад, CLIP – просто стереотипи, засновані на посиланні на текстову мітку зображення, а не активним переглядом зображення самому.

У одному вражаючому прикладі з роботи CLIP спарований з дескрипторами, згенерованими з імені класу ImageNet ягода, а потім протестований на ImageNet-Sketch, де кожна ягода – чорно-біла малюнок – проте дескриптори все одно наполягають, що фрукт ‘червоний’ і ‘спілі’ :

Дескриптори імені класу не працюють на ImageNet-Sketch: мовні пріоритети кажуть ‘червоний’ і ‘спілі’, тоді як атрибути, засновані на зображенні, відповідають чорно-білому малюнку. Джерело

Тут CLIP спарований з дескрипторами, згенерованими тільки з імені класу ягода, через GPT-3 або зовнішнє знання. Вони ніколи не бачать зображення, тому вони повертаються до канонічних ознак, таких як червоний і листовий. Коли вони застосовуються до монохромних лінійних ілюстрацій у ImageNet-Sketch, процес не працює.

Натомість атрибути, отримані з самих зображень, вибирають ознаки, які залишаються істинними під зміною, такі як крапковий або серцеподібний.

Таким чином ми можемо побачити, що об’єкт, який ідентифікується, рекламується не за те, що він є, а, як би, “за репутацією”; прикметники “червоний” і “листовий” точні для піддомену ягода, але виходять за межі зображення (екземпляру) у питання.

Автори нової роботи – під назвою Атрибути повинні походити від зображень, а не від імен класів: вибір атрибутів, умовний на розподілі, для моделей мови та зору – стверджують, що це постійна і поширена проблема, і пропонують вибирати атрибути безпосередньо з самих зображень, так що вони відображають те, що насправді видно під зміною розподілу, а не покладатися на пріоритети імені класу.

Автори заявляють:

‘Популярний шлях до інтерпретованої класифікації з нульових зразків просить велику мовну модель (LLM), щоб описати кожне ім’я класу і спонукати CLIP з отриманими дескрипторами. Ми показуємо, що ці дескриптори не містять візуальних доказів: видалення імені класу з підказки розвалює точність ImageNet з 59,5% до 15,5%.

‘Діагноз полягає в тому, що дескриптори умовно залежать від мітки, а не від зображень, тому вони описують концепцію в цілому і вводять в оману саме тоді, коли дані змінюються; LLM наполягає, що ягоди червоні, але кожна ягода в ImageNet-Sketch – це чорно-біла лінійна малюнок.

‘Тому ми вибираємо атрибути з цільової колекції зображень: ми оцінюємо великий пул атрибутів проти зображень у спільному просторі CLIP і зберігаємо лише ті атрибути, які найбільш відповідають візуальному вмісту.’

Їхнє запропоноване рішення полягає в тому, що модель залишається такою самою, але замість того, щоб покладатися на описи імені класу, вона перевіряє пул кандидатів на атрибути проти зображень і зберігає лише ті, які справді підходять до того, що видно.

Вартість цього, ймовірно, прийнятна, оскільки вона не пропонує знову викликати збережену енергію “шорткатів”, які привели до проблеми в першу чергу. Замість цього вона додає оціночну пройому над кандидатами на атрибути за клас, так що затримка збільшується трохи – але значно менше, ніж повторне навчання або повний RAG-стиль трубопроводів. Теоретично, енергетична вартість була б прийнятною, зважена проти покращення вирівнювання.

Метод

Відтак, оскільки методологія авторських тестів особливо арканна, і оскільки мінімальна додаткова корисна інформація була б отримана шляхом їхнього глибокого вивчення, ми, нехарактерно, розглянемо тільки скорочений огляд їхнього підходу.

Робота характеризує основну проблему як змішування імені класу: ситуацію, коли продуктивність здається значущою, але насправді залежить від імені класу самому, з дескрипторами, які додають мало – і розвалюються, як тільки ця підтримка видаляється

Потім робота стверджує, що ця невдача є неминучою, оскільки дескриптори, згенеровані з імені класу, можуть описувати лише те, як річ зазвичай виглядає, а не те, що насправді присутнє у конкретному зображенні. Як тільки дані відхиляються від цих очікувань, дескриптори стають не лише недоречними, а й активно вводять в оману, ефективно голосуючи проти правильної відповіді.

Дослідники також розглянули, чи CLIP просто погано виявляє атрибути без допомоги імен класів, або чи дескриптори, згенеровані GPT, були занадто загальними, щоб бути корисними. Однак їхні подальші експерименти спростували обидва пояснення.

Щоб вирішити цю проблему, був використаний заморожений CLIP-модель для порівняння зображень з великим пулом кандидатів на атрибути, отримані з VAW, LSA і GPT-3-виведення, зберігаючи лише ті атрибути, які найкраще відповідають зображенням, без потреби в повторному навчанні або додатковому зображенні-текстовому нагляді:

Огляд запропонованої системи: заморожена CLIP-модель кодує як зображення, так і великий пул текстових атрибутів, використовуючи косинусну подібність для вимірювання того, наскільки сильно кожен дескриптор відповідає візуальному вмісту. Найкращі атрибути зберігаються на основі класу, виробляючи інтерпретовані набори підказок, зберігаючи фіксовані кодувальники зображень і тексту протягом всього процесу.

Дані та тести

Експерименти авторів використовували CLIP з ResNet-50 і оцінювали продуктивність на ImageNet разом з чотирма варіантами з зміщеним розподілом: ImageNetV2; ImageNet-Sketch; ImageNet-A; і ImageNet-R.

Атрибути були вибрані лише з оригінальних навчальних зображень ImageNet, дозволяючи зміщеним наборам даних служити тестом того, чи атрибути, отримані з зображень, залишаються корисними, коли візуальні появи змінюються:

Точність класифікації Top-1 по ImageNet і чотирьом варіантам з зміщеним розподілом. Результати показують, що продуктивність залишається більш-менш схожою, коли імена класів включаються в підказки, але розвалюється, коли дескриптори змушені стояти самостійно, що свідчить про те, що більша частина їхньої очевидної ефективності походить від імені класу самому. Натомість атрибути, вибрані безпосередньо з зображень, залишаються значно більш інформативними по всіх тестованих наборах даних.

Перевибір атрибутів з того самого пула, згенерованого GPT, але умовно на ImageNet-зображеннях, підвищив точність класифікації з 15,5% до 19,4%. Оскільки модель, пул атрибутів і протокол оцінювання залишилися незмінними, виграш міг бути повністю приписаний вибору, умовному на зображенні.

Результат також показав, що CLIP може ідентифікувати атрибути без імен класів, і що пул, згенерований GPT, вже містить корисні дескриптори. Основна невдача, здається, полягає в умовному генерації імені класу, яка часто не виявляє атрибути, найбільш актуальні для самих зображень.

Хоча автори продовжують серію додаткових експериментів, ми повинні відправити читача до джерельного матеріалу для подальших деталей цих експериментів, оскільки, а не розширюючи сферу результатів, вони лише підтверджують центральні гіпотези, викладені досі – що залежність від імен класів може потенційно підірвати потенціал справжніх даних зображень у сучасних застосуваннях комп’ютерного зору, з дешевим покладанням на “репутаційну” ймовірність як загрозу точності результатів.

Висновок

Цікаво подумати про борг, який сучасний генеративний штучний інтелект має перед мільйонами рукописних зображень, які були поглинені у величезні зібрані набори даних, такі як Common Crawl, на початку епохи гіпермасштабу.

Кожного разу, коли система розпізнавання зображень або автоматична система підписування намагається класифікувати або перепідписати старе чи нове зображення, походження цього знання сходить до якогось постачальника, який написав ‘Гаряча журнал 1970-х років!’ у alt-мітці якогось списку на eBay у 2004 році, або якоїсь подібної події.

Хоча багато хто вважає, що золотий вік ключових слів був відмитий більш складним алгоритмом PageRank від Google майже три десятиліття тому, підхід “стіни тексту, сподіваюсь, щось прилипне” залишається дуже живим: тільки вчора, у верхній частині HTML-сторінки релізу моделі Qwen-Image-3.0, був атавістичний вибух (він може ще бути там!) ключових слів:

HTML-код релізу Qwen Image 3 – це не зовсім СFW-стіна ключових слів,至少 на момент написання. Джерело

Чи це систематично витягнуто з цільових списків, чи написано рукописними SEO-спеціалістами, це приклад сировинних джерел сучасної генеративної системи штучного інтелекту, з意义м, який часто несить великий вантаж самозахоплення, який пізніше потрібно буде видалити або принаймні врахувати якимось чином, коли такі терміни заважають раціональним системам та застосуванням.

Перша публікація – середа, 22 липня 2026 року