Перенесення візуальних аналогій до штучного інтелекту

Поточні моделі штучного інтелекту не можуть розпізнавати «релляційні» схожості зображень, наприклад, як шари Землі схожі на персик, пропускаючи ключовий аспект того, як люди сприймають зображення.

Хоча існує багато моделей комп’ютерного зору, які можуть порівнювати зображення та знаходити схожість між ними, поточне покоління порівняльних систем має мало або зовсім немає уявної здатності. Розгляньте деякі тексти пісні 1960-х років Вітряні млини твого розуму:

Як карусель, що обертається, робить кола навколо місяця
Як годинник, чиї стрілки рухаються повз хвилини на його обличчі
І світ подібний до яблука, що обертається мовчазно в просторі

Порівняння цього типу представляють область поетичної алюзії, яка є значущою для людей далеко за межами художнього вираження; радше, це пов’язано з тим, як ми розвиваємо наші перцептивні системи; коли ми створюємо нашу «об’єктну» область, ми розвиваємо здатність до візуальної схожості, так що – наприклад – поперечні зрізи, що зображують персик і планету Земля, або фрактальні рекурсії, такі як спіралі кави та гілки галактики, визнаються нами як аналогічні.

У цьому сенсі ми можемо вивести зв’язки між очевидно не пов’язаними об’єктами та типами об’єктів і вивести системи (наприклад, гравітацію, імпульс і поверхневу когезію), які можуть застосовуватися до різних областей у різних масштабах.

Спостереження

Дажи найновіші покоління систем порівняння зображень штучного інтелекту, таких як LPIPS і DINO, які інформуються зворотним зв’язком людини, виконують лише буквальні поверхневі порівняння.

Їхня здатність знаходити обличчя, де їх немає – тобто, парейдолія – не представляє собою那种 візуальної схожості, яку розвивають люди, а радше відбувається через те, що алгоритми пошуку обличчя використовують низькорівневі структури обличчя ознаки, які іноді збігаються з випадковими об’єктами:

Приклади хибних позитивів для розпізнавання обличчя в наборі даних «Обличчя та речі». Джерело

Щоб визначити, чи можуть машини справді розвивати нашу уявну здатність до розпізнавання візуальної схожості між областями, дослідники в США провели дослідження щодо релляційної візуальної схожості, створивши та навчаючи новий набір даних, призначений для формування абстрактних відносин між різними об’єктами, які все ж пов’язані абстрактним відносином:

Більшість моделей штучного інтелекту розпізнають схожість лише тоді, коли зображення мають спільні поверхневі ознаки, такі як форма чи колір, тому вони зв’язують лише групу Б (вище) з посиланням. Люди, навпаки, бачать групу А як схожу – не тому, що зображення схожі, а тому, що вони слідують одній і тій же основній логіці, наприклад, показуючи трансформацію в часі. Нова робота намагається відтворити цей тип структурної або реляційної схожості, спрямовану на наближення сприйняття машини до людського розуміння. Source: https://arxiv.org/pdf/2512.07833

Система підписів, розроблена для цього набору даних, дозволяє створювати надзвичайно абстрактні анотації, призначені для того, щоб змусити системи штучного інтелекту зосередитися на базових характеристиках, а не на конкретних місцевих деталях:

Передбачувані «анонімні» підписи, які сприяють метриці «relsim» авторів.

Набір даних та його незвичайний стиль підписів підживлюють нову запропоновану авторами метрику relsim, яку вони дофінують у моделі бачення-мови (VLM).

Порівняння стилів підписів типових наборів даних, які зосереджуються на схожості атрибутів, тоді як підхід «relsim» (нижній рядок) підкреслює реляційну схожість.

Новий підхід спирається на методології з когнітивної науки, зокрема теорію «Структурного відображення» Дедре Гентнер (дослідження аналогій) та визначення Амоса Тверського релляційної схожості та схожості атрибутів.

З веб-сайту проекту, приклад реляційної схожості. Джерело

Автори зазначають:

«[Люди] обробляють схожість атрибутів перцептивно, але реляційна схожість вимагає концептуальної абстракції, часто підтримуваної мовою чи попередніми знаннями. Це свідчить про те, що розпізнавання реляційної схожості спочатку вимагає розуміння зображення, використання знань та абстрагування його основної структури».

Нова робота називається Реляційна візуальна схожість і супроводжується веб-сайтом проекту (див. відео, вкладене в кінці цієї статті).

Метод

Дослідники використали один із найвідоміших гіпермасштабних наборів даних як початкову точку для свого власного збору – LAION-2B:

Метадані для запису в колекції LAION-2B. Джерело

114 000 зображень, які ймовірно містять еластичні реляційні структури, були витягнуті з LAION-2B, включаючи фільтрацію багатьох низькоякісних зображень, присутніх у мінімально кураторському наборі даних.

Щоб створити конвеєр для цього процесу відбору, автори використали Qwen2.5-VL-7B, використовуючи 1 300 позитивних і 11 000 негативних прикладів, позначених людиною:

Система «relsim» навчається у трьох етапах: фільтрація зображень з LAION-2B для реляційного вмісту; призначення кожній групі спільного анонімного підпису, який захоплює її основну логіку; і навчання зі збігом зображень до цих підписів за допомогою контрастної втрати.

У роботі зазначено:

«Анотатори інструктували: “Чи можете ви побачити будь-який реляційний шаблон, логіку чи структуру в цьому зображенні, яке могло б бути корисним для створення або зв’язку з іншим зображенням?”. Дофінована модель досягає 93% узгодженості з людськими судженнями, і коли її застосовують до LAION-2B, вона дає N = 114k зображень, визнаних реляційно цікавими».

Щоб згенерувати реляційні мітки, дослідники спонукали модель Qwen описати спільну логіку за групами зображень без назви конкретних об’єктів. Ця абстракція була важкою для отримання, коли модель бачила лише одне зображення, але стала здійсненною, коли кілька прикладів продемонстрували основний шаблон.

Результатні групові підписи замінили конкретні терміни на плейсхолдери, такі як «{Об’єкт}» або «{Тип руху}», що робило їх широко застосовними.

Після верифікації людиною кожен підпис був поєднаний з усіма зображеннями в своїй групі. Більше 500 таких груп були використані для навчання моделі, яка потім була застосована до 114 000 відфільтрованих зображень для отримання великого набору абстрактних, реляційно анотованих зразків.

Дані та тести

Після витягування реляційних особливостей за допомогою Qwen2.5-VL-7B модель була дофінована на даних за допомогою LoRA, протягом 15 000 кроків, за допомогою восьми GPU A100*. Для текстової сторони реляційні підписи були вбудовані за допомогою all-MiniLM-L6-v2 з бібліотеки Sentence-Transformers.

Набір даних із 114 000 підписаних зображень був розділений на 100 000 для навчання і 14 000 для оцінки. Щоб протестувати систему, був використаний режим пошуку: дане запитувальне зображення, модель мала знайти інше зображення з пулу з 28 000 предметів, яке виражало б той же реляційний концепт. Пул пошуку включав 14 000 оціночних зображень і 14 000 додаткових зразків з LAION-2B, з 1 000 запитів, випадково вибраних з оціночного набору для бенчмаркінгу.

Щоб оцінити якість пошуку, був використаний GPT-4o для оцінки реляційної схожості між кожним запитом і витягнутим зображенням за шкалою від 0 до 10. Було проведено окреме людське дослідження, щоб оцінити перевагу користувача (див. нижче).

Кожному учаснику було показано анонімізоване запитувальне зображення з двома кандидатами, одним витягнутим запропонованим методом, іншим – базовим. Учасників просили вказати, яке зображення було більш реляційно схоже до запиту, або якщо обидва були однаково близькі. Для кожного базового варіанту було створено 300 тріад і оцінено щонайменше трьома людьми кожну, що дало близько 900 відповідей.

Підхід «relsim» був порівняний з кількома встановленими методами порівняння зображень, включаючи згадані вище LPIPS і DINO, а також dreamsim і CLIP-I. Крім базових методів, які безпосередньо обчислюють оцінки схожості між парами зображень, таких як LPIPS, DINO, dreamsim і CLIP-I, автори також протестували методики на основі підписів, у яких Qwen використовувався для генерації анонімного або абстрактного підпису для кожного зображення; це потім служило запитом пошуку.

Два варіанти пошуку були оцінені, з CLIP-основаним текстово-зображеневим пошуком (CLIP-T) для текстово-зображеневого пошуку, і Qwen-T для текстово-текстового пошуку. Обидва базових методики на основі підписів використовували оригінальну дофіновану модель Qwen, а не версію, дофіновану на реляційній логіці. Це дозволило авторам ізолювати вплив групового навчання, оскільки дофінована модель була піддана впливу наборів зображень, а не окремих прикладів.

Існуючі метрики та реляційна схожість

Автори спочатку протестували, чи можуть існуючі метрики захопити реляційну схожість:

Порівняння продуктивності пошуку, оціеної GPT-4o, показуючи середній бал реляційної схожості для кожного методу. Традиційні метрики схожості, такі як LPIPS, DINO і CLIP-I, набрали нижчий бал, включаючи навіть налаштовані. Базові методики на основі підписів Qwen-T і CLIP-T також показали нижчу продуктивність. Найвищий бал був досягнутий «relsim» (6,77, правий синій стовпчик), вказуючи на те, що налаштування на групові реляційні шаблони покращило узгодженість з оцінками GPT-4o.

Відносно цих результатів автори зазначають**:

«[LPIPS], який зосереджується виключно на перцептивній схожості, досягає найнижчого балу (4,56). [DINO] виконує лише трохи краще (5,14), ймовірно, тому, що він навчається виключно самовченням на даних зображень. [CLIP-I] дає найкращі результати серед базових методів (5,91), ймовірно, тому, що деяка абстракція іноді присутня в підписах зображень.

«Однак CLIP-I все ж підперігає нашому методу, оскільки досягнення кращого балу може вимагати здатності досягати ще вищого рівня абстракції, наприклад, таких, як у анонімних підписах».

У людському дослідженні люди послідовно віддавали перевагу методу «relsim» над усіма базовими методами:

Бали реляційної схожості, призначені GPT-4o для кожного методу. Стандартні метрики схожості, такі як LPIPS, DINO і CLIP-I, набрали нижчий бал, а методики на основі підписів Qwen-T і CLIP-T показали лише трохи кращу продуктивність. Навіть налаштовані версії DINO і CLIP не закрили розрив. Найвищий бал, 6,77, був досягнутий моделлю «relsim», навченою груповим наглядом.

Автори зазначають:

«Це дуже обнадійливо, оскільки це свідчить не лише про те, що наша модель, relsim, може успішно витягувати реляційно схожі зображення, але також підтверджує, що люди сприймають реляційну схожість – а не лише схожість атрибутів!』

Щоб дослідити, як реляційна та атрибутна схожість можуть доповнювати одна одну, дослідники використали комбінований метод візуалізації. Одне запитувальне зображення («Собака тримає камеру») було порівняно з 3 000 випадковими зображеннями, і схожість була обчислена за допомогою як реляційних, так і атрибутних моделей:

Спільна візуалізація простору візуальної схожості за допомогою реляційних та атрибутних осей. Одне запитувальне зображення, що зображує собаку, яка використовує камеру, було порівняно з 3 000 іншими. Результати були організовані за реляційною схожістю (вертикально) та схожістю атрибутів (горизонтально). Правий верхній регіон містить зображення, які схожі на запит за логікою та виглядом, наприклад, інші собаки, які використовують інструменти. Лівий верхній регіон містить семантично пов’язані, але візуально відмінні випадки,例如 інші тварини, які виконують дії, пов’язані з камерою. Більшість інших прикладів кластеризуються нижче в просторі, відображаючи слабшу схожість. Розкладка демонструє, як реляційні та атрибутні моделі підкреслюють доповнювчі аспекти візуальних даних. Будь ласка, зверніться до джерельної роботи для кращої роздільності.

Результати показали кластери, що відповідають різним типам схожості: деякі зображення були як реляційно, так і візуально схожі, наприклад, інші собаки в людських позах; інші мали реляційну логіку, але не вигляд, наприклад, різні тварини, які імітують людські дії; решта не мали жодної зі схожостей.

Цей аналіз свідчить про те, що два типи схожості виконують різні ролі та дають багатшу структуру при поєднанні.

Використання

Стаття також досліджує деякі можливі кінцеві випадки використання реляційної схожості, включаючи релляційний пошук зображень, який дозволяє здійснювати пошук зображень, більш відповідний творчому способові сприйняття світу людиною:

Реляційний пошук повертає зображення, які мають глибоку концептуальну структуру з запиту, а не збігаються за поверхневими ознаками. Наприклад, харчовий продукт, стилізований під обличчя, повертає інші антропоморфні страви; нарізаний об’єкт повертає інші нарізані форми; і сцени взаємодії дорослих та потомства повертають зображення з подібними реляційними ролями, навіть якщо види та композиція відрізняються.

Інша можливість – це аналогічна генерація зображень, яка дозволила б синтезувати запити, які використовують реляційні структури, а не прямі описи. При порівнянні результатів, отриманих з поточних моделей генерації зображень від тексту, ми можемо побачити, що результати такого підходу, ймовірно, будуть більш різноманітними:

Дано вхідне зображення та реляційний підказ, моделі були запитані на генерацію нового зображення, яке виражає той же основний концепт. Пропріетарні моделі продемонстрували більш вірні аналогії, зберігаючи логіку структури через великі зміни форми, тоді як відкриті моделі тенденцію мали регресувати до буквальних чи стилістичних збігів, не передаючи глибоку ідею. Вихідні дані були порівняні з людьми, кураторами аналогій, які демонстрували бажану трансформацію.

Висновок

Системи генерації штучного інтелекту, як здається, були б помітно покращені можливістю включення абстрактного представлення в свої концептуалізації. Як стоїть справа, запит концептуальних зображень, таких як «гнів» або «щастя», тенденцію повертати зображення, стилізовані з найбільш популярних або численних зображень, які мали ці асоціації в наборі даних; що є запам’ятовуванням а не абстракцією.

Ймовірно, цей принцип міг би бути ще більш корисним, якщо його можна було застосувати до генерації письма – особливо аналітичного, спекулятивного чи художнього виводу.

Натисніть, щоб відтворити. Джерело

* Відеокарта A100 може мати 40 ГБ або 80 ГБ відеопам’яті; це не вказано в роботі.

** Цитати авторів надлишкові та виключені.

Перша публікація – вівторок, 16 грудня 2025 року