ШІ, що використовує образи в міркуванні за ланцюжком думок (CoT)

Ми часто мислимо образами — принаймні більшість із нас: як показали дослідження, у людей знижена здатність до візуальної уяви пов’язана з нижчою успішністю в навчанні. Що стосується запам’ятовування (нашої потреби пам’ятати речі, а не проблеми, що стоїть перед ШІ), значний семантичний потенціал яскравих образів використовували тисячоліттями як допоміжний засіб у навчанні:

«Храм часу» Емми Віллард (1846) — навчальна візуалізація, що перетворює хронологію на фізичний простір, розташовуючи історичні періоди й постаті в перспективі архітектурної споруди, яка віддаляється. Віллард створювала такі зображення як візуальні мнемонічні засоби, вважаючи, що графічні образи допоможуть учням сформувати цілісне уявлення про історію. Джерело

Однак мнемоніка стосується надходження даних, а не їх обробки чи інтерпретації, тоді як люди значно різняться за «стилями» мислення, якими послуговуються.

Особисто я мислю формами — так було завжди, відколи я почав мислити: десятиліття, роки, ідеї та люди постають у моїй уяві як певні геометричні співвідношення й динамічні об’ємні блоки. Інші переважно мислять числами; ще інші — запахами чи смаками.

Для ШІ спектр можливих способів синестезії обмеженіший; природно, велика мовна модель (LLM) може мислити текстом, адже це її рідний тип кодування на рівні вище за векторні подання; також було показано, що LLM кодують числа як поняття, а не як суто змінні значення, демонструючи схильність «мислити числами».

Але якою мірою можна сказати, що LLM «мислить формами» або «мислить образами» так, як зазвичай мислять люди?

Те, що від LLM можна отримати різні відповіді на те саме запитання, сформульоване різними мовами, свідчить про те, що ці зв’язки можуть бути дуже специфічними й крихкими, а також жорстко заданими конкретним текстом у певній мовній сфері (тобто «іспанській»), замість того щоб охоплювати сферу вищого рівня, яка виходить за межі мови й водночас містить її*.

Тому мультимодальна LLM (тобто візуально-мовна модель, або VLM), здатна генерувати зображення суто для власного внутрішнього міркування за ланцюжком думок (COT), логічно може мати перевагу (або принаймні буквально пропонувати альтернативний погляд).

Нові погляди

З огляду на це, нещодавня дослідницька співпраця з Німеччини представила зорієнтовану на зображення VLM під назвою ReImaGin, яка використовує генерацію зображень як гнучкий механізм міркування.

Хоча в попередніх роботах до систем додавали компоненти на основі зображень, ці можливості не були ані невіддільною, ані необхідною частиною основного робочого процесу; натомість нову систему авторів розроблено так, щоб використати найновіші можливості VLM і перебрати на себе функції спеціалізованих інструментів та методів, зокрема сприйняття глибини.

У наведеному нижче прикладі з нової наукової статті під назвою «Міркування за допомогою генерації зображень» ШІ має інтерпретувати два ракурси (зображення крайоруч ліворуч), жоден із яких не містить усієї інформації, необхідної для виконання завдання. Тож модель може використати наявну в неї інформацію, щоб інтерпретувати ширшу й повнішу картину сцени (карту з підписом «Згенерована візуалізація», третю зліва внизу).

У новій науковій статті наведено приклад того, як ReImaGin створює карту у вигляді зображення зверху на основі двох неповних ракурсів, надаючи моделі цілісне візуальне представлення для міркування. Джерело

ReImaGin не обмежується одним конкретним типом візуального перетворення: система може відновлювати відсутні фрагменти головоломки; прибирати перешкоди, щоб підрахувати об’єкти; малювати траєкторії для прогнозування зіткнень; поєднувати кілька ракурсів у просторові карти; перетворювати пунктирні лінії на суцільні для трасування; а також створювати карти глибини для міркувань про глибину.

Що ще важливіше, система може самостійно регулювати використання цього внутрішнього набору інструментів, відповідно до нещодавно виявленої здатності VLM автоматично розв’язувати окремі складні завдання за допомогою доречних інструментів, таких як оцінювання глибини. Більшість описаних можливостей ReImaGin викликається за допомогою звернень до generate_image інструмента — функції, яка за потреби може втручатися на візуальному рівні без нагляду чи ініціювання з боку людини.

Автори зазначають:

‘Оскільки generate_image приймає довільні інструкції природною мовою, агент може виконувати широкий спектр перетворень; питання в тому, яке саме перетворення буде корисним для конкретного завдання.

‘[Standard] Зазвичай потрібне перетворення задають за допомогою вручну підібраних прикладів у контексті, які демонструють бажану стратегію (наприклад, створення карти глибини для міркувань про глибину). Для кожного завдання це потребує ручної роботи й обмежує узагальнення на нові завдання.

‘[We] Ми запитуємо, чи можна виявляти такі стратегії автоматично. Оскільки стратегія передається агенту через його запит, її виявлення зводиться до оптимізації запиту: ми запускаємо ітераційний цикл, у якому модель-пропонувальник генерує варіанти запитів, оцінює їх на невеликому наборі для розробки й удосконалює, спираючись на помічені успіхи та невдачі.’

Під час тестування на трьох VLM і шести завданнях візуального міркування ReImaGin загалом перевершила як міркування без допоміжних засобів, так і спеціалізовані інструменти комп’ютерного зору, використовуючи лише один інструмент.

Підхід

ReImaGin працює як цикл: на кожному кроці VLM розглядає запитання, вихідні зображення та все, що вже створила, і вирішує, що робити далі. Це можуть бути звичайні операції із зображеннями, як-от обрізання чи накладання, або виклик generate_image, який створює нове зображення, спеціально призначене для спрощення міркувань над задачею:

Покрокова ілюстрація того, як ReImaGin міркує над просторовими задачами та візуальними головоломками. В обох прикладах модель під час міркування створює нове зображення, а потім використовує його як додаткові вхідні дані на наступних кроках, що ведуть до відповіді.

Потім згенероване зображення знову передається VLM і стає частиною матеріалів, доступних для наступного кроку міркування; цей процес може повторюватися. На зображенні вище показано ці аспекти на прикладі просторової задачі: спочатку модель поєднує дві фотографії в один вигляд, а потім перетворює його на карту з видом згори, перш ніж відповісти на запитання.

Для задачі з головоломкою модель генерує змінену версію, у якій окремо показано відсутню ділянку, а потім за допомогою звичайного віднімання зображень визначає відповідь.

Так генерація зображень стає частиною самого процесу міркування, а не кінцевим результатом для користувача; ці проміжні зображення призначені виключно для процесів CoT штучного інтелекту, а не для безпосереднього перегляду кінцевим користувачем.

На кожному кроці VLM самостійно обирає наступну дію, спираючись на накопичений контекст. Це може бути ще один крок міркування; звичайна операція із зображенням; або інструкція природною мовою для generate_image. Який би результат не повернув обраний інструмент, його додають до контексту, щоб модель могла переглянути результат і вирішити, чи перетворити його ще раз; скористатися іншим інструментом; чи перейти до остаточної відповіді.

Набуття самостійності

Одна з головних проблем — визначити, яке саме зображення справді полегшить виконання конкретного завдання. ReImaGin знаходить відповідь, випробовуючи різні інструкції для агента, тестуючи варіанти запитів на прикладах із відомими відповідями та використовуючи вдалі й невдалі спроби, щоб поліпшувати запити. Подальші ітерації цього циклу зрештою дають змогу отримати стратегії з найкращими результатами.

Під час цього процесу самі модель міркування та генератор зображень не перенавчаються; оптимізуються лише інструкції, що визначають, як агент використовує свої інструменти. Тому дослідники описують цей процес як «автоматизоване виявлення» стратегій візуального міркування, не надаючи самостійно ані стратегій для конкретних завдань, ані прикладів міркування.

Налаштування та тестування

ReImaGin оцінювали на шести завданнях візуального міркування: міркування про глибину (Blink — визначення того, яка з двох точок розташована ближче до камери); завершення головоломки (Mira — вибір потрібного фрагмента для відсутньої ділянки зображення); підрахунок об’єктів з урахуванням перекриття (CAPTURe — підрахунок об’єктів, зокрема прихованих); передбачення зіткнення (Spatial457 — прогнозування того, з яким об’єктом зіткнеться рухома ціль); просторове міркування (MMSI — визначення взаємозв’язків між об’єктами на різних зображеннях); і простеження шляху — новий тест, у якому моделі мають простежувати пунктирні лінії, що з’єднують числа з літерами.

Зі статті «MIRA, тест для візуального ланцюжка думок»: яскраві приклади візуальних образів у процесах ланцюжка думок. Джерело

Серед протестованих базових моделей VLM були Gemini-3.1-Pro, GPT-5 і модель із відкритими вагами Qwen-3.5-27B. Генерацію зображень переважно виконувала Nano-Banana-Pro; також протестували моделі з відкритими вагами FLUX.2 [dev] і Qwen-Image-Edit-2511. Gemini-3.1-Pro використовували як селектор для масштабування генерації зображень під час тестування.

Із двох базових моделей, використаних для порівняння, «звичайна» VLM, яку автори статті назвали «No Tools», відповідала безпосередньо на запитання на основі зображень, не використовуючи інструментів і не виконуючи коду. Натомість версія Visual Sketchpad 2024 року в цьому випадку пропонувала фіксований набір спеціалізованих інструментів для роботи із зображеннями та комп’ютерного зору, але не підтримувала генерацію зображень у довільному форматі.

Для просторового завдання MMSI обидві базові моделі отримали обчислювальні ресурси, порівнянні з ReImaGin: для кожної з них згенерували 20 відповідей і вибрали ту, що траплялася найчастіше.

Для всіх завдань, крім підрахунку перекриттів, якість оцінювали за точністю відповідей у форматі множинного вибору. Підрахунок перекриттів оцінювали за допомогою симетричної середньої абсолютної відсоткової похибки, порівнюючи прогнозовану та фактичну кількість об’єктів. Результати усереднили за трьома запусками; також наведено стандартну похибку.

Результати тестування ReImaGin у порівнянні з No Tools і Visual Sketchpad на трьох моделях VLM і шести завданнях на візуальне міркування. Вищі показники означають кращий результат, за винятком підрахунку перекриттів, де кращою є менша похибка. ReImaGin показала найкращий результат у більшості комбінацій моделей і завдань.

У всіх трьох моделях використовували ті самі приклади стратегій, визначених людьми. ReImaGin перевершила обидві базові моделі в більшості завдань; особливо помітну перевагу вона показала у складанні головоломок, підрахунку перекриттів і прокладанні шляхів.

Наприклад, у GPT-5 точність розв’язання головоломок зросла з 29,5% у No Tools і 16,7% у Visual Sketchpad до 44,9% у ReImaGin. Абляційні тести підтвердили, що компонент генерації зображень є необхідним для ефективної роботи системи.

Замість Nano-Banana-Pro також протестували генератори зображень із відкритими вагами: FLUX.2 [dev] і Qwen-Image-Edit-2511 дали порівнянні результати в деяких простіших завданнях, зокрема під час зафарбовування, але виявилися менш стабільними у складніших перетвореннях, як-от оцінювання глибини та прокладання шляхів. Подібні результати отримали й тоді, коли як VLM використовували Qwen-3.5-27B:

Результати тестування генераторів зображень із Qwen-3.5-27B у ролі VLM. Nano-Banana-Pro показала найкращий результат у п’яти із шести завдань, тоді як FLUX.2 [dev] і Qwen-Image-Edit-2511 перевершили No Tools у кількох завданнях.

Автори також провели якісні тести для чотирьох завдань:

Якісні приклади з чотирьох завдань показують, як ReImaGin доповнювала міркування Gemini-3.1-Pro. У кожному випадку згенеровані візуальні представлення залучали до процесу міркування, щоб допомогти розв’язати завдання.

ReImaGin не завжди працювала надійно: іноді генератор зображень створював неточне перетворення, наприклад план приміщення з об’єктами не на своїх місцях; в інших випадках VLM неправильно інтерпретувала згенероване зображення, хоча воно було точним.

Під час ручної перевірки 120 згенерованих зображень з’ясувалося, що у 75% випадків запитане перетворення було виконано точно. Коли це вдавалося, остаточна відповідь була правильною у 87% випадків, порівняно з 43% у разі неточного згенерованого зображення.

Автори дійшли такого висновку:

«Наші результати дають підстави для двох ширших висновків. По-перше, генерація зображень може слугувати універсальним механізмом візуальної уяви в межах мультимодального міркування, зменшуючи потребу розробляти окремий інструмент для кожного нового перетворення.

«По-друге, ефективність цього підходу залежить не лише від базових моделей, а й від стратегії міркування, за допомогою якої визначають, що саме візуалізувати та як використати результат.

«Переваги автоматичного пошуку стратегій свідчать, що моделі можуть використовувати своє розуміння візуальних перетворень, щоб знаходити доречні стратегії без створених людьми стратегій для конкретних завдань і міркувань».

Висновок

Рішення щодо самостійного використання інструментів, які досліджуються в цій роботі, — захопливе явище, і не в останню чергу тому, що, схоже, розвиток VLM і так природно рухається в цьому напрямі. Цікаво буде побачити, чи зможуть такі універсальні VLM зрештою працювати не гірше за спеціалізовані інструменти й фреймворки, як-от екосистема Segment; і чи не вийде так, що ті, хто займається винятково цими «другорядними завданнями», стрілятимуть з гармати по горобцях.

Досить важко повірити, що VLM зможуть розвинути необхідну дисципліну, щоб випередити спеціалізовані рішення, як-от локальне донавчання, і втримати над ними перевагу: для цього всю модель віддають на виконання одного завдання, а в результаті її часто неможливо використовувати для будь-яких інших завдань. Час покаже.

* Дискусійне визначення сфери образів, яких ми навчаємося задовго до того, як опановуємо будь-які мовні навички.

Уперше опубліковано в понеділок, 28 вересня 2026 року