Боротьба штучного інтелекту за читання аналогових годинників може мати глибше значення

Нова робота дослідників з Китаю та Іспанії показала, що навіть просунуті багатомодальні моделі штучного інтелекту, такі як GPT-4.1, мають труднощі з читанням години з зображень аналогових годинників. Незначні візуальні зміни в годинниках можуть призвести до великих помилок у інтерпретації, а донастроювання допомагає лише з знайомими прикладами. Результати викликають занепокоєння щодо надійності цих моделей при роботі з незнайомими зображеннями в реальних завданнях.

Коли люди розвивають досить глибоке розуміння певної області, chẳng hạn як гравітація чи інші основні фізичні принципи, ми рухаємося за межі конкретних прикладів до розуміння основних абстракцій. Це дозволяє нам застосовувати ці знання творчо в різних контекстах та розпізнавати нові випадки, навіть ті, яких ми ніколи раніше не бачили, ідентифікуючи принцип у дії.

Коли область має достатню важливість, ми можемо навіть почати сприймати її там, де вона не існує, як у випадку з pareidolia, яке викликане високою ціною невизнання реального випадку. Так сильний цей механізм розпізнавання закономірностей, що він навіть змушує нас знаходити більший діапазон закономірностей там, де їх немає.

Чим раніше і повторюваніше область засвоюється нами, тим глибше її основа і довготривале збереження; і однією з перших візуальних наборів даних, яким ми навчаємося як діти, є годинники, де друковані матеріали або інтерактивні аналогові годинники використовуються для навчання нас читанню години:

Дидактичні матеріали для навчання дітей читанню години. Джерело: https://www.youtube.com/watch?v=IBBQXBhSNUs

Хоча зміни у дизайні годинників іноді можуть викликати у нас труднощі, стійкість цього раннього освоєння області досить вражаюча, дозволяючи нам розпізнавати аналогові годинники навіть перед лицем складних або “екзотичних” дизайнерських рішень:

Деякі складні годинники в годинниковому дизайні. Джерело: https://www.ablogtowatch.com/wait-a-minute-legibility-is-the-most-important-part-of-watch-design/

Люди не потребують тисяч прикладів, щоб навчитися, як працюють годинники; як тільки основна концепція засвоєна, ми можемо розпізнавати її майже в будь-якій формі, навіть коли вона спотворена або абстрактна.

Труднощі, з якими зіштовхуються моделі штучного інтелекту при виконанні цього завдання, на відміну від цього, підкреслюють глибшу проблему: їхня очевидна сила може залежати більше від високовтомної експозиції, ніж від розуміння.

Поза імітаційною грою?

Напруженість між поверхневими результатами та справжнім “розумінням” постійно виникає в недавніх дослідженнях великих моделей. Останнього місяця університет Чжецзяна та Західний університет переформулювали питання в статті під назвою Чи справді володіють моделі рівня PhD справжнім розумінням елементарного додавання? (не є предметом цієї статті), висновок якої такий:

‘Незважаючи на вражаючі результати тестів, моделі показують критичну залежність від розпізнавання закономірностей, а не справжнього розуміння, про що свідчать невдачі з символічними представленнями та порушення базових властивостей.

‘Видно, що явне надання правил погіршує результати, що свідчить про вбудовані архітектурні обмеження. Ці знання розкривають пробіли в оцінці та підкреслюють необхідність архітектур, здатних до справжнього математичного розуміння поза межами розпізнавання закономірностей.’

Цього тижня питання виникає знову, цього разу в співробітництві між Нанкінським університетом аеронавтики та астронавтики та Мадридським політехнічним університетом в Іспанії. Стаття під назвою Чи справді навчилися багатомодальні великі мовні моделі (MLLM) читати годину на аналогових годинниках? досліджує, наскільки добре багатомодальні моделі розуміють читання години.

Хоча прогрес дослідження охоплений лише в загальних рисах у статті, початкові тести дослідників встановили, що багатомодальна мова модель OpenAI GPT-4.1 мала труднощі з правильним читанням години з різноманітного набору зображень годинників, часто даючи неправильні відповіді навіть у простих випадках.

Це вказує на можливий розрив у навчальних даних моделі, що підкреслює необхідність більш збалансованого набору даних для перевірки здатності моделі дійсно вивчити основну концепцію. Тому автори створили синтетичний набір даних аналогових годинників, який рівномірно охоплює кожну можливу годину, уникając звичайних упереджень, знайдених у зображеннях в інтернеті:

Приклад з синтетичного набору даних аналогових годинників, використаного для донастроювання моделі GPT у цій роботі. Джерело: https://huggingface.co/datasets/migonsa/analog_watches_finetune

До донастроювання на новому наборі даних GPT-4.1 постійно помилявся при читанні цих годинників. Однак після певної експозиції нового зібрання його результати покращилися – але лише тоді, коли нові зображення виглядали як ті, які він вже бачив.

Коли форма годинника або стиль стрілок змінювався, точність падала різко; навіть незначні зміни, такі як тонші стрілки або стрілки з наконечниками (праворуч на зображенні нижче), були достатніми, щоб збити його з рівноваги; і GPT-4.1 мав труднощі з інтерпретацією годинників у стилі Далі ‘танучих годинників’:

Зображення годинників зі стандартним дизайном (ліворуч), спотвореною формою (в середині) та зміненими стрілками (праворуч), поряд з часом, повернутим GPT-4.1 до та після донастроювання. Джерело: https://arxiv.org/pdf/2505.10862

Автори роблять висновок, що сучасні моделі, такі як GPT-4.1, можуть тому бути навчені читанню годинників головним чином через візуальне розпізнавання закономірностей, а не через глибше розуміння концепції часу, стверджуючи:

‘[GPT 4.1] помиляється, коли годинник спотворений або коли стрілки змінені на тонші та мають наконечник. Середня абсолютна похибка (MAE) у оцінці часу за 150 випадкових часів становила 232,48 с для початкових годинників, 1380,69 с, коли форма спотворена, і 3726,93 с, коли стрілки змінені.

‘Ці результати свідчать про те, що MLLM не навчився читати годину, а радше запам’ятав закономірності.’

Достатньо часу

Більшість навчальних наборів даних залежать від зображень, зібраних з вебу, які часто повторюють певні години – особливо 10:10, популярну установку в рекламі годинників:

Приклад з нової статті про поширеність часу ‘десять хвилин десята’ в аналогових годинниках.

Внаслідок цього обмеженого діапазону годин, зображених на зображеннях, модель може бачити лише вузький діапазон можливих конфігурацій годинників, обмежуючи її здатність узагальнювати за межі цих повторюваних закономірностей.

Відносно того, чому моделі не можуть правильно інтерпретувати спотворені годинники, стаття стверджує:

‘Хоча GPT-4.1 працює винятково добре зі стандартними зображеннями годинників, дивно, що зміна стрілок годинника на тонші та додавання наконечників призводить до значного падіння точності.

‘Інтуїтивно можна очікувати, що візуально складніша зміна – спотворена циферблат – матиме більший вплив на результати, проте ця зміна здається відносно менш важливою.

‘Це піднімає питання: як MLLM інтерпретують годинники, і чому вони помиляються? Одним із можливих пояснень є те, що тонші стрілки погіршують здатність моделі сприймати напрям, ослаблюючи її розуміння просторової орієнтації.

‘Альтернативно, можуть бути інші чинники, які викликають плутанину, коли модель намагається поєднати годинну, хвилинну та секундну стрілки в точне читання часу.’

Автори стверджують, що визначення кореневої причини цих невдач є ключем до вдосконалення багатомодальних моделей: якщо проблема полягає в тому, як модель сприймає просторову орієнтацію, донастроювання може пропонувати просте рішення; але якщо проблема викликана більш фундаментальною трудністю в інтеграції кількох візуальних сигналів, це свідчить про більш фундаментальну слабкість у тому, як ці системи обробляють інформацію.

Тести донастроювання

Для перевірки того, чи можна подолати невдачі моделі шляхом експозиції, GPT-4.1 був донастроєний на згаданому раніше та повному синтетичному наборі даних. До донастроювання його передбачення були розкидані, з значними помилками у всіх типах годинників. Після донастроювання на цьому зібранні точність покращилася різко на стандартних годинниках і, меншою мірою, на спотворених.

Однак годинники зі зміненими стрілками, такими як тонші форми або стрілки з наконечниками, продовжували виробляти великі помилки.

Два різні режими невдач виникли: на нормальних і спотворених годинниках модель зазвичай помилялася у напрямку стрілок; але на годинниках зі зміненими стилями стрілок вона часто плутала функцію кожної стрілки, приймаючи годинну за хвилинну або хвилинну за секундну.

Порівняння, яке демонструє початкову слабкість моделі та часткові здобутки, досягнуті завдяки донастроюванню, показуючи передбачуваний час проти фактичного часу, в секундах, для 150 випадкових годинників. Зліва, до донастроювання, передбачення GPT-4.1 розкидані та часто далеко від правильних значень, позначених червоним діагональним рядком. Праворуч, після донастроювання на синтетичному наборі даних, передбачення збігаються значно ближче до фактичних даних, хоча деякі помилки залишаються.

Це свідчить про те, що модель вивчила асоціацію візуальних ознак, таких як товщина стрілок, з певними ролями, і мала труднощі, коли ці сигнали змінилися.

Обмежене покращення на незнайомих дизайнах викликає подальші сумніви щодо того, чи дійсно модель цього типу вивчає абстрактну концепцію читання години, чи просто вдосконалює розпізнавання закономірностей.

Знаки рук

Отже, хоча донастроювання покращило результати GPT-4.1 на традиційних аналогових годинниках, воно мало значно менше впливу на годинники з тонкими стрілками або стрілками з наконечниками, що піднімає можливість того, що невдачі моделі були викликані менше абстрактним розумінням, а більше плутаниною щодо того, яка стрілка є якою.

Для перевірки того, чи покращиться точність, якщо цю плутанину видалити, було проведено новий аналіз передбачень моделі для набору даних “змінених стрілок”. Вихідні дані були розділені на дві групи: випадки, коли GPT-4.1 правильно розпізнав годинну, хвилинну та секундну стрілки; і випадки, коли він цього не зробив.

Прогнози були оцінені за середню абсолютну похибку (MAE) до та після донастроювання, і результати порівнювалися з результатами для стандартних годинників; кутова похибка також вимірювалася для кожної стрілки з використанням позиції циферблата як базової лінії:

Порівняння похибок для годинників зі зміною ролі стрілок у наборі даних ‘змінених стрілок’ до та після донастроювання.

Плутанина щодо ролей стрілок годинника призводила до найбільших помилок. Коли GPT-4.1 плутав годинну стрілку з хвилинною або навпаки, отримані оцінки часу часто були далеко не точними. Натомість помилки, викликані неправильним напрямом правильно ідентифікованої стрілки, були меншими. Серед трьох стрілок годинна стрілка показала найбільшу кутову похибку до донастроювання, тоді як секундна стрілка показала найменшу.

Кутова похибка за типом стрілки для передбачень зі зміною ролі стрілок та без неї до та після донастроювання у наборі даних ‘змінених стрілок’.

Для фокусування лише на напрямних помилках аналіз був обмежений випадками, коли модель правильно ідентифікувала функцію кожної стрілки. Якщо модель внутрішньо засвоїла загальну концепцію читання години, її результати на цих прикладах мали б відповідати її точності на стандартних годинниках. Однак цього не сталося, і точність залишилася помітно гіршою.

Для дослідження того, чи форма стрілки заважає сприйняттю моделлю напрямку, було проведено другий експеримент: було створено два нових набори даних, кожен з яких містив шістдесят синтетичних годинників з лише годинною стрілкою, що вказувала на різні хвилинні позначки. Один набір використовував оригінальний дизайн стрілки, а інший – змінений. Модель була запитана про назву позначки, на яку вказувала стрілка.

Результати показали незначне зниження точності з модифікованими стрілками, проте це не було достатньо, щоб пояснити більш широкі невдачі моделі. Одна незнайома візуальна ознака здавалася здатною порушити загальне тлумачення моделі, навіть у завданнях, які вона раніше виконувала успішно.

Огляд результатів GPT-4.1 до та після донастроювання на стандартних, спотворених та годинниках зі зміненими стрілками, підкреслюючи нерівномірні здобутки та тривалі слабкості.

Висновок

Хоча фокус статті може здатися тривіальним на перший погляд, це не особливо важливо, чи коли-небудь моделі штучного інтелекту з огляду на читання аналогових годинників на 100% точності. Що надає цій роботі вагу, це її фокус на глибшу повторювану проблему: чи може насичення моделей більшим та більш різноманітним набором даних привести до такого роду розуміння області, яке люди здобувають завдяки абстракції та узагальненню; чи єдиним життєздатним шляхом насичення області достатнім числом прикладів для передбачення кожного ймовірного варіанту під час висновку.

Обидва шляхи викликають сумніви щодо того, що сучасні архітектури дійсно здатні вивчити.

Перша публікація понеділка, 19 травня 2025