Навчання ШІ розпізнавати прихований текст, який бачать люди

Одним із трендів у сфері ШІ, що швидко спалахнув і згас приблизно 2–3 роки тому, було використання візуально-мовних моделей (VLM) для вбудовування загадкового тексту й «латентних зображень» у згенеровані картинки, що на перший погляд здаються цілком невинними:

Для результатів роботи ControlNet QR Code Monster характерні оптичні ілюзії та ефекти тромплею. Джерело

Це своєрідний ефект обману зору на вимогу, який набув найбільшої популярності завдяки фреймворку з відкритим кодом QR Code Monster ControlNet.

Коли достатньо людей побачили цей ефект у дії, застосовувати цю техніку можна фактично лише як різновид практичної криптографії: вона дає змогу надсилати текст, який не перехоплять і не розпізнають візуально-мовні моделі або системи оптичного розпізнавання символів (OCR), а також передавати напівпідсвідомі повідомлення:

Ви вловили послання? Якщо ні, прокрутіть униз, щоб побачити відповідь. Це відомий приклад оптичної ілюзії, створеної ШІ, яка, як і головна ілюстрація до цієї статті, відсилає до мему за мотивами науково-фантастичного фільму Джона Карпентера «Вони живуть» (1988). У фільмі один чоловік виявляє, що світ сповнений підсвідомих послань від інопланетної раси, яка проникла в суспільство. Джерело

Такі праці, як дослідження 2025 року «Ненависть на видноті» і «Приховане на видноті», опубліковане минулого місяця, демонструють потенціал цього методу для поширення ненависницьких поглядів, а також його загалом — для стеганографії.

Тому в науковій літературі цю техніку тепер розглядають передусім як потенційно зловмисну, а не як спосіб створювати кумедні меми.

Докладніше

Одна з проблем, пов’язаних із виявленням таких проникнень, — назвімо їх ШІ-оптичними ілюзіями, адже, схоже, усталеної назви досі немає, — полягає в тому, щоб навчити мультимодальні моделі ШІ «бачити за деревами ліс». Якщо примружитися або зменшити ШІ-оптичну ілюзію до дуже малого розміру, загальні обриси підсвідомого тексту стають добре помітними для нас:

Оскільки навчання дифузійних моделей поступово переводить ШІ від сприйняття понять у вигляді «недбалих начерків» до відтворення найдрібніших деталей — приблизно як коли домальовують решту… сови, — VLM мали б доволі добре розпізнавати такі закономірності. Однак нещодавні дослідження свідчать, що насправді це не так:

У дослідженні 2025 року «SemVink» з’ясували, що навіть здатна до багатьох інших завдань передова VLM не змогла розпізнати підсвідомий текст у ШІ-оптичних ілюзіях. Джерело

Однак у нещодавній науковій статті з Китаю описано новий фреймворк, який може допомогти VLM розпізнавати ШІ-оптичні ілюзії.

У новому підході, код якого опубліковано, використовується метод навчання, за якого одна модель ШІ навчається на прикладі іншої, отримуючи зменшену версію зображення та правильну транскрипцію. Дослідники повідомляють, що завдяки цьому приховані повідомлення можна зчитувати безпосередньо з оригінальних зображень, причому показники розпізнавання значно вищі, ніж за традиційних методів навчання:

Схема запропонованого методу навчання ШІ. Показано, як дві моделі навчаються на тому самому зображенні. Учитель отримує додаткові підказки, зокрема зменшену версію зображення, на якій прихований текст легше розпізнати, і правильну відповідь. Його підказки використовують для навчання учня, який зрештою має розпізнавати текст без них.  Джерело

У цьому методі, що має назву SQUINT, використовується дистиляція знань: інформація, засвоєна однією моделлю ШІ, передається іншій під час навчання. У цьому випадку учня навчають відтворювати прогнози вчителя, математично порівнюючи їхні відповіді. Після завершення навчання вчителя можна відкинути, і залишиться одна модель, здатна аналізувати нові зображення без додаткової допомоги.

На двох етапах SQUINT спочатку порівнюють передбачення студента з передбаченнями краще поінформованого вчителя, завдяки чому студент може навчатися на відмінностях. На другому етапі додаткові вдосконалення заохочують, винагороджуючи правильне розпізнавання прихованого тексту.

Під час тестування SQUINT розпізнала приховані написи на зображеннях, які виявилися майже нездоланними для початкової моделі ШІ, а також показала кращі результати в кількох незалежних тестах. Виявилося, що прихований текст часто можна було виявити, навіть якщо прочитати його не вдавалося; розпізнавання поліпшувалося, коли увагу спрямовували на ділянки зображення, з яких складалися літери.

Подальшого поліпшення вдалося досягти, прибравши дрібні деталі й текстури, завдяки чому основні форми стало легше розрізняти:

Три тести, що досліджують, чому прихований текст розпізнають неправильно. Ліворуч: спрямування моделі на потрібні ділянки зображення показує, що знаходження літер — серйозна перешкода. По центру: вилучення дрібних візуальних деталей показує, що текстура може затуляти більші форми літер. Праворуч: додавання зменшеної копії зображення показує, що зменшення допомагає моделі розрізняти візуально схожі символи.

Дані та метод

З’ясувалося, що простого додавання моделі більшої кількості прикладів оптичних ілюзій для ШІ недостатньо, оскільки звичайне навчання не дає підстав розглядати зображення в іншому масштабі. Тому під час навчання SQUINT використовують зменшену копію зображення, щоб навчити модель визначати, які візуальні дані слід вважати пріоритетними, коли вона отримує повнорозмірне зображення.

Для цього знадобилися два набори даних; SquintBench складається з 1 076 зображень, відібраних із виробничого конвеєра модерації контенту (його не уточнено). За словами авторів, усі вони взяті з реальних виробничих даних і, вочевидь, є фотографіями профілів людей із прихованим текстом, який люди можуть прочитати майже без зусиль; анотатори-люди транскрибували як видимий, так і прихований текст.

Другий набір даних, SquintCtrl, містить прихований текст, вбудований у згенеровані сцени за допомогою QR Code Monster v2, що працює на нині поважній за віком Stable Diffusion 1.5 (яку дослідники комп’ютерного зору, схоже, доведеться виривати з їхніх холодних мертвих рук). Оскільки текст, використаний для створення кожного зображення, був відомий заздалегідь, його точне розташування можна було визначити автоматично, що давало змогу досліджувати випадки помилок розпізнавання без анотування людьми.

SquintCtrl поділили на чотири підмножини: SquintCtrl-Pair використовує 500 пар зіставлених зображень — із прихованим текстом і без нього, — щоб перевірити, чи можна виявити його наявність; SquintCtrl-Glyph перевіряє, чи можна розпізнати й визначити розташування окремих китайських і латинських символів; SquintCtrl-Strength змінює виразність прихованого тексту на 200 сценах; а SquintCtrl-Read містить 200 зображень із відкритим словником для тестування повної транскрипції.

Тестування

Діагностичні експерименти проводили за допомогою Qwen3.5-9B, залишивши його ваги незмінними, щоб з’ясувати, що вже здатна сприймати наявна модель.

На першому етапі навчання, Squint OPSD, краще поінформований учитель спрямовує студента. Учитель отримує оригінальне зображення, його зменшену копію та правильну транскрипцію, тоді як студент бачить лише оригінальне зображення. Потім їхні передбачення порівнюють токен за токеном, завдяки чому студент навчається в учителя, але водночас зберігає здатність працювати лише з оригінальним зображенням.

Навчання проводили на 5 905 запитах, серед яких було 3 489 синтетичних зображень із прихованим текстом, 1 213 зразків OCR і 1 203 зразки візуальних запитань і відповідей. Основним набором для оцінювання був SquintBench, а перенесення оцінювали за допомогою Illusory VQA; AdvOCR; і HC-Bench. Ширші можливості зору й роботи з мовою тестували на AI2D; DocVQA; і OCRBench.

Для порівняння протестували початкову попередньо навчену модель, її версію з додатковою зменшеною копією зображення, навчання з учителем за допомогою тонкого налаштування (SFT), а також DAPO. Як зовнішні орієнтири також оцінювали Claude Opus 5; Gemini 3.1 Pro; GPT-6 Astra; і Qwen3-VL-235B-Thinking.

Результати тестування Squint OPSD порівняно з базовими методами. Squint OPSD показує найвищий результат на SquintBench — 88.61, водночас зберігаючи значно більше загальних можливостей зору й роботи з мовою, ніж навчання з учителем за допомогою тонкого налаштування.

Як видно з таблиці результатів вище, Squint OPSD підвищила результат на SquintBench із 26.50 для початкової моделі до 88.61, перевершивши всі три базові методи навчання й водночас значною мірою зберігши показники в загальних тестах на роботу із зображеннями та мовою.

У наступному тесті Squint OPSD оцінювали на трьох зовнішніх бенчмарках для прихованого тексту:

Результати тестування Squint OPSD у порівнянні з п’ятьма іншими моделями на SquintBench і трьох зовнішніх бенчмарках для прихованого тексту. Squint OPSD показала найкращі результати в кожному тесті, коли моделям надавали повні, незмінені зображення. Для Illusory VQA нижчий рівень помилок у словах означає кращий результат.

Показники AdvOCR зросли з 3.7 до 66.7, а HC-Bench — з 1.8 до 44.6; водночас рівень помилок у словах на Illusory VQA знизився зі 178.10 до 67.00. На початкових зображеннях SquintBench також отримали низькі результати значно більші Qwen3-VL-235B-Thinking і GPT-6 Astra — 24.44 і 8.33 відповідно.

Після навчання спостерігалися значно чіткіші внутрішні розрізнення між окремими символами, прихованими на зображенні. Для китайських ієрогліфів показник чіткості представлення ідентичності символу зріс із 0.718 до 0.975, а відповідний показник для латинських символів — із 0.612 до 0.779.

Перевірка того, як після навчання змінилася здатність моделі розпізнавати приховані символи. Ліворуч показано, що прогнози моделі та її увага дедалі більше зосереджуються на ділянках зображення, з яких складаються приховані символи, а точність падає, якщо ці ділянки спотворити. Праворуч показано, що альтернативні прогнози символів моделі дедалі чіткіше впорядковуються за візуальною схожістю, водночас зберігаючи інформацію, засновану на мові.

Увага також більше зосереджувалася на тих частинах зображення, які насправді утворювали приховані літери. Коли внутрішнє представлення моделлю цих ділянок навмисно спотворили, точність знизилася з 90.5% до 71.5%. Натомість спотворення такої самої кількості випадково вибраних фонових ділянок майже нічого не змінило. Це свідчить, що прихований текст зчитувався з відповідних візуальних структур.

Висновок

Можливо, у цій новій роботі проявляється своєрідна «фрактальна короткозорість», яка повторюється в інших галузях ШІ. Багато користувачів, знайомих із передовими великими мовними моделями (LLM) та візуально-мовними моделями (VLM), упізнають чимало випадків, коли ті схильні зосереджуватися на невеликій ділянці тексту, зображення чи відео, не зважаючи ширше на те, як ці зміни можуть вплинути на загальну картину.

У багатьох випадках проблема буде пов’язана з недосконалою пам’яттю ШІ (та його ще дуже обмеженою здатністю стискати власну пам’ять для триваліших і зазвичай агентних завдань). Однак іноді, як у цьому випадку, виявляється, що стандартні методи навчання залишають бажати кращого й потребують цілеспрямованого вдосконалення. Питання полягає в тому, наскільки нам слід робити висновки з таких випадків і розглядати можливість перегляду базових методів навчання… і коли цей процес можна вважати надто «спеціалізованим» і другорядним, щоб застосовувати щось інше, крім підходу сторонніх розробників, як-от LoRA.

Уперше опубліковано у вівторок, 10 листопада 2026 року