Що таке візуально-мовні моделі (VLM) і як ШІ поєднує зображення зі словами

Візуально-мовні моделі поєднують візуальні ознаки з мовою, завдяки чому система може описувати й порівнювати зображення, знаходити їх або міркувати про них за допомогою слів.

Візуально-мовні моделі потребують точного пояснення, адже їхня назва позначає певний потік інформації, особливість навчання, механізм роботи під час виконання або межу управління. Якщо вважати цей термін синонімом «передового ШІ», твердження стають неможливими для перевірки. У цьому посібнику ми простежимо шлях від вхідних даних і припущень до результату, який можна спостерігати, а потім перевіримо спрощене пояснення, яке найімовірніше можна з ним сплутати.

Візуально-мовні моделі: визначення, межі та призначення

Візуально-мовні моделі поєднують візуальні ознаки з мовою, завдяки чому система може описувати й порівнювати зображення, знаходити їх або міркувати про них за допомогою слів. Це визначення передбачає три практичні умови: можна визначити вхідні дані; система виконує перетворення або ухвалює рішення, характерне для візуально-мовних моделей; результат можна оцінити відповідно до зазначеної мети. Якщо бракує хоча б одного з цих елементів, термін може описувати бажаний результат, а не реалізований механізм.

Мультимодальні системи мають узгоджувати сигнали, що відрізняються роздільною здатністю, часом надходження, рівнем шуму та неоднозначністю. Слово може стосуватися невеликої ділянки зображення, а звукова подія — передувати кадру відео, який її пояснює. Для візуально-мовних моделей важливо розглядати систему загалом, адже на її продуктивність можуть впливати навколишні дані, інтерфейси, апаратне забезпечення, дозволи та люди, навіть якщо сама модель не змінюється. Тому в якісному поясненні слід відокремлювати засвоєну моделлю поведінку від продукту, який визначає, коли, де й із якими повноваженнями її застосовують.

Найближче оманливе спрощення — це комп’ютерний зір, який прогнозує фіксовану мітку без можливості вільно формулювати мовні відповіді. Він може мати спільну помітну ознаку з візуально-мовними моделями, але причинно-наслідкова картина буде іншою: для підтвердження успіху знадобляться інші докази, на вартість найбільше впливатимуть інші ресурси, а для запобігання шкоді будуть потрібні інші засоби контролю. Отже, межа між ними визначається практичним застосуванням, а не термінологією.

П’ять етапів роботи візуально-мовних моделей

Ця схема — стислий причинно-наслідковий опис роботи візуально-мовних моделей, а не твердження, що кожна реалізація складається з п’яти програмних компонентів. У деяких системах етапи об’єднані, в інших — повторюються циклічно. Схема залишається корисною, бо вимагає визначити відповідального за кожну зміну інформації чи повноважень, а також зазначити вхідні й вихідні дані та спосіб перевірки.

1. Розбити зображення на частини або закодувати його у вигляді візуальних токенів: вхідні дані та припущення у візуально-мовних моделях

На цьому етапі роботи візуально-мовних моделей система має розбити зображення на частини або закодувати його у вигляді візуальних токенів. Важливо запитати не лише, чи виконується ця операція, а й яку інформацію вона використовує, який стан змінює та які докази підтверджують правильність цієї зміни. Рецензент має вміти відрізнити цю операцію від комп’ютерного зору, який прогнозує фіксовану мітку без можливості вільно формулювати мовні відповіді, а також відтворити її результат за тих самих зазначених умов.

Передавання даних на цей етап роботи візуально-мовних моделей починається із зазначеної мети й має завершуватися результатом, придатним для кодування супровідного тексту. Фіксуйте невизначеність, відхилені альтернативи, використані ресурси, а також будь-які засоби людського чи програмного контролю на цій межі. Завдяки такому журналу команди можуть виявити, чи здатні плавно сформульовані описи називати об’єкти або зв’язки, яких насправді не видно, перш ніж та сама вада вплине на важливий результат.

2. Закодувати супровідний текст: представлення або рішення у візуально-мовних моделях

На цьому етапі роботи візуально-мовних моделей система має закодувати супровідний текст. Важливо запитати не лише, чи виконується ця операція, а й яку інформацію вона використовує, який стан змінює та які докази підтверджують правильність цієї зміни. Рецензент має вміти відрізнити цю операцію від комп’ютерного зору, який прогнозує фіксовану мітку без можливості вільно формулювати мовні відповіді, а також відтворити її результат за тих самих зазначених умов.

Передавання до цього етапу роботи візуально-мовних моделей починається з поділу зображення або його кодування у вигляді візуальних токенів і має завершуватися результатом, що дає змогу поєднати обидва представлення. Фіксуйте невизначеність, відхилені альтернативи, використані ресурси та будь-який людський або програмний контроль, застосований на цій межі. За цим записом команди можуть виявити, чи здатні зв’язні описи називати об’єкти або зв’язки, яких насправді не видно, перш ніж та сама вада вплине на результат із серйозними наслідками.

3. Поєднання обох представлень: характерне перетворення у візуально-мовних моделях

На цьому етапі роботи візуально-мовних моделей система має поєднати обидва представлення. Важливо з’ясувати не лише, чи відбувається ця операція, а й які дані вона використовує, який стан змінює та які докази підтверджують правильність цієї зміни. Рецензент має вміти відрізнити цю операцію від комп’ютерного зору, який передбачає фіксовану мітку без можливості генерувати відкриті мовні відповіді, і відтворити результат за тих самих заявлених умов.

Передавання до цього етапу роботи візуально-мовних моделей починається з кодування супровідного тексту й має завершуватися результатом, що дає змогу враховувати зв’язки між ділянками зображення та фразами. Фіксуйте невизначеність, відхилені альтернативи, використані ресурси та будь-який людський або програмний контроль, застосований на цій межі. За цим записом команди можуть виявити, чи здатні зв’язні описи називати об’єкти або зв’язки, яких насправді не видно, перш ніж та сама вада вплине на результат із серйозними наслідками.

4. Урахування зв’язків між ділянками зображення та фразами: межа обмежень і перевірки у візуально-мовних моделях

На цьому етапі роботи візуально-мовних моделей система має враховувати зв’язки між ділянками зображення та фразами. Важливо з’ясувати не лише, чи відбувається ця операція, а й які дані вона використовує, який стан змінює та які докази підтверджують правильність цієї зміни. Рецензент має вміти відрізнити цю операцію від комп’ютерного зору, який передбачає фіксовану мітку без можливості генерувати відкриті мовні відповіді, і відтворити результат за тих самих заявлених умов.

Передавання до цього етапу роботи візуально-мовних моделей починається з поєднання обох представлень і має завершуватися результатом, що дає змогу декодувати відповідь або дію, обґрунтовану вхідними даними. Фіксуйте невизначеність, відхилені альтернативи, використані ресурси та будь-який людський або програмний контроль, застосований на цій межі. За цим записом команди можуть виявити, чи здатні зв’язні описи називати об’єкти або зв’язки, яких насправді не видно, перш ніж та сама вада вплине на результат із серйозними наслідками.

5. Декодування обґрунтованої вхідними даними відповіді або дії: вихідні дані, зворотний зв’язок і правило зупинки у візуально-мовних моделях

На цьому етапі роботи візуально-мовних моделей система має декодувати відповідь або дію, обґрунтовану вхідними даними. Важливо з’ясувати не лише, чи відбувається ця операція, а й які дані вона використовує, який стан змінює та які докази підтверджують правильність цієї зміни. Рецензент має вміти відрізнити цю операцію від комп’ютерного зору, який передбачає фіксовану мітку без можливості генерувати відкриті мовні відповіді, і відтворити результат за тих самих заявлених умов.

Передавання до цього етапу роботи візуально-мовних моделей починається з урахування зв’язків між ділянками зображення та фразами й має завершуватися результатом, що дає змогу здійснювати моніторинг або ухвалити остаточне рішення. Фіксуйте невизначеність, відхилені альтернативи, використані ресурси та будь-який людський або програмний контроль, застосований на цій межі. За цим записом команди можуть виявити, чи здатні зв’язні описи називати об’єкти або зв’язки, яких насправді не видно, перш ніж та сама вада вплине на результат із серйозними наслідками.

Розглядайте схему роботи візуально-мовних моделей у прямому напрямку, щоб зрозуміти виробничий процес, і у зворотному — щоб діагностувати збої. Прямий аналіз з’ясовує, як один етап забезпечує даними наступний. Зворотний аналіз починається з неправильного, повільного, дорогого або небезпечного результату й допомагає встановити, яке попереднє припущення до нього призвело. Саме під час зворотного аналізу команда часто виявляє, що вирішальна помилка сталася ще до того, як модель щось згенерувала.

Приклад роботи візуально-мовної моделі

Модель VLM може проаналізувати знімок екрана з інформаційною панеллю та пояснити, яка діаграма підтверджує письмове твердження.

Цей приклад показовий, адже роботу візуально-мовних моделей можна оцінювати за спостережуваними вхідними даними, проміжними станами та результатом, а не за ефектною демонстрацією. Для ретельного тестування слід підготувати звичайні, складні й навмисно оманливі приклади на основі цього сценарію, зберегти базовий варіант без застосування цієї методики та зафіксувати як середню ефективність, так і серйозність окремих збоїв.

Змініть одне припущення у прикладі з візуально-мовними моделями й повторіть аналіз. Приберіть обов’язкові вхідні дані, додайте суперечливий сигнал, обмежте обчислювальні ресурси, змініть склад користувачів або змусьте систему утриматися від відповіді. Якщо механізм працює лише в межах однієї ретельно підготовленої демонстрації, це ще не доводить, що він узагальнюється на робоче середовище.

Візуально-мовні моделі та найпоширеніше хибне спрощення

Роботу візуально-мовних моделей часто зводять до комп’ютерного зору, який передбачає фіксовану мітку без можливості генерувати відкриті мовні відповіді. Таке спрощення усуває саме ту межу, яка визначає це поняття. Через це покупці можуть порівнювати несумісні продукти, дослідники — перебільшувати значення результатів експерименту, а фахівці з експлуатації — відстежувати після розгортання не ті показники.

Порівняння також має визначати одиницю аналізу. У дослідженні візуально-мовних моделей може розглядатися окрема модель або алгоритм, тоді як розгорнутий сервіс додає пошук інформації, маршрутизацію, кешування, політики, керування ідентифікацією, інтерфейси користувача й моніторинг. Два продукти можуть використовувати однаковий термін у заголовку, але реалізовувати різні складники цього стеку. З’ясуйте, який компонент виконує визначальне перетворення та які інші компоненти необхідні для досягнення заявленого результату.

Чому візуально-мовні моделі важливі для сучасних систем ШІ

Візуально-мовні моделі важливі сьогодні, адже системам ШІ надають ширший контекст, більше модальностей і обчислювальних ресурсів під час виконання, ширший доступ до інструментів і тісніший зв’язок із процесом ухвалення рішень в організаціях. За таких умов те, що раніше здавалося суто дослідницькою деталлю, може визначати затримку, безпеку, доступність, вплив на довкілля, якість продукту або юридичну підзвітність.

Важливо не те, чи можуть візуально-мовні моделі дати один вражаючий результат. Важливо, чи покращує ця методика значущий результат за репрезентативних умов і чи робить це ефективніше за простішу базову модель. Замість зводити всі результати до одного середнього значення, звітуйте про розподіли, категорії збоїв, затримку на хвостах розподілу, використання ресурсів і групи, яких це стосується.

Під час оцінювання слід ізолювати кожну модальність, перевіряти суперечливі вхідні дані та підтверджувати часову або просторову прив’язку. Вільна відповідь, що поєднує різні модальності, не доводить, що модель звернула увагу на правильний сигнал. Якщо застосовувати такий підхід саме до візуально-мовних моделей, результати можна переносити на інші умови: інша команда зможе оцінити, чи ймовірно збережеться заявлений приріст з іншою моделлю, мовою, апаратною платформою, набором даних, групою користувачів або рівнем прийнятного ризику.

Переваги, які можуть забезпечити візуально-мовні моделі

Найвагоміша причина використовувати візуально-мовні моделі — їхня здатність безпосередньо усувати проблему, для якої їх призначено. Залежно від реалізації перевагою можуть бути точніше обґрунтування на основі вхідних даних, достовірніше представлення, краще узагальнення, менша затримка, менше переміщення даних у пам’яті, чіткіша підзвітність або безпечніше розмежування між пропозицією моделі та реальною дією.

Переваги слід описувати через рішення та вимірювання. «Розумніша» — не критерій прийнятності для візуально-мовних моделей. Корисна ціль може визначати частоту помилок у складних випадках, здатність відновитися після суперечливих свідчень, вартість на певному перцентилі трафіку, час на перевірку людиною, калібрування або частку дій, що залишаються в межах визначених повноважень.

Характерний тип помилки візуально-мовних моделей

Головне обмеження полягає в тому, що вільні описи можуть називати об’єкти або зв’язки між ними, яких насправді не видно. Цю проблему не можна вважати другорядною й згадувати лише після завершення розробки. Вона має впливати на збирання даних, архітектуру, дозволи, оцінювання, критерії випуску та моніторинг візуально-мовних моделей від самого початку.

Заходи контролю для візуально-мовних моделей корисні лише тоді, коли їх застосовують до настання значних за вартістю або незворотних наслідків. Визначте найранішу ознаку збою, яку можна спостерігати, установіть порогове значення або правило, призначте відповідального та перевірте, чи можна відновити роботу. Залежно від випадку відновлення може означати відмову від відповіді, перехід до простішої системи, запит додаткових доказів, передавання питання фахівцю, відкат до попередньої версії моделі або повне припинення дії.

План оцінювання візуально-мовних моделей

Почніть оцінювання візуально-мовних моделей із чіткого формулювання рішення, яке мають обґрунтувати докази. Визначте цільову сукупність в умовах експлуатації, наслідки помилкового результату, інформацію, фактично доступну на момент ухвалення рішення, і найпростішу переконливу альтернативу. Це не дасть перетворити контрольний тест на самоціль лише тому, що його легко провести.

Для контрольованих порівнянь використовуйте тестову вибірку, яку не змінювали, а потім перевірте візуально-мовні моделі в поетапно організованому робочому середовищі. Оцінювання в автономному режимі дає змогу порівнювати варіанти; тіньовий режим, канаркові запуски, обмеження частоти або етапи погодження виявляють, як реальний трафік, цикли зворотного зв’язку та люди змінюють поведінку системи. Для етапу розгортання слід чітко визначити умову зупинки, а не вважати, що кожне поліпшення варте повномасштабного впровадження.

Фіксуйте версії даних і компонентів, потрібних для відтворення роботи візуально-мовних моделей: вихідних даних, попередньої обробки, токенізатора або енкодера, ваг моделі, конфігурації, підказки або політики, індексу пошуку, набору для оцінювання, припущень щодо апаратного забезпечення та коду обслуговування моделі — якщо вони застосовні. Без відстеження походження команда не зможе визначити, чи змінився результат через методику, середовище або непомічену зміну конвеєра.

Нарешті, запитайте себе, який результат спростував би твердження, що візуально-мовні моделі допомагають. Якщо жоден результат не міг би змінити рішення про впровадження, це оцінювання — маркетинг. Заздалегідь установлені порогові значення прийнятності та збережена підтверджувальна вибірка перетворюють цю роботу на збирання доказів.

Запитання, які варто поставити перед упровадженням візуально-мовних моделей

• Мета: Яке вимірюване вузьке місце мають усунути візуально-мовні моделі?
• Механізм: На якому з п’яти етапів відбувається характерне перетворення?
• Базовий варіант: Як система порівнюється з комп’ютерним зором, що прогнозує фіксовану мітку без відкритої мови, або з іншою простішою альтернативою?
• Докази: Які типові, складні, змагальні та підгрупові випадки перевіряли?
• Експлуатація: Які витрати на затримку, пам’ять, обчислення, енергію, обслуговування та перевірку виникають у великому масштабі?
• Ризик: Як команда виявлятиме, що зв’язні описи можуть називати об’єкти або зв’язки, яких насправді не видно?
• Відновлення: Чи може система відмовитися від відповіді, перейти до резервного варіанта, відкотитися до попередньої версії або передати питання фахівцю до того, як буде завдано шкоди?

Основні джерела для вивчення візуально-мовних моделей

Авторитетні джерела, з яких варто почати вивчення частини стеку ШІ, що охоплює візуально-мовні моделі, — це наукова стаття про CLIP та мультимодальна модель PaLM-E із втіленим ШІ. Читайте їх разом із документацією саме до тієї моделі, набору даних, апаратного забезпечення та юрисдикції, про які йдеться. Загальне джерело може описати механізм, але лише докази, специфічні для конкретного розгортання, можуть підтвердити придатність певної реалізації.

Що варто пам’ятати про візуально-мовні моделі

Візуально-мовні моделі — це визначений механізм у межах ширшої соціотехнічної системи. Їхня цінність полягає в поліпшенні конкретного результату за чітко визначених умов, а не в самій назві. Карта п’яти етапів показує потік інформації, порівняння дає змогу зрозуміти, чим ці моделі не є, а схема контролю демонструє, де відповідальний оператор може втрутитися.

Практичне правило для візуально-мовних моделей: визначте мету, порівняйте моделі з переконливим базовим варіантом, перевірте найважливіший збій і збережіть докази, потрібні для відстеження змін. За наявності цих складників концепція стає інженерним і управлінським рішенням, яке можна оцінити. Без них це лише багатообіцяюча назва, за якою приховується невідомий експлуатаційний ризик.