Дивись, думай, пояснюй: підйом візуальних мовних моделей у штучному інтелекті

Близько десяти років тому штучний інтелект був розділений між розпізнаванням зображень та розумінням мови. Візуальні моделі могли визначити об’єкти, але не могли описати їх, а мовні моделі могли генерувати текст, але не могли “бачити”. Сьогодні цей розрив швидко зникає. Візуальні мовні моделі (VLMs) тепер поєднують візуальні та мовні навички, дозволяючи їм інтерпретувати зображення та пояснювати їх способами, які майже відчуваються як людські. Що робить їх真正ньо видатними, це їхній крок за кроком процес мислення, відомий як Ланцюг мислення, який допомагає перетворити ці моделі на потужні та практичні інструменти в галузях, таких як охорона здоров’я та освіта. У цій статті ми дослідимо, як працюють VLMs, чому їхнє мислення має значення, і як вони трансформують галузі від медицини до самоходних автомобілів.

Поняття візуальних мовних моделей

Візуальні мовні моделі, або VLMs, – це тип штучного інтелекту, який може одночасно розуміти зображення та текст. На відміну від старих систем штучного інтелекту, які могли обробляти лише текст або зображення, VLMs поєднують ці дві навички. Це робить їх надзвичайно універсальними. Вони можуть подивитися на зображення та описати, що відбувається, відповісти на питання про відео або навіть створити зображення на основі написаного опису.

Наприклад, якщо ви просите VLM описати фотографію собаки, яка біжить у парку. VLM не просто каже: “Там собака”. Він може сказати: “Собака гониться за м’ячем біля великої дубової дерева”. Він бачить зображення та зв’язує його зі словами таким чином, що має сенс. Ця здатність поєднувати візуальне та мовне розуміння створює всілякі можливості, від допомоги у пошуку фотографій в Інтернеті до допомоги у більш складних завданнях, таких як медична візуалізація.

У своїй основі VLMs працюють шляхом поєднання двох ключових компонентів: візуальної системи, яка аналізує зображення, та мовної системи, яка обробляє текст. Візуальна частина сприймає деталі, такі як форми та кольори, а мовна частина перетворює ці деталі на речення. VLMs тренуються на величезних наборах даних, які містять мільярди пар зображень та тексту, надаючи їм величезний досвід для розвитку сильного розуміння та високої точності.

Що означає ланцюг мислення у VLMs

Ланцюг мислення, або CoT, – це спосіб зробити штучний інтелект мислити крок за кроком, подібно до того, як ми підходимо до проблеми, розбиваючи її на частини. У VLMs це означає, що штучний інтелект не просто надає відповідь, коли ви запитуєте його про щось щодо зображення, а також пояснює, як він прийшов до цього висновку, пояснюючи кожен логічний крок на своєму шляху.

Наприклад, якщо ви показуєте VLM зображення торта з свічками та запитаєте: “Скільки років людині?” Без CoT він міг би просто вгадати число. З CoT він думає це через: “Окей, я бачу торт зі свічками. Свічки зазвичай показують вік людини. Давайте підрахуємо їх, їх десять. Тому людині, ймовірно, десять років”. Ви можете слідкувати за його міркуваннями, коли вони розгортаються, що робить відповідь набагато більш довірливою.

Подібним чином, коли показується VLM зображення дорожньої ситуації та запитується: “Чи безпечно переходити?” VLM міг би міркувати: “Світлофор для пішоходів червоне, тому не слід переходити його. Там також є машина, яка повертає, і вона рухається, а не зупиняється. Це означає, що зараз не безпечно”. Розгортаючи ці кроки, штучний інтелект показує вам точно, на що він звертає увагу в зображенні та чому він приймає певні рішення.

Чому ланцюг мислення має значення у VLMs

Інтеграція ланцюга мислення у VLMs надає кілька ключових переваг.

По-перше, це робить штучний інтелект легшим для довіри. Коли він пояснює свої кроки, ви отримуєте чітке розуміння того, як він прийшов до відповіді. Це важливо в галузях, таких як охорона здоров’я. Наприклад, коли лікар дивиться на зображення МРТ, VLM міг би сказати: “Я бачу тіні на лівій стороні мозку. Ця область контролює мову, і пацієнт має труднощі з говорінням, тому це міг би бути пухлина”. Лікар може слідкувати за цією логікою та відчувати впевненість у висновку штучного інтелекту.

По-друге, це допомагає штучному інтелекту підходити до складних проблем. Розбиваючи все на частини, він може справлятися з питаннями, які потребують більш ніж швидкого погляду. Наприклад, підрахунок свічок простий, але визначення безпеки на зайнятому перехресті вимагає кількох кроків, включаючи перевірку світлофорів, виявлення рухомих транспортних засобів та оцінку швидкості. CoT дозволяє штучному інтелекту справлятися з цією складністю, розбиваючи все на окремі кроки.

По-третє, це робить штучний інтелект більш адаптивним. Коли він мислить крок за кроком, він може застосовувати свої знання до нових ситуацій. Якщо він ніколи не бачив конкретного типу торта раніше, він все одно може визначити зв’язок між свічками та віком, оскільки він мислить це через, а не просто спирається на запам’ятовані закономірності.

Як ланцюг мислення та VLMs переінакшують галузі

Поєднання CoT та VLMs робить значний вплив на різні галузі:

• Охорона здоров’я: У медицині VLMs, такі як Google’s Med-PaLM 2, використовують CoT для розбиття складних медичних питань на менші діагностичні кроки. Наприклад, коли надано рентгенівське зображення грудної клітки та симптоми, такі як кашель та головний біль, штучний інтелект міг би подумати: “Ці симптоми могли б бути простудою, алергією або чимось серйознішим. Ні набряклих лімфатичних вузлів, тому це, ймовірно, не серйозна інфекція. Легені здаються чистими, тому, ймовірно, не пневмонія. Простуда підходить найкраще”. Він розгортає варіанти та виходить на відповідь, надавши лікарям чітке пояснення для роботи.
• Самоходні автомобілі: Для автономних транспортних засобів CoT-підсилені VLMs покращують безпеку та прийняття рішень. Наприклад, самоходний автомобіль може аналізувати дорожню ситуацію крок за кроком: перевірити сигнали пішоходів, визначити рухомі транспортні засоби та вирішити, чи безпечно продовжувати рух. Системи, такі як Wayve’s LINGO-1, генерують природний мовний коментар для пояснення дій, таких як зниження швидкості для велосипедиста. Це допомагає інженерам та пасажирам зрозуміти процес мислення транспортного засобу. Крок за кроком логіка також дозволяє краще справлятися з незвичайними дорожніми умовами, поєднуючи візуальні дані з контекстними знаннями.
• Геопросторічний аналіз: Модель Google’s Gemini застосовує CoT до геопросторових даних, таких як карти та супутникові зображення. Наприклад, вона може оцінити ушкодження від урагану, інтегруючи супутникові зображення, прогнози погоди та демографічні дані, а потім генерувати чіткі візуалізації та відповіді на складні питання. Ця здатність прискорює реакцію на стихійні лиха, надавши приймачам рішень своєчасні та корисні знання без потреби технічної експертизи.
• Робототехніка: У робототехніці інтеграція CoT та VLMs дозволяє роботам краще планувати та виконувати багатокрокові завдання. Наприклад, коли роботові доручено підняти об’єкт, CoT-підсилені VLM дозволяють йому визначити чашку, визначити найкращі точки захоплення, спланувати шлях без зіткнень та виконати рух, пояснюючи кожен крок свого процесу. Проекти, такі як RT-2, демонструють, як CoT дозволяє роботам краще адаптуватися до нових завдань та реагувати на складні команди з чітким поясненням.
• Освіта: У навчанні штучні інтелект-тренери, такі як Khanmigo, використовують CoT для навчання. Для математичної задачі він міг би провести учня: “Спочатку напишіть рівняння. Потім отримайте змінну окремо, віднімаючи 5 від обох сторін. Тепер розділіть на 2”. Замість того, щоб давати відповідь, він розгортає процес, допомагаючи учням зрозуміти концепції крок за кроком.

Основне

Візуальні мовні моделі (VLMs) дозволяють штучному інтелекту інтерпретувати та пояснювати візуальні дані, використовуючи людський, крок за кроком процес мислення через ланцюг мислення (CoT). Цій підхід підвищує довіру, адаптивність та здатність до розв’язання проблем у галузях, таких як охорона здоров’я, самоходні автомобілі, геопросторічний аналіз, робототехніка та освіта. Перетворюючи спосіб, у який штучний інтелект підходить до складних завдань та підтримує прийняття рішень, VLMs встановлюють новий стандарт для надійної та практичної інтелектуальної технології.