Зростання багатомодальної штучної інтелекту: Чи справді ці моделі розуміють?

Після успіху великомасштабних мовних моделей галузь штучної інтелекту зараз розвивається за допомогою багатомодальних систем. У 2023 році ринок багатомодальної штучної інтелекту досяг 1,2 млрд доларів, а прогнози показують швидке зростання понад 30% на рік до 2032 року. На відміну від традиційних великомасштабних мовних моделей, які обробляють лише текст, багатомодальна штучна інтелекту може одночасно обробляти текст, зображення, аудіо та відео. Наприклад, коли завантажується документ із текстом і діаграмами, багатомодальна штучна інтелекту може синтезувати інформацію з обидвох джерел, щоб створити більш повні аналізи. Ця здатність інтегрувати кілька модальностей ближче до людського сприйняття, ніж попередні системи штучної інтелекту. Хоча багатомодальна штучна інтелекту показала суттєвий потенціал для галузей, таких як охорона здоров’я, освіта та творчі галузі, вона піднімає фундаментальне питання, яке викликає сумніви щодо нашого розуміння цього розвитку: Чи справді ці багатомодальні моделі розуміють світ, чи просто перемішують кілька модальностей?

Виклик зіставлення зразків

Останні досягнення в багатомодальній штучній інтелекту спровокували інтенсивну дискусію в спільноті штучної інтелекту. Критики стверджують, що незважаючи на ці досягнення, багатомодальна штучна інтелекту в основі залишається системою зіставлення зразків. Вона може обробляти великі навчальні набори даних, щоб визначити статистичні відносини між різними типами входу та виходу, але вона може не володіти справжнім розумінням відносин між різними модальностями. Коли багатомодальна штучна інтелекту описує зображення, вона може зіставляти візуальні зразки з текстовими описами, які вона бачила тисячі разів раніше, а не справжнє розуміння того, що вона бачить. Цей підхід зіставлення зразків свідчить про те, що багатомодальні моделі можуть інтерполювати в межах своїх навчальних даних, але борються зі справжнім екстраполюванням або розумінням.

Цю точку зору підтверджують численні приклади, в яких системи штучної інтелекту не справляються з завданнями, що розкривають їхні обмеження. Вони можуть правильно ідентифікувати об’єкти на безлічі зображень, але не розуміти базові фізичні відносини або звичайне розуміння, яке було б очевидним для дитини. Вони можуть генерувати тексти про складні теми, але можуть не володіти справжнім розумінням основних концепцій.

Архітектура багатомодальної штучної інтелекту

Щоб оцінити, чи багатомодальна штучна інтелекту справді розуміє інформацію, нам потрібно вивчити, як ці системи насправді працюють. Більшість багатомодальних моделей покладається на поєднання декількох спеціалізованих унімодальних компонентів. Ця архітектура розкриває важливі знання про природу багатомодального розуміння. Ці системи не обробляють інформацію так, як люди, з інтегрованими сенсорними переживаннями, які будують накопичене розуміння з часом. Замість цього вони поєднують окремі потоки обробки, які були навчені на різних типах даних і вирівняні за допомогою різних технік.

Процес вирівнювання є важливим, але не досконалим. Коли багатомодальна штучна інтелекту обробляє зображення та текст одночасно, вона повинна знайти способи пов’язати візуальні особливості з лінгвістичними концепціями. Це відносини виникають через вплив мільйонів прикладів, а не через справжнє розуміння того, як зір і мова пов’язані змістовно.

Це піднімає фундаментальне питання: Чи може цей архітектурний підхід коли-небудь привести до справжнього розуміння, чи завжди буде залишатися складною формою зіставлення зразків? Деякі дослідники стверджують, що розуміння виникає з комплексності, і що досить розвинене зіставлення зразків стає нерозрізним від розуміння. Інші підтримують думку, що справжнє розуміння вимагає чогось фундаментально іншого від поточних архітектур штучної інтелекту.

Гіпотеза реміксу

Можливо, найбільш точний спосіб описати можливості багатомодальної штучної інтелекту – це через призму реміксу. Ці системи працюють, поєднуючи існуючі елементи в нових спосіб. Вони будують зв’язки між типами контенту, які можуть не бути явно пов’язані раніше. Ця здатність є потужною і цінною, але вона може не складати справжнє розуміння.

Коли багатомодальна штучна інтелекту створює художнє оформлення на основі текстового опису, вона фактично реміксує візуальні зразки з навчальних даних у відповідь на лінгвістичні сигнали. Результат може бути творчим і несподіваним, але він походить від складної рекомбінації, а не оригінальної думки чи розуміння.

Ця здатність реміксу пояснює як сильні сторони, так і обмеження сучасної багатомодальної штучної інтелекту. Ці системи можуть створювати контент, який здається інноваційним, оскільки вони поєднують елементи з різних доменів у спосіб, який люди можуть не розглянути. Однак вони не можуть真正о інновувати за межами зразків, присутніх у їхніх навчальних даних.

Гіпотеза реміксу також пояснює, чому ці системи іноді не справляються. Вони можуть генерувати тексти, що звучать авторитетно, про теми, яких вони ніколи не розуміли справжнім чином, або створювати зображення, які порушують базові фізичні закони, оскільки вони поєднують візуальні зразки без справжнього розуміння основної реальності.

Тестування меж розуміння штучної інтелекту

Останні дослідження намагалися дослідити межі розуміння штучної інтелекту за допомогою різних експериментальних підходів. Цікаво, що при виконанні простих завдань стандартні мовні моделі часто перевершують більш складні моделі, орієнтовані на розуміння. При збільшенні складності спеціалізовані моделі, орієнтовані на розуміння, набувають переваги, генеруючи детальні процеси мислення перед відповіддю.

Ці результати свідчать про те, що відносини між складністю та розумінням у штучній інтелекту не є прямими. Прості завдання можуть бути добре виконані зіставленням зразків, тоді як більш складні завдання вимагають чогось ближчого до справжнього розуміння. Однак навіть моделі, орієнтовані на розуміння, можуть реалізовувати складне зіставлення зразків, а не справжнє розуміння.

Тестування багатомодальної штучної інтелекту з розумінням стикається з унікальними викликами. На відміну від текстових систем, багатомодальні моделі повинні демонструвати розуміння через різні типи входу одночасно. Це створює можливості для більш складного тестування, але також вводить нові складності оцінки.

Одним із підходів є тестування跨-модального розуміння, коли штучна інтелекту повинна використовувати інформацію з однієї модальності для відповіді на питання про іншу. Інший підхід полягає в тестуванні узгодженості відповідей через різні презентації однієї й тієї ж основної інформації. Ці тести часто розкривають пробіли у розумінні, які не є очевидними в оцінках однієї модальності.

Філософські наслідки

Питання про те, чи багатомодальна штучна інтелекту справді розуміє, також пов’язане з фундаментальними філософськими питаннями про саму природу розуміння. Що означає розуміти щось? Чи є розуміння чисто функціональним, чи вимагає воно суб’єктивного досвіду та свідомості?

З функціоналістської точки зору, якщо система штучної інтелекту може обробляти інформацію, давати відповідні відповіді та поводитися так, щоб демонструвати розуміння, то її можна вважати розуміючою в значимому сенсі. Внутрішні механізми мають менше значення, ніж зовнішні можливості.

Однак критики стверджують, що розуміння вимагає більшого, ніж функціональна здатність. Вони стверджують, що справжнє розуміння включає意义, намірність та основу в досвіді, якої не володіють сучасні системи штучної інтелекту. Ці системи можуть ефективно маніпулювати символами без справжнього розуміння того, що ці символи представляють.

Питання про те, чи багатомодальна штучна інтелекту справді розуміє чи просто перемішує дані, не є лише академічною дискусією; воно має суттєві практичні наслідки для розвитку та розгортання штучної інтелекту. Відповідь на це питання впливає на те, як ми повинні використовувати багатомодальні системи штучної інтелекту, чого ми повинні від них очікувати та як ми повинні готуватися до їхнього майбутнього розвитку.

Практична реальність

Хоча філософська дискусія про розуміння штучної інтелекту триває, практична реальність полягає в тому, що багатомодальні системи штучної інтелекту вже трансформують, як ми працюємо, створюємо та взаємодіємо з інформацією. Чи справді ці системи розуміють у філософському сенсі, може бути менше важливим, ніж їхні практичні можливості та обмеження.

Ключ для користувачів та розробників полягає в тому, щоб зрозуміти, що ці системи можуть і чого не можуть робити в їхньому поточному вигляді. Вони excelling у зіставленні зразків, генерації контенту та перекладі між модальностями. Вони борються з новим rozumінням, розумінням звичайного сенсу та підтриманням узгодженості у складних взаємодіях.

Це розуміння повинно інформувати, як ми інтегруємо багатомодальну штучну інтелекту в наші робочі процеси та процеси прийняття рішень. Ці системи є потужними інструментами, які можуть доповнювати людські можливості, але вони можуть не бути придатними для завдань, які вимагають справжнього розуміння та rozumіння.

Основне

Системи багатомодальної штучної інтелекту, незважаючи на їхню вражаючу здатність обробляти та синтезувати різні типи даних, можуть не真正о “розуміти” інформацію, яку вони обробляють. Ці системи excelling у зіставленні зразків та перемішуванні контенту, але не справляються з справжнім rozumінням та розумінням звичайного сенсу. Ця відмінність має значення для того, як ми розробляємо, розгортаємо та взаємодіємо з цими системами. Розуміння їхніх обмежень допомагає нам використовувати їх більш ефективно, уникając надмірної залежності від можливостей, яких вони не володіють.