Чи можуть світові моделі штучного інтелекту справді зрозуміти фізичні закони?

Велика надія для моделей штучного інтелекту з виділеним баченням полягає в тому, що вони одного дня стануть здатними до більшої автономії та універсальності, включаючи принципи фізичних законів так само, як ми розвиваємо вроджене розуміння цих принципів через ранній досвід.

Наприклад, ігри дітей з м’ячем схильні розвивати розуміння кінетики руху, і впливу ваги та текстури поверхні на траєкторію. Аналогічно, взаємодії з загальними сценаріями, такими як ванні, розлиті напої, океан, басейни та інші різноманітні рідкі тіла, будуть вculati в нас універсальне та масштабоване розуміння поведінки рідини під гравітацією.

Дажи постулати менш поширених явищ – таких як згорання, вибухи та архітектурне розподілення ваги під тиском – несвідомо засвоюються через перегляд телевізійних програм та фільмів, або відео в соціальних мережах.

До того часу, як ми вивчатимемо принципи цих систем на академічному рівні, ми просто “оновлюємо” наші інтуїтивні (але неінформовані) ментальні моделі ними.

Майстри одного

Наразі більшість моделей штучного інтелекту, на відміну від цього, більш “спеціалізовані”, і багато з них або дофільтровані або навчені з нуля на наборах зображень або відео, які досить специфічні для певних випадків використання, а не призначені для розвитку такого загального розуміння керуючих законів.

Інші можуть демонструвати вигляд розуміння фізичних законів; але вони можуть фактично відтворювати зразки зі своїх навчальних даних, а не真正 розуміти основи областей, таких як фізика руху таким чином, щоб могли виробляти真正 нові (і науково правдоподібні) зображення з запитів користувачів.

На цьому деликатному етапі продуктизації та комерціалізації систем штучного інтелекту залишається нам, і під контролем інвесторів, розрізняти ремеслене маркетинг нових моделей штучного інтелекту від реальності їх обмежень.

Одна з найцікавіших робіт листопада, очолювана Bytedance Research, зайнялася цією проблемою, досліджуючи розрив між явними та справжніми можливостями “універсальних” генеративних моделей, таких як Sora.

Робота завершилася висновком, що на поточному рівні розвитку згенеровані виходи моделей цього типу більш схильні до імітації прикладів зі своїх навчальних даних, ніж真正 демонструють повне розуміння основних фізичних обмежень, які діють у реальному світі.

У роботі зазначено*:

‘[Ці] моделі можуть легко бути упереджені “обманними” прикладами зі свого навчального набору, що призводить до їх узагальнення у “підході, заснованому на випадках”, під певними умовами. Це явище, також спостережене у великих мовних моделях, описує схильність моделі посилатися на подібні навчальні випадки при розв’язанні нових завдань.

‘Наприклад, розгляньте відеомодель, навчену на даних про рух м’яча при високій швидкості в однорідному лінійному русі. Якщо дані збільшуються шляхом горизонтального перевороту відео, що вводить рух у зворотному напрямку, модель може згенерувати сценарій, у якому низькішвидкісний м’яч змінює напрямок після початкових кадрів, хоча це поведінка не є фізично правильною.’

Ми ближче розглянемо цю роботу – озаглавлену Оцінка світових моделей з LLM для прийняття рішень – незабаром. Але спочатку давайте розглянемо фон цих очевидних обмежень.

Спогади про минуле

Без узагальнення навчена модель штучного інтелекту є мало чим більше, ніж дорогим таблицею посилань на розділи своїх навчальних даних: знайдіть відповідний пошуковий термін, і ви можете викликати екземпляр цих даних.

У цьому сценарії модель фактично діє як “нейронний пошуковий двигун”, оскільки вона не може виробляти абстрактні чи “креативні” інтерпретації бажаного виходу, а відтворює деяку незначну варіацію даних, яку вона бачила під час процесу навчання.

Це називається запам’ятовуванням – суперечливою проблемою, яка виникає через те, що真正 гнучкі та інтерпретативні моделі штучного інтелекту схильні не мати деталей, тоді як真正 детальні моделі схильні не мати оригінальності та гнучкості.

Спроможність моделей, що постраждали від запам’ятовування, відтворювати навчальні дані є потенційною юридичною перешкодою у випадках, коли творці моделі не мали необмежених прав на використання цих даних; і коли вигоди від цих даних можуть бути продемонстровані через зростаючу кількість методів витягування.

Через запам’ятовування сліди неавторизованих даних можуть перетриватися, пов’язані ланцюжком, через кілька навчальних систем, як незмивний і ненавмисний водяний знак – навіть у проектах, де практикант машинного навчання взяв заходи, щоб забезпечити використання “безпечних” даних.

Світові моделі

Однак центральною проблемою використання запам’ятовування є те, що воно схильне створювати ілюзію інтелекту, або припускати, що модель штучного інтелекту узагальнила фундаментальні закони чи домени, тоді як насправді це великий обсяг запам’ятованих даних, який забезпечує цю ілюзію (тобто модель має так багато потенційних прикладів даних, щоб вибрати, що людині важко сказати, чи вона повторює вивчений контент, чи має真正 абстрактне розуміння понять, пов’язаних з генерацією).

Ця проблема має наслідки для зростаючого інтересу до світових моделей – перспективи високорізноманітних та дорого навчених систем штучного інтелекту, які включають кілька відомих законів та багаторазово досліджуються.

Світові моделі мають особливе значення у сфері генерації зображень та відео. У 2023 році RunwayML розпочала дослідницьку ініціативу щодо розробки та здійсненності таких моделей; DeepMind недавно найняла одного з творців відомої генеративної відео Sora для роботи над моделлю цього типу; і стартапи такі як Higgsfield вкладають значні кошти у світові моделі для синтезу зображень та відео.

Тверді комбінації

Одна з обіцянок нових розробок у системах генерації відео штучного інтелекту полягає у перспективі того, що вони можуть вивчити фундаментальні фізичні закони, такі як рух, кінематика людини (наприклад, характеристики походки), гідродинаміка, та інші відомі фізичні явища, які є, принаймні, візуально знайомі людям.

Якщо система генерації штучного інтелекту зможе досягти цієї віхи, вона зможе виробляти гіперреалістичні візуальні ефекти, які зображують вибухи, повені та правдоподібні колізійні події між різними об’єктами.

Якщо, з іншого боку, система штучного інтелекту просто була навчена на тисячах (або сотнях тисяч) відео, які зображують такі події, вона може бути здатною відтворювати навчальні дані досить переконливо, коли вона була навчена на podobному дані до запиту користувача; але помилитися, якщо запит поєднує занадто багато концепцій, які в такому поєднанні не представлені в даних.

Крім того, ці обмеження не будуть одразу очевидними, поки система не буде протестована на складних комбінаціях цього типу.

Це означає, що нова система генерації штучного інтелекту може бути здатна генерувати вірусний відеоконтент, який, хоча й вражаючий, може створити хибне враження про можливості системи та глибину розуміння, оскільки завдання, яке воно представляє, не є справжнім викликом для системи.

Наприклад, відносно поширений і широко поширений подія, такий як ‘будівля зруйнована’, може бути присутнім у декількох відео у наборі даних, використаному для навчання моделі, яка має певне розуміння фізики. Тому модель могла б узагальнити цю концепцію добре, і навіть виробити真正 новий вихід у межах параметрів, вивчених з численних відео.

Це є внутрішнім прикладом, де набір даних містить багато корисних прикладів для навчання системи штучного інтелекту.

Однак, якщо хтось попросить більш дивний або спекулятивний приклад, такий як ‘Вежа Ейфеля зруйнована іншопланетянами’, модель буде вимушена поєднати різноманітні домени, такі як ‘металургійні властивості’, ‘характеристики вибухів’, ‘гравітація’, ‘опір вітру’ – і ‘іншопланетний космічний корабель’.

Це є поза розподілом (OOD) приклад, який поєднує так багато переплетених концепцій, що система, ймовірно, або не зможе згенерувати переконливий приклад, або буде звертатися до найближчого семантичного прикладу, на який вона була навчена – навіть якщо цей приклад не відповідає запиту користувача.

Крім того, якщо джерельний набір даних моделі містить голлівудські спецефекти CGI, що зображують те ж саме або подібну подію, таке зображення абсолютно потребуватиме того, щоб модель досягла добре узагальненного та гнучкого розуміння фізичних законів.

Фізичні обмеження

Нова робота – спільна робота між Bytedance, Університетом Цінхуа та Техніоном – свідчить не тільки про те, що моделі, такі як Sora, не真正 внутрішньо поглинають детерміністичних фізичних законів таким чином, але й про те, що збільшення кількості даних (поширений підхід за останні 18 місяців) здається, в більшості випадків, не приносить жодної справжньої поліпшення в цьому відношенні.

У роботі досліджуються не тільки межі екстраполяції конкретних фізичних законів – таких як поведінка об’єктів у русі, коли вони зіштовхуються, або коли їх шлях блокується – але й здатність моделі до комбінаторної узагальнення – випадків, коли представлення двох різних фізичних принципів поєднуються в один генеративний вихід.

Відеозапис нової роботи. Джерело: https://x.com/bingyikang/status/1853635009611219019

Три фізичні закони, вибрані для дослідження дослідниками, були параболічний рух; однорідний лінійний рух; і ідеальна пружна колізія.

Як можна побачити на відео вище, висновки свідчать про те, що моделі, такі як Sora, не真正 внутрішньо поглинають фізичні закони, а схильні відтворювати навчальні дані.

Крім того, автори виявили, що такі аспекти, як колір та форма, стають настільки переплетеними під час інтерференції, що згенерований м’яч, ймовірно, перетвориться на квадрат, оскільки подібний рух у прикладі набору даних мав квадрат, а не м’яч (див. приклад у вкладеному відео вище).

У роботі зазначено:

‘Наша робота свідчить про те, що масштабування сам по собі є недостатнім для моделей генерації відео, щоб відкрити фундаментальні фізичні закони, незважаючи на свою роль у більш широкому успіху Sora…

‘…[Видіння] свідчать про те, що масштабування сам по собі не може вирішити проблему поза розподілом, хоча воно покращує продуктивність у інших сценаріях.

‘Наше глибоке дослідження свідчить про те, що узагальнення відеомоделі більше залежить від посилання на подібні навчальні приклади, ніж від вивчення універсальних правил. Ми спостерігали порядок пріоритету кольору > розміру > швидкості > форми в цьому “підході, заснованому на випадках”.

‘[Наша] робота свідчить про те, що наївне масштабування є недостатнім для моделей генерації відео, щоб відкрити фундаментальні фізичні закони.’

Запитавши, чи знайшла команда дослідників рішення цієї проблеми, один з авторів роботи зауважив:

‘На жаль, ми не знайшли. Насправді, це, ймовірно, завдання всього співтовариства штучного інтелекту.’

Метод і дані

Дослідники використовували Варіаційний автоенкодер (VAE) та DiT архітектури для генерації відеозразків. У цьому наборі використовувався компресований латентний представлення, створене VAE, яке працює в тандемі з моделюванням процесу денойзингу DiT.

Відео були навчені над стабільним розсіянням V1.5-VAE. Схема залишилася фундаментально незмінною, з лише кінцевими архітектурними поліпшеннями:

‘[Ми зберігаємо] більшу частину оригінальної 2D-конволюції, групової нормалізації та механізмів уваги на просторових вимірах.

‘Щоб розширити цю структуру в просторово-часовий автоенкодер, ми перетворюємо останні кілька 2D-блоків спуску кодера та початкові кілька 2D-блоків декодера в 3D, і використовуємо кілька додаткових 1D-шарів для поліпшення тимчасового моделювання.’

Щоб дозволити відеомоделювання, модифікований VAE був спільно навчений з високоякісними зображеннями та відеоданими, з 2D-генеративною адверсивною мережею (GAN) компонентом, властивим для архітектури SD1.5, доповненою для 3D.

Набір даних зображень, використаний для навчання, був оригінальним джерелом Stable Diffusion, LAION-Aesthetics, з фільтрацією, а також DataComp. Для відеоданих був відібраний піднабір з Vimeo-90K, Panda-70m та HDVG наборів даних.

Дані були навчені протягом одного мільйона кроків, з випадковим обрізанням та випадковим горизонтальним переворотом, застосованим як процеси збагачення даних.

Переворот

Як зазначено вище, процес випадкового горизонтального перевороту може бути недоліком у навчанні системи, призначеної для генерації автентичного руху. Це відбувається через те, що вихід з навченої моделі може врахувати обидва напрямки об’єкта та спричинити випадкові зміни, коли вона намагається впоратися з цією суперечливою даних (див. вкладений відео вище).

З іншого боку, якщо горизонтальний переворот виключено, модель буде більш схильна до генерації виходу, який пристосовується лише до одного напрямку, вивченого з навчальних даних.

Отже, немає легкого рішення цієї проблеми, окрім того, що система真正 засвоює весь спектр можливостей руху з обох рідних та перевернутих версій – можливість, яку діти розвивають легко, але яка є більш складною, очевидно, для моделей штучного інтелекту.

Тести

Для першого набору експериментів дослідники сформулювали 2D-симулятор для генерації відео руху об’єктів та колізій, які узгоджуються із законами класичної механіки, які забезпечили великий обсяг контрольованого набору даних, який виключає двозначності реальних відео, для оцінки моделей. Для створення цих відео був використаний фізичний ігровий двигун Box2D.

Три фундаментальні сценарії, перелічені вище, були основним предметом дослідження: однорідний лінійний рух, ідеальна пружна колізія та параболічний рух.

Набори даних різної величини (від 30 000 до трьох мільйонів відео) були використані для навчання моделей різної складності (DiT-S до DiT-L), з першими трьома кадрами кожного відео, використаними для умовності.

Деталі різних моделей, навчених у першому наборі експериментів. Джерело: https://arxiv.org/pdf/2411.02385

Дослідники виявили, що результати в розподілі (ID) масштабуються добре з збільшенням кількості даних, тоді як покоління поза розподілом (OOD) не покращилися, свідчачи про недоліки в узагальненні.

Результати першого раунду тестів.

Автори зазначають:

‘Ці висновки свідчать про нездатність масштабування виконувати розуміння в сценаріях поза розподілом.’

Далі дослідники протестували та навчили системи, призначені для демонстрації здібностей до комбінаторної узагальнення, коли два протилежні рухи поєднуються для генерації руху, вірного фізичному закону, що лежить в основі кожного окремого руху.

Для цього етапу тестів автори використали PHYRE-симулятор, створивши 2D-оточення, яке зображує кілька об’єктів різної форми в вільному падінні, що зіштовхуються один з одним у різноманітних складних взаємодіях.

Метрики оцінки для цього другого тесту були Fréchet Video Distance (FVD); Structural Similarity Index (SSIM); Peak Signal-to-Noise Ratio (PSNR); Learned Perceptual Similarity Metrics (LPIPS); та дослідження людини (позначене як “абномальне” у результатах).

Три масштаби навчальних наборів були створені, по 100 000 відео, 0,6 мільйона відео та 3-6 мільйонів відео. Моделі DiT-B та DiT-XL були використані через збільшену складність відео, з першим кадром, використаним для умовності.

Моделі були навчені протягом одного мільйона кроків на роздільній здатності 256×256, з 32 кадрами на відео.

Результати другого раунду тестів.

Вихід цього тесту свідчить про те, що просто збільшення обсягу даних є недостатнім підходом:

У роботі зазначено:

‘Ці результати свідчать про те, що як модельна здатність, так і покриття комбінаторного простору є важливими для комбінаторної узагальнення. Це розуміння свідчить про те, що закони масштабування для генерації відео повинні зосереджуватися на збільшенні різноманітності комбінацій, а не просто на збільшенні обсягу даних.’

Нарешті, дослідники провели подальші тести, щоб спробувати визначити, чи можуть моделі генерації відео真正 засвоювати фізичні закони, чи просто запам’ятовують і відтворюють навчальні дані під час інтерференції.

Тут вони розглянули концепцію “підходу, заснованого на випадках”, коли моделі схильні імітувати конкретні навчальні приклади при зустрічі з новими ситуаціями, а також розглянули приклади однорідного руху – зокрема, як напрям руху в навчальних даних впливає на передбачення навченої моделі.

Два набори навчальних даних, для однорідного руху та колізії, були відібрані, кожен складається з відео однорідного руху, що зображують швидкості між 2,5 та 4 одиницями, з першими трьома кадрами, використаними як умовність. Латентні значення, такі як швидкість, були опущені, і після навчання проводилися тести на як бачених, так і небачених сценаріях.

Нижче ми бачимо результати тесту для генерації однорідного руху:

Результати тестів для генерації однорідного руху, де змінна ‘швидкість’ опущена під час навчання.

Автори зазначають:

‘[З] великою прогалиною у навчальному наборі модель схильна генерувати відео, де швидкість є або високою, або низькою, щоб нагадувати навчальні дані, коли початкові кадри показують середні швидкості.’

Для тестів на колізію залучено значно більше змінних, і модель повинна вивчити двовимірну нелінійну функцію.

Колізія: результати третього та останнього раунду тестів.

Автори спостерігають, що наявність ‘обманних’ прикладів, таких як зворотний рух (тобто м’яч, який відскakuє від поверхні та змінює напрямок), може ввести в оману модель і змусити її генерувати фізично неправильні передбачення.

Висновок

Якщо алгоритм (тобто “запечатаний”, процедурний метод) містить математичні правила для поведінки фізичних явищ, таких як рідини, об’єкти під гравітацією чи під тиском, є набір незмінних констант, доступних для точного рендерингу.

Однак висновки нової роботи свідчать про те, що жодного такого еквівалентного відносини або внутрішнього розуміння класичних фізичних законів не розвивається під час навчання генеративних моделей, і що збільшення кількості даних не вирішує проблему, а радше маскує її – оскільки більша кількість навчальних відео доступна для системи для імітації під час інтерференції.

* Моя конвертація внутрішніх посилань авторів у гіперпосилання.

Опубліковано вперше у вівторок, 26 листопада 2024 року