Замаскований гуманоїдний контролер Intel: новий підхід до фізично реалістичної та керованої генерації людського руху

Дослідники з Лабораторії Intel, у співпраці з академічними та галузевими експертами, представили новаторську техніку для генерації реалістичних і керованих рухів людини з розріджених мультимодальних вхідних даних. Їхня робота, висвітлена на ст Європейська конференція з комп'ютерного зору (ECCV 2024) зосереджена на подоланні проблем створення природної, фізично обумовленої людської поведінки у високовимірних гуманоїдних персонажах. Це дослідження є частиною ширшої ініціативи Intel Labs щодо розвитку комп'ютерного зору та машинного навчання.

Intel Labs та її партнери нещодавно представили шість передових робіт на ECCV 2024, головна конференція, організована Європейська асоціація комп'ютерного зору (ECVA).

Папір Створення фізично реалістичних і орієнтованих рухів людини з мультимодальних вхідних даних продемонстрували інновації, включаючи нову стратегію захисту для захисту моделей перетворення тексту в зображення від атак, заснованих на підказках, а також розробку великомасштабного набору даних, розробленого для покращення просторової узгодженості в цих моделях. Серед цих внесків у статті підкреслюється відданість Intel розвитку генеративного моделювання з одночасним визначенням пріоритетів відповідальний ШІ практики.

Створення реалістичних людських рухів за допомогою мультимодальних вхідних даних

Маскований гуманоїдний контролер (MHC) від Intel — це революційна система, розроблена для створення рухів, схожих на людину, у симульованих фізичних середовищах. На відміну від традиційних методів, які значною мірою покладаються на повністю детальні дані захоплення руху, MHC створено для обробки розріджених, неповних або часткових вхідних даних із різних джерел. Ці джерела можуть включати контролери VR, які можуть лише відстежувати рухи рук або голови; джойстик вводу, який дає лише команди навігації високого рівня; відеоспостереження, де певні частини тіла можуть бути закриті; або навіть абстрактні інструкції, отримані з текстових підказок.

Інновація технології полягає в її здатності інтерпретувати та заповнювати прогалини, якщо дані відсутні або неповні. Це досягається завдяки тому, що Intel називає Наздоганяння, об’єднання та завершення (CCC) можливості:

• Встигання: Ця функція дозволяє MHC відновлювати та повторно синхронізувати свій рух, коли виникають збої, наприклад, коли система запускається в невдалому стані, наприклад, коли впав гуманоїд. Система може швидко коригувати свої рухи та відновлювати природний рух без перенавчання чи ручного налаштування.
• Поєднувати: MHC може поєднувати різні послідовності рухів разом, наприклад, об’єднання рухів верхньої частини тіла від однієї дії (наприклад, помахування) з діями нижньої частини тіла від іншої (наприклад, ходьби). Ця гнучкість дозволяє генерувати абсолютно нові моделі поведінки на основі наявних даних руху.
• Цілковита: якщо отримати розріджені вхідні дані, такі як часткові дані про рух тіла або розпливчасті директиви високого рівня, MHC може розумно зробити висновок і створити відсутні частини руху. Наприклад, якщо вказані лише рухи рук, MHC може автономно генерувати відповідні рухи ніг для підтримки фізичної рівноваги та реалістичності.

Результатом є система генерації руху з високою адаптивністю, яка може створювати плавні, реалістичні та фізично точні рухи навіть із неповними або недостатньо заданими директивами. Це робить MHC ідеальним для застосування в іграх, робототехніці, віртуальній реальності та будь-якому сценарії, де потрібен високоякісний рух, схожий на людину, але вхідні дані обмежені.

Вплив MHC на моделі генеративного руху

Маскований гуманоїдний контролер (MHC) є частиною ширших зусиль Intel Labs та її співробітників щодо відповідального створення генеративних моделей, у тому числі тих, які забезпечують перетворення тексту в зображення та 3D покоління завдання. Як обговорювалося на ECCV 2024, цей підхід має значні наслідки для таких галузей, як робототехніка, віртуальна реальність, ігри та симуляція, де створення реалістичних рухів людини є вирішальним. Використовуючи мультимодальні входи та дозволяючи контролеру плавно перемикатися між рухами, MHC може працювати з реальними умовами, коли дані датчиків можуть бути зашумленими або неповними.

Ця робота Intel Labs стоїть поруч з іншими передовими дослідженнями, представленими на ECCV 2024, такими як їхній новий захист моделей перетворення тексту в зображення та розробка методів покращення просторової узгодженості при створенні зображень. Разом ці досягнення демонструють лідерство Intel у сфері комп’ютерного зору з акцентом на розробку безпечних, масштабованих і відповідальних технологій ШІ.

Висновок

Маскований гуманоїдний контролер (MHC), розроблений лабораторіями Intel та науковими співробітниками, являє собою важливий крок вперед у галузі генерації рухів людини. Вирішуючи складну проблему керування генерацією реалістичних рухів із мультимодальних вхідних даних, MHC прокладає шлях для нових застосувань у VR, іграх, робототехніці та симуляції. Це дослідження, представлене на ECCV 2024, демонструє прагнення Intel розвивати відповідальний штучний інтелект і генеративне моделювання, сприяючи безпечнішим і більш адаптивним технологіям у різних областях.