Контролер маскованої людини Intel: новий підхід до генерації реалістичних та керованих рухів людини

Дослідники з Intel Labs (INTC ), у співпраці з академічними та промисловими експертами, представили революційний метод генерації реалістичних та керованих рухів людини з розріджених, багатомодальних вхідних даних. Їхня робота, представлена на Європейській конференції з комп’ютерного зору (ECCV 2024), зосереджена на подоланні проблем генерації природних, фізично обґрунтованих поведінки людини у високовимірних гуманоїдних персонажах. Ця робота є частиною ширшої ініціативи Intel Labs з розвитку комп’ютерного зору та машинного навчання.

Intel Labs та її партнери недавно представили шість передових робіт на ECCV 2024, прем’єр-конференції, організованої Європейською асоціацією комп’ютерного зору (ECVA).

Стаття Генерація фізично реалістичних та керованих рухів людини з багатомодальних вхідних даних демонструє інновації, включаючи нову стратегію захисту моделей текст-образ від атак типу “червоний командний центр” та розробку великомасштабної бази даних для покращення просторової узгодженості цих моделей. Серед цих внесків стаття підкреслює приверженість Intel розвитку генеративного моделювання, одночасно дотримуючись принципів відповідальної штучної інтелекту.

Генерація реалістичних рухів людини за допомогою багатомодальних вхідних даних

Контролер маскованої людини Intel (MHC) – це революційна система, призначена для генерації рухів людини у симульованих фізичних середовищах. На відміну від традиційних методів, які сильно залежать від повністю деталізованих даних захоплення руху, MHC розроблений для обробки розріджених, неповних або часткових вхідних даних з різних джерел. Ці джерела можуть включати контролери віртуальної реальності, які можуть відстежувати тільки рухи рук або голови; вхідні дані джойстика, які дають тільки високорівневі навігаційні команди; відеотрекінг, де певні частини тіла можуть бути закриті; або навіть абстрактні інструкції, отримані з текстових підказок.

Інновація технології полягає в її здатності інтерпретувати та заповнювати пробіли, де дані відсутні або неповні. Це досягається завдяки тому, що Intel називає можливостями Поймання, Об’єднання та Завершення (CCC):

• Поймання: ця функція дозволяє MHC відновлювати та синхронізувати свій рух, коли відбуваються переривання, наприклад, коли система починається у невдалому стані, наприклад, гуманоїдний персонаж, який впав. Система може швидко виправити свої рухи та відновити природний рух без повторної навчання або ручних коригувань.
• Об’єднання: MHC може поєднувати різні послідовності рухів, наприклад, об’єднувати рухи верхньої частини тіла з однієї дії (наприклад, махання руками) з рухами нижньої частини тіла з іншої дії (наприклад, ходьба). Ця гнучкість дозволяє генерувати зовсім нові поведінки з існуючих даних руху.
• Завершення: коли надаються розріджені вхідні дані, наприклад, часткові дані руху тіла або невизначені високорівневі директиви, MHC може інтелектуально виводити та генерувати відсутні частини руху. Наприклад, якщо вказані тільки рухи рук, MHC може автономно генерувати відповідні рухи ніг для підтримки фізичної рівноваги та реалізму.

Результатом є високоадаптивна система генерації руху, яка може створювати гладкі, реалістичні та фізично точні рухи, навіть з неповними або нечіткими директивами. Це робить MHC ідеальним для застосувань у геймінгу, робототехніці, віртуальній реальності та будь-якій ситуації, де потрібні високоякісні рухи людини, але вхідні дані обмежені.

Вплив MHC на моделі генерації руху

Контролер маскованої людини (MHC) є частиною ширшої роботи Intel Labs та її співробітників з відповідальним будівництвом генеративних моделей, включаючи ті, які керують генерацією текст-образ та 3D генерацією. Як обговорювалося на ECCV 2024, цей підхід має суттєві наслідки для галузей, таких як робототехніка, віртуальна реальність, геймінг та симуляція, де генерація реалістичних рухів людини є важливою. Інтегруючи багатомодальні вхідні дані та дозволяючи контролеру безшовно переходити між рухами, MHC може обробляти реальні умови, коли дані сенсорів можуть бути шумними або неповними.

Ця робота Intel Labs стоїть поряд з іншими передовими дослідженнями, представленими на ECCV 2024, такими як нова захист для моделей текст-образ та розробка технік для покращення просторової узгодженості в генерації образів. Разом ці досягнення демонструють лідерство Intel у сфері комп’ютерного зору, з акцентом на розробці безпечних, масштабних та відповідальних технологій штучної інтелекту.

Висновок

Контролер маскованої людини (MHC), розроблений Intel Labs та академічними співробітниками, представляє собою критичний крок вперед у сфері генерації руху людини. Подолавши складну проблему контролю генерації реалістичних рухів з багатомодальних вхідних даних, MHC відкриває шлях для нових застосувань у віртуальній реальності, геймінгу, робототехніці та симуляції. Ця робота, представлена на ECCV 2024, демонструє приверженість Intel розвитку відповідальної штучної інтелекту та генеративного моделювання, що сприяє створенню безпечніших та більш адаптивних технологій у різних галузях. Генерація рухів людини з багатомодальних вхідних даних, MHC відкриває нові можливості для застосувань у віртуальній реальності, геймінгу, робототехніці та симуляції. Ця робота, представлена на ECCV 2024, демонструє приверженість Intel розвитку відповідальної штучної інтелекту та генеративного моделювання, що сприяє створенню безпечніших та більш адаптивних технологій у різних галузях.