Контроллер Маскированных Гуманоидов Intel: Новый Подход к Физически Реалистичному и Управляемому Генерированию Движения Человека

Исследователи из Intel Labs (INTC ), в сотрудничестве с академическими и промышленными экспертами, представили новаторскую технику для генерации реалистичного и управляемого движения человека из скудных, много модальных входных данных. Их работа, представленная на Европейской Конференции по Компьютерному Зрению (ECCV 2024), направлена на преодоление проблем генерации естественных, физически обоснованных поведений человека в высокоразмерных гуманоидных персонажах. Это исследование является частью более широкой инициативы Intel Labs по продвижению компьютерного зрения и машинного обучения.

Intel Labs и его партнеры недавно представили шесть передовых работ на ECCV 2024, премьерной конференции, организованной Европейской Ассоциацией Компьютерного Зрения (ECVA).

Статья Генерация Физически Реалистичного и Управляемого Движения Человека из Много Модальных Входных Данных демонстрирует инновации, включая новую стратегию защиты для защиты моделей текст-изображение от атак красной команды и разработку крупномасштабной базы данных, предназначенной для улучшения пространственной согласованности в этих моделях. Среди этих вкладов статья подчеркивает приверженность Intel продвижению генеративного моделирования, уделяя приоритетное внимание ответственной разработке ИИ.

Генерация Реалистичного Движения Человека с помощью Много Модальных Входных Данных

Контроллер Маскированных Гуманоидов (MHC) Intel – это прорывная система, предназначенная для генерации движения человека в симулированных физических средах. В отличие от традиционных методов, которые сильно полагаются на полные данные захвата движения, MHC разработан для обработки скудных, неполных или частичных входных данных из различных источников. Эти источники могут включать контроллеры виртуальной реальности, которые могут отслеживать только движения рук или головы; входные данные джойстика, которые дают только высокоуровневые команды навигации; видео отслеживание, где некоторые части тела могут быть закрыты; или даже абстрактные инструкции, полученные из текстовых подсказок.

Инновация технологии заключается в ее способности интерпретировать и заполнить пробелы, где данные отсутствуют или неполны. Это достигается за счет того, что Intel называет возможностями Поймать, Объединить и Завершить (CCC):

• Поймать: Эта функция позволяет MHC восстановиться и синхронизировать свое движение, когда возникают сбои, такие как когда система начинает в неудачном состоянии, например, когда гуманоидный персонаж упал. Система может быстро исправить свои движения и возобновить естественное движение без переобучения или ручных корректировок.
• Объединить: MHC может объединить разные последовательности движений, такие как объединение движений верхней части тела из одного действия (например, махания) с движениями нижней части тела из другого (например, ходьбы). Эта гибкость позволяет генерировать совершенно новые поведения из существующих данных о движении.
• Завершить: Когда предоставляются скудные входные данные, такие как частичные данные о движении тела или расплывчатые высокоуровневые директивы, MHC может умно вывести и сгенерировать отсутствующие части движения. Например, если указаны только движения рук, MHC может самостоятельно сгенерировать соответствующие движения ног, чтобы поддерживать физический баланс и реализм.

Результатом является высокоадаптивная система генерации движения, которая может создавать плавные, реалистичные и физически точные движения, даже с неполными или не полностью определёнными директивами. Это делает MHC идеальным для применения в играх, робототехнике, виртуальной реальности и любой ситуации, где требуется высококачественное движение человека, но входные данные ограничены.

Влияние MHC на Генеративные Модели Движения

Контроллер Маскированных Гуманоидов (MHC) является частью более широких усилий Intel Labs и его сотрудников по созданию генеративных моделей, включая те, которые управляют задачами генерации текст-изображение и 3D генерации. Как обсуждалось на ECCV 2024, этот подход имеет значительные последствия для отраслей, таких как робототехника, виртуальная реальность, игры и симуляция, где генерация реалистичного движения человека имеет решающее значение. Включая много модальных входных данных и позволяя контроллеру бесшовно переключаться между движениями, MHC может справиться с реальными условиями, когда данные сенсоров могут быть шумными или неполными.

Эта работа Intel Labs стоит рядом с другими передовыми исследованиями, представленными на ECCV 2024, такими как их новая защита для моделей текст-изображение и разработка методов для улучшения пространственной согласованности в генерации изображений. Вместе эти достижения демонстрируют лидерство Intel в области компьютерного зрения, с фокусом на разработке безопасных, масштабируемых и ответственных технологий ИИ.

Заключение

Контроллер Маскированных Гуманоидов (MHC), разработанный Intel Labs и академическими сотрудниками, представляет собой важный шаг вперед в области генерации движения человека. Решая сложную проблему управления генерацией реалистичного движения из много модальных входных данных, MHC открывает путь для новых применений в виртуальной реальности, играх, робототехнике и симуляции. Это исследование, представленное на ECCV 2024, демонстрирует приверженность Intel продвижению ответственного ИИ и генеративного моделирования, способствуя созданию более безопасных и адаптивных технологий в различных областях.