Контроллер гуманоида в маске от Intel: новый подход к физически реалистичной и управляемой генерации человеческих движений

Исследователи из Intel Labs, в сотрудничестве с академическими и отраслевыми экспертами, представили новаторскую технологию для создания реалистичного и управляемого движения человека из редких, многомодальных входов. Их работа, представленная на Европейская конференция по компьютерному зрению (ECCV 2024) фокусируется на преодолении трудностей, связанных с созданием естественного, физически корректного поведения человека для многомерных гуманоидных персонажей. Это исследование является частью более масштабной инициативы Intel Labs по развитию компьютерного зрения и машинного обучения.

Intel Labs и ее партнеры недавно представили шесть передовых докладов на ECCV 2024, ведущая конференция, организованная Европейская ассоциация компьютерного зрения (ECVA).

Бумаги Создание физически реалистичных и управляемых движений человека на основе многомодальных входных данных продемонстрировали инновации, включая новую стратегию защиты для защиты моделей преобразования текста в изображение от атак red teaming на основе подсказок и разработку крупномасштабного набора данных, предназначенного для улучшения пространственной согласованности в этих моделях. Среди этих вкладов в документе подчеркивается приверженность Intel продвижению генеративного моделирования с приоритетом ответственный ИИ практики.

Создание реалистичных человеческих движений с использованием многомодальных входов

Контроллер Masked Humanoid Controller (MHC) от Intel — это революционная система, разработанная для создания движений, подобных человеческим, в моделируемых физических средах. В отличие от традиционных методов, которые в значительной степени опираются на полностью подробные данные захвата движения, MHC создан для обработки разреженных, неполных или частичных входных данных из различных источников. Эти источники могут включать контроллеры VR, которые могут отслеживать только движения рук или головы; вводы джойстика, которые дают только высокоуровневые навигационные команды; видеоотслеживание, где определенные части тела могут быть закрыты; или даже абстрактные инструкции, полученные из текстовых подсказок.

Инновация этой технологии заключается в ее способности интерпретировать и заполнять пробелы, где данные отсутствуют или неполны. Это достигается с помощью того, что Intel называет Догнать, объединить и завершить (CCC) возможности:

• Наверстать: Эта функция позволяет MHC восстанавливать и ресинхронизировать свое движение при возникновении сбоев, например, когда система запускается в неисправном состоянии, как гуманоидный персонаж, который упал. Система может быстро исправить свои движения и возобновить естественное движение без повторного обучения или ручной настройки.
• Сочетать: MHC может смешивать различные последовательности движений, например, объединять движения верхней части тела из одного действия (например, махание рукой) с действиями нижней части тела из другого (например, ходьба). Такая гибкость позволяет генерировать совершенно новые модели поведения из существующих данных о движении.
• Завершенный: При наличии разреженных входных данных, таких как частичные данные о движении тела или неопределенные директивы высокого уровня, MHC может разумно вывести и сгенерировать недостающие части движения. Например, если указаны только движения рук, MHC может автономно генерировать соответствующие движения ног для поддержания физического равновесия и реализма.

Результатом является высокоадаптируемая система генерации движения, которая может создавать плавные, реалистичные и физически точные движения даже с неполными или недостаточно определенными директивами. Это делает MHC идеальным для приложений в играх, робототехнике, виртуальной реальности и любых сценариях, где требуется высококачественное движение, подобное человеческому, но входные данные ограничены.

Влияние MHC на модели генеративного движения

Контроллер гуманоида в маске (MHC) является частью более масштабных усилий Intel Labs и ее партнеров по ответственному созданию генеративных моделей, включая те, которые обеспечивают преобразование текста в изображение и 3D-генерация задачи. Как обсуждалось на ECCV 2024, этот подход имеет значительные последствия для таких отраслей, как робототехника, виртуальная реальность, игры и моделирование, где генерация реалистичных человеческих движений имеет решающее значение. Благодаря включению многомодальных входов и возможности контроллеру плавно переходить между движениями, MHC может обрабатывать реальные условия, в которых данные датчиков могут быть зашумленными или неполными.

Эта работа Intel Labs стоит в одном ряду с другими передовыми исследованиями, представленными на ECCV 2024, такими как их новая защита для моделей преобразования текста в изображение и разработка методов улучшения пространственной согласованности при генерации изображений. Вместе эти достижения демонстрируют лидерство Intel в области компьютерного зрения с акцентом на разработку безопасных, масштабируемых и ответственных технологий ИИ.

Заключение

Masked Humanoid Controller (MHC), разработанный Intel Labs и академическими партнерами, представляет собой важный шаг вперед в области генерации человеческих движений. Решая сложную задачу управления генерацией реалистичных движений из многомодальных входов, MHC прокладывает путь для новых приложений в VR, играх, робототехнике и моделировании. Это исследование, представленное на ECCV 2024, демонстрирует приверженность Intel продвижению ответственного ИИ и генеративного моделирования, способствуя более безопасным и адаптивным технологиям в различных областях.