Модель мира NTT с учетом физических законов оценивает действия робота до их выполнения

11 ноября 2026 года компания NTT, Inc. объявила о разработке модели мира, основанной на физических законах. Перед выполнением она оценивает возможные действия робота, чтобы снизить риск неудач, таких как падение предметов и обрушение груза. По сообщению компании, в испытании по загрузке полок с помощью небольшого робота доля успешного выполнения задачи выросла с 73,1% до 92,3%.

Первое предполагаемое применение технологии — автоматизированная погрузка и разгрузка багажа в аэропортах. Из-за различий в форме и весе багажа, а также в способах его укладки обычной системе управления роботом трудно заранее определить, не обрушится ли груз и не упадет ли какой-либо предмет. Кроме того, собрать обучающие данные для каждого возможного предмета практически невозможно. NTT планирует провести с Mujin, Inc. полевые испытания технологии обработки багажа.

Как модель оценивает возможные действия

Технология работает с существующим программным обеспечением для управления роботами и добавляет этап прогнозирования и оценки до начала движения. Возможные действия могут предлагаться моделью «зрение — язык — действие», которая преобразует видео с камеры и текстовые инструкции в команды для робота, или планировщиком движения, рассчитывающим управляющие воздействия, необходимые для достижения цели задачи. Для каждого варианта модель генерирует прогнозное видео и оценивает вероятность столкновений, падения предметов и обрушения груза. Затем она выставляет оценку, позволяющую управляющей программе выбрать действие, которое, по оценке модели, с наибольшей вероятностью приведет к успеху.

По словам NTT, обычные модели мира не представляют физические параметры объектов в явном виде. Из-за этого на сгенерированном видео объекты могут исчезать или неправдоподобно деформироваться, а прогнозы столкновений — быть неточными. Кроме того, зависимость таких моделей от больших обучающих наборов данных повышает вероятность ошибок в ситуациях, не представленных в этих данных.

Физический адаптер управления NTT по видео оценивает свойства каждого объекта, в том числе его положение, ориентацию, скорость и массу, применяет законы физики для расчета дальнейшего движения и передает эти расчеты модели генерации видео. По словам NTT, такое явное представление позволяет учитывать ситуации и движения, отсутствующие в обучающих данных. Модель также выводит физические параметры, на которых основан прогноз, благодаря чему легче понять, как был получен результат.

Результаты сравнительного тестирования и планы по расширению

NTT также оценила точность прогнозирования будущих кадров на общедоступном тестовом наборе OBJ3D, который содержит видеокадры с синтетическими объектами, сталкивающимися друг с другом. По данным NTT, ее модель превзошла традиционные методы по метрике Learned Perceptual Image Patch Similarity (LPIPS), которая сравнивает прогнозное видео с эталонными данными с учетом особенностей человеческого восприятия. Чем ниже значение, тем выше степень сходства.

Помимо обработки багажа и посылок, NTT планирует развивать применение технологии в логистике, складском хозяйстве, производстве, строительстве и розничной торговле. Компания также рассмотрит возможность сотрудничества с поставщиками робототехнических услуг, а также с логистическими и складскими компаниями. Сокращение потребности в рабочей силе и повышение производительности — цели этого расширения, а не результаты, подтвержденные описанными испытаниями.

Технологию планируют представить на форуме NTT R&D Forum 2026 — мероприятии по приглашениям, которое пройдет 18–20 и 24–25 ноября 2026 года. В числе выступающих на семинаре об искусственном интеллекте в робототехнике и модели мира с учетом физических законов, который состоится 25 ноября 2026 года, — генеральный директор Mujin Japan Исаму Арасе и ведущий научный сотрудник NTT Дзюн Симамура.

В объявленных NTT результатах описаны задачи с небольшим роботом и видео синтетических столкновений. Запланированные испытания с Mujin покажут, удастся ли добиться при обработке багажа в аэропортах заявленного улучшения, достигнутого при загрузке полок. В таких условиях проверка до выполнения действия должна учитывать физические различия, которые и послужили причиной разработки модели.