Фізична модель світу NTT перевіряє дії робота перед виконанням

11 листопада 2026 року NTT, Inc. оголосила про фізичну модель світу, яка оцінює можливі дії робота до їх виконання, щоб зменшити кількість збоїв, як-от падіння предметів і обвалення вантажу. За даними компанії, під час випробування з укладання предметів на полиці за допомогою малого робота частка успішно виконаних завдань зросла з 73,1% до 92,3%.

Першим запланованим застосуванням технології стане автоматизоване завантаження та розвантаження багажу в аеропортах. Через відмінності у формі й вазі багажу та способах його розміщення звичайної системи керування роботом недостатньо, щоб заздалегідь визначити, чи призведе дія до обвалення вантажу або падіння предмета, а зібрати навчальні дані для кожного можливого предмета практично неможливо. NTT планує провести з Mujin, Inc. випробування в реальних умовах для обробки багажу.

Як модель оцінює можливі дії

Технологія працює з наявним програмним забезпеченням для керування роботами, додаючи прогнозування й оцінювання до початку руху. Можливі дії можуть надходити від моделі «зір — мова — дія», яка перетворює відео з камери та мовні інструкції на команди для робота, або від планувальника руху, який обчислює необхідні команди для досягнення мети завдання. Для кожного варіанта система створює прогнозне відео та оцінює зіткнення, падіння предметів і обвалення вантажу. На основі цієї оцінки програма керування може вибрати дію, яка, за прогнозом, найімовірніше буде успішною.

За словами NTT, звичайні моделі світу не відображають фізичні характеристики об’єктів явно, через що на згенерованому відео об’єкти можуть зникати або неприродно деформуватися, а прогнози зіткнень можуть бути неточними. Крім того, такі моделі залежать від великих навчальних наборів даних, тому в ситуаціях, яких у цих даних немає, збої трапляються частіше.

Адаптер фізичного керування NTT за відео оцінює характеристики кожного об’єкта, зокрема його положення, орієнтацію, швидкість і масу, застосовує закони фізики для обчислення подальшого руху та передає ці розрахунки моделі генерації відео. За словами NTT, таке явне подання даних дає змогу опрацьовувати ситуації та рухи, яких немає в навчальних даних. Модель також виводить фізичні величини, що лежать в основі прогнозу, завдяки чому легше зрозуміти підстави для згенерованого результату.

Результати тестування та плани щодо розширення застосування

NTT також оцінила точність прогнозування майбутніх кадрів відео за допомогою відкритого тестового набору OBJ3D, який містить відеокадри зіткнення синтетичних об’єктів. За даними NTT, її модель перевершила традиційні методи за показником Learned Perceptual Image Patch Similarity (LPIPS), який порівнює прогнозоване відео з еталонним відповідно до людського сприйняття; нижчі значення свідчать про більшу подібність.

Окрім обробки багажу та посилок, NTT планує розвивати застосування технології в логістиці, складському господарстві, виробництві, будівництві та роздрібній торгівлі й розгляне можливість співпраці з постачальниками робототехнічних послуг, а також логістичними компаніями й операторами складів. Скорочення потреби в робочій силі та підвищення продуктивності є цілями такого розширення, а не результатами, підтвердженими описаним випробуванням.

Технологію планують представити на NTT R&D Forum 2026 — заході лише за запрошеннями, який відбудеться 18–20 та 24–25 листопада 2026 року. На семінарі 25 листопада 2026 року, присвяченому робототехніці на основі ШІ та фізично інформованій моделі світу, виступлять генеральний директор Mujin Japan Ісаму Арасе та провідний інженер-дослідник NTT Дзюн Сімамура.

Оголошені NTT результати охоплюють завдання, виконане малим роботом, і відео зіткнень синтетичних об’єктів. Заплановані випробування з Mujin покажуть, чи можна перенести заявлене покращення результатів укладання предметів на полиці на обробку багажу в аеропортах, де перевірка до початку виконання дії має враховувати фізичні відмінності, що й стали причиною розроблення моделі.