Расширение возможностей воплощённого ИИ: как Meta приносит человеческое осязание и ловкость в ИИ

ИИ продвинулся далеко в области зрительного восприятия и обработки языка. Однако этих способностей недостаточно для создания систем, которые могут взаимодействовать с физическим миром. Люди обрабатывают объекты или выполняют контролируемые движения, используя чувство осязания. Мы чувствуем текстуру, ощущаем температуру и оцениваем вес, чтобы направлять каждое действие с точностью. Эта тактильная обратная связь позволяет нам манипулировать хрупкими предметами, использовать инструменты с контролем и выполнять сложные задачи гладко.

Meta, известная своей работой в области виртуальной и дополненной реальности, теперь принимает вызов создания ИИ, который может взаимодействовать с физическим миром так же, как и человек. Через свою инициативу FAIR Robotics Meta разрабатывает открытые инструменты и框架 для улучшения тактильного чувства и физической ловкости роботов. Эти усилия могут привести к разработке воплощённого ИИ — систем, которые не только видят, но и могут чувствовать и манипулировать объектами так же, как и люди.

Что такое воплощённый ИИ?

Воплощённый ИИ сочетает физическое взаимодействие с искусственным интеллектом, позволяя машинам чувствовать, реагировать и взаимодействовать естественно со своей средой. Вместо того, чтобы просто “видеть” или “слышать” входные данные, он позволяет системам ИИ “чувствовать” и “действовать в” мире. Представьте себе робота, который может чувствовать давление, которое он оказывает на объект, регулировать свою хватку и двигаться с ловкостью. Воплощённый ИИ выводит ИИ из экранов и динамиков в физический мир, делая его способным манипулировать объектами, выполнять задачи и взаимодействовать более осмысленно с людьми.

Например, робот, построенный на основе воплощённого ИИ, может помочь пожилому человеку подобрать хрупкие предметы без повреждения. В здравоохранении он может помочь врачам, держа инструменты точно во время операции. Этот потенциал выходит далеко за пределы роботизированных рук в лабораториях или автоматизированных рук на заводах; это создание машин, которые понимают и реагируют на свою физическую среду в реальном времени.

Подход Meta к воплощённому ИИ

Meta фокусируется на трёх ключевых областях, чтобы приблизить воплощённый ИИ к человеческому осязанию. Во-первых, компания разрабатывает передовые тактильные датчики, которые позволяют машинам обнаруживать такие вещи, как давление, текстура и температура. Во-вторых, Meta создаёт модели тактильного восприятия, которые позволяют ИИ понимать и реагировать на эти сигналы. Наконец, Meta строит тактильную платформу разработки, которая интегрирует несколько датчиков с этими моделями восприятия, предлагая полную систему для создания тактильного ИИ. Вот как Meta продвигает прогресс в воплощённом ИИ в каждой из этих областей.

Meta Digit 360: человеческое тактильное чувство

Meta представила Digit 360, тактильный датчик, предназначенный для того, чтобы дать воплощённому ИИ человеческое тактильное чувство. С более чем 18 функциями обнаружения он может обнаружить вибрации, тепло и даже химические вещества на поверхностях. Оснащённый чипом ИИ, Digit 360 обрабатывает тактильные данные мгновенно, позволяя быстро реагировать на входные данные, такие как тепло плиты или острая колющая игла. Эта технология действует как “периферическая нервная система” в воплощённом ИИ, имитируя рефлекторные реакции, подобные человеческим реакциям. Meta разработала этот датчик с уникальной оптической системой, содержащей более 8 миллионов такселей, которые могут захватить осязание с любого угла. Он обнаруживает крошечные детали, вплоть до сил, равных одной миллиньютону, давая воплощённому ИИ тонко настроенную чувствительность к окружающей среде.

Meta Sparsh: основа тактильного восприятия

Meta улучшает возможности тактильного восприятия, чтобы помочь ИИ понять и реагировать на физические ощущения. Названный в честь санскритского слова “осязание”, Sparsh действует как “мозг осязания” для воплощённого ИИ. Модель позволяет машинам интерпретировать сложные тактильные сигналы, такие как давление и хватка.

Одной из выдающихся особенностей Sparsh является его универсальность. Традиционные тактильные системы используют отдельные модели для каждой задачи, сильно полагаясь на помеченные данные и конкретные датчики. Sparsh меняет этот подход полностью. Как общая модель, он адаптируется к различным датчикам и задачам. Он учит тактильные закономерности, используя самообучение (SSL) на огромной базе данных более 460 000 тактильных изображений — без необходимости помеченных данных.

Meta также представила TacBench, новый бенчмарк с шестью задачами, основанными на осязании, для оценки способностей Sparsh. Meta утверждает, что Sparsh превзошёл традиционные модели на 95,1%, особенно в сценариях с низкими данными. Версии Sparsh, построенные на архитектурах Meta I-JEPA и DINO, продемонстрировали замечательные способности в задачах, таких как оценка силы, обнаружение скольжения и сложная манипуляция.

Meta Digit Plexus: платформа для тактильной системы разработки

Meta представила Digit Plexus, чтобы интегрировать технологии тактильного чувства и модели тактильного восприятия для создания системы воплощённого ИИ. Платформа объединяет датчики пальцев и ладони в одной роботизированной руке, чтобы ermögнить более координированные тактильные реакции. Этот настрой позволяет воплощённому ИИ обрабатывать сенсорную обратную связь и регулировать свои действия в реальном времени, как и человеческая рука движется и реагирует.

Стандартизируя тактильную обратную связь по всей руке, Digit Plexus повышает точность и контроль воплощённого ИИ. Это развитие особенно важно в областях, таких как производство и здравоохранение, где точная обработка имеет решающее значение. Платформа связывает датчики, такие как Digit 360 и ReSkin, с системой управления, упрощая сбор, управление и анализ данных — все через один кабель.

Meta выпускает программные и аппаратные проекты Digit Plexus в открытом доступе. Цель — содействовать сотрудничеству и ускорению исследований в области воплощённого ИИ, стимулируя инновации и прогресс в этих областях.

Содействие исследованию и разработке воплощённого ИИ

Meta продвигает не только технологии, но и ресурсы для содействия исследованию и разработке воплощённого ИИ. Одним из ключевых направлений является разработка бенчмарков для оценки моделей ИИ. Одним из таких бенчмарков является PARTNR (Planning And Reasoning Tasks in humaN-Robot collaboration), который оценивает, как модели ИИ взаимодействуют с людьми во время домашних задач. Используя симулятор Habitat 3.0, PARTNR предоставляет реалистичную среду, в которой роботы помогают с задачами, такими как уборка и приготовление пищи. С более чем 100 000 языковых задач он направлен на ускорение прогресса в воплощённом ИИ.

Помимо внутренних инициатив, Meta сотрудничает с организациями, такими как GelSight Inc. и Wonik Robotics, чтобы ускорить принятие тактильных датчиков. GelSight будет распространять датчики Digit 360, в то время как Wonik Robotics будет производить Allegro Hand, который интегрирует технологию Digit Plexus. Сделав эти технологии доступными через открытые платформы и партнёрства, Meta помогает создать экосистему, которая может привести к инновациям в здравоохранении, производстве и домашней помощи.

Итог

Meta продвигает воплощённый ИИ, выводя его за пределы простого зрения и слуха и включая в него чувство осязания. С инновациями, такими как Digit 360 и Sparsh, системы ИИ получают возможность чувствовать и реагировать на свою среду с точностью. Сделав эти технологии доступными для открытого сообщества и сотрудничая с ключевыми организациями, Meta помогает ускорить разработку тактильного чувства. Этот прогресс может привести к прорывам в областях, таких как здравоохранение, производство и домашняя помощь, делая ИИ более способным и отзывчивым в реальных задачах.