Развитие воплощенного ИИ: как Meta привносит в ИИ человеческие тактильные ощущения и ловкость

ИИ прошел долгий путь в области визуального восприятия и обработки языка. Однако этих способностей недостаточно для создания систем, способных взаимодействовать с физическим миром. Люди обращаются с объектами или совершают контролируемые движения, используя осязание. Мы чувствуем текстуру, ощущаем температуру и измеряем вес, чтобы точно направлять каждое действие. Эта тактильная обратная связь позволяет нам манипулировать хрупкими предметами, использовать инструменты с контролем и выполнять сложные задачи плавно.

Компания Meta, известная своими работами в области виртуальной и дополненной реальности, теперь решает задачу создания ИИ, способного взаимодействовать с физическим миром подобно человеку. В рамках своей инициативы FAIR Robotics компания Meta разрабатывает инструменты и фреймворки с открытым исходным кодом для улучшения осязания и физической ловкости роботов. Эти усилия могут привести к созданию воплощённого ИИ — систем, которые не только видят, но и могут чувствовать и манипулировать объектами, как люди.

Что такое воплощенный ИИ?

Воплощенный ИИ сочетает физическое взаимодействие с искусственным интеллектом, позволяя машинам чувствовать, реагировать и естественным образом взаимодействовать с окружающей средой. Вместо того, чтобы просто «видеть» или «слышать» входные данные, он позволяет системам ИИ чувствовать и действовать в мир. Представьте себе робота, который может чувствовать давление, которое он оказывает на объект, регулировать захват и двигаться с ловкостью. Воплощенный ИИ перемещает ИИ из экранов и динамиков в физический мир, делая его способным манипулировать объектами, выполнять задачи и более осмысленно взаимодействовать с людьми.

Например, робот, созданный на основе Embodied AI, может помочь пожилому человеку поднять хрупкие предметы, не повреждая их. В здравоохранении он может помогать врачам, точно удерживая инструменты во время операции. Этот потенциал выходит далеко за рамки роботизированных рук в лабораториях или автоматизированных рук на заводах; речь идет о создании машин, которые понимают и реагируют на свое физическое окружение в реальном времени.

Подход Meta к воплощенному ИИ

Мета фокусируется на три ключевых области Чтобы приблизить воплощённый ИИ к человеческому тактильному восприятию. Во-первых, компания разрабатывает передовые технологии тактильных сенсоров, позволяющие машинам определять такие параметры, как давление, текстура и температура. Во-вторых, Meta создаёт модели тактильного восприятия, позволяющие ИИ распознавать эти сигналы и реагировать на них. Наконец, Meta создаёт платформу разработки тактильных решений, которая объединяет несколько датчиков с этими моделями восприятия, предлагая комплексную систему для создания ИИ с сенсорным управлением. Вот как Meta способствует развитию воплощённого ИИ в каждой из этих областей.

Meta Digit 360: тактильные ощущения на уровне человека

Мета представила Цифра 360 кончик пальца, технология тактильного зондирования, разработанная для того, чтобы дать воплощенному ИИ чувство прикосновения, подобное человеческому. Благодаря более чем 18 сенсорным функциям он может обнаруживать вибрации, тепло и даже химические вещества на поверхностях. Оснащенный чипом ИИ, кончик пальца мгновенно обрабатывает данные о прикосновении, что позволяет быстро реагировать на такие входные данные, как тепло печи или острый укол иглы. Эта технология действует как «периферийная нервная система» внутри воплощенного ИИ, имитируя рефлекторные реакции, похожие на человеческие реакции. Meta разработала этот кончик пальца с уникальной оптической системой, содержащей более 8 миллионов такселей, которые могут улавливать прикосновение под любым углом. Он ощущает мельчайшие детали, вплоть до сил размером с один миллиньютон, что дает воплощенному ИИ тонко настроенную чувствительность к окружающей среде.

Мета Спарш: Основы тактильного восприятия

Meta улучшает возможности восприятия прикосновений, чтобы помочь ИИ понимать и реагировать на физические ощущения. Названный в честь санскритского слова «прикосновение», Спарш действует как «сенсорный мозг» для воплощенного ИИ. Модель позволяет машинам интерпретировать сложные тактильные сигналы, такие как давление и захват.

Одной из выдающихся особенностей Sparsh является его универсальность. Традиционные тактильные системы используют отдельные модели для каждой задачи, в значительной степени полагаясь на маркированные данные и конкретные датчики. Sparsh полностью меняет этот подход. Как модель общего назначения, она адаптируется к различным датчикам и задачам. Она изучает тактильные паттерны с помощью Самостоятельное обучение (SSL) на основе огромной базы данных, содержащей более 460,000 XNUMX тактильных изображений, — без необходимости маркировки данных.

Meta также представила TacBench, новый бенчмарк с шестью сенсорными задачами для оценки способностей Sparsh. Meta утверждает, что Sparsh превзошел традиционные модели на 95.1%, особенно в сценариях с низким объемом данных. Версии Sparsh, построенные на архитектурах Meta I-JEPA и DINO, продемонстрировали замечательные способности в таких задачах, как оценка силы, обнаружение скольжения и сложная манипуляция.

Meta Digit Plexus: платформа для развития тактильной системы

Meta представила Digit Plexus для интеграции сенсорных технологий и моделей тактильного восприятия для создания системы воплощенного ИИ. Платформа объединяет датчики кончиков пальцев и ладоней в одной роботизированной руке для обеспечения более скоординированных ответов на прикосновения. Эта установка позволяет воплощенному ИИ обрабатывать сенсорную обратную связь и корректировать свои действия в реальном времени, например, как двигается и реагирует человеческая рука.

Стандартизируя тактильную обратную связь по всей руке, Цифровое сплетение повышает точность и контроль воплощенного ИИ. Эта разработка особенно важна в таких областях, как производство и здравоохранение, где бережное обращение имеет решающее значение. Платформа связывает датчики, такие как кончик пальца и ReSkin, с системой управления, оптимизируя сбор данных, управление и анализ — все через один кабель.

Meta выпускает проекты программного и аппаратного обеспечения для Digit Plexus в сообщество с открытым исходным кодом. Цель состоит в том, чтобы способствовать сотрудничеству и ускорить исследования в области воплощенного ИИ, стимулируя инновации и прогресс в этих областях.

Содействие исследованиям и разработкам в области воплощенного ИИ

Meta продвигает не только технологию, но и ресурсы для продвижения исследований и разработок в области воплощенного ИИ. Ключевой инициативой является разработка контрольных показателей для оценки моделей ИИ. Один из таких контрольных показателей, НОМЕР ЧАСТИ (Planning And Reasoning Tasks in human-Robot collaboration) оценивает, как модели ИИ взаимодействуют с людьми во время выполнения домашних задач. Используя симулятор Habitat 3.0, PARTNR создает реалистичную среду, в которой роботы помогают с такими задачами, как уборка и приготовление пищи. Имея более 100,000 XNUMX языковых задач, он стремится ускорить прогресс в воплощенном ИИ.

Помимо внутренних инициатив, Meta сотрудничает с такими организациями, как GelSight Inc. и Воник Роботикс для ускорения внедрения технологий тактильного зондирования. GelSight будет распространять датчики Digit 360, а Wonik Robotics будет производить Allegro Hand, которая интегрирует технологию Digit Plexus. Предоставляя эти технологии через платформы с открытым исходным кодом и партнерства, Meta помогает создать экосистему, которая может привести к инновациям в здравоохранении, производстве и помощи по дому.

Выводы

Meta продвигает воплощенный ИИ, выводя его за рамки просто зрения и звука, чтобы включить чувство осязания. Благодаря таким инновациям, как Digit 360 и Sparsh, системы ИИ получают возможность чувствовать и реагировать на свое окружение с точностью. Делясь этими технологиями с сообществом открытого исходного кода и сотрудничая с ключевыми организациями, Meta помогает ускорить разработку тактильных ощущений. Этот прогресс может привести к прорывам в таких областях, как здравоохранение, производство и помощь на дому, делая ИИ более способным и отзывчивым в реальных задачах.