Розвиток втіленого штучного інтелекту: як Meta привносить людський дотик і спритність у штучний інтелект

ШІ пройшов довгий шлях у візуальному сприйнятті та обробці мови. Однак цих здібностей недостатньо для побудови систем, здатних взаємодіяти з фізичним світом. Люди тримаються предметів або здійснюють контрольовані рухи за допомогою дотику. Ми відчуваємо текстуру, температуру та вимірюваємо вагу, щоб точно керувати кожною дією. Цей тактильний зворотний зв’язок дозволяє нам маніпулювати крихкими предметами, контролювати інструменти та легко виконувати складні завдання.

Компанія Meta, відома своєю роботою у сфері віртуальної та доповненої реальності, зараз береться за створення штучного інтелекту, який може взаємодіяти з фізичним світом подібно до людини. В рамках своєї ініціативи FAIR Robotics Meta розробляє інструменти та фреймворки з відкритим кодом для покращення тактильних функцій та фізичної спритності роботів. Ці зусилля можуть призвести до розвитку втіленого штучного інтелекту — систем, які не лише бачать, але й відчувають та маніпулюють об'єктами так само, як це роблять люди.

Що таке втілений ШІ?

Втілений ШІ поєднує фізичну взаємодію зі штучним інтелектом, дозволяючи машинам відчувати, реагувати та природно взаємодіяти з навколишнім середовищем. Замість того, щоб просто «бачити» або «чути» вхідні дані, це дозволяє системам ШІ це робити почувати та діяти світ. Подумайте про робота, який відчуває тиск, який застосовує до об’єкта, регулює свій хват і рухається зі спритністю. Втілений ШІ переміщує ШІ з екранів і колонок у фізичний світ, роблячи його здатним маніпулювати об’єктами, виконувати завдання та більш змістовно взаємодіяти з людьми.

Наприклад, робот, побудований на Embodied AI, може допомогти літній людині підняти крихкі предмети, не пошкодивши їх. У сфері охорони здоров’я він міг би допомагати лікарям, тримаючи інструменти саме під час операції. Цей потенціал виходить далеко за рамки роботизованої зброї в лабораторіях або автоматизованої зброї на заводах; мова йде про створення машин, які розуміють і реагують на своє фізичне середовище в реальному часі.

Підхід Meta до втіленого ШІ

Мета зосереджується на три ключові області наблизити втілений ШІ до людського дотику. По-перше, компанія розробляє передові технології тактильного сприйняття, які дозволяють машинам виявляти такі речі, як тиск, текстура та температура. По-друге, Meta створює моделі сприйняття дотику, які дозволяють ШІ розуміти ці сигнали та реагувати на них. Нарешті, Meta створює платформу розробки тактильних технологій, яка інтегрує кілька датчиків з цими моделями сприйняття, пропонуючи повну систему для створення ШІ з підтримкою сенсорного керування. Ось як Meta сприяє прогресу втіленого ШІ в кожній з цих областей.

Meta Digit 360: тактильний розпізнавання на рівні людини

Мета представила Кінчик пальця цифри 360, технологія тактильного сприйняття, створена для надання втіленому штучному інтелекту відчуття дотику, схожого на людське. Маючи понад 18 сенсорних функцій, він може виявляти вібрацію, тепло та навіть хімічні речовини на поверхнях. Оснащений чіпом зі штучним інтелектом, кінчик пальця миттєво обробляє дані дотику, дозволяючи швидко реагувати на такі введення, як жар плити або гострий поштовх голки. Ця технологія діє як «периферична нервова система» у втіленому штучному інтелекті, імітуючи рефлекторні реакції, подібні до реакцій людини. Компанія Meta розробила цей кінчик пальця з унікальною оптичною системою, яка містить понад 8 мільйонів такселів, які можуть вловлювати дотик під будь-яким кутом. Він відчуває найдрібніші деталі, аж до сил, невеликих як один міліньютон, надаючи втіленому ШІ тонко налаштовану чутливість до середовища.

Мета Спарш: основа тактильного сприйняття

Meta розширює можливості сприйняття дотику, щоб допомогти ШІ розуміти фізичні відчуття та реагувати на них. Названий на честь санскритського слова, що означає «дотик», Спарш діє як «сенсорний мозок» для втіленого ШІ. Модель дозволяє машинам інтерпретувати складні тактильні сигнали, такі як тиск і захоплення.

Однією з видатних особливостей Sparsh є його універсальність. Традиційні тактильні системи використовують окремі моделі для кожного завдання, значною мірою покладаючись на позначені дані та спеціальні датчики. Sparsh повністю змінює цей підхід. Як модель загального призначення, він адаптується до різних датчиків і завдань. Він вивчає шаблони дотику за допомогою самоконтрольоване навчання (SSL) у величезній базі даних із понад 460,000 XNUMX тактильних зображень — без необхідності маркування даних.

Meta також представила TacBench, новий тест із шістьма сенсорними завданнями для оцінки здібностей Sparsh. Meta стверджує, що Sparsh перевершив традиційні моделі на 95.1%, особливо в сценаріях з низьким рівнем даних. Версії Sparsh, створені на основі архітектур Meta I-JEPA та DINO, продемонстрували чудові можливості в таких завданнях, як оцінка сили, виявлення ковзання та складні маніпуляції.

Meta Digit Plexus: Платформа для розробки тактильної системи

Meta представила Digit Plexus для інтеграції сенсорних технологій і моделей тактильного сприйняття для створення втіленої системи ШІ. Платформа поєднує датчики кінчиків пальців і долоні в одній руці робота, щоб забезпечити більш скоординовану реакцію на дотик. Ця настройка дозволяє втіленому штучному інтелекту обробляти сенсорний зворотний зв’язок і коригувати свої дії в реальному часі, наприклад, як рухається та реагує людська рука.

Завдяки стандартизації зворотного зв’язку дотику через руку, Цифрове сплетіння підвищує точність і контроль втіленого ШІ. Ця розробка особливо важлива в таких галузях, як виробництво та охорона здоров’я, де обережне поводження є важливим. Платформа зв’язує такі датчики, як кінчик пальця та ReSkin, із системою керування, оптимізуючи збір, контроль і аналіз даних — усе через один кабель.

Meta випускає програмне та апаратне забезпечення для Digit Plexus для спільноти з відкритим кодом. Мета полягає в тому, щоб сприяти співпраці та прискорювати дослідження втіленого штучного інтелекту, стимулюючи інновації та прогрес у цих сферах.

Сприяння дослідженням і розробкам втіленого ШІ

Meta розвиває не лише технології, але й ресурси для просування досліджень і розробок втіленого ШІ. Ключовою ініціативою є розробка тестів для оцінки моделей ШІ. Один із таких орієнтирів ПАРТНЕР (Planning And Reasoning Tasks in human-robot collaboration), оцінює, як моделі штучного інтелекту взаємодіють з людьми під час домашніх завдань. Використовуючи симулятор Habitat 3.0, PARTNR створює реалістичне середовище, де роботи допомагають виконувати такі завдання, як прибирання та приготування їжі. Маючи понад 100,000 XNUMX мовних завдань, він спрямований на прискорення прогресу у втіленому ШІ.

Окрім внутрішніх ініціатив, Meta співпрацює з такими організаціями, як GelSight Inc. та Wonik Robotics прискорити впровадження технологій тактильного сприйняття. GelSight розповсюджуватиме датчики Digit 360, а Wonik Robotics виготовлятиме Allegro Hand, який інтегрує технологію Digit Plexus. Роблячи ці технології доступними через платформи з відкритим вихідним кодом і партнерства, Meta допомагає створити екосистему, яка може призвести до інновацій у сфері охорони здоров’я, виробництва та домашньої допомоги.

Bottom Line

Meta розвиває втілений штучний інтелект, виводячи його за рамки зору та звуку, включаючи відчуття дотику. Завдяки таким інноваціям, як Digit 360 і Sparsh, системи штучного інтелекту набувають здатності відчувати оточення й точно реагувати на нього. Ділячись цими технологіями зі спільнотою відкритих джерел і співпрацюючи з ключовими організаціями, Meta допомагає прискорити розвиток тактильного сприйняття. Цей прогрес може призвести до проривів у таких сферах, як охорона здоров’я, виробництво та допомога вдома, що зробить штучний інтелект більш дієвим і чутливим до реальних завдань.