Розширення втіленого штучного інтелекту: як Meta впроваджує людську тактильність та рухливість у штучний інтелект

Штучний інтелект зробив великий крок у візуальному сприйнятті та обробці мови. Однак цих можливостей недостатньо для створення систем, які можуть взаємодіяти з фізичним світом. Люди обробляють об’єкти або роблять контрольовані рухи за допомогою відчуття дотику. Ми відчуваємо текстуру, відчуваємо температуру та оцінюємо вагу, щоб керувати кожною дією з точністю. Це тактильне зворотнє зв’язок дозволяє нам маніпулювати крихкими предметами, використовувати інструменти з контролем та виконувати складні завдання гладко.

Meta, добре відомий своїми роботами у сфері віртуальної та доповненої реальності, тепер бере на себе виклик створення штучного інтелекту, який може взаємодіяти з фізичним світом так само, як людина. Через свою ініціативу FAIR Robotics Meta розробляє відкриті інструменти та фреймворки для покращення відчуття дотику та фізичної рухливості роботів. Ці зусилля можуть привести до розробки втіленого штучного інтелекту — систем, які не тільки бачать, але також можуть відчувати та маніпулювати об’єктами так само, як люди.

Що таке втілений штучний інтелект?

Втілений штучний інтелект поєднує фізичну взаємодію зі штучним інтелектом, що дозволяє машинам сприймати, реагувати та взаємодіяти природно зі своєю довкіллям. Замість того, щоб просто “бачити” або “чувати” вхідні дані, він дозволяє системам штучного інтелекту відчувати та діятися у світі. Подумайте про робота, який може відчувати тиск, який він прикладає до об’єкта, регулювати свою хватку та рухатися з рухливістю. Втілений штучний інтелект переносить штучний інтелект з екранів та динаміків у фізичний світ, роблячи його здатним маніпулювати об’єктами, виконувати завдання та взаємодіяти більш осмислено з людьми.

Наприклад, робот, побудований на основі втіленого штучного інтелекту, міг би допомогти літній особі підняти крихкі предмети без пошкодження їх. У сфері охорони здоров’я він міг би допомогти лікарям, тримаючи інструменти точно під час операції. Цей потенціал виходить далеко за межі роботизованих рук у лабораторіях або автоматизованих рук у фабриках; це про створення машин, які розуміють та реагують на своє фізичне середовище в реальному часі.

Підхід Meta до втіленого штучного інтелекту

Meta зосереджується на трьох ключових напрямках, щоб привести втілений штучний інтелект ближче до людської тактильності. По-перше, компанія розробляє передові тактильні технології сприйняття, які дозволяють машинам виявляти речі, такі як тиск, текстура та температура. По-друге, Meta створює моделі сприйняття дотику, які дозволяють штучному інтелекту розуміти та реагувати на ці сигнали. По-третє, Meta будує платформу для розвитку тактильних систем, яка інтегрує кілька сенсорів з цими моделями сприйняття, пропонуючи повну систему для створення систем штучного інтелекту з дотику. Ось як Meta рухається вперед у сфері втіленого штучного інтелекту в кожному з цих напрямків.

Meta Digit 360: людський рівень тактильного сприйняття

Meta представила Digit 360, технологію тактильного сприйняття, розроблену для надання втіленому штучному інтелекту людського рівня дотику. З понад 18 функціями сприйняття, вона може виявляти вібрації, тепло та навіть хімічні речовини на поверхнях. Оснащена процесором штучного інтелекту, Digit 360 обробляє дані дотику миттєво, дозволяючи швидко реагувати на входи, такі як тепло плити або гострий укол голки. Ця технологія діє як “периферійна нервова система” у втіленому штучному інтелекті, імітуючи рефлекторні реакції, подібні до людських реакцій. Meta розробила цей сенсор з унікальною оптичною системою, яка містить понад 8 мільйонів такселів, які можуть захоплювати дотик з кожного кута. Він відчуває найменші деталі, аж до сил, таких малих, як один міліньютон, надаючи втіленому штучному інтелекту тонко налаштовану чутливість до свого середовища.

Meta Sparsh: основа для тактильного сприйняття

Meta покращує можливості сприйняття дотику, щоб допомогти штучному інтелекту розуміти та реагувати на фізичні відчуття. Названий на честь санскритського слова для “дотику”, Sparsh діє як “мозок дотику” для втіленого штучного інтелекту. Ця модель дозволяє машинам інтерпретувати складні тактильні сигнали, такі як тиск та хватка.

Одна з видатних особливостей Sparsh — його універсальність. Традиційні тактильні системи використовують окремі моделі для кожного завдання, сильно залежачи від маркованих даних та конкретних сенсорів. Sparsh змінює цей підхід повністю. Як загальна модель, він адаптується до різних сенсорів та завдань. Він вчиться шаблонам дотику за допомогою самонавчання (SSL) на величезній базі даних понад 460 000 тактильних зображень — без потреби в маркованих даних.

Meta також представила TacBench, новий бенчмарк з шістьма завданнями, заснованими на дотику, для оцінки можливостей Sparsh. Meta стверджує, що Sparsh перевершив традиційні моделі на 95,1%, особливо в сценаріях з низькою кількістю даних. Версії Sparsh, побудовані на архітектурах Meta I-JEPA та DINO, продемонстрували видатні можливості у завданнях, таких як оцінка сили, виявлення ковзання та складна маніпуляція.

Meta Digit Plexus: платформа для розвитку тактильних систем

Meta представила Digit Plexus для інтеграції технологій сприйняття та моделей сприйняття дотику для створення системи втіленого штучного інтелекту. Платформа поєднує сенсори пальців та долоні в одній роботизованій руці, щоб забезпечити більш координовані реакції на дотик. Ця конструкція дозволяє втіленому штучному інтелекту обробляти зворотній зв’язок від сенсорів та регулювати свої дії в реальному часі, як людська рука рухається та реагує.

Стандартизуючи зворотній зв’язок від дотику по всій руці, Digit Plexus підвищує точність та контроль втіленого штучного інтелекту. Цей розвиток особливо важливий у галузях, таких як виробництво та охорона здоров’я, де точна обробка є суттєвою. Платформа зв’язує сенсори, такі як сенсор пальця та ReSkin, з системою контролю, спрощуючи збір даних, контроль та аналіз — все через один кабель.

Meta випускає програмні та апаратні проекти Digit Plexus у відкритому вигляді для спільноти. Метою є сприяння співробітництву та прискоренню досліджень у сфері втіленого штучного інтелекту, що сприяє інноваціям та прогресу в цих галузях.

Сприяння дослідженням та розвитку втіленого штучного інтелекту

Meta просунула не тільки технології, але й ресурси для сприяння дослідженням та розвитку втіленого штучного інтелекту. Одним з ключових напрямків є розробка бенчмарків для оцінки моделей штучного інтелекту. Одним з таких бенчмарків є PARTNR (Планування та розуміння завдань у співробітництві людини та робота), який оцінює, як моделі штучного інтелекту взаємодіють з людьми під час домашніх завдань. Використовуючи симулятор Habitat 3.0, PARTNR пропонує реалістичне середовище, у якому роботизовані системи допомагають у завданнях, таких як прибирання та приготування їжі. З понад 100 000 мовних завдань він спрямований на прискорення прогресу у сфері втіленого штучного інтелекту.

Поряд з внутрішніми ініціативами Meta співпрацює з організаціями, такими як GelSight Inc. та Wonik Robotics, для прискорення впровадження технологій тактильного сприйняття. GelSight буде розповсюджувати сенсори Digit 360, тоді як Wonik Robotics буде виробляти Allegro Hand, який інтегрує технологію Digit Plexus. Роблячи ці технології доступними через відкриті платформи та партнерства, Meta допомагає створювати екосистему, яка могла б привести до інновацій у сфері охорони здоров’я, виробництва та домашньої допомоги.

Резюме

Meta просунула втілений штучний інтелект, вийшовши за межі лише зору та звуку до включення відчуття дотику. З інноваціями, такими як Digit 360 та Sparsh, системи штучного інтелекту набувають здатності відчувати та реагувати на своє середовище з точністю. Поділуючись цими технологіями з відкритою спільнотою та партнерством з ключовими організаціями, Meta допомагає прискорити розвиток тактильного сприйняття. Цей прогрес міг би привести до проривів у галузях, таких як охорона здоров’я, виробництво та домашня допомога, роблячи штучний інтелект більш здатним та реагуючим у реальних завданнях.