Rozvoj Embodied AI: Jak Meta přináší lidsky podobný dotyk a obratnost do AI

AI ušla dlouhou cestu ve vizuální percepci a zpracování jazyka. Nicméně, tyto schopnosti nejsou dostatečné pro stavbu systémů, které mohou interagovat s fyzickým světem. Lidé zpracovávají předměty nebo dělají řízené pohyby pomocí smyslu dotyku. Cítíme texturu, vnímáme teplotu a odhadujeme váhu, abychom vedli každou akci s přesností. Tento taktilní feedback nám umožňuje manipulovat křehkými předměty, používat nástroje s kontrolou a provádět složité úkoly hladce.

Meta, známá svou prací ve virtuální a rozšířené realitě, nyní přebírá výzvu vytvářet AI, která může interagovat s fyzickým světem podobně jako člověk. Prostřednictvím své iniciativy FAIR Robotics Meta vyvíjí open-source nástroje a rámce pro zlepšení smyslu dotyku a fyzické obratnosti robotů. Tyto úsilí mohou vést k vývoji embodied AI — systémů, které nevidí pouze, ale také cítí a manipulují s předměty stejně jako lidé.

Co je Embodied AI?

Embodied AI kombinuje fyzickou interakci s umělou inteligencí, umožňující strojům vnímat, reagovat a zapojit se přirozeně se svým okolím. Místo toho, aby pouze “viděly” nebo “slyšely” vstupy, umožňuje AI systémům cítit a činit se ve světě. Představte si robota, který může vnímat tlak, který aplikuje na předmět, upravit svůj úchop a pohybovat se s obratností. Embodied AI přesouvá AI z obrazovek a reproduktorů do fyzického světa, činí je schopnými manipulovat s předměty, provádět úkoly a interagovat smysluplněji s lidmi.

Například robot postavený na Embodied AI by mohl pomoci seniorovi zvednout křehké předměty bez jejich poškození. Ve zdravotnictví by mohl pomoci doktorům držet nástroje přesně během operace. Tento potenciál sahá daleko za robotic arms v laboratořích nebo automatizované paže ve fabrikách; je to o vytváření strojů, které chápou a reagují na své fyzické prostředí v reálném čase.

Metaův přístup k Embodied AI

Meta se zaměřuje na tři klíčové oblasti pro přiblížení embodied AI k lidsky podobnému dotyku. První, společnost vyvíjí pokročilé taktilní senzorické technologie, které umožňují strojům detekovat věci jako tlak, texturu a teplotu. Druhé, Meta vytváří modely dotykového vnímání, které umožňují AI pochopit a reagovat na tyto signály. Třetím, Meta buduje taktilní vývojovou platformu, která integruje多senzory s těmito modely vnímání, nabízející kompletní systém pro stavbu dotykově schopných AI. Zde je, jak Meta pohání pokrok v embodied AI napříč každou z těchto oblastí.

Meta Digit 360: Lidsky podobné taktilní vnímání

Meta představila Digit 360 prstový senzor, taktilní senzorickou technologii navrženou pro poskytnutí embodied AI lidsky podobnému smyslu dotyku. S více než 18 senzorickými funkcemi může detekovat vibrace, teplo a dokonce chemikálie na površích. Equipped s AI čipem, prstový senzor zpracovává dotykové údaje okamžitě, umožňující rychlé reakce na vstupy jako teplo sporáku nebo ostrý pichnutí jehly. Tato technologie funguje jako “periferní nervový systém” v rámci embodied AI, simulující reflexivní reakce podobné lidským reakcím. Meta vyvinula tento prstový senzor s unikátním optickým systémem obsahujícím více než 8 milionů taxel, které mohou zachytit dotyk z každého úhlu. Cítí malé detaily, až do sil jako jeden millinewton, poskytující embodied AI jemně naladěnou citlivost na jejich prostředí.

Meta Sparsh: Základ pro taktilní vnímání

Meta zlepšuje schopnosti dotykového vnímání, aby pomohla AI pochopit a reagovat na fyzické pocity. Nazvaná podle sanskrtského slova pro “dotyk”, Sparsh funguje jako “mozek dotyku” pro embodied AI. Model umožňuje strojům interpretovat složité taktilní signály jako tlak a úchop.

Jednou z výjimečných funkcí Sparsh je jeho všestrannost. Tradiční taktilní systémy zaměstnávají samostatné modely pro každou úlohu, spoléhající se silně na označená data a specifické senzory. Sparsh mění tento přístup úplně. Jako obecný model se přizpůsobuje různým senzorům a úlohám. Učí se taktilním vzorcům pomocí self-supervised learning (SSL) na obrovské databázi více než 460 000 taktilních obrazů — bez potřeby označených dat.

Meta také představila TacBench, novou referenční hodnotu se šesti dotykovými úkoly pro vyhodnocení schopností Sparsh. Meta tvrdí, že Sparsh překonal tradiční modely o 95,1%, zejména ve scénářích s nízkými daty. Verze Sparsh postavené na Meta’s I-JEPA a DINO architekturách prokázaly pozoruhodné schopnosti v úkolech, jako je odhadnutí síly, detekce sklouznutí a složitá manipulace.

Meta Digit Plexus: Platforma pro vývoj taktilních systémů

Meta představila Digit Plexus pro integraci senzorických technologií a taktilních modelů vnímání pro vytváření systému embodied AI. Platforma kombinuje prstový a pálčový senzor v rámci jediné robotické ruky, aby ermögnila více koordinované dotykové reakce. Tento setup umožňuje embodied AI zpracovat senzorickou zpětnou vazbu a upravit své akce v reálném čase, podobně jako lidská ruka se pohybuje a reaguje.

Standardizací dotykové zpětné vazby napříč rukou, Digit Plexus zlepšuje přesnost a kontrolu embodied AI. Tento vývoj je zvláště důležitý v oblastech, jako je výroba a zdravotnictví, kde je pečlivé zacházení nezbytné. Platforma spojuje senzory, jako je prstový senzor a ReSkin, s kontrolním systémem, zjednodušujícím sběr dat, kontrolu a analýzu — vše prostřednictvím jediného kabelu.

Meta uvolňuje software a hardwarové návrhy pro Digit Plexus do open-source komunity. Cílem je podpořit spolupráci a urychlit výzkum v oblasti embodied AI, pohánějící inovace a pokrok v těchto oblastech.

Promování výzkumu a vývoje Embodied AI

Meta pokročila nejen v technologii, ale také v zdrojích pro podporu výzkumu a vývoje embodied AI. Jedním z klíčových iniciativ je vývoj referenčních hodnot pro vyhodnocení AI modelů. Jednou z takových referenčních hodnot je PARTNR (Planning And Reasoning Tasks in humaN-Robot collaboration), která vyhodnocuje, jak AI modely interagují s lidmi během domácích úloh. Používá se Habitat 3.0 simulátor, PARTNR poskytuje realistické prostředí, kde roboti asistují s úkoly, jako je čištění a vaření. S více než 100 000 jazykově založených úlohách, cílem je urychlit pokrok v embodied AI.

Kromě interních iniciativ Meta spolupracuje s organizacemi, jako je GelSight Inc. a Wonik Robotics, aby urychlila přijetí taktilních senzorických technologií. GelSight bude distribuovat Digit 360 senzory, zatímco Wonik Robotics bude vyrábět Allegro Hand, který integruje technologii Digit Plexus. Díky zpřístupnění těchto technologií prostřednictvím open-source platforem a partnerství, Meta pomáhá vytvářet ekosystém, který by mohl vést k inovacím ve zdravotnictví, výrobě a domácí asistenci.

Závěrečné shrnutí

Meta pokročila v oblasti embodied AI, přesahující hranice pouze zraku a sluchu a zahrnující smysl dotyku. S inovacemi, jako je Digit 360 a Sparsh, AI systémy získávají schopnost cítit a reagovat na své okolí s přesností. Díky sdílení těchto technologií s open-source komunitou a partnerstvím s klíčovými organizacemi, Meta pomáhá urychlit vývoj taktilních senzorických technologií. Tento pokrok by mohl vést k průlomům v oblastech, jako je zdravotnictví, výroba a domácí asistence, činí AI více schopnou a reaktivní v reálných úkolech.