Rozvoj Embodied AI: Jak Meta přináší lidsky podobný dotek a zručnost do AI

Umělá inteligence (AI) ušla velký kus cesty ve vizuální percepci a zpracování jazyka. Tyto schopnosti však nejsou dostatečné pro stavbu systémů, které mohou interagovat s fyzickým světem. Lidé manipulují s objekty nebo provádějí řízené pohyby pomocí smyslu doteku. Cítíme texturu, vnímáme teplotu a odhadujeme váhu, abychom mohli řídit každou akci s přesností. Tato taktilní zpětná vazba umožňuje nám manipulovat s křehkými předměty, používat nástroje s kontrolou a provádět složité úkoly hladce.

Meta, známá svou prací ve virtuální a rozšířené realitě, se nyní zabývá výzvou vytvořit AI, která může interagovat s fyzickým světem podobně jako člověk. Prostřednictvím své iniciativy FAIR Robotics Meta vyvíjí open-source nástroje a rámce pro zlepšení smyslu doteku a fyzické agility robotů. Tyto snahy by mohly vést k vývoji embodied AI — systémů, které nejen vidí, ale také cítí a manipulují s objekty podobně jako lidé.

Co je Embodied AI?

Embodied AI kombinuje fyzickou interakci s umělou inteligencí, umožňující strojům vnímat, reagovat a zapojit se přirozeně do svého okolí. Místo toho, aby pouze “viděly” nebo “slyšely” vstupy, umožňuje AI systémům cítit a činit ve světě. Představte si robota, který může vnímat tlak, který aplikuje na objekt, upravit svůj úchop a pohybovat se s agilitou. Embodied AI přesouvá AI ze screenů a reproduktorů do fyzického světa, činí je schopnými manipulovat s objekty, provádět úkoly a interagovat více významně s lidmi.

Například robot postavený na Embodied AI by mohl pomoci seniorovi zvednout křehké předměty bez poškození. Ve zdravotnictví by mohl asistovat doktorům při držení nástrojů přesně během operace. Tento potenciál sahá daleko za robotické ruce v laboratořích nebo automatizované ruce v továrnách; je to o vytváření strojů, které rozumí a reagují na své fyzické prostředí v reálném čase.

Metaův přístup k Embodied AI

Meta se zaměřuje na tři klíčové oblasti pro přiblížení Embodied AI k lidsky podobnému doteku. První, společnost vyvíjí pokročilé technologie taktilního vnímání, které umožňují strojům detekovat věci jako tlak, texturu a teplotu. Druhé, Meta vytváří modely vnímání doteku, které umožňují AI pochopit a reagovat na tyto signály. Třetím, Meta buduje platformu pro rozvoj taktilních systémů, která integruje několik senzorů s těmito modely vnímání, nabízející kompletní systém pro stavbu AI s dotekem. Zde je, jak Meta pohání pokrok v Embodied AI napříč každou z těchto oblastí.

Meta Digit 360: Lidsky podobné taktilní vnímání

Meta představila Digit 360 prst, technologii taktilního vnímání navrženou pro poskytnutí Embodied AI lidsky podobného smyslu doteku. S více než 18 funkcemi vnímání může detekovat vibrace, teplo a dokonce chemikálie na površích. Vybazená AI čipem, prst zpracovává data doteku okamžitě, umožňující rychlé reakce na vstupy jako teplo sporáku nebo ostrý pichnutí jehly. Tato technologie funguje jako “periferní nervový systém” uvnitř Embodied AI, simulující reflexní reakce podobné lidským reakcím. Meta vyvinula tento prst s unikátním optickým systémem obsahujícím více než 8 milionů taxel, které mohou zachytit dotek z každého úhlu. Cítí malé detaily, až do sil jako jeden millinewton, poskytující Embodied AI jemně naladěnou citlivost na své prostředí.

Meta Sparsh: Základ pro vnímání doteku

Meta rozšiřuje schopnosti vnímání doteku, aby AI mohla pochopit a reagovat na fyzické pocity. Nazvaná podle sanskrtského slova pro “dotek”, Sparsh funguje jako “mozek doteku” pro Embodied AI. Model umožňuje strojům interpretovat složité taktilní signály jako tlak a úchop.

Jedním z význačných rysů Sparsh je jeho univerzálnost. Tradiční taktilní systémy využívají samostatné modely pro každou úlohu, spoléhají se silně na označená data a specifické senzory. Sparsh mění tento přístup zcela. Jako obecný model se přizpůsobuje různým senzorům a úlohám. Učí se vzorcům doteku pomocí samoučícího se učení (SSL) na masivní databázi více než 460 000 taktilních obrazů — bez potřeby označených dat.

Meta také představila TacBench, novou referenční hodnotu se šesti úkoly založenými na doteku pro vyhodnocení schopností Sparsh. Meta tvrdí, že Sparsh překonal tradiční modely o 95,1 %, zejména ve scénářích s nízkými daty. Verze Sparsh postavené na architekturách Meta I-JEPA a DINO prokázaly pozoruhodné schopnosti v úkolech, jako je odhadnutí síly, detekce sklouznutí a složitá manipulace.

Meta Digit Plexus: Platforma pro rozvoj taktilních systémů

Meta představila Digit Plexus pro integraci technologií vnímání a modelů vnímání doteku pro vytváření systému Embodied AI. Platforma kombinuje senzory prstů a dlaní v rámci jedné robotické ruky, aby umožnila více koordinované reakce doteku. Tento setup umožňuje Embodied AI zpracovat zpětnou vazbu a upravit své akce v reálném čase, podobně jako lidská ruka se pohybuje a reaguje.

Přes standardizaci zpětné vazby doteku napříč rukou Digit Plexus zvyšuje přesnost a kontrolu Embodied AI. Tento vývoj je zvláště důležitý v oblastech, jako je výroba a zdravotnictví, kde je pečlivé zacházení nezbytné. Platforma spojuje senzory, jako je prst a ReSkin, s řídicím systémem, streamlinuje sběr dat, kontrolu a analýzu — vše prostřednictvím jediného kabelu.

Meta uvolňuje software a hardwarové návrhy pro Digit Plexus do open-source komunity. Cílem je podpořit spolupráci a urychlit výzkum v oblasti Embodied AI, pohánět inovace a pokrok v těchto oblastech.

Promování výzkumu a rozvoje Embodied AI

Meta rozšiřuje nejen technologii, ale také zdroje pro podporu výzkumu a rozvoje Embodied AI. Jednou z iniciativ je vývoj referenčních hodnot pro hodnocení AI modelů. Jednou z takových referenčních hodnot je PARTNR (Planning And Reasoning Tasks in humaN-Robot collaboration), který hodnotí, jak AI modely interagují s lidmi během domácích úkolů. Používá simulátor Habitat 3.0, PARTNR poskytuje realistické prostředí, kde roboti asistují s úkoly, jako je čištění a vaření. S více než 100 000 jazykově založených úkolech cílem je urychlit pokrok v Embodied AI.

Kromě interních iniciativ Meta spolupracuje s organizacemi, jako je GelSight Inc. a Wonik Robotics, aby urychlila přijetí technologií taktilního vnímání. GelSight bude distribuovat senzory Digit 360, zatímco Wonik Robotics bude vyrábět ruku Allegro, která integruje technologii Digit Plexus. Přístupem k těmto technologiím prostřednictvím open-source platforem a partnerství Meta pomáhá vytvářet ekosystém, který by mohl vést k inovacím ve zdravotnictví, výrobě a domácí asistenci.

Závěrem

Meta rozšiřuje Embodied AI, přesouvá ji za hranice pouze zraku a sluchu a zahrnuje smysl doteku. S inovacemi, jako je Digit 360 a Sparsh, AI systémy získávají schopnost cítit a reagovat na své okolí s přesností. Přístupem k těmto technologiím open-source komunitě a partnerstvím s klíčovými organizacemi Meta pomáhá urychlit rozvoj taktilního vnímání. Tento pokrok by mohl vést k průlomům v oblastech, jako je zdravotnictví, výroba a domácí asistence, činí AI více schopnou a reaktivní v reálných úkolech. ring these technologies with the open-source community and partnering with key organizations, Meta is helping accelerate the development of tactile sensing. This progress could lead to breakthroughs in fields like healthcare, manufacturing, and home assistance, making AI more capable and responsive in real-world tasks.