Avançar la IA encarnada: com Meta aporta el tacte i la destresa humanes a la IA

La IA ha recorregut un llarg camí en la percepció visual i el processament del llenguatge. Tanmateix, aquestes habilitats no són suficients per construir sistemes que puguin interactuar amb el món físic. Els humans manipulen objectes o fan moviments controlats mitjançant el sentit del tacte. Sentim la textura, la temperatura i el pes de mesura per guiar cada acció amb precisió. Aquest feedback tàctil ens permet manipular elements fràgils, utilitzar eines amb control i realitzar tasques complicades sense problemes.

Meta, coneguda pel seu treball en realitat virtual i augmentada, ara assumeix el repte de crear IA que pugui interactuar amb el món físic com un humà. Mitjançant la seva iniciativa FAIR Robotics, Meta està desenvolupant eines i marcs de codi obert per millorar el sentit del tacte i l'agilitat física dels robots. Aquests esforços podrien conduir al desenvolupament d'IA incorporada: sistemes que no només veuen, sinó que també poden sentir i manipular objectes com ho fan els humans.

Què és l'IA incorporada?

IA encarnada combina la interacció física amb la intel·ligència artificial, permetent a les màquines detectar, respondre i relacionar-se de manera natural amb el seu entorn. En lloc de només "veure" o "escoltar", permet als sistemes d'IA sentir i actuar en el món. Penseu en un robot que pot detectar la pressió que aplica a un objecte, ajustar-ne l'adherència i moure's amb agilitat. La IA incorporada mou la IA de les pantalles i els altaveus al món físic, fent-la capaç de manipular objectes, realitzar tasques i interactuar de manera més significativa amb les persones.

Per exemple, un robot construït amb IA incorporada podria ajudar una persona gran a recollir objectes fràgils sense danyar-los. A l'assistència sanitària, podria ajudar els metges subjectant instruments amb precisió durant la cirurgia. Aquest potencial s'estén molt més enllà dels braços robòtics als laboratoris o dels braços automatitzats a les fàbriques; es tracta de crear màquines que entenguin i responguin al seu entorn físic en temps real.

L'enfocament de Meta cap a la IA encarnada

Meta s'està centrant tres àrees clau per apropar la IA encarnada al tacte humà. En primer lloc, l'empresa està desenvolupant tecnologies avançades de detecció tàctil que permeten a les màquines detectar coses com la pressió, la textura i la temperatura. En segon lloc, Meta està creant models de percepció tàctil que permeten que la IA entengui i reaccioni a aquests senyals. Finalment, Meta està construint una plataforma de desenvolupament tàctil que integra múltiples sensors amb aquests models de percepció, oferint un sistema complet per construir IA tàctil. Així és com Meta està impulsant el progrés de la IA incorporada en cadascuna d'aquestes àrees.

Meta Dígit 360: Sensació tàctil a nivell humà

Meta ha presentat Dígit 360 punta del dit, una tecnologia de detecció tàctil dissenyada per donar a la IA encarnada una sensació del tacte semblant a l'ésser humà. Amb més de 18 funcions de detecció, pot detectar vibracions, calor i fins i tot productes químics a les superfícies. Equipat amb un xip d'IA, la punta dels dits processa les dades tàctils a l'instant, permetent respostes ràpides a entrades com la calor d'una estufa o el cop agut d'una agulla. Aquesta tecnologia actua com un "sistema nerviós perifèric" dins de la IA incorporada, simulant respostes reflexives similars a les reaccions humanes. Meta ha desenvolupat aquest dit amb un sistema òptic únic que conté més de 8 milions de taxels que poden capturar el tacte des de tots els angles. Sent petits detalls, fins a forces tan petites com un mil·linewton, donant a la IA encarnada una sensibilitat perfectament ajustada al seu entorn.

Meta Sparsh: la base per a la percepció tàctil

Meta està millorant les capacitats de percepció tàctil per ajudar la IA a comprendre i respondre a les sensacions físiques. Rep el nom de la paraula sànscrita per "tacte", Escassa actua com un "cervell tàctil" per a la IA incorporada. El model permet a les màquines interpretar senyals tàctils complexos com la pressió i l'adherència.

Una de les característiques més destacades de Sparsh és la seva versatilitat. Els sistemes tàctils tradicionals utilitzen models separats per a cada tasca, depenent en gran mesura de dades etiquetades i sensors específics. Sparsh canvia aquest enfocament completament. Com a model d'ús general, s'adapta a diversos sensors i tasques. Aprèn patrons tàctils utilitzant aprenentatge autocontrolat (SSL) en una base de dades massiva de més de 460,000 imatges tàctils, sense necessitat de dades etiquetades.

Meta també ha presentat TacBench, un nou punt de referència amb sis tasques tàctils per avaluar les habilitats de Sparsh. Meta afirma que Sparsh va superar els models tradicionals en un 95.1%, especialment en escenaris amb dades baixes. Les versions de Sparsh basades en les arquitectures I-JEPA i DINO de Meta han demostrat habilitats notables en tasques com l'estimació de la força, la detecció de lliscaments i la manipulació complexa.

Meta Digit Plexus: una plataforma per al desenvolupament de sistemes tàctils

Meta ha introduït Digit Plexus per integrar tecnologies de detecció i models de percepció tàctil per crear un sistema d'IA incorporat. La plataforma combina sensors de la punta dels dits i del palmell en una sola mà robòtica per permetre respostes tàctils més coordinades. Aquesta configuració permet que la IA incorporada processi la retroalimentació sensorial i ajuste les seves accions en temps real, com ara com es mou i reacciona una mà humana.

Mitjançant l'estandardització de la retroalimentació tàctil a la mà, Plexe de dígits millora la precisió i el control de la IA incorporada. Aquest desenvolupament és especialment vital en camps com la fabricació i la sanitat, on una manipulació acurada és essencial. La plataforma enllaça sensors com la punta del dit i ReSkin a un sistema de control, racionalitzant la recollida, el control i l'anàlisi de dades, tot mitjançant un sol cable.

Meta està llançant els dissenys de programari i maquinari per a Digit Plexus a la comunitat de codi obert. L'objectiu és fomentar la col·laboració i accelerar la investigació en IA incorporada, impulsant la innovació i el progrés en aquests camps.

Promoció de la recerca i el desenvolupament d'IA incorporada

Meta està avançant no només la tecnologia, sinó també els recursos per promoure la investigació i el desenvolupament d'IA incorporada. Una iniciativa clau és el desenvolupament de punts de referència per avaluar models d'IA. Un d'aquests punts de referència, PARTNR (Tasques de planificació i raonament en la col·laboració humanN-Robot), avalua com els models d'IA interactuen amb els humans durant les tasques domèstiques. Mitjançant el simulador Habitat 3.0, PARTNR ofereix un entorn realista on els robots ajuden amb tasques com netejar i cuinar. Amb més de 100,000 tasques basades en l'idioma, pretén accelerar el progrés en l'IA incorporada.

A més d'iniciatives internes, Meta col·labora amb organitzacions com GelSight Inc. i Wonik Robòtica per accelerar l'adopció de tecnologies de detecció tàctil. GelSight distribuirà sensors Digit 360, mentre que Wonik Robotics fabricarà l'Allegro Hand, que integra la tecnologia Digit Plexus. Mitjançant que aquestes tecnologies estiguin disponibles a través de plataformes i associacions de codi obert, Meta està ajudant a crear un ecosistema que podria conduir a innovacions en l'assistència sanitària, la fabricació i l'assistència domèstica.

La línia de base

Meta està avançant en la IA encarnada, portant-la més enllà de la vista i el so per incloure el sentit del tacte. Amb innovacions com Digit 360 i Sparsh, els sistemes d'IA estan adquirint la capacitat de sentir i respondre al seu entorn amb precisió. Compartint aquestes tecnologies amb la comunitat de codi obert i associant-se amb organitzacions clau, Meta està ajudant a accelerar el desenvolupament de la detecció tàctil. Aquest progrés podria conduir a avenços en camps com la sanitat, la fabricació i l'assistència a la llar, fent que la IA sigui més capaç i sensible a les tasques del món real.