Fremme af inkarneret AI: Hvordan Meta bringer menneske-lignende berøring og fingrenemhed til AI

AI er kommet langt i visuel perception og sprogbehandling. however, disse evner er ikke nok til at bygge systemer, der kan interagere med den fysiske verden. Mennesker håndterer objekter eller laver kontrollerede bevægelser ved hjælp af berøringssansen. Vi føler tekstur, fornemmer temperatur og vurderer vægt for at guide hver handling med præcision. Denne taktil feedback giver os mulighed for at manipulere ødelige genstande, bruge værktøjer med kontrol og udføre intrikate opgaver glat.

Meta, der er kendt for sit arbejde med virtuel og forstærket virkelighed, tager nu udfordringen op til at skabe AI, der kan interagere med den fysiske verden på samme måde som et menneske. Gennem sin FAIR Robotics-initiativ udvikler Meta open-source-værktøjer og -rammer til at forbedre robotters berøringssans og fysisk agility. Disse bestræbelser kan føre til udviklingen af inkarneret AI — systemer, der ikke kun ser, men også kan føle og manipulere objekter ligesom mennesker gør.

Hvad er inkarneret AI?

Inkarneret AI kombinerer fysisk interaktion med kunstig intelligens, hvilket giver maskiner mulighed for at fornemme, reagere og engagere sig naturligt med deres omgivelser. I stedet for kun at “se” eller “høre” input giver det AI-systemer mulighed for at føle og handle i verden. Tænk på en robot, der kan fornemme trykket, det anvender på et objekt, justere sit greb og bevæge sig med agility. Inkarneret AI flytter AI fra skærme og højttalere ind i den fysiske verden, hvilket giver det mulighed for at manipulere objekter, udføre opgaver og interagere mere meningsfuldt med mennesker.

For eksempel kunne en robot bygget på inkarneret AI hjælpe en ældre person med at samle ødelige genstande uden at beskadige dem. I sundhedssektoren kunne det assistere læger ved at holde instrumenter præcist under operation. Denne potentiale strækker sig langt ud over robotarme i laboratorier eller automatiserede arme i fabrikker; det handler om at skabe maskiner, der forstår og reagerer på deres fysiske omgivelser i realtid.

Metas tilgang til inkarneret AI

Meta fokuserer på tre nøgleområder for at bringe inkarneret AI nærmere menneske-lignende berøring. Først udvikler virksomheden avancerede taktil-sensing-teknologier, der giver maskiner mulighed for at détectere ting som tryk, tekstur og temperatur. Anden, Meta skaber touch perception-modeller, der giver AI mulighed for at forstå og reagere på disse signaler. Til sidst bygger Meta en taktil udviklingsplatform, der integrerer multiple sensorer med disse perception-modeller, hvilket giver et komplet system for at bygge touch-aktiveret AI. Her er, hvordan Meta driver fremgang i inkarneret AI på tværs af disse områder.

Meta Digit 360: Menneske-lignende taktil sensing

Meta har introduceret Digit 360 fingertip, en taktil sensing-teknologi designet til at give inkarneret AI en menneske-lignende berøringssans. Med over 18 sensing-funktioner kan det détectere vibrationer, varme og sogar kemikalier på overflader. Udstyret med en AI-chip, fingertip behandler berøringsdata øjeblikkeligt, hvilket giver mulighed for hurtige responser på input som varmen fra en komfur eller et skarpt stød fra en nål. Denne teknologi fungerer som et “perifert nervesystem” inden for inkarneret AI, simulerer refleksive responser lignende menneskelige reaktioner. Meta har udviklet denne fingertip med et unikt optisk system indeholdende over 8 millioner taxels, der kan fange berøring fra hver vinkel. Det fornemmer små detaljer, ned til kræfter så små som en millinewton, giver inkarneret AI en fint afstemt følsomhed over for deres omgivelser.

Meta Sparsh: Grundlaget for taktil perception

Meta forbedrer taktil perception-kapaciteter for at hjælpe AI med at forstå og reagere på fysisk sansning. Navngivet efter det sanskrit-ord for “berøring”, Sparsh fungerer som en “berøring-hjerne” for inkarneret AI. Modellen giver maskiner mulighed for at fortolke komplekse taktil signaler som tryk og greb.

En af Sparsh’s fremhævede funktioner er dens fleksibilitet. Traditionelle taktil systemer anvender separate modeller for hver opgave, afhængigt af mærket data og specifikke sensorer. Sparsh ændrer denne tilgang helt. Som en generel formål model tilpasser det sig til forskellige sensorer og opgaver. Det lærer taktil mønster ved hjælp af self-supervised learning (SSL) på en massiv database med over 460.000 taktil billeder—uden behov for mærket data.

Meta har også introduceret TacBench, en ny benchmark med seks touch-baserede opgaver for at evaluere Sparsh’s evner. Meta hævder, at Sparsh overgik traditionelle modeller med 95,1%, især i lav-data-scenarier. Versioner af Sparsh bygget på Metas I-JEPA og DINO-arkitekturer har demonstreret bemærkelsesværdige evner i opgaver som kraft-estimation, glide-detection og kompleks manipulation.

Meta Digit Plexus: En platform for taktil systemudvikling

Meta har introduceret Digit Plexus for at integrere sensing-teknologier og taktil perception-modeller for at skabe et inkarneret AI-system. Platformen kombinerer fingertip og palm-sensorer inden for en enkelt robot-hånd for at muliggøre mere koordinerede taktil responser. Denne opsætning giver inkarneret AI mulighed for at behandle sensorisk feedback og justere sine handlinger i realtid, ligesom en menneske-hånd bevæger sig og reagerer.

Ved at standardisere taktil feedback på tværs af hånden forbedrer Digit Plexus præcisionen og kontrollen af inkarneret AI. Denne udvikling er særligt vigtig i felter som produktion og sundhedssektor, hvor omhyggelig håndtering er afgørende. Platformen linker sensorer som fingertip og ReSkin til et kontrolsystem, strømliner dataindsamling, kontrol og analyse—alligevel gennem en enkelt kabel.

Meta udgiver software- og hardware-design til Digit Plexus til open-source-fællesskabet. Målet er at fremme samarbejde og accelerere forskning i inkarneret AI, drivende innovation og fremgang i disse felter.

Fremme af inkarneret AI-forskning og udvikling

Meta fremmer ikke kun teknologi, men også ressourcer for at fremme inkarneret AI-forskning og udvikling. En nøgleinitiativ er udviklingen af benchmarks for at evaluere AI-modeller. En sådan benchmark, PARTNR (Planning And Reasoning Tasks in humaN-Robot collaboration), evaluerer, hvordan AI-modeller interagerer med mennesker under huslige opgaver. Ved hjælp af Habitat 3.0-simulatoren giver PARTNR en realistisk omgivelse, hvor robotter assisterer med opgaver som rengøring og madlavning. Med over 100.000 sprog-baserede opgaver sigter det mod at accelerere fremgang i inkarneret AI.

Ud over interne initiativer samarbejder Meta med organisationer som GelSight Inc. og Wonik Robotics for at accelerere adoptionen af taktil sensing-teknologier. GelSight vil distribuere Digit 360-sensorer, mens Wonik Robotics vil producere Allegro-hånden, der integrerer Digit Plexus-teknologi. Ved at gøre disse teknologier tilgængelige gennem open-source-platforme og partnerskaber hjælper Meta med at skabe et økosystem, der kan føre til innovationer i sundhedssektoren, produktion og hjemmeassistance.

Bottom Line

Meta fremmer inkarneret AI, tager det beyond kun syn og lyd til at inkludere berøringssansen. Med innovationer som Digit 360 og Sparsh får AI-systemer mulighed for at føle og reagere på deres omgivelser med præcision. Ved at dele disse teknologier med open-source-fællesskabet og samarbejde med nøgleorganisationer hjælper Meta med at accelerere udviklingen af taktil sensing. Denne fremgang kan føre til gennembrud i felter som sundhedssektoren, produktion og hjemmeassistance, gør AI mere kapabel og responsiv i virkelige opgaver.