Fremme av inkarnert AI: Hvordan Meta bringer menneske-lignende berøring og fingernemhet til AI

AI har kommet langt i visuell persepsjon og språkbehandling. Likevel er disse evnene ikke nok for å bygge systemer som kan samhandle med den fysiske verden. Mennesker håndterer objekter eller gjør kontrollerte bevegelser ved hjelp av berøringsansen. Vi føler tekstur, sanser temperatur og måler vekt for å guide hver handling med nøyaktighet. Denne taktille tilbakemeldingen lar oss manipulere skjøre gjenstander, bruke verktøy med kontroll og utføre intrikate oppgaver jevnt.

Meta, som er kjent for sitt arbeid med virtuell og forbedret virkelighet, tar nå på seg utfordringen med å skape AI som kan samhandle med den fysiske verden på en måte som ligner en menneske. Gjennom sin FAIR Robotics-initiativ, utvikler Meta åpne verktøy og rammeverk for å forbedre robotenes sans for berøring og fysisk smidighet. Disse innsatsene kan føre til utviklingen av inkarnert AI — systemer som ikke bare ser, men også kan føle og manipulere objekter på samme måte som mennesker gjør.

Hva er inkarnert AI?

Inkarnert AI kombinerer fysisk interaksjon med kunstig intelligens, og muliggjør at maskiner kan sanse, reagere og engasjere seg naturlig med sine omgivelser. I stedet for bare å “se” eller “høre” innputt, lar det AI-systemer føle og handle i verden. Tenk på en robot som kan sanse trykket den påfører et objekt, justere grep og bevege seg med smidighet. Inkarnert AI flytter AI fra skjermer og høyttalere til den fysiske verden, og gjør det mulig for det å manipulere objekter, utføre oppgaver og samhandle mer meningsfullt med mennesker.

For eksempel kunne en robot bygget på inkarnert AI hjelpe en eldre person med å plukke opp skjøre gjenstander uten å skade dem. I helsevesenet kunne det assistere leger ved å holde instrumenter nøyaktig under operasjoner. Dette potensialet strekker seg langt utenfor robotarm i laboratorier eller automatiserte armer i fabrikker; det handler om å skape maskiner som forstår og reagerer på sine fysiske omgivelser i sanntid.

Metas tilnærming til inkarnert AI

Meta fokuserer på tre nøkkelområder for å bringe inkarnert AI nærmere menneske-lignende berøring. Først utvikler selskapet avanserte taktil sanse-teknologier som lar maskiner detektere ting som trykk, tekstur og temperatur. Andre, skaper Meta berøring-persepsjonsmodeller som lar AI forstå og reagere på disse signalene. Til slutt bygger Meta en taktil utviklingsplattform som integrerer flere sensorer med disse persepsjonsmodellene, og tilbyr et fullstendig system for å bygge berøring-aktiveret AI. Her er hvordan Meta driver fremgang i inkarnert AI over hver av disse områdene.

Meta Digit 360: Menneske-lignende taktil sansing

Meta har introdusert Digit 360-fingertip, en taktil sanse-teknologi designet for å gi inkarnert AI en menneske-lignende sans for berøring. Med over 18 sanse-egenskaper, kan den detektere vibrasjoner, varme og selv kjemikalier på overflater. Utstyrt med en AI-prosessor, behandler fingertippen berøringsdata umiddelbart, og lar AI-systemet reagere raskt på innputt som varmen fra en komfyr eller et skarpt stikk fra en nål. Denne teknologien fungerer som et “perifert nervesystem” i inkarnert AI, og simulerer refleksive reaksjoner lignende menneskelige reaksjoner. Meta har utviklet denne fingertippen med et unikt optisk system som inneholder over 8 millioner taxler som kan fange berøring fra hver vinkel. Den sanser små detaljer, ned til krefter så små som en millinewton, og gir inkarnert AI en finjustert sans for omgivelsene.

Meta Sparsh: Grunnlaget for taktil persepsjon

Meta forbedrer taktil persepsjons-evner for å hjelpe AI med å forstå og reagere på fysiske sansninger. Navngitt etter det sanskrit-ordet for “berøring”, Sparsh fungerer som en “berøring-hjerne” for inkarnert AI. Modellen lar maskiner tolke komplekse taktil signaler som trykk og grep.

En av Sparshs fremtredende egenskaper er dens fleksibilitet. Tradisjonelle taktil systemer bruker separate modeller for hver oppgave, og er avhengige av merket data og spesifikke sensorer. Sparsh endrer denne tilnærmingen fullstendig. Som en generell modell, tilpasser den seg ulike sensorer og oppgaver. Den lærer taktil mønster ved hjelp av selv-overvåket læring (SSL) på en stor database med over 460 000 taktil bilder — uten å behøve merket data.

Meta har også introdusert TacBench, en ny benchmark med seks taktil-baserte oppgaver for å evaluere Sparshs evner. Meta hevder at Sparsh overgår tradisjonelle modeller med 95,1%, spesielt i lav-data-scenarier. Versjoner av Sparsh bygget på Metas I-JEPA og DINO-arkitekturer har demonstrert bemerkelsesverdige evner i oppgaver som kraft-estimering, glid-deteksjon og kompleks manipulering.

Meta Digit Plexus: En plattform for taktil systemutvikling

Meta har introdusert Digit Plexus for å integrere sanse-teknologier og taktil persepsjonsmodeller for å skape et inkarnert AI-system. Plattformen kombinerer fingertip- og håndsensorer i en enkelt robot-hånd for å muliggjøre mer koordinert berøring-respons. Denne oppsettet lar inkarnert AI prosessere sanse-tilbakemelding og justere sine handlinger i sanntid, som en menneske-hånd beveger seg og reagerer.

Ved å standardisere berøring-tilbakemelding over hele hånden, Digit Plexus forbedrer nøyaktigheten og kontrollen av inkarnert AI. Denne utviklingen er spesielt viktig i felt som produksjon og helsevesen, hvor forsiktig håndtering er essensiell. Plattformen kobler sensorer som fingertippen og ReSkin til et kontrollsystem, og strømlinjeformer datainnsamling, kontroll og analyse — alt gjennom en enkelt kabel.

Meta slipper programvare- og maskin-designene for Digit Plexus til åpne kilde-samfunnet. Målet er å fremme samarbeid og akselerere forskning i inkarnert AI, og drive innovasjon og fremgang i disse feltene.

Fremme av inkarnert AI-forskning og utvikling

Meta fremmer ikke bare teknologi, men også ressurser for å fremme inkarnert AI-forskning og utvikling. En nøkkel-initiativ er utviklingen av benchmark for å vurdere AI-modeller. En slik benchmark, PARTNR (Planning And Reasoning Tasks in humaN-Robot collaboration), vurderer hvordan AI-modeller samhandler med mennesker under husholdningsoppgaver. Ved hjelp av Habitat 3.0-simulatoren, tilbyr PARTNR en realistisk miljø hvor roboter assisterer med oppgaver som rengjøring og matlaging. Med over 100 000 språk-baserte oppgaver, har det som mål å akselerere fremgang i inkarnert AI.

Foruten interne initiativer, samarbeider Meta med organisasjoner som GelSight Inc. og Wonik Robotics for å akselerere adopsjonen av taktil sanse-teknologier. GelSight vil distribuere Digit 360-sensorer, mens Wonik Robotics vil produsere Allegro-hånden, som integrerer Digit Plexus-teknologi. Ved å gjøre disse teknologiene tilgjengelige gjennom åpne kilde-plattformer og samarbeid, hjelper Meta med å skape en økosystem som kan føre til innovasjoner i helsevesen, produksjon og hjemme-hjelp.

Bunnen av saken

Meta fremmer inkarnert AI, og tar det beyond bare syn og lyd til å inkludere sansen for berøring. Med innovasjoner som Digit 360 og Sparsh, får AI-systemer evnen til å føle og reagere på sine omgivelser med presisjon. Ved å dele disse teknologiene med åpne kilde-samfunnet og samarbeide med nøkkel-organisasjoner, hjelper Meta med å akselerere utviklingen av taktil sanse-teknologi. Denne fremgangen kan føre til gjennombrudd i felt som helsevesen, produksjon og hjemme-hjelp, og gjøre AI mer kapabel og responsiv i sanntids-oppgaver. ring disse teknologiene med det åpne kilde-samfunnet og samarbeide med nøkkel-organisasjoner, hjelper Meta med å akselerere utviklingen av taktil sanse-teknologi. Denne fremgangen kan føre til gjennombrudd i felt som helsevesen, produksjon og hjemme-hjelp, og gjøre AI mer kapabel og responsiv i sanntids-oppgaver.