Fremme av inkarnert AI: Hvordan Meta bringer menneske-lignende berøring og fingernemhet til AI

AI har kommet langt i visuell persepsjon og språkbehandling. Men disse evnene er ikke nok for å bygge systemer som kan samhandle med den fysiske verden. Mennesker håndterer objekter eller gjør kontrollerte bevegelser ved hjelp av berøringssansen. Vi føler tekstur, sanser temperatur og måler vekt for å guide hver handling med nøyaktighet. Denne taktille tilbakemeldingen lar oss manipulere skjøre gjenstander, bruke verktøy med kontroll og utføre intrikate oppgaver jevnt.

Meta, som er kjent for sitt arbeid med virtuell og forbedret virkelighet, tar nå på seg utfordringen med å skape AI som kan samhandle med den fysiske verden på samme måte som et menneske. Gjennom FAIR Robotics-initiativet utvikler Meta åpne verktøy og rammer for å forbedre roboters berøringssans og fysiske fingernemhet. Disse innsatsene kan føre til utviklingen av inkarnert AI – systemer som ikke bare ser, men også kan føle og manipulere gjenstander som mennesker gjør.

Hva er inkarnert AI?

Inkarnert AI kombinerer fysisk interaksjon med kunstig intelligens, og muliggjør at maskiner kan sanse, reagere og engasjere seg naturlig med omgivelsene. I stedet for bare å “se” eller “høre” innputt, lar det AI-systemer føle og handle i verden. Tenk på en robot som kan sanse trykket den påfører en gjenstand, justere grep og bevege seg med fingernemhet. Inkarnert AI flytter AI fra skjermer og høyttalere ut i den fysiske verden, og gjør det mulig å manipulere gjenstander, utføre oppgaver og samhandle mer meningsfullt med mennesker.

For eksempel kunne en robot bygget på inkarnert AI hjelpe en eldre person med å plukke opp skjøre gjenstander uten å skade dem. I helsevesenet kunne det assistere leger med å holde instrumenter nøyaktig under kirurgi. Dette potensialet strekker seg langt utover robotarm i laboratorier eller automatiserte armer i fabrikker; det handler om å skape maskiner som forstår og reagerer på den fysiske omgivelsene i sanntid.

Metas tilnærming til inkarnert AI

Meta fokuserer på tre nøkkelområder for å bringe inkarnert AI nærmere menneske-lignende berøring. Først utvikler selskapet avanserte taktil saneringsteknologier som muliggjør at maskiner kan detektere ting som trykk, tekstur og temperatur. For det andre skaper Meta berøringssansmodeller som lar AI forstå og reagere på disse signalene. Til slutt bygger Meta en taktil utviklingsplattform som integrerer flere sensorer med disse persepsjonsmodellene, og tilbyr et fullstendig system for å bygge berøring-aktiverende AI. Her er hvordan Meta driver fremgang i inkarnert AI over hver av disse områdene.

Meta Digit 360: Menneske-lignende taktil sanering

Meta har introdusert Digit 360 fingertip, en taktil saneringsteknologi designet for å gi inkarnert AI en menneske-lignende berøringssans. Med over 18 saneringsfunksjoner kan det detektere vibrasjoner, varme og sogar kjemikalier på overflaten. Utstyrt med en AI-chip, fingertip prosesserer berøringdata øyeblikkelig, og lar roboten reagere raskt på innputt som varmen fra en komfyr eller et skarpt stikk fra en nål. Denne teknologien fungerer som et “perifert nervesystem” i inkarnert AI, og simulerer refleksive responser liknende menneskelige reaksjoner. Meta har utviklet denne fingertippen med et unikt optisk system som inneholder over 8 millioner taxler som kan fange berøring fra hver vinkel. Den sanser små detaljer, ned til krefter så små som en millinewton, og gir inkarnert AI en finjustert følsomhet for omgivelsene.

Meta Sparsh: Grunnlaget for taktil persepsjon

Meta forbedrer taktil persepsjonskapasiteter for å hjelpe AI med å forstå og reagere på fysiske sansninger. Navngitt etter det sanskrit-ordet for “berøring”, Sparsh fungerer som en “berøringshjerne” for inkarnert AI. Modellen lar maskiner tolke komplekse taktilsignaler som trykk og grep.

En av Sparshs fremtredende funksjoner er dens fleksibilitet. Tradisjonelle taktilsystemer benytter separate modeller for hver oppgave, og er avhengige av merket data og spesifikke sensorer. Sparsh endrer denne tilnærmingen fullstendig. Som en generell modell, tilpasser den seg ulike sensorer og oppgaver. Den lærer taktilmønster ved hjelp av selv-overvåket læring (SSL) på en massiv database med over 460 000 taktilbilder – uten å trenge merket data.

Meta har også introdusert TacBench, en ny benchmark med seks taktilbaserte oppgaver for å evaluere Sparshs evner. Meta hevder at Sparsh overgikk tradisjonelle modeller med 95,1%, spesielt i lavdata-scenarier. Versjoner av Sparsh bygget på Metas I-JEPA og DINO-arkitekturer har demonstrert bemerkelsesverdige evner i oppgaver som kraftestimering, glidningstekting og kompleks manipulering.

Meta Digit Plexus: En plattform for taktil systemutvikling

Meta har introdusert Digit Plexus for å integrere saneringsteknologier og taktil persepsjonsmodeller for å skape et inkarnert AI-system. Plattformen kombinerer fingertip- og håndflatensensorer i en enkelt robotisk hånd for å muliggjøre mer koordinerte taktilresponser. Denne oppsettet lar inkarnert AI prosessere saneringsfeedback og justere handlinger i sanntid, som en menneskehånd beveger seg og reagerer.

Ved å standardisere taktil tilbakemelding over hele hånden, Digit Plexus forbedrer nøyaktigheten og kontrollen av inkarnert AI. Denne utviklingen er spesielt viktig i felt som produksjon og helsevesenet, der forsiktig håndtering er essensiell. Plattformen kobler sensorer som fingertip og ReSkin til en kontrollsystem, og strømlinjeformer datainnsamling, kontroll og analyse – alt gjennom en enkelt kabel.

Meta slipper programvare- og hardware-design for Digit Plexus til åpne kilde-samfunnet. Målet er å fremme samarbeid og akselerere forskning i inkarnert AI, og drive innovasjon og fremgang i disse feltene.

Fremme av inkarnert AI-forskning og utvikling

Meta fremmer ikke bare teknologi, men også ressurser for å fremme inkarnert AI-forskning og utvikling. En nøkkelinitiativ er utviklingen av benchmark for å vurdere AI-modeller. En slik benchmark, PARTNR (Planning And Reasoning Tasks in humaN-Robot collaboration), vurderer hvordan AI-modeller samhandler med mennesker under huslige oppgaver. Ved hjelp av Habitat 3.0-simulatoren, tilbyr PARTNR en realistisk miljø der roboter assisterer med oppgaver som rengjøring og matlaging. Med over 100 000 språkbaserte oppgaver, har den som mål å akselerere fremgang i inkarnert AI.

Foruten interne initiativer, samarbeider Meta med organisasjoner som GelSight Inc. og Wonik Robotics for å akselerere tilgangen på taktil saneringsteknologi. GelSight vil distribuere Digit 360-sensorer, mens Wonik Robotics vil produsere Allegro-hånden, som integrerer Digit Plexus-teknologi. Ved å gjøre disse teknologiene tilgjengelige gjennom åpne kilde-plattformer og samarbeid, hjelper Meta med å skape et økosystem som kan føre til innovasjoner i helsevesenet, produksjon og hjemmehjelp.

Bunnen av saken

Meta fremmer inkarnert AI, og tar det beyond bare syn og lyd til å inkludere berøringssansen. Med innovasjoner som Digit 360 og Sparsh, får AI-systemer evnen til å føle og reagere på omgivelsene med nøyaktighet. Ved å dele disse teknologiene med åpne kilde-samfunnet og samarbeide med nøkkelorganisasjoner, hjelper Meta med å akselerere utviklingen av taktil sanering. Denne fremgangen kan føre til gjennombrudd i felt som helsevesenet, produksjon og hjemmehjelp, og gjøre AI mer kapabel og responsiv i sanntidsoppgaver.