Utveckling av inkarnerad AI: Hur Meta för in mänsklig beröring och fingerfärdighet i AI

AI har kommit långt i visuell perception och språkbehandling. Men dessa förmågor räcker inte för att bygga system som kan interagera med den fysiska världen. Människor hanterar föremål eller gör kontrollerade rörelser med hjälp av beröringssinnet. Vi känner texturen, uppfattar temperaturen och bedömer vikten för att styra varje handling med precision. Denna taktila återkoppling gör det möjligt för oss att manipulera ömtåliga föremål, använda verktyg med kontroll och utföra invecklade uppgifter smidigt.

Meta, som är välkänt för sitt arbete inom virtuell och förstärkt verklighet, tar nu på sig utmaningen att skapa AI som kan interagera med den fysiska världen på ett sätt som liknar människor. Genom sin FAIR Robotics-initiativ utvecklar Meta öppen källkod och ramverk för att förbättra robotars beröringssinne och fysiska smidighet. Dessa ansträngningar kan leda till utvecklingen av inkarnerad AI – system som inte bara ser utan också kan känna och manipulera föremål på samma sätt som människor.

Vad är inkarnerad AI?

Inkarnerad AI kombinerar fysisk interaktion med artificiell intelligens, vilket möjliggör för maskiner att känna, svara och engagera sig naturligt med sin omgivning. Istället för att bara “se” eller “höra” indata, gör det möjligt för AI-system att känna och agera i världen. Tänk på en robot som kan känna trycket den applicerar på ett föremål, justera sitt grepp och röra sig med smidighet. Inkarnerad AI flyttar AI från skärmar och högtalare till den fysiska världen, vilket gör det möjligt att manipulera föremål, utföra uppgifter och interagera mer meningsfullt med människor.

Till exempel kunde en robot byggd på inkarnerad AI hjälpa en äldre person att plocka upp ömtåliga föremål utan att skada dem. Inom hälso- och sjukvård kunde den assistera läkare genom att hålla instrument med precision under operationer. Denna potential sträcker sig långt utöver robotarmar i laboratorier eller automatiserade armar i fabriker; det handlar om att skapa maskiner som förstår och svarar på sin fysiska miljö i realtid.

Metas tillvägagångssätt för inkarnerad AI

Meta fokuserar på tre nyckelområden för att bringa inkarnerad AI närmare mänsklig beröring. Först utvecklar företaget avancerad taktil sensor-teknologi som möjliggör för maskiner att upptäcka saker som tryck, texture och temperatur. Andra, Meta skapar beröringsperceptionsmodeller som tillåter AI att förstå och reagera på dessa signaler. Slutligen bygger Meta en taktil utvecklingsplattform som integrerar flera sensorer med dessa perceptionsmodeller, vilket erbjuder ett komplett system för att bygga beröringsaktiverad AI. Här är hur Meta driver framsteg inom inkarnerad AI inom var och ett av dessa områden.

Meta Digit 360: Mänsklig nivå taktil känning

Meta har introducerat Digit 360 fingertopp, en taktil sensor-teknologi designad för att ge inkarnerad AI en mänsklig beröring. Med över 18 känningsegenskaper kan den upptäcka vibrationer, värme och till och med kemikalier på ytor. Utrustad med en AI-chip, fingertoppen bearbetar beröringsdata omedelbart, vilket möjliggör snabba svar på indata som värmen från en spis eller den skarpa stöten från en nål. Denna teknologi fungerar som ett “perifert nervsystem” inom inkarnerad AI, simulerande reflexmässiga svar liknande mänskliga reaktioner. Meta har utvecklat denna fingertopp med ett unikt optiskt system som innehåller över 8 miljoner taxlar som kan fånga beröring från varje vinkel. Den känner små detaljer, ner till krafter så små som en millinewton, vilket ger inkarnerad AI en fint trimmad känslighet för sin omgivning.

Meta Sparsh: Grunden för taktil perception

Meta förbättrar beröringsperceptions förmågor för att hjälpa AI att förstå och svara på fysiska sensationer. Namngiven efter det sanskrit-ordet för “beröring”, Sparsh fungerar som en “beröringshjärna” för inkarnerad AI. Modellen tillåter maskiner att tolka komplexa taktila signaler som tryck och grepp.

En av Sparshs främsta funktioner är dess flexibilitet. Traditionella taktila system använder separata modeller för varje uppgift, som förlitar sig tungt på märkt data och specifika sensorer. Sparsh ändrar denna tillvägagångssätt helt. Som en allmän modell anpassar den sig till olika sensorer och uppgifter. Den lär sig taktila mönster med hjälp av självständigt lärande (SSL) på en stor databas med över 460 000 taktila bilder – utan att behöva märkt data.

Meta har också introducerat TacBench, en ny benchmark med sex taktilbaserade uppgifter för att utvärdera Sparshs förmågor. Meta hävdar att Sparsh överträffade traditionella modeller med 95,1%, särskilt i lågdatascenarier. Versioner av Sparsh byggda på Metas I-JEPA och DINO-arkitekturer har visat anmärkningsvärda förmågor i uppgifter som kraftestimering, glidupptäckt och komplex manipulation.

Meta Digit Plexus: En plattform för taktil systemutveckling

Meta har introducerat Digit Plexus för att integrera sensor-teknologier och taktila perceptionsmodeller för att skapa ett inkarnerat AI-system. Plattformen kombinerar fingertopps- och handflatorsensorer inom en enda robotarm för att möjliggöra mer samordnad beröringsrespons. Denna konfiguration tillåter inkarnerad AI att bearbeta sensoriska återkoppling och justera sina handlingar i realtid, liknande hur en mänsklig hand rör sig och reagerar.

Genom att standardisera beröringsåterkoppling över hela handen, Digit Plexus förbättrar precisionen och kontrollen av inkarnerad AI. Denna utveckling är särskilt viktig inom områden som tillverkning och hälso- och sjukvård, där försiktig hantering är avgörande. Plattformen länkar sensorer som fingertoppen och ReSkin till ett kontrollsystem, vilket strömlinjeformar datainsamling, kontroll och analys – allt genom en enda kabel.

Meta släpper programvaru- och maskinvarudesignen för Digit Plexus till den öppna källkods-gemenskapen. Målet är att främja samarbete och accelerera forskning inom inkarnerad AI, vilket driver innovation och framsteg inom dessa fält.

Främjande av inkarnerad AI-forskning och utveckling

Meta främjar inte bara teknologi utan också resurser för att främja inkarnerad AI-forskning och utveckling. En viktig initiativ är utvecklingen av benchmark för att utvärdera AI-modeller. En sådan benchmark, PARTNR (Planning And Reasoning Tasks in humaN-Robot collaboration), utvärderar hur AI-modeller interagerar med människor under hushållsuppgifter. Med hjälp av Habitat 3.0-simulatoren tillhandahåller PARTNR en realistisk miljö där robotar assisterar med uppgifter som städning och matlagning. Med över 100 000 språkbaserade uppgifter syftar den till att accelerera framsteg inom inkarnerad AI.

Förutom interna initiativ samarbetar Meta med organisationer som GelSight Inc. och Wonik Robotics för att accelerera antagandet av taktil sensor-teknologi. GelSight kommer att distribuera Digit 360-sensorer, medan Wonik Robotics kommer att tillverka Allegro Hand, som integrerar Digit Plexus-teknologi. Genom att göra dessa teknologier tillgängliga via öppen källkods-plattformar och partnerskap hjälper Meta till att skapa ett ekosystem som kan leda till innovationer inom hälso- och sjukvård, tillverkning och hemassistans.

Sammanfattning

Meta främjar inkarnerad AI, som går utöver syn och hörsel till beröring. Med innovationer som Digit 360 och Sparsh får AI-system förmågan att känna och svara på sin omgivning med precision. Genom att dela dessa teknologier med den öppna källkods-gemenskapen och samarbeta med viktiga organisationer hjälper Meta till att accelerera utvecklingen av taktil sensor-teknologi. Denna utveckling kan leda till genombrott inom områden som hälso- och sjukvård, tillverkning och hemassistans, vilket gör AI mer kapabel och responsiv i realvärldsuppgifter.