Advancing Embodied AI: How Meta bringer menneskelignende berøring og fingerfærdighed til AI

AI er nået langt inden for visuel perception og sprogbehandling. Disse evner er dog ikke nok til at bygge systemer, der kan interagere med den fysiske verden. Mennesker håndterer genstande eller foretager kontrollerede bevægelser ved hjælp af følesansen. Vi mærker tekstur, fornemmer temperatur og måler vægt for at vejlede hver handling med nøjagtighed. Denne taktile feedback giver os mulighed for at manipulere skrøbelige genstande, bruge værktøjer med kontrol og udføre indviklede opgaver problemfrit.

Meta, kendt for sit arbejde inden for virtuel og augmented reality, tager nu udfordringen op med at skabe AI, der kan interagere med den fysiske verden ligesom et menneske. Gennem sit FAIR Robotics-initiativ udvikler Meta open source-værktøjer og -frameworks til at forbedre robotters følesans og fysiske smidighed. Disse bestræbelser kan føre til udviklingen af ​​kropsliggjort AI - systemer, der ikke kun ser, men også kan føle og manipulere objekter ligesom mennesker gør.

Hvad er Embodied AI?

Indlejret AI kombinerer fysisk interaktion med kunstig intelligens, hvilket gør det muligt for maskiner at sanse, reagere og engagere sig naturligt med deres omgivelser. I stedet for blot at "se" eller "høre" input, tillader det AI-systemer at føler sig og handle i verden. Tænk på en robot, der kan mærke det tryk, den påfører et objekt, justere sit greb og bevæge sig med smidighed. Embodied AI flytter AI fra skærme og højttalere til den fysiske verden, hvilket gør den i stand til at manipulere objekter, udføre opgaver og interagere mere meningsfuldt med mennesker.

For eksempel kunne en robot bygget på Embodied AI hjælpe en ældre person med at samle skrøbelige ting op uden at beskadige dem. I sundhedsvæsenet kunne det hjælpe læger ved at holde instrumenter præcist under operationen. Dette potentiale strækker sig langt ud over robotarme i laboratorier eller automatiserede våben på fabrikker; det handler om at skabe maskiner, der forstår og reagerer på deres fysiske omgivelser i realtid.

Metas tilgang til indlejret AI

Meta fokuserer på tre nøgleområder at bringe kropsliggjort AI tættere på menneskelignende berøring. For det første udvikler virksomheden avancerede taktile sensorteknologier, der gør det muligt for maskiner at registrere ting som tryk, tekstur og temperatur. For det andet skaber Meta berøringsopfattelsesmodeller, der gør det muligt for AI at forstå og reagere på disse signaler. Endelig bygger Meta en taktil udviklingsplatform, der integrerer flere sensorer med disse opfattelsesmodeller og tilbyder et komplet system til at bygge berøringsaktiveret AI. Sådan driver Meta fremskridt inden for kropsliggjort AI på tværs af hvert af disse områder.

Meta Digit 360: Taktil sansning på menneskeligt niveau

Meta har introduceret Ciffer 360 fingerspids, en taktil sanseteknologi designet til at give legemliggjort AI en menneskelignende følesans. Med over 18 sensorfunktioner kan den registrere vibrationer, varme og endda kemikalier på overflader. Udstyret med en AI-chip behandler fingerspidsen berøringsdata øjeblikkeligt, hvilket giver mulighed for hurtige reaktioner på input som varmen fra et komfur eller det skarpe stik fra en nål. Denne teknologi fungerer som et "perifert nervesystem" inden for legemliggjort AI, der simulerer refleksive reaktioner, der ligner menneskelige reaktioner. Meta har udviklet denne fingerspids med et unikt optisk system indeholdende over 8 millioner taxels, der kan fange berøring fra alle vinkler. Den fornemmer små detaljer, ned til kræfter så små som en millinewton, hvilket giver indbygget AI en finjusteret følsomhed over for deres omgivelser.

Meta Sparsh: Foundation for Taktil Perception

Meta forbedrer berøringsopfattelse for at hjælpe AI med at forstå og reagere på fysiske fornemmelser. Opkaldt efter sanskritordet for "berøring" Sparsk fungerer som en "touch brain" for legemliggjort AI. Modellen giver maskiner mulighed for at fortolke komplekse taktile signaler som tryk og greb.

En af Sparshs iøjnefaldende funktioner er dens alsidighed. Traditionelle taktile systemer anvender separate modeller til hver opgave, og er stærkt afhængige af mærkede data og specifikke sensorer. Sparsh ændrer denne tilgang fuldstændig. Som en generel model tilpasser den sig til forskellige sensorer og opgaver. Den lærer berøringsmønstre vha selvovervåget læring (SSL) på en massiv database med over 460,000 taktile billeder - uden at kræve mærkede data.

Meta har også introduceret TacBench, et nyt benchmark med seks berøringsbaserede opgaver til at evaluere Sparshs evner. Meta hævder, at Sparsh overgik traditionelle modeller med 95.1 %, især i scenarier med lavt dataindhold. Versioner af Sparsh bygget på Metas I-JEPA- og DINO-arkitekturer har vist bemærkelsesværdige evner i opgaver som kraftestimering, slipdetektion og kompleks manipulation.

Meta Digit Plexus: En platform for taktilt systemudvikling

Meta har introduceret Digit Plexus til at integrere sanseteknologier og taktile perceptionsmodeller til at skabe et indlejret AI-system. Platformen kombinerer fingerspids- og håndfladesensorer i en enkelt robothånd for at muliggøre mere koordinerede berøringsresponser. Denne opsætning gør det muligt for indlejret AI at behandle sensorisk feedback og justere dens handlinger i realtid, som hvordan en menneskelig hånd bevæger sig og reagerer.

Ved at standardisere berøringsfeedback på tværs af hånden, Digit Plexus forbedrer præcisionen og kontrollen af ​​indlejret AI. Denne udvikling er især vigtig inden for områder som fremstilling og sundhedspleje, hvor omhyggelig håndtering er afgørende. Platformen forbinder sensorer som fingerspidsen og ReSkin til et kontrolsystem, hvilket strømliner dataindsamling, kontrol og analyse – alt sammen gennem et enkelt kabel.

Meta frigiver software- og hardwaredesignerne til Digit Plexus til open source-fællesskabet. Målet er at fremme samarbejde og fremskynde forskning i indlejret AI, hvilket driver innovation og fremskridt på disse områder.

Fremme af Embodied AI-forskning og -udvikling

Meta fremmer ikke kun teknologi, men også ressourcer for at fremme legemliggjort AI-forskning og -udvikling. Et centralt initiativ er udviklingen af ​​benchmarks til at vurdere AI-modeller. Et sådant benchmark, PARTNR (Planning And Reasoning Tasks in human-Robot-samarbejde), evaluerer, hvordan AI-modeller interagerer med mennesker under husholdningsopgaver. Ved at bruge Habitat 3.0-simulatoren giver PARTNR et realistisk miljø, hvor robotter hjælper med opgaver som rengøring og madlavning. Med over 100,000 sprogbaserede opgaver sigter den mod at accelerere fremskridt inden for indlejret AI.

Udover interne tiltag samarbejder Meta med organisationer som f.eks GelSight Inc. og Wonik Robotics at fremskynde vedtagelsen af ​​taktile sensing-teknologier. GelSight vil distribuere Digit 360-sensorer, mens Wonik Robotics vil fremstille Allegro Hand, som integrerer Digit Plexus-teknologi. Ved at gøre disse teknologier tilgængelige gennem open source-platforme og partnerskaber hjælper Meta med at skabe et økosystem, der kan føre til innovationer inden for sundhedspleje, fremstilling og hjemmehjælp.

The Bottom Line

Meta fremmer legemliggjort AI og tager det ud over kun syn og lyd til at inkludere følesansen. Med innovationer som Digit 360 og Sparsh får AI-systemer evnen til at føle og reagere på deres omgivelser med præcision. Ved at dele disse teknologier med open source-fællesskabet og samarbejde med nøgleorganisationer hjælper Meta med at accelerere udviklingen af ​​taktil sansning. Disse fremskridt kan føre til gennembrud inden for områder som sundhedspleje, fremstilling og hjemmehjælp, hvilket gør kunstig intelligens mere dygtig og lydhør i den virkelige verden.