Fremme af Embodied AI: Hvordan Meta bringer menneske-lignende berøring og fingrenes færdighed til AI

AI er kommet langt i visuel perception og sprogbehandling. Men disse evner er ikke nok til at bygge systemer, der kan interagere med den fysiske verden. Mennesker håndterer objekter eller udfører kontrollerede bevægelser ved hjælp af berøringsfornemmelsen. Vi føler tekstur, fornemmer temperatur og vurderer vægt for at guide hver handling med præcision. Denne taktil feedback giver os mulighed for at manipulere skrøbelige genstande, bruge værktøj med kontrol og udføre komplekse opgaver glat.

Meta, der er kendt for sit arbejde med virtuel og forstærket virkelighed, tager nu udfordringen op til at skabe AI, der kan interagere med den fysiske verden på samme måde som et menneske. Gennem sin FAIR Robotics-initiativ udvikler Meta open-source-værktøjer og rammer til at forbedre robotternes berøringsfornemmelse og fysiske agility. Disse bestræbelser kan føre til udviklingen af embodied AI – systemer, der ikke kun ser, men også kan føle og manipulere objekter ligesom mennesker gør.

Hvad er Embodied AI?

Embodied AI kombinerer fysisk interaktion med kunstig intelligens, hvilket giver maskiner mulighed for at fornemme, reagere og engagere sig naturligt med deres omgivelser. I stedet for kun at “se” eller “høre” input giver det AI-systemer mulighed for at føle og handle i verden. Tænk på en robot, der kan fornemme trykket, den anvender på et objekt, justere sit greb og bevæge sig med agility. Embodied AI flytter AI fra skærme og højttalere til den fysiske verden, hvilket giver det mulighed for at manipulere objekter, udføre opgaver og interagere mere meningsfuldt med mennesker.

For eksempel kunne en robot bygget på Embodied AI hjælpe en ældre person med at samle skrøbelige genstande uden at beskadige dem. I sundhedssektoren kunne det hjælpe læger med at holde instrumenter præcist under operation. Denne mulighed strækker sig langt ud over robotarme i laboratorier eller automatiserede arme i fabrikker; det handler om at skabe maskiner, der forstår og reagerer på deres fysiske omgivelser i realtid.

Metas tilgang til Embodied AI

Meta fokuserer på tre vigtige områder for at bringe Embodied AI nærmere menneske-lignende berøring. Først udvikler virksomheden avancerede taktil sensor-teknologier, der giver maskiner mulighed for at fornemme ting som tryk, tekstur og temperatur. Anden udvikler Meta berørings-perception-modeller, der giver AI mulighed for at forstå og reagere på disse signaler. Tredje bygger Meta en taktil udviklingsplatform, der integrerer multiple sensorer med disse perception-modeller, hvilket giver en komplet system til at bygge berørings-aktiveret AI. Her er, hvordan Meta driver fremgang i Embodied AI på tværs af disse områder.

Meta Digit 360: Menneske-lignende taktil fornemmelse

Meta har introduceret Digit 360 fingertip, en taktil sensor-teknologi designet til at give Embodied AI en menneske-lignende berøringsfornemmelse. Med over 18 sensorfunktioner kan den fornemme vibrationer, varme og selv kemikalier på overflader. Udstyret med en AI-chip, behandler fingertippen berøringsdata øjeblikkeligt, hvilket giver mulighed for hurtige reaktioner på input som varmen fra en komfur eller et skarpt stød fra en nål. Denne teknologi fungerer som et “perifert nervesystem” inden for Embodied AI, hvilket simulerer refleksive reaktioner lignende menneskelige reaktioner. Meta har udviklet denne fingertip med et unikt optisk system, der indeholder over 8 millioner taxler, der kan fange berøring fra enhver vinkel. Den fornemme små detaljer, ned til kræfter så små som en millinewton, hvilket giver Embodied AI en fint afstemt følsomhed over for deres omgivelser.

Meta Sparsh: Grundlaget for taktil perception

Meta forbedrer berørings-perception-evnerne for at hjælpe AI med at forstå og reagere på fysiske fornemmelser. Navngivet efter det sanskrit-ord for “berøring”, Sparsh fungerer som en “berørings-hjerne” for Embodied AI. Modellen giver maskiner mulighed for at fortolke komplekse taktil signaler som tryk og greb.

En af Sparshs fremhævede funktioner er dets fleksibilitet. Traditionelle taktil systemer anvender separate modeller for hvert opgave, der afhænger stærkt af mærket data og bestemte sensorer. Sparsh ændrer denne tilgang helt. Som en generel model tilpasser det sig til forskellige sensorer og opgaver. Det lærer taktil mønstre ved hjælp af selv-superviseret læring (SSL) på en massiv database med over 460.000 taktil billeder – uden at behøve mærket data.

Meta har også introduceret TacBench, en ny benchmark med seks taktil-baserede opgaver til at evaluere Sparshs evner. Meta hævder, at Sparsh overgår traditionelle modeller med 95,1%, især i lav-data-scenarier. Versioner af Sparsh bygget på Metas I-JEPA og DINO-arkitekturer har demonstreret bemærkelsesværdige evner i opgaver som kraft-estimation, glide-detection og kompleks manipulation.

Meta Digit Plexus: En platform for taktil systemudvikling

Meta har introduceret Digit Plexus for at integrere sensor-teknologier og taktil perception-modeller for at skabe et Embodied AI-system. Platformen kombinerer fingertip- og håndsensorer inden for en enkelt robot-hånd for at muliggøre mere koordinerede berøringsreaktioner. Dette setup giver Embodied AI mulighed for at behandle sensorisk feedback og justere sine handlinger i realtid, ligesom en menneske-hånd bevæger sig og reagerer.

Ved at standardisere berøringsfeedback på tværs af hånden, Digit Plexus forbedrer præcisionen og kontrollen af Embodied AI. Denne udvikling er særligt vigtig i felter som produktion og sundhedssektor, hvor omhyggelig håndtering er afgørende. Platformen forbinder sensorer som fingertip og ReSkin til et kontrolsystem, hvilket strømliner dataindsamling, kontrol og analyse – alt gennem en enkelt kabel.

Meta udgiver software- og hardware-design til Digit Plexus til open-source-samfundet. Målet er at fremme samarbejde og accelerere forskning i Embodied AI, hvilket driver innovation og fremgang i disse felter.

Fremme af Embodied AI-forskning og udvikling

Meta fremmer ikke kun teknologi, men også ressourcer til at fremme Embodied AI-forskning og udvikling. En nøgleinitiativ er udviklingen af benchmarks til at evaluere AI-modeller. En af disse benchmarks, PARTNR (Planning And Reasoning Tasks in humaN-Robot collaboration), evaluerer, hvordan AI-modeller interagerer med mennesker under husholdningsopgaver. Ved hjælp af Habitat 3.0-simulatoren giver PARTNR en realistisk omgivelse, hvor robotter hjælper med opgaver som rengøring og madlavning. Med over 100.000 sprog-baserede opgaver sigter det mod at accelerere fremgang i Embodied AI.

Ud over interne initiativer samarbejder Meta med organisationer som GelSight Inc. og Wonik Robotics for at accelerere adoptionen af taktil sensor-teknologier. GelSight vil distribuere Digit 360-sensorer, mens Wonik Robotics vil producere Allegro-hånden, der integrerer Digit Plexus-teknologi. Ved at gøre disse teknologier tilgængelige gennem open-source-platforme og partnerskaber hjælper Meta med at skabe en økosystem, der kan føre til innovationer i sundhedssektoren, produktion og hjemmehjælp.

Bottom Line

Meta fremmer Embodied AI, der tager det ud over kun syn og lyd til at inkludere berøringsfornemmelsen. Med innovationer som Digit 360 og Sparsh får AI-systemer mulighed for at føle og reagere på deres omgivelser med præcision. Ved at dele disse teknologier med open-source-samfundet og samarbejde med nøgleorganisationer hjælper Meta med at accelerere udviklingen af taktil sensor-teknologi. Denne fremgang kan føre til gennembrud i felter som sundhedssektor, produktion og hjemmehjælp, hvilket gør AI mere kapabel og responsiv i virkelige opgaver.