Vooruitgang in geïncarneerde AI: hoe Meta menselijke aanraking en behendigheid naar AI brengt

AI heeft een lange weg afgelegd in visuele perceptie en taalverwerking. Deze vaardigheden zijn echter niet voldoende om systemen te bouwen die met de fysieke wereld kunnen omgaan. Mensen hanteren voorwerpen of maken gecontroleerde bewegingen met behulp van het gevoel van aanraking. We voelen de textuur, merken de temperatuur en schatten het gewicht om elke actie met precisie te leiden. Deze tactiele feedback stelt ons in staat om breekbare voorwerpen te manipuleren, gereedschap met controle te gebruiken en ingewikkelde taken soepel uit te voeren.

Meta, bekend van zijn werk in virtuele en augmented reality, neemt nu de uitdaging aan om AI te creëren die met de fysieke wereld kan omgaan, net als een mens. Via zijn FAIR Robotics-initiatief ontwikkelt Meta open-source tools en frameworks om de tastzin en fysieke behendigheid van robots te verbeteren. Deze inspanningen kunnen leiden tot de ontwikkeling van geïncarneerde AI – systemen die niet alleen zien, maar ook kunnen voelen en voorwerpen manipuleren, net als mensen doen.

Wat is geïncarneerde AI?

Geïncarneerde AI combineert fysieke interactie met kunstmatige intelligentie, waardoor machines natuurlijk met hun omgeving kunnen omgaan. In plaats van alleen “zien” of “horen” invoeren, stelt het AI-systemen in staat om te voelen en te handelen in de wereld. Denk aan een robot die de druk kan voelen die hij op een voorwerp uitoefent, zijn greep aanpast en met behendigheid beweegt. Geïncarneerde AI brengt AI van schermen en luidsprekers naar de fysieke wereld, waardoor het in staat is om voorwerpen te manipuleren, taken uit te voeren en meer betekenisvol met mensen te communiceren.

Bijvoorbeeld kan een robot gebouwd op geïncarneerde AI een oudere persoon helpen om breekbare voorwerpen op te pakken zonder ze te beschadigen. In de gezondheidszorg kan het artsen helpen door instrumenten precies vast te houden tijdens een operatie. Dit potentieel gaat verder dan alleen robotarmen in laboratoria of geautomatiseerde armen in fabrieken; het gaat om het creëren van machines die hun fysieke omgeving in real-time begrijpen en erop reageren.

Meta’s aanpak voor geïncarneerde AI

Meta richt zich op drie belangrijke gebieden om geïncarneerde AI dichter bij menselijke aanraking te brengen. Ten eerste ontwikkelt het bedrijf geavanceerde tactiele sensortechnologieën die machines in staat stellen om dingen zoals druk, textuur en temperatuur te detecteren. Ten tweede creëert Meta aanraakperceptiemodellen die AI in staat stellen om deze signalen te begrijpen en erop te reageren. Ten slotte bouwt Meta een tactiel ontwikkelingsplatform dat meerdere sensoren met deze perceptiemodellen combineert, waardoor een compleet systeem voor het bouwen van aanraakgevoelige AI ontstaat. Hieronder volgt hoe Meta vooruitgang boekt in geïncarneerde AI op elk van deze gebieden.

Meta Digit 360: menselijke tactiele sensatie

Meta heeft Digit 360-vingertop geïntroduceerd, een tactiele sensortechnologie die is ontworpen om geïncarneerde AI een menselijke aanraak te geven. Met meer dan 18 sensoren kan het trillingen, warmte en zelfs chemicaliën op oppervlakken detecteren. Uitgerust met een AI-chip, verwerkt de vingertop aanraakgegevens onmiddellijk, waardoor snelle reacties op invoeren zoals de warmte van een fornuis of de scherpe prik van een naald mogelijk zijn. Deze technologie fungeert als een “perifere zenuwstelsel” binnen geïncarneerde AI, waardoor reflexmatige reacties worden gesimuleerd die vergelijkbaar zijn met menselijke reacties. Meta heeft deze vingertop ontwikkeld met een uniek optisch systeem dat meer dan 8 miljoen taxels bevat en aanraak vanuit elk hoek kan vastleggen. Het detecteert kleine details, tot krachten van één millinewton, waardoor geïncarneerde AI een fijn afgestemde gevoeligheid voor hun omgeving heeft.

Meta Sparsh: de basis voor tactiele perceptie

Meta verbetert de aanraakperceptiecapaciteiten om AI te helpen fysieke sensaties te begrijpen en erop te reageren. Genoemd naar het Sanskriet-woord voor “aanraken”, Sparsh fungeert als een “aanraakbrein” voor geïncarneerde AI. Het model stelt machines in staat om complexe tactiele signalen zoals druk en greep te interpreteren.

Een van de opvallende functies van Sparsh is zijn veelzijdigheid. Traditionele tactiele systemen gebruiken afzonderlijke modellen voor elke taak, die zwaar leunen op gelabelde gegevens en specifieke sensoren. Sparsh verandert deze aanpak volledig. Als een algemeen doelmodel past het zich aan aan verschillende sensoren en taken. Het leert aanraakpatronen met behulp van zelfsuperviserend leren (SSL) op een enorme database van meer dan 460.000 tactiele afbeeldingen – zonder gelabelde gegevens nodig te hebben.

Meta heeft ook TacBench geïntroduceerd, een nieuwe benchmark met zes aanraakgebaseerde taken om de mogelijkheden van Sparsh te evalueren. Meta beweert dat Sparsh traditionele modellen met 95,1% overtrof, vooral in scenario’s met weinig gegevens. Versies van Sparsh gebouwd op Meta’s I-JEPA- en DINO-architecturen hebben opmerkelijke vaardigheden getoond in taken zoals krachtenschatting, glijdetectie en complexe manipulatie.

Meta Digit Plexus: een platform voor tactiel systeemontwikkeling

Meta heeft Digit Plexus geïntroduceerd om sensortechnologieën en tactiele perceptiemodellen te integreren voor het creëren van een geïncarneerd AI-systeem. Het platform combineert vingertop- en palmsensoren in één robotische hand om meer gecoördineerde aanraakreacties mogelijk te maken. Deze opstelling stelt geïncarneerde AI in staat om sensorische feedback te verwerken en zijn acties in real-time aan te passen, net zoals een menselijke hand beweegt en reageert.

Door aanraakfeedback te standaardiseren over de hele hand, Digit Plexus verbetert de precisie en controle van geïncarneerde AI. Deze ontwikkeling is vooral essentieel in gebieden zoals productie en gezondheidszorg, waar zorgvuldige hantering essentieel is. Het platform koppelt sensoren zoals de vingertop en ReSkin aan een besturingssysteem, waardoor gegevensverzameling, besturing en analyse – allemaal via één kabel – worden gestroomlijnd.

Meta brengt de software- en hardwareontwerpen voor Digit Plexus naar de open-source gemeenschap. Het doel is om samenwerking te bevorderen en onderzoek in geïncarneerde AI te versnellen, waardoor innovatie en vooruitgang in deze gebieden worden gestimuleerd.

Bevordering van geïncarneerd AI-onderzoek en -ontwikkeling

Meta bevordert niet alleen technologie, maar ook middelen om geïncarneerd AI-onderzoek en -ontwikkeling te bevorderen. Een belangrijke initiatief is de ontwikkeling van benchmarks om AI-modellen te beoordelen. Een dergelijke benchmark, PARTNR (Planning And Reasoning Tasks in humaN-Robot collaboration), evalueert hoe AI-modellen met mensen samenwerken tijdens huishoudelijke taken. Met behulp van de Habitat 3.0-simulator biedt PARTNR een realistische omgeving waarin robots taken zoals schoonmaken en koken assisteren. Met meer dan 100.000 taakgerelateerde taken beoogt het de vooruitgang in geïncarneerde AI te versnellen.

Naast interne initiatieven werkt Meta samen met organisaties zoals GelSight Inc. en Wonik Robotics om de adoptie van tactiele sensortechnologieën te versnellen. GelSight zal Digit 360-sensoren distribueren, terwijl Wonik Robotics de Allegro Hand zal produceren, die Digit Plexus-technologie integreert. Door deze technologieën beschikbaar te stellen via open-source-platforms en partnerschappen, helpt Meta een ecosysteem te creëren dat kan leiden tot innovaties in de gezondheidszorg, productie en huishoudelijke hulp.

De onderste regel

Meta maakt vooruitgang in geïncarneerde AI, waardoor het verder gaat dan alleen zicht en geluid en ook het gevoel van aanraking omvat. Met innovaties zoals Digit 360 en Sparsh krijgen AI-systemen de mogelijkheid om te voelen en op hun omgeving te reageren met precisie. Door deze technologieën met de open-source gemeenschap te delen en samen te werken met belangrijke organisaties, helpt Meta de ontwikkeling van tactiele sensatie te versnellen. Deze vooruitgang kan leiden tot doorbraken in gebieden zoals gezondheidszorg, productie en huishoudelijke hulp, waardoor AI meer in staat en responsief wordt in echte taken.