Vooruitgang in geïncorporeerde AI: hoe Meta mensachtige aanraking en behendigheid naar AI brengt

AI heeft een lange weg afgelegd in visuele perceptie en taalverwerking. Deze vaardigheden zijn echter niet voldoende om systemen te bouwen die met de fysieke wereld kunnen omgaan. Mensen behandelen voorwerpen of maken gecontroleerde bewegingen met behulp van het gevoel van aanraking. We voelen de textuur, zint de temperatuur en meten het gewicht om elke actie met precisie te leiden. Deze tactiele feedback stelt ons in staat om breekbare voorwerpen te manipuleren, gereedschap met controle te gebruiken en ingewikkelde taken soepel uit te voeren.

Meta, bekend van zijn werk in virtuele en verbeterde realiteit, neemt nu de uitdaging aan om AI te creëren die met de fysieke wereld kan omgaan op een manier die vergelijkbaar is met die van de mens. Via zijn FAIR Robotics-initiatief ontwikkelt Meta open-source tools en -kaders om de zintuiglijke waarneming en fysieke behendigheid van robots te verbeteren. Deze inspanningen kunnen leiden tot de ontwikkeling van geïncorporeerde AI – systemen die niet alleen zien, maar ook kunnen voelen en voorwerpen manipuleren op een manier die vergelijkbaar is met die van de mens.

Wat is geïncorporeerde AI?

Geïncorporeerde AI combineert fysieke interactie met kunstmatige intelligentie, waardoor machines natuurlijk kunnen omgaan met hun omgeving. In plaats van alleen “zien” of “horen” invoeren, stelt het AI-systemen in staat om te voelen en in de wereld te handelen. Denk aan een robot die de druk kan voelen die hij op een voorwerp uitoefent, zijn greep kan aanpassen en met behendigheid kan bewegen. Geïncorporeerde AI brengt AI van schermen en luidsprekers naar de fysieke wereld, waardoor het in staat is om voorwerpen te manipuleren, taken uit te voeren en op een meer betekenisvolle manier met mensen om te gaan.

Bijvoorbeeld, een robot gebouwd op geïncorporeerde AI kan een ouder iemand helpen om breekbare voorwerpen op te tillen zonder ze te beschadigen. In de gezondheidszorg kan het artsen helpen door instrumenten nauwkeurig vast te houden tijdens een operatie. Dit potentieel gaat verder dan robotarmen in laboratoria of geautomatiseerde armen in fabrieken; het gaat om het creëren van machines die hun fysieke omgeving in real-time begrijpen en erop reageren.

Meta’s aanpak voor geïncorporeerde AI

Meta richt zich op drie belangrijke gebieden om geïncorporeerde AI dichter bij mensachtige aanraking te brengen. Ten eerste ontwikkelt het bedrijf geavanceerde tactiele sensortechnologieën die machines in staat stellen om dingen zoals druk, textuur en temperatuur te detecteren. Ten tweede creëert Meta tactiele perceptiemodellen die AI in staat stellen om deze signalen te begrijpen en erop te reageren. Ten slotte bouwt Meta een tactiele ontwikkelingsplatform dat meerdere sensoren integreert met deze perceptiemodellen, waardoor een compleet systeem voor het bouwen van aanraakgevoelige AI ontstaat. Hieronder volgt hoe Meta vooruitgang boekt in geïncorporeerde AI op elk van deze gebieden.

Meta Digit 360: mensachtige tactiele waarneming

Meta heeft Digit 360-vingertop geïntroduceerd, een tactiele sensortechnologie die is ontworpen om geïncorporeerde AI een mensachtig gevoel van aanraking te geven. Met meer dan 18 sensoren kan het trillingen, warmte en zelfs chemicaliën op oppervlakken detecteren. Uitgerust met een AI-chip, verwerkt de vingertop aanraakgegevens onmiddellijk, waardoor snelle reacties op invoeren zoals de warmte van een fornuis of de scherpe prik van een naald mogelijk zijn. Deze technologie fungeert als een “perifere zenuwstelsel” binnen geïncorporeerde AI, waardoor reflexieve reacties mogelijk zijn die vergelijkbaar zijn met menselijke reacties. Meta heeft deze vingertop ontwikkeld met een uniek optisch systeem dat meer dan 8 miljoen taxels bevat en aanraking vanuit elke hoek kan vastleggen. Het detecteert kleine details, tot krachten van één millinewton, waardoor geïncorporeerde AI een fijn afgestemde gevoeligheid voor de omgeving heeft.

Meta Sparsh: de basis voor tactiele perceptie

Meta verbetert de tactiele perceptiecapaciteiten om AI te helpen fysieke sensaties te begrijpen en erop te reageren. Genoemd naar het Sanskriet-woord voor “aanraking”, Sparsh fungeert als een “aanraakbrein” voor geïncorporeerde AI. Het model stelt machines in staat om complexe tactiele signalen zoals druk en greep te interpreteren.

Een van de opvallende functies van Sparsh is zijn veelzijdigheid. Traditionele tactiele systemen gebruiken afzonderlijke modellen voor elke taak, waarbij ze zwaar leunen op gelabelde gegevens en specifieke sensoren. Sparsh verandert deze aanpak volledig. Als een algemeen doelmodel past het zich aan aan verschillende sensoren en taken. Het leert aanraakpatronen met behulp van zelfsuperviserend leren (SSL) op een enorme database van meer dan 460.000 tactiele afbeeldingen – zonder gelabelde gegevens nodig te hebben.

Meta heeft ook TacBench geïntroduceerd, een nieuwe benchmark met zes aanraakgebaseerde taken om de mogelijkheden van Sparsh te evalueren. Meta beweert dat Sparsh traditionele modellen met 95,1% overtrof, vooral in scenario’s met weinig gegevens. Versies van Sparsh gebouwd op Meta’s I-JEPA- en DINO-architecturen hebben opmerkelijke vaardigheden getoond in taken zoals krachtenschatting, glijdetectie en complexe manipulatie.

Meta Digit Plexus: een platform voor tactiele systeemontwikkeling

Meta heeft Digit Plexus geïntroduceerd om sensortechnologieën en tactiele perceptiemodellen te integreren voor het creëren van een geïncorporeerd AI-systeem. Het platform combineert vingertop- en palm-sensoren in één robotische hand om meer gecoördineerde aanraakreacties mogelijk te maken. Deze opstelling stelt geïncorporeerde AI in staat om sensorische feedback te verwerken en zijn acties in real-time aan te passen, net zoals een menselijke hand beweegt en reageert.

Door de aanraakfeedback over de hele hand te standaardiseren, verbetert Digit Plexus de precisie en controle van geïncorporeerde AI. Deze ontwikkeling is vooral belangrijk in gebieden zoals productie en gezondheidszorg, waar zorgvuldige behandeling essentieel is. Het platform koppelt sensoren zoals de vingertop en ReSkin aan een besturingssysteem, waardoor gegevensverzameling, besturing en analyse allemaal via één kabel mogelijk zijn.

Meta maakt de software- en hardware-ontwerpen voor Digit Plexus beschikbaar voor de open-source gemeenschap. Het doel is om samenwerking te stimuleren en onderzoek in geïncorporeerde AI te versnellen, waardoor innovatie en vooruitgang in deze gebieden worden gestimuleerd.

Bevordering van geïncorporeerd AI-onderzoek en -ontwikkeling

Meta maakt niet alleen vooruitgang in technologie, maar ook in bronnen om geïncorporeerd AI-onderzoek en -ontwikkeling te bevorderen. Een belangrijke initiatief is de ontwikkeling van benchmarks om AI-modellen te beoordelen. Een dergelijke benchmark, PARTNR (Planning And Reasoning Tasks in humaN-Robot collaboration), evalueert hoe AI-modellen met mensen omgaan tijdens huishoudelijke taken. Met behulp van de Habitat 3.0-simulator biedt PARTNR een realistische omgeving waarin robots taken zoals schoonmaken en koken assisteren. Met meer dan 100.000 taakgerelateerde taken heeft het als doel om vooruitgang in geïncorporeerde AI te versnellen.

Naast interne initiatieven werkt Meta samen met organisaties zoals GelSight Inc. en Wonik Robotics om de adoptie van tactiele sensortechnologieën te versnellen. GelSight zal Digit 360-sensoren distribueren, terwijl Wonik Robotics de Allegro Hand zal produceren, die Digit Plexus-technologie integreert. Door deze technologieën beschikbaar te maken via open-source-platforms en partnerschappen, helpt Meta een ecosysteem te creëren dat kan leiden tot innovaties in de gezondheidszorg, productie en huishoudelijke hulp.

De belangrijkste punten

Meta maakt vooruitgang in geïncorporeerde AI, waardoor het verder gaat dan alleen zicht en geluid en ook het gevoel van aanraking omvat. Met innovaties zoals Digit 360 en Sparsh krijgen AI-systemen de mogelijkheid om hun omgeving te voelen en erop te reageren met precisie. Door deze technologieën te delen met de open-source gemeenschap en samen te werken met belangrijke organisaties, helpt Meta de ontwikkeling van tactiele sensoren te versnellen. Deze vooruitgang kan leiden tot doorbraken in gebieden zoals de gezondheidszorg, productie en huishoudelijke hulp, waardoor AI meer capabel en responsief wordt in real-worldtaken.