Fortschritte im Bereich Embodied AI: Wie Meta menschliche Berührung und Feinmotorik für KI ermöglicht

Die KI hat in der visuellen Wahrnehmung und der Sprachverarbeitung große Fortschritte gemacht. Diese Fähigkeiten sind jedoch nicht ausreichend, um Systeme zu bauen, die mit der physischen Welt interagieren können. Menschen handhaben Objekte oder machen kontrollierte Bewegungen mithilfe des Tastsinns. Wir spüren die Textur, erkennen die Temperatur und schätzen das Gewicht, um jede Aktion mit Genauigkeit zu steuern. Diese taktilen Rückmeldungen ermöglichen es uns, zerbrechliche Gegenstände zu manipulieren, Werkzeuge mit Kontrolle zu verwenden und komplexe Aufgaben reibungslos auszuführen.

Meta, bekannt für seine Arbeit in virtueller und erweiterter Realität, geht nun die Herausforderung an, KI zu entwickeln, die mit der physischen Welt interagieren kann, ähnlich wie ein Mensch. Durch seine FAIR-Robotics-Initiative entwickelt Meta Open-Source-Tools und -Frameworks, um den Tastsinn und die physische Agilität von Robotern zu verbessern. Diese Bemühungen könnten zur Entwicklung von Embodied AI führen – Systemen, die nicht nur sehen, sondern auch fühlen und Objekte manipulieren können, genau wie Menschen es tun.

Was ist Embodied AI?

Embodied AI kombiniert physische Interaktion mit künstlicher Intelligenz, ermöglicht es Maschinen, ihre Umgebung zu erkennen, zu reagieren und natürlich zu interagieren. Anstatt nur “zu sehen” oder “zu hören”, ermöglicht es KI-Systemen, zu fühlen und in der Welt zu handeln. Stellen Sie sich einen Roboter vor, der den Druck spürt, den er auf ein Objekt ausübt, seinen Griff anpasst und mit Agilität bewegt. Embodied AI bringt KI von Bildschirmen und Lautsprechern in die physische Welt, macht sie in der Lage, Objekte zu manipulieren, Aufgaben auszuführen und mit Menschen auf bedeutungsvolle Weise zu interagieren.

Ein Beispiel: Ein Roboter, der auf Embodied AI basiert, könnte einem älteren Menschen helfen, zerbrechliche Gegenstände aufzunehmen, ohne sie zu beschädigen. Im Gesundheitswesen könnte er Ärzten helfen, Instrumente während einer Operation präzise zu halten. Dieses Potenzial geht weit über Roboterarme in Labors oder automatisierte Arme in Fabriken hinaus; es geht darum, Maschinen zu schaffen, die ihre physische Umgebung in Echtzeit verstehen und darauf reagieren.

Metas Ansatz für Embodied AI

Meta konzentriert sich auf drei Schlüsselbereiche, um Embodied AI näher an die menschliche Berührung heranzubringen. Erstens entwickelt das Unternehmen fortschrittliche taktil-sensorische Technologien, die es Maschinen ermöglichen, Dinge wie Druck, Textur und Temperatur zu erkennen. Zweitens erstellt Meta Touch-Perzeptionsmodelle, die es KI ermöglichen, diese Signale zu verstehen und zu reagieren. Drittens baut Meta eine taktil-Entwicklungsplattform, die mehrere Sensoren mit diesen Perzeptionsmodellen integriert, um ein vollständiges System für die Erstellung von touch-aktivierten KI zu bieten. Hier ist, wie Meta Fortschritte in Embodied AI in jedem dieser Bereiche vorantreibt.

Meta Digit 360: Menschliches Tastempfinden

Meta hat Digit 360-Fingerspitze vorgestellt, eine taktil-sensorische Technologie, die es Embodied AI ermöglicht, einen menschlichen Tastsinn zu entwickeln. Mit über 18 Erkennungsmerkmalen kann es Vibrationen, Wärme und sogar Chemikalien auf Oberflächen erkennen. Ausgestattet mit einem KI-Chip, verarbeitet die Fingerspitze Berührungsinformationen sofort, ermöglicht es schnelle Reaktionen auf Eingaben wie die Hitze eines Herdes oder den scharfen Stich einer Nadel. Diese Technologie fungiert als “peripheres Nervensystem” in Embodied AI, simuliert reflexartige Reaktionen, ähnlich wie menschliche Reaktionen. Meta hat diese Fingerspitze mit einem einzigartigen optischen System entwickelt, das über 8 Millionen Taxel enthält und Berührungen aus jedem Winkel aufnehmen kann. Es erkennt winzige Details, bis hin zu Kräften von nur einem Millinewton, und gibt Embodied AI eine fein abgestimmte Empfindlichkeit gegenüber ihrer Umgebung.

Meta Sparsh: Die Grundlage für taktilen Empfinden

Meta verbessert die Fähigkeiten zur Touch-Perzeption, um KI zu helfen, physische Empfindungen zu verstehen und zu reagieren. Benannt nach dem Sanskrit-Wort für “Berührung”, Sparsh fungiert als “Touch-Gehirn” für Embodied AI. Das Modell ermöglicht es Maschinen, komplexe taktilen Signale wie Druck und Griff zu interpretieren.

Eine der herausragenden Eigenschaften von Sparsh ist seine Vielseitigkeit. Traditionelle taktilen Systeme verwenden separate Modelle für jede Aufgabe, die stark von markierten Daten und spezifischen Sensoren abhängen. Sparsh ändert diesen Ansatz vollständig. Als allgemeines Modell passt es sich an verschiedene Sensoren und Aufgaben an. Es lernt Berührungsmuster mithilfe von self-supervised Learning (SSL) auf einer riesigen Datenbank von über 460.000 taktilen Bildern – ohne markierte Daten.

Meta hat auch TacBench vorgestellt, einen neuen Benchmark mit sechs touch-basierten Aufgaben, um Sparshs Fähigkeiten zu bewerten. Meta behauptet, dass Sparsh traditionelle Modelle um 95,1 % übertraf, insbesondere in Szenarien mit wenig Daten. Versionen von Sparsh, die auf Metas I-JEPA- und DINO-Architekturen basieren, haben bemerkenswerte Fähigkeiten in Aufgaben wie Kraftschätzung, Rutscherkennung und komplexer Manipulation unter Beweis gestellt.

Meta Digit Plexus: Eine Plattform für die Entwicklung taktiler Systeme

Meta hat Digit Plexus vorgestellt, um Sensor-Technologien und taktilen Perzeptionsmodelle für die Erstellung eines Embodied-AI-Systems zu integrieren. Die Plattform kombiniert Fingerspitzen- und Handflächen-Sensoren in einer einzigen Roboter-Hand, um koordinierte Berührungreaktionen zu ermöglichen. Diese Einrichtung ermöglicht es Embodied AI, sensorische Rückmeldungen zu verarbeiten und ihre Aktionen in Echtzeit anzupassen, ähnlich wie eine menschliche Hand sich bewegt und reagiert.

Durch die Standardisierung von Berührungsrückmeldungen über die gesamte Hand hinweg verbessert Digit Plexus die Präzision und Kontrolle von Embodied AI. Diese Entwicklung ist insbesondere in Bereichen wie Fertigung und Gesundheitswesen von entscheidender Bedeutung, in denen sorgfältiges Handhaben unerlässlich ist. Die Plattform verbindet Sensoren wie die Fingerspitze und ReSkin mit einem Kontrollsystem, vereinfacht die Datenerfassung, -steuerung und -analyse – alles über ein einziges Kabel.

Meta veröffentlicht die Software- und Hardware-Entwürfe für Digit Plexus in der Open-Source-Community. Das Ziel ist es, die Zusammenarbeit zu fördern und die Forschung in Embodied AI voranzutreiben, um Innovationen und Fortschritte in diesen Bereichen zu beschleunigen.

Förderung der Forschung und Entwicklung von Embodied AI

Meta fördert nicht nur die Technologie, sondern auch die Ressourcen, um die Forschung und Entwicklung von Embodied AI voranzutreiben. Eine wichtige Initiative ist die Entwicklung von Benchmarks, um KI-Modelle zu bewerten. Ein solcher Benchmark, PARTNR (Planning And Reasoning Tasks in humaN-Robot-Kollaboration), bewertet, wie KI-Modelle mit Menschen bei Haushaltsaufgaben interagieren. Mit dem Habitat 3.0-Simulator bietet PARTNR eine realistische Umgebung, in der Roboter bei Aufgaben wie Reinigung und Kochen helfen. Mit über 100.000 sprachbasierten Aufgaben zielt es darauf ab, den Fortschritt in Embodied AI zu beschleunigen.

Neben internen Initiativen arbeitet Meta mit Organisationen wie GelSight Inc. und Wonik Robotics zusammen, um die Übernahme von taktilen Sensor-Technologien zu beschleunigen. GelSight wird Digit-360-Sensoren verteilen, während Wonik Robotics die Allegro-Hand herstellt, die Digit-Plexus-Technologie integriert. Indem Meta diese Technologien über Open-Source-Plattformen und Partnerschaften verfügbar macht, hilft es bei der Schaffung eines Ökosystems, das zu Innovationen in Bereichen wie Gesundheitswesen, Fertigung und häuslicher Unterstützung führen könnte.

Das Fazit

Meta treibt Embodied AI voran, indem es die KI über das bloße Sehen und Hören hinaus erweitert und den Tastsinn einschließt. Mit Innovationen wie Digit 360 und Sparsh gewinnen KI-Systeme die Fähigkeit, ihre Umgebung mit Präzision zu fühlen und zu reagieren. Indem Meta diese Technologien der Open-Source-Community und wichtigen Organisationen zur Verfügung stellt, hilft es bei der Beschleunigung der Entwicklung von taktiler Sensorik. Diese Fortschritte könnten zu Durchbrüchen in Bereichen wie Gesundheitswesen, Fertigung und häuslicher Unterstützung führen und KI in der Lage versetzen, in realen Aufgaben kompetenter und reaktionsfähiger zu sein.