Fortschritte im Bereich Embodied AI: Wie Meta der künstlichen Intelligenz eine menschliche Berührung und Feinmotorik verleiht

Die künstliche Intelligenz (AI) hat in den Bereichen visuelle Wahrnehmung und Sprachverarbeitung große Fortschritte gemacht. Diese Fähigkeiten sind jedoch nicht ausreichend, um Systeme zu entwickeln, die mit der physischen Welt interagieren können. Menschen handhaben Objekte oder machen kontrollierte Bewegungen mithilfe des Tastsinns. Wir spüren die Textur, erfassen die Temperatur und schätzen das Gewicht, um jede Aktion mit Genauigkeit zu steuern. Diese taktilen Rückmeldungen ermöglichen es uns, zerbrechliche Gegenstände zu manipulieren, Werkzeuge mit Kontrolle zu verwenden und komplexe Aufgaben reibungslos auszuführen.

Meta, bekannt für seine Arbeit in den Bereichen virtuelle und erweiterte Realität, geht nun die Herausforderung an, eine künstliche Intelligenz zu entwickeln, die mit der physischen Welt interagiert, ähnlich wie ein Mensch. Durch seine FAIR-Robotik-Initiative entwickelt Meta Open-Source-Tools und -Frameworks, um den Tastsinn und die physische Agilität von Robotern zu verbessern. Diese Bemühungen könnten zur Entwicklung von Embodied AI führen – Systemen, die nicht nur sehen, sondern auch fühlen und Objekte wie Menschen manipulieren können.

Was ist Embodied AI?

Embodied AI kombiniert physische Interaktion mit künstlicher Intelligenz, ermöglicht es Maschinen, ihre Umgebung zu spüren, zu reagieren und natürlich zu interagieren. Anstatt nur “sehende” oder “hörende” Eingaben zu verarbeiten, ermöglicht es künstlichen Intelligenz-Systemen, zu fühlen und in der Welt zu handeln. Stellen Sie sich einen Roboter vor, der den Druck spürt, den er auf ein Objekt ausübt, seinen Griff anpasst und mit Agilität bewegt. Embodied AI bewegt die künstliche Intelligenz von Bildschirmen und Lautsprechern in die physische Welt, macht sie in der Lage, Objekte zu manipulieren, Aufgaben auszuführen und mit Menschen bedeutungsvoller zu interagieren.

Zum Beispiel könnte ein auf Embodied AI basierender Roboter einem älteren Menschen helfen, zerbrechliche Gegenstände aufzunehmen, ohne sie zu beschädigen. Im Gesundheitswesen könnte er Ärzten helfen, Instrumente während einer Operation präzise zu halten. Dieses Potenzial geht weit über robotische Arme in Labors oder automatisierte Arme in Fabriken hinaus; es geht darum, Maschinen zu schaffen, die ihre physische Umgebung in Echtzeit verstehen und darauf reagieren.

Metas Ansatz für Embodied AI

Meta konzentriert sich auf drei Schlüsselbereiche, um Embodied AI einer menschlichen Berührung näher zu bringen. Erstens entwickelt das Unternehmen fortschrittliche taktilen Sensing-Technologien, die es Maschinen ermöglichen, Dinge wie Druck, Textur und Temperatur zu erkennen. Zweitens entwickelt Meta Berührungswahrnehmungsmodelle, die es der künstlichen Intelligenz ermöglichen, diese Signale zu verstehen und darauf zu reagieren. Drittens baut Meta eine taktilen Entwicklungsplattform, die mehrere Sensoren mit diesen Wahrnehmungsmodellen integriert, um ein komplettes System für die Entwicklung von berührungsgesteuerter künstlicher Intelligenz bereitzustellen. Hier ist, wie Meta in jedem dieser Bereiche Fortschritte bei Embodied AI vorantreibt.

Meta Digit 360: Menschliche Tastwahrnehmung

Meta hat Digit 360-Fingertip vorgestellt, eine taktilen Sensing-Technologie, die es Embodied AI ermöglicht, eine menschliche Berührung zu entwickeln. Mit über 18 Sensoreigenschaften kann es Vibrationen, Hitze und sogar Chemikalien auf Oberflächen erkennen. Ausgestattet mit einem KI-Chip verarbeitet der Fingertip Berührungsinformationen sofort, ermöglicht es schnelle Reaktionen auf Eingaben wie die Hitze eines Herdes oder den scharfen Stich einer Nadel. Diese Technologie fungiert als “peripheres Nervensystem” in Embodied AI, simuliert reflexartige Reaktionen, ähnlich wie menschliche Reaktionen. Meta hat diesen Fingertip mit einem einzigartigen optischen System entwickelt, das über 8 Millionen Taxel enthält und Berührungen aus jedem Winkel aufnehmen kann. Es spürt winzige Details, bis hin zu Kräften von nur einem Millinewton, und gibt Embodied AI eine fein abgestimmte Empfindlichkeit gegenüber ihrer Umgebung.

Meta Sparsh: Die Grundlage für taktilen Wahrnehmung

Meta verbessert die taktilen Wahrnehmungsfähigkeiten, um der künstlichen Intelligenz zu helfen, physische Empfindungen zu verstehen und darauf zu reagieren. Benannt nach dem sanskrit-Wort für “Berührung”, Sparsh fungiert als “Berührungsgehirn” für Embodied AI. Das Modell ermöglicht es Maschinen, komplexe taktilen Signale wie Druck und Griff zu interpretieren.

Eine der herausragenden Eigenschaften von Sparsh ist seine Vielseitigkeit. Traditionelle taktilen Systeme verwenden separate Modelle für jede Aufgabe, die stark auf gekennzeichneten Daten und spezifischen Sensoren basieren. Sparsh ändert diesen Ansatz vollständig. Als allgemeines Modell passt es sich an verschiedene Sensoren und Aufgaben an. Es lernt Berührungsmuster mithilfe selbstüberwachtem Lernen (SSL) auf einer riesigen Datenbank mit über 460.000 taktilen Bildern – ohne gekennzeichnete Daten zu benötigen.

Meta hat auch TacBench vorgestellt, einen neuen Benchmark mit sechs taktilen Aufgaben, um die Fähigkeiten von Sparsh zu bewerten. Meta behauptet, dass Sparsh traditionelle Modelle um 95,1 % übertraf, insbesondere in Szenarien mit wenig Daten. Versionen von Sparsh, die auf Metas I-JEPA- und DINO-Architekturen basieren, haben bemerkenswerte Fähigkeiten in Aufgaben wie Kraftschätzung, Rutscherkennung und komplexer Manipulation unter Beweis gestellt.

Meta Digit Plexus: Eine Plattform für die Entwicklung taktiler Systeme

Meta hat Digit Plexus vorgestellt, um Sensing-Technologien und taktilen Wahrnehmungsmodelle für die Entwicklung eines Embodied-AI-Systems zu integrieren. Die Plattform kombiniert Fingertip- und Handflächensensoren in einer einzigen Roboterhand, um koordiniertere Berührungreaktionen zu ermöglichen. Diese Einrichtung ermöglicht es Embodied AI, sensorische Rückmeldungen zu verarbeiten und ihre Aktionen in Echtzeit anzupassen, ähnlich wie eine menschliche Hand sich bewegt und reagiert.

Durch die Standardisierung von Berührungsrückmeldungen über die gesamte Hand hinweg verbessert Digit Plexus die Präzision und Kontrolle von Embodied AI. Diese Entwicklung ist insbesondere in Bereichen wie Fertigung und Gesundheitswesen von entscheidender Bedeutung, wo sorgfältiges Handhaben unerlässlich ist. Die Plattform verbindet Sensoren wie den Fingertip und ReSkin mit einem Kontrollsystem, vereinfacht die Datenerfassung, -steuerung und -analyse – alles über ein einziges Kabel.

Meta veröffentlicht die Software- und Hardware-Entwürfe für Digit Plexus in der Open-Source-Community. Das Ziel ist es, die Zusammenarbeit zu fördern und die Forschung im Bereich Embodied AI zu beschleunigen, um Innovationen und Fortschritte in diesen Bereichen voranzutreiben.

Förderung der Forschung und Entwicklung von Embodied AI

Meta fördert nicht nur die Technologie, sondern auch die Ressourcen, um die Forschung und Entwicklung von Embodied AI voranzutreiben. Eine wichtige Initiative ist die Entwicklung von Benchmarks, um künstliche Intelligenz-Modelle zu bewerten. Ein solcher Benchmark, PARTNR (Planning And Reasoning Tasks in humaN-Robot collaboration), bewertet, wie künstliche Intelligenz-Modelle mit Menschen bei Haushaltsaufgaben interagieren. Mit dem Habitat 3.0-Simulator bietet PARTNR eine realistische Umgebung, in der Roboter bei Aufgaben wie Reinigung und Kochen helfen. Mit über 100.000 sprachbasierten Aufgaben zielt es darauf ab, den Fortschritt im Bereich Embodied AI zu beschleunigen.

Neben internen Initiativen arbeitet Meta mit Organisationen wie GelSight Inc. und Wonik Robotics zusammen, um die Adoption von taktilen Sensing-Technologien zu beschleunigen. GelSight wird Digit-360-Sensoren verteilen, während Wonik Robotics die Allegro-Hand herstellt, die Digit-Plexus-Technologie integriert. Durch die Bereitstellung dieser Technologien über Open-Source-Plattformen und Partnerschaften hilft Meta dabei, ein Ökosystem zu schaffen, das zu Innovationen in Bereichen wie Gesundheitswesen, Fertigung und häuslicher Unterstützung führen könnte.

Das Fazit

Meta fördert die Entwicklung von Embodied AI, indem es die künstliche Intelligenz über das bloße Sehen und Hören hinaus erweitert und den Tastsinn einschließt. Mit Innovationen wie Digit 360 und Sparsh gewinnen künstliche Intelligenz-Systeme die Fähigkeit, ihre Umgebung mit Präzision zu spüren und darauf zu reagieren. Durch die Bereitstellung dieser Technologien für die Open-Source-Community und die Zusammenarbeit mit wichtigen Organisationen hilft Meta dabei, die Entwicklung von taktilen Sensing-Technologien zu beschleunigen. Diese Fortschritte könnten zu Durchbrüchen in Bereichen wie Gesundheitswesen, Fertigung und häuslicher Unterstützung führen und die künstliche Intelligenz in der Lage versetzen, in realen Aufgaben kompetenter und reaktionsfähiger zu sein.