Wir haben Robotern das Gehen beigebracht. Jetzt bringen wir ihnen das Leben bei

Die moderne Robotik hat einen Punkt erreicht, an dem die Bewegung nicht mehr die Hauptaufgabe ist – Maschinen können bereits navigieren, greifen und in einem Raum mit beeindruckender Präzision operieren. Doch es bleibt ein ungelöstes Problem, sie dazu zu bringen, wirklich “zu leben” und in der realen Welt zu funktionieren.

Bei diesem Prozess spielt das, was man als “Rückgrat” bezeichnen könnte, eine Schlüsselrolle: das System, das für grundlegende Reaktionen, Verhaltensweisen und Interaktionen mit der Umgebung verantwortlich ist.

Wenn man die Evolution von Robotern aus dieser Perspektive betrachtet, wird deutlich, dass diese Sequenz von Stufen – bei der das System bei jedem Schritt etwas Neues lernt, von einfachen Bewegungen bis hin zu komplexen, kontextabhängigen Aktionen – der menschlichen Entwicklung sehr ähnelt.

Und es ist genau innerhalb dieser Evolution – von “leeren” Hardware zu sinnvollen Verhaltensweisen – dass der Hauptwandel in der physischen KI heute stattfindet. Es ist interessant, dies tiefer zu erforschen.

Die Grundlage der Robotik: eine selten diskutierte Stufe

Was ist ein Roboter in praktischer Hinsicht? Es ist ein physikalisches Gerät, das ursprünglich als universelle Plattform erstellt wurde. Im Wesentlichen ist es ein “Leerblatt”, das dann an bestimmte Aufgaben angepasst, trainiert und gelehrt werden muss, bestimmte Aktionen auszuführen.

Wenn wir über alltägliche Szenarien hinausgehen und realistischere near-future-Anwendungen betrachten, wird deutlich, dass die vollständige Übernahme von Robotern hauptsächlich in industriellen und potenziell gefährlichen Umgebungen stattfinden wird. Dies wiederum impliziert wesentlich höhere Anforderungen an ihr Verhalten, ihre Robustheit und die Qualität ihrer Ausbildung.

Der Prozess beginnt mit dem grundlegendsten Schritt – dem Bau des Geräts selbst. Ein Roboter wird aus mehreren Komponenten zusammengesetzt, einschließlich Aktuatoren, Motoren, Sensoren, Kameras, LiDARs. Er kann humanoid, rollend, zweibeinig oder vierbeinig sein – die Form ist zweitrangig. Was zählt, ist, dass wir an diesem Punkt mit einem funktionierenden, aber noch “leeren” Gerät enden.

Die nächste Stufe ist die Installation eines Basis-Modells, das als Grundlage für sein Verhalten dient. In einem weiten Sinne ist das “Modell” die gesamte funktionale Steuerschicht. Sie ist verantwortlich für die grundlegenden Fähigkeiten: das Halten des Gleichgewichts, das Stehen und Gehen, das Navigieren von Punkt A zu Punkt B, das Vermeiden von Hindernissen, das Schonen der Umgebung und das sichere Interagieren mit Menschen.

Hier kommt das Verstärkungslernen ins Spiel. In solchen Systemen werden Milliarden von Simulationen durchgeführt. Wir sehen oft Videos von Robotern, die in komplexen Umgebungen “lernen”: die meisten fallen, verlieren das Gleichgewicht oder schaffen es nicht, die Aufgabe zu erfüllen. Aber diejenigen, die es schaffen, aufrecht zu bleiben und sich zu bewegen, sind diejenigen, die Fortschritte machen.

Das ist die Essenz des Verstärkungslernens: die Auswahl erfolgreichen Verhaltens. Die Algorithmen derjenigen, die “überleben”, werden zur Grundlage für die nächsten Iterationen. Als Ergebnis entsteht nach einer enormen Anzahl von Durchläufen ein Modell, das Hindernisse mit Sicherheit meistern kann. Dieser Algorithmus wird dann auf das physische Gerät übertragen.

Es ist eine bodenständige, aber kritisch wichtige Stufe – oft ohne Computer-Vision, die an diesem Punkt nicht erforderlich ist. Was wir hier haben, ist fundamentale Physik und Mechanik, die von Anfang an in das System eingebettet werden müssen.

Wie Roboter beginnen, die Welt “zu fühlen”

Also, wir haben bereits die “Hardware” – einen Roboter mit einem Basis-Modell installiert: er kann stehen, gehen und das Gleichgewicht halten. Aber reicht das für reale Aufgaben, zum Beispiel in industriellen Umgebungen? Offensichtlich nicht.

Die nächste Stufe beginnt hier. Wir integrieren Sensoren und trainieren das Modell, auf der Grundlage von sensorischen Eingaben zu handeln. Eine neue Schicht von grundlegenden Fähigkeiten entsteht – bereits viel komplexer als einfache Bewegungen.

Ein Vergleich mit der menschlichen Entwicklung ist hier hilfreich. In der ersten Stufe haben wir das System auf das Niveau eines einjährigen Kindes gebracht: es kann stehen, die ersten Schritte machen und das Gleichgewicht halten, ohne zu fallen. Der nächste Schritt ist eher mit dem Niveau eines achtjährigen Kindes vergleichbar.

In diesem Alter nutzt ein Kind aktiv seine “Sensoren”: es kann Risiken wahrnehmen und die Konsequenzen seiner Handlungen bewerten. Es versteht, dass es nicht etwas Heißes berühren oder etwas sehr Kaltes in den Mund nehmen sollte. Es kann auf einen Tisch klettern, ein Fahrrad fahren und mit Objekten interagieren. Es ist in der Lage, zu greifen, zu tragen und Objekte zu manipulieren und grundlegende Selbstfürsorge-Aktionen auszuführen.

Wir nennen dies die Vor-Schulung. Und an diesem Punkt sind Simulationen allein nicht mehr ausreichend.

Ja, einige Szenarien können noch immer effektiv modelliert werden: wie man ein Glas aufnimmt oder eine Batterie ersetzt, zum Beispiel, indem man ein Komponenten entfernt, es auflädt, ein anderes nimmt und es wieder einbaut.

Aber insgesamt verschiebt sich das Gleichgewicht: etwa 80% der Ausbildung kann noch in Simulationen stattfinden, während etwa 20% der Daten aus der realen Welt stammen müssen. Und hier beginnen wir, über egocentrische Daten zu sprechen.

Egocentrische Daten als Grundlage des Umfeldverständnisses

Heute werden egocentrische Daten im großen Maßstab weltweit gesammelt – denn ohne sie ist es unmöglich, von grundlegenden Mechaniken zu sinnvoller Interaktion mit der realen Welt zu gelangen. Ein Kollege von mir, der ein Netzwerk von Auto-Reparatur-Werkstätten leitet, hat Mitarbeiter, die Head-Mounted-Kameras tragen, um den gesamten Prozess der Autoreparatur aufzuzeichnen. Ein Gebäudebesitzer in New York City hat einen ähnlichen Ansatz umgesetzt: die Reinigungsmitarbeiter tragen Stirn-Mounted-Kameras, die aufzeichnen, wie sie Räume reinigen und hygienische Bereiche aufrechterhalten.

Im Laufe der Zeit werden diese Aufzeichnungen zu einem eigenständigen Produkt – sie werden verpackt und verkauft. Ihr Hauptwert liegt in ihrer Eignung für die Vor-Schulungs-Phase, um ein grundlegendes Verständnis von Umgebungen und Aktionen zu schaffen.

Ein Beispiel dafür war bei Keymakr zu finden, wo das Team unabhängig ganze Sammlungen von egocentrischen Daten aus einfachen Szenarien wie dem Waschen von Geschirr bis hin zu komplexeren Szenarien erstellte.

Warum ist dies so wichtig? Weil solche Daten etwas bieten, was reine Simulationen nicht können – die Vielfalt realer Umgebungen. Büros, Auto-Reparatur-Werkstätten, Baustellen, Restaurants und Hotels – jede davon fügt ihren eigenen Kontext, Szenarien und Nuancen hinzu. Zusammen bilden sie eine Datenmenge, die es einem System ermöglicht, nicht nur “zu sehen”, sondern allmählich die Dynamik der realen Welt zu verstehen.

Das Ziel ist an diesem Punkt nicht mehr, einen Roboter zu lehren, eine bestimmte Aktion perfekt auszuführen. Was zählt, ist es, ihn in der Lage zu versetzen, sich in seiner Umgebung zu orientieren.

Heute konzentrieren sich fast alle Unternehmen, die in der Robotik tätig sind – von Tesla bis hin zu Unitree Robotics und Figure AI – auf diese genaue Stufe. Ihr Ziel ist es, ein Basis-Modell zu erstellen, dessen Fähigkeiten zunächst denen eines “achtjährigen Kindes” ähneln und dann in Richtung eines “zwölfjährigen” fortschreiten. Dies ist auch das, was wir bei Introspector tun – die Vorbereitung der Daten, die für die Vor-Schulung erforderlich sind, der kritischsten Phase in der “Entwicklung” der modernen Robotik.

Die letzte Meile der Ausbildung: wo die Universalität endet und die Spezialisierung beginnt

Stellen wir uns vor, ein Roboter hat bereits die Vor-Schulung abgeschlossen und ist von Anfang an mit einem grundlegenden Verständnis der Welt und einem Fähigkeits-Satz ausgestattet, der dem eines Teenagers ähnelt. Aber auch das reicht nicht aus für reale Geschäftsanwendungen. Unternehmen benötigen nicht nur einen “allgemeinen” Roboter – sie benötigen einen Spezialisten.

Nehmen wir die Automobilherstellung als Beispiel. Einige Aufgaben werden noch von Menschen durchgeführt, da sie Empfindlichkeit, Präzision und kontinuierliche visuelle Kontrolle erfordern. Traditionelle Automatisierung kämpft hier. Industrielle Manipulatoren sind gut bei wiederholbaren, starren Aufgaben – “greifen, bewegen, platzieren”. Aber Aufgaben, die Anpassungsfähigkeit, Druckempfindlichkeit und Echtzeit-Anpassungen erfordern, bleiben im Bereich der Menschen.

Hier entsteht eine neue Nachfrage: die Ausbildung eines Roboters, um eine bestimmte Operation genau wie ein geschickter Arbeiter auf einer Produktionslinie durchzuführen. Mit anderen Worten, nach der Grund-Ausbildung kommt die nächste Stufe: die Ausbildung für eine bestimmte Profession und ein bestimmtes Szenario.

An diesem Punkt entsteht eine praktische Frage: was genau ist für diese Stufe der Ausbildung erforderlich? Wenn wir wollen, dass ein Roboter die Leistung eines Menschen repliziert, müssen wir das menschliche Verhalten so genau wie möglich erfassen. Zum Beispiel müsste der Spezialist auf dem Fabrikboden eine Kamera tragen und über einen längeren Zeitraum, Monate oder sogar ein Jahr, aufzeichnen, wie er die Aufgabe ausführt.

Was es braucht, damit Roboter in der menschlichen Welt “leben” können

Eine Kamera allein reicht nicht aus. Es ist notwendig, nicht nur die visuelle Perspektive, sondern auch die Physik der Bewegung zu erfassen. Dies geschieht durch spezielle Handschuhe mit taktilen Sensoren, die den Druck, die angewendete Kraft und die Art der Interaktion mit Objekten messen. Dies ist besonders wichtig, weil die Objekte selbst erheblich variieren können. Zum Beispiel können Dichtungsstreifen je nach Automodell in ihrer Steifigkeit variieren, was direkt die Art und Weise beeinflusst, wie die Aufgabe durchgeführt wird.

Als nächstes kommt die kinematische Verfolgung. Marker – visuelle oder sensorbasierte – werden auf den Handgelenken, Ellenbogen und manchmal Schultern angebracht. Diese können beispielsweise Armbänder mit identifizierbaren Markern (ähnlich wie QR-Codes) enthalten, die es dem System ermöglichen, die Handposition im Raum aus dem Video zu verfolgen. Zusätzliche Sensoren, wie Gyroskope, werden verwendet, um die Bewegungen der Gelenke zu erfassen.

Das endgültige Ziel ist es, die Mechanik der Bewegung vollständig zu rekonstruieren: wie die Schulter sich bewegt, wie der Ellenbogen sich beugt, wie das Handgelenk sich dreht. All dies wird für die nächste Stufe – die Nach-Ausbildung – entscheidend.

Wenn wir während der Vor-Ausbildung noch teilweise auf Simulationen zurückgreifen konnten, funktioniert dies an diesem Punkt nicht mehr. Diese “letzte Meile” ist fast unmöglich zu modellieren. Man kann nicht vollständig simulieren, wie ein Koch Teig ausrollt – den angewendeten Druck, wie der Druck verteilt wird, wie das Material gefühlt wird.

Deshalb müssen während der Nach-Ausbildung fast alle Daten aus der realen Welt stammen. Und hier wird deutlich: die Haupt-Herausforderung verlagert sich in den praktischen Bereich – wie man solche Daten in der Realität erhält. Die Sammlung von egocentrischen Daten auf diesem Niveau ist ein komplexer, mehrstufiger Prozess, der den Zugang zu Umgebungen, spezielle Ausrüstung, die Teilnahme von geschulten Arbeitern und die anschließende Datenvorbereitung erfordert.

Jenseits der Theorie ist dies der Punkt, an dem Roboter wirklich “zum Leben erwachen” – nachdem wir es geschafft haben, diesen Prozess zu organisieren, die Einschränkungen zu überwinden, die Teams in verschiedenen Branchen gegenüberstehen, und solche Datensätze im großen Maßstab zu annotieren. Dies wird im nächsten Teil behandelt, in dem wir uns alle Herausforderungen ansehen, die während der Kennzeichnung und Vorbereitung entstehen.