AGIBOT veröffentlicht einen Datensatz zum physikalischen Schlussfolgern, der Robotern beibringen soll, was als Nächstes zu tun ist

Ein Roboter kann eine Flasche perfekt greifen und trotzdem daran scheitern, eine Minibar aufzufüllen. Vielleicht lässt er eine leere Flasche stehen, fügt zu viele Ersatzflaschen hinzu oder wiederholt einen bereits erledigten Schritt. Was ihm fehlt, ist die Fähigkeit, zunächst einzuschätzen, was die Situation erfordert, bevor er die nächste Bewegung auswählt.

AGIBOT will diese Lücke mit dem Datensatz zum physikalischen Schlussfolgern schließen, der am 22. Oktober als Release 4 von AGIBOT WORLD 2026 angekündigt wurde. Die Veröffentlichung verknüpft Aufgaben, sich verändernde Szenenbedingungen, den bisherigen Ausführungsverlauf und tatsächliche Roboteraktionen. Im Mittelpunkt steht die Idee, verschiedene Wege zum selben Ziel zu erfassen. So erhalten Forschende Material, mit dem sie Roboter darauf trainieren können, ihre Entscheidungen im Verlauf einer Aufgabe anzupassen.

Ein Ziel, mehrere richtige Handlungsabläufe

Mit Release 4 verlagert sich der Schwerpunkt des Aufgabendesigns von schwierigen Bewegungen hin zu schwierigen Entscheidungen. Statt ausschließlich Demonstrationen einer festgelegten Abfolge zu sammeln, variiert AGIBOT die Anzahl der Objekte, Hindernisse, den verfügbaren Platz und den Fortschritt der Aufgabe. Dadurch kann eine zuvor richtige Handlung unpassend werden, auch wenn die Bitte des Nutzers unverändert bleibt.

Betrachten wir das Beispiel mit der Minibar. Um das Ziel von drei vollen Flaschen zu erreichen, muss der Roboter feststellen, welche Flaschen leer sind, die bereits vorhandenen vollen Flaschen zählen und entscheiden, was entfernt und aufgefüllt werden muss. Ein erfolgreicher Griff ist nur ein Teil der Aufgabe. Der Roboter benötigt außerdem eine Vorstellung vom gewünschten Endzustand und eine Möglichkeit, diesen mit dem aktuellen Zustand zu vergleichen.

In einem anderen Szenario muss ein Schlüssel hinter einer Schachtel hervorgeholt werden. Wenn genügend Platz vorhanden ist, kann ein direkter Griff funktionieren. Versperrt die Schachtel den Zugang, muss sie zunächst bewegt werden. Die Suche in Schubladen bringt ein Gedächtnisproblem mit sich: Ein Kamerabild allein verrät dem System nicht, welche Schubladen es bereits durchsucht hat.

Diese Beispiele machen eine praktische Herausforderung für die physische KI deutlich. Eine Richtlinie, die die sichtbaren Bewegungen eines Experten nachahmt, kann dennoch zur falschen Entscheidung führen, wenn ihr der Kontext fehlt, der diese Bewegung angemessen machte. Indem die Bedingungen bei gleichbleibendem Ziel variiert werden, soll der Datensatz diese Zusammenhänge für das Training verfügbar machen.

Neun Fähigkeiten zum Schlussfolgern mit zunehmendem Komplexitätsgrad

AGIBOT gliedert die Veröffentlichung in neun Fähigkeiten: Objekte anhand ihrer Merkmale auswählen, Entscheidungen je nach Kontext treffen, die Durchführbarkeit einer Manipulation einschätzen, notwendige Voraussetzungen für Handlungen erkennen, zielgerichtet suchen, Zustände und Mengen verfolgen, längere Handlungsfolgen planen, Informationen im Gedächtnis behalten und Teilaufgaben ordnen.

Bei alltäglichen Aufgaben greifen diese Fähigkeiten ineinander. Zum Auffüllen gehört es, Objekte zu erkennen, zu zählen und den Fortschritt zu verfolgen. Beim Finden eines Gegenstands kommen eine Suchstrategie und die Dokumentation früherer Versuche zusammen. Eine längere Haushaltsaufgabe kann mehrere solcher Einschätzungen nacheinander erfordern, wobei jede Handlung die Bedingungen für die nächste verändert.

Der Datensatz unterteilt die Aufgaben in die Schwierigkeitsstufen einfach, mittel und schwer. Einzelne Auswahlentscheidungen bilden den einfacheren Bereich; Mengenbeschränkungen und notwendige Voraussetzungen erhöhen die Komplexität; längere Aufgaben verbinden mehrere Ziele mit Gedächtnis- und Kontextanforderungen. Diese Struktur ermöglicht es Forschenden, einzelne Fähigkeiten zu untersuchen, bevor sie testen, wie gut diese zusammenspielen.

Auch die Ergebnisse der Ausführung werden annotiert. Dazu gehören die Auswahl und Platzierung von Objekten sowie die Frage, ob die erforderliche Menge erreicht wurde. Die Veröffentlichung umfasst sowohl erfolgreiche als auch fehlerhafte Beispiele und unterstützt damit die Forschung zur Erkennung von Abweichungen und zur Anpassung nachfolgender Entscheidungen.

Anweisungen mit physischen Handlungen verknüpfen

Der technische Beitrag besteht darin, wie die Annotationen verschiedene Ebenen einer Aufgabe miteinander verknüpfen. Eine übergeordnete Anweisung nennt das Gesamtziel. Aufgabenrahmen, Teilaufgabenabschnitte und Handlungsschritte beschreiben Aufbau und Fortschritt. Forschende können anhand dieser Beziehungen untersuchen, welches Teilziel gerade aktiv ist und was als Nächstes geschehen sollte.

Auf Bewegungsebene legen die Dense-Prompt-Annotationen von AGIBOT das Zielobjekt, den Manipulationsbereich, die Aufgaben der beiden Arme, die Bewegung, den Greiferzustand und das erwartete Ergebnis fest. Begrenzungsrahmen, Punkte und Bewegungslinien verknüpfen Sprache mit Orten und Bewegungspfaden. So erhält ein lernendes System genauere Hinweise darauf, worauf sich eine Anweisung bezieht und wie ihre Ausführung dargestellt wird.

Das Unternehmen beschreibt außerdem Erfolgs- und Gegenbeispielabschnitte, mit denen sich Zielobjekte von Ablenkungen unterscheiden und Ergebnisse überprüfen lassen. Die Gegenbeispiele betreffen hier die Interpretation und Ausführung von Aufgaben. Sie helfen dabei, Fragen zu untersuchen, etwa ob der Roboter das richtige Objekt ausgewählt oder den angeforderten Schritt tatsächlich abgeschlossen hat.

Zusammengenommen sollen diese Annotationen ein Training ermöglichen, das ein Entscheidungsmodell mit einer Handlungsrichtlinie verknüpft. Das Entscheidungsmodell wählt ein Teilziel aus, die Richtlinie führt die Manipulation aus, und der daraus entstehende Zustand fließt in die nächste Entscheidung ein. Diese Rückkopplung ist wichtig, wenn ein Roboter einen misslungenen Versuch korrigieren oder auf eine veränderte Szene reagieren muss.

Wie sich die Veröffentlichung in AGIBOTs Robotikplattform einfügt

Das umfassendere Repository AGIBOT WORLD 2026 beschreibt in der realen Welt erfasste Daten, die auf der G2-Plattform des Unternehmens gesammelt wurden. Das dokumentierte Format orientiert sich an den LeRobot-Konventionen und umfasst Episodendaten, Metadaten sowie separate Videostreams der Kopf- und Handgelenkkameras. Das bietet Entwicklern, die visuelle Beobachtungen mit aufgezeichnetem Roboterverhalten verknüpfen, einen nützlichen Kontext.

Auf der G2-Produktseite positioniert AGIBOT die Hardware für verkörperte Intelligenz und kraftgeregelte Manipulation sowie für interaktive Funktionen. Release 4 befasst sich mit der Ebene für Entscheidungsfindung und Aufgabengedächtnis im Zusammenhang mit diesen physischen Fähigkeiten. Außerdem erweitert es die Dateninfrastruktur, die in der früheren Berichterstattung von Unite.AI über die Robotikplattform von AGIBOT erörtert wurde.

Das Repository führt eine Creative-Commons-Lizenz Attribution–NonCommercial–ShareAlike 4.0 auf. Die nichtkommerzielle Bedingung ist ein wichtiger Unterschied für Entwickler, die erwägen, wie sie die veröffentlichten Daten in einem Produkt nutzen können.

Was physisches Schlussfolgern verändern könnte

Für das Gastgewerbe, häusliche Dienstleistungen und den Einzelhandel liegt der Reiz in einem Roboter, der unter wechselnden Bedingungen auf ein Ziel hinarbeiten kann. Einen Tisch wieder herzurichten oder ein Regal aufzufüllen, erfordert zu prüfen, was bereits vorhanden ist, sich an erledigte Arbeiten zu erinnern und zu erkennen, wann keine weiteren Maßnahmen nötig sind. Solche Einschätzungen werden wichtiger, wenn Roboter nicht mehr nur in einzelnen Demonstrationen, sondern in vollständigen Arbeitsabläufen eingesetzt werden.

Release 4 liefert Trainingsmaterial für diese Richtung. Für sich genommen belegt es nicht, dass ein bestimmtes Modell diese Arbeitsabläufe in unbekannten Umgebungen zuverlässig ausführen kann. AGIBOT zufolge haben die Daten bereits sein bevorstehendes Agenten-Framework und sein Foundation Model der nächsten Generation unterstützt; die Leistungsdaten dieser Systeme sind eine separate Frage.

Der entscheidende Wandel besteht darin, Roboter darauf zu trainieren, den Zusammenhang zwischen einem Ziel, der aktuellen Situation und den Folgen früherer Handlungen zu verstehen. Forschende können diesen Ansatz anhand des AGIBOT-WORLD-Projekts und der damit verknüpften Datensatzressourcen untersuchen.