KI wird intelligenter; Kohärenz wird schwerer zu erreichen

Ich habe meine gesamte berufliche Laufbahn damit verbracht, Intelligenz zu verstehen. Ich habe Neurowissenschaften studiert, weil ich mich für KI interessierte und dachte, es wäre ein guter Anfang, zunächst zu lernen, wie das Gehirn funktioniert. Erst die Intelligenz, dann die „künstliche“ Intelligenz. Diese Ausbildung hat mich geprägt: Wenn eine neue Fähigkeit oder Technologie aufkommt, stelle ich mir zuerst eine praktische Frage. Was kann sie tatsächlich leisten, und für welche Arten von Problemen in der realen Welt?

Als jemand aus der KI-Branche bejub­le ich KI-Schlagzeilen nur selten. Ich schaue über den Hype hinaus, um nicht nur die Durchbrüche, sondern auch die Grenzen der neuen Fähigkeiten zu verstehen.

Von langweiligen Werkzeugen zu Zuverlässigkeit auf dem Prüfstand

Damals, 2020, als die Debatte über KI-Sicherheit von großem Hype geprägt war, gab ich einen schlichten Rat: Behandelt KI als Werkzeug – als ein mächtiges, aber dennoch als Werkzeug. Haltet euch an die langweiligen Anwendungsfälle. Arbeitet auf Aufgabenebene, wo die Technologie zuverlässig genug war, um zu helfen. Mein optimistisches Szenario bestand aus langweiligen, aber nützlichen Werkzeugen.

Als die Welle agentischer Systeme ein paar Jahre später an Fahrt aufnahm, betrachtete ich sie mit derselben Haltung und blieb skeptisch. Ein agentisches System ist nur so leistungsfähig wie die Aufgaben, aus denen es besteht, und ich hatte noch nicht die Zuverlässigkeit auf Aufgabenebene gesehen, die erforderlich war, damit diese Systeme effektiv arbeiten konnten.

Der Hype nahm jedoch zu. Als ich Anfang letzten Jahres an der RSA teilnahm, war die Kluft zwischen großen Ankündigungen und tatsächlicher Substanz noch immer kaum zu übersehen. Es gab nicht einmal ein gemeinsames Verständnis davon, was „agentisch“ bedeutete; jeder hatte eine andere Definition und Sichtweise. Außerdem machte ich mir Gedanken über ein strukturelles Problem. Nehmen wir zehn Agenten, von denen jeder zu etwa 95 Prozent korrekt arbeitet. Verknüpfen wir sie so, dass die Ausgabe eines Agenten zur Eingabe des nächsten wird. Am Ende dieser Kette liegt die Genauigkeit nur noch bei etwa 60 Prozent. Zuverlässigkeit bleibt nicht erhalten, wenn man mehrere Systeme hintereinander schaltet. Damals begann ich, über Agentensysteme nachzudenken, doch meine Sorge galt weiterhin der Frage, ob man ihnen vertrauen konnte, dass sie funktionierten und einen spürbaren Unterschied bewirkten.

Dann änderten die rasanten Fortschritte bei Programmieragenten meine Meinung.

Innerhalb weniger Monate nach meinem Artikel zu diesem Thema machte mir das unglaubliche Tempo der Fortschritte eines klar: Bei mehreren Aufgaben in der realen Welt war es nur eine Frage der Zeit, bis sie zuverlässig erledigt werden konnten. Bessere Modelle und bessere, um sie herum entwickelte technische Systeme würden die Lücke schließen, die mir Sorgen bereitet hatte. Die Grenze, um die ich mich Gedanken gemacht hatte, würde sich verschieben.

Da rückte das eigentliche Problem in den Fokus – und es war nicht das, auf das ich geachtet hatte. Sobald man den einzelnen Agenten vertrauen kann, hört man nicht auf, nachdem man den ersten eingesetzt hat. Man setzt viele ein. Ganze Flotten davon, in allen Unternehmensbereichen: jeder leistungsfähig, jeder mit seiner Aufgabe beschäftigt. Und es tauchte eine neue Frage auf, bei der es nicht um Zuverlässigkeit ging. Ergibt die Flotte noch das, was die Organisation beabsichtigt hat, wenn jeder Agent darin genau das tut, wofür er entwickelt wurde?

Der Bedarf an organisatorischer Propriozeption

Ein Körper mit leistungsfähigen Gliedmaßen kann sich ohne Propriozeption nicht gut bewegen – ohne das kontinuierliche innere Gespür dafür, wo sich alle Körperteile befinden und was sie tun. Das Kleinhirn reagiert nicht nur auf diese Rückmeldungen, sondern stellt Vorhersagen an. Wenn das Gehirn einen Bewegungsbefehl gibt, bildet es eine Erwartung darüber, welches Empfinden diese Bewegung hervorrufen sollte, und gleicht diese Erwartung anschließend mit dem tatsächlich eintretenden Empfinden ab. Die Abweichung zwischen beidem liefert das Signal, mit dem der nächste Schritt korrigiert wird. Geschickte Bewegungen beruhen auf einer Schleife aus Vorhersage des Ergebnisses und Korrektur der Abweichung.

Eine Organisation, die ganze Flotten von Agenten betreibt, braucht ein ebenso ausgeprägtes Gespür für sich selbst. Sie muss kontinuierlich wissen, wo sich ihre Systeme befinden und wie weit sie von ihrem vorgesehenen Zustand abgewichen sind. Ohne dieses innere Bewusstsein verbinden sich leistungsfähige Einheiten nicht zu koordiniertem Handeln. Das ist kein Wahrnehmungsmechanismus, den man einem Körper nachträglich hinzufügt, um ihn sicherer zu machen. Man braucht ihn, damit sich der Körper überhaupt bewegen kann.

Es gibt einen gut dokumentierten Fall eines Mannes namens Ian Waterman, der dieses Gespür in weiten Teilen seines Körpers verlor. Er lernte wieder, sich zu bewegen, aber nur, indem er sich dabei beobachtete und jeden Schritt und jede Greifbewegung mit den Augen steuerte. Das funktioniert. Es ist jedoch auch anstrengend und störanfällig. Schaltet man das Licht aus, kann er seine Bewegungen überhaupt nicht mehr koordinieren. Eine Organisation, die ihre Agenten mithilfe manueller Prüfungen und regelmäßiger Überprüfungen steuert, befindet sich in einer ähnlichen Lage. Sie gleicht ein nie entwickeltes Gespür durch ständigen Aufwand aus, und dieser Ausgleich kostet mehr als das, was er ersetzt. Sobald sich die Bedingungen ändern, bricht das ganze System zusammen.

Es gibt noch einen ungewöhnlicheren Versagensfall, den man erwähnen sollte und der in einem faszinierenden Buch des Neurowissenschaftlers V S Ramachandran beschrieben wird. Wird ein Glied amputiert, verstummt das Gehirn nicht. Es sendet weiterhin Signale für das fehlende Glied, und die betroffene Person nimmt diese deutlich wahr. Auch Steuerungs- und Aufsichtsstrukturen können auf dieselbe Weise versagen. Entzieht man einer Aufsichtsfunktion durch Umstrukturierung oder Vernachlässigung die tatsächliche Urteilsfähigkeit, verstummt sie nicht. Prüfungen werden weiterhin abgeschlossen, Kennzahlen weiterhin erstellt. Die Organisation nimmt weiterhin Aufsicht wahr, obwohl die dafür nötige Urteilsfähigkeit ausgehöhlt wurde. An dieser Stelle kommt mein Rat aus dem Jahr 2020 zur Transparenz wieder ins Spiel. Ohne Transparenz gibt es keine Aufsicht, und in einem System, das lediglich den Anschein erweckt, überwacht zu werden, gibt es keine Transparenz.

Kohärenz als knappe Ressource

Intelligenz wird günstiger. Schon bald wird sie in jedem Arbeitsablauf und jedem Werkzeug zum Einsatz kommen. Die knappe Ressource in dieser Welt ist Kohärenz: das lebendige Bindeglied zwischen dem, was jedes System für sich tut, und dem, was das Unternehmen erreichen will. Kohärenz ist das verbindende Gewebe, das verteilte Intelligenz auf ein gemeinsames Ziel ausrichtet.

Ich habe jahrelang erforscht, wie ein Gehirn seine vielen Teile als Einheit funktionieren lässt. Das Zeitalter agentischer Systeme stellt Unternehmen vor dieselbe Frage. Das Ziel hat sich seit 2020 nicht geändert. Langweilig, aber nützlich – nach wie vor. Jetzt gilt es, Kohärenz selbst aufzubauen: langweilig, aber nützlich.