Wer überwacht die Agenten? Das neue Zeitalter der künstlichen Intelligenz-Überwachung

Wenn man über künstliche Intelligenz-Agenten spricht, dann kommt den meisten Menschen ein Bild von superintelligenten Systemen in den Sinn, die auf eigene Faust handeln und unvorhersehbare Dinge tun. Also könnte der Agent-Sekretär an einem Tag unglaublich nützlich sein und am nächsten Tag könnte er Ihre Bankdaten an eine zufällige Person weitergeben.

Der “superintelligente” Teil ist in diesem Zusammenhang eigentlich nicht wichtig. Das Hauptproblem ist nicht, wie “intelligent” ein künstlicher Intelligenz-Agent ist, sondern vielmehr, wie viel Freiheit und Zugriff auf die Infrastruktur er hat.

In der Praxis wird der Wert eines Agents weniger durch sein Intelligenzniveau definiert und mehr durch die Grenzen seiner Autorität. Selbst ein relativ einfacher Agent, dem Zugriff auf Datenbestände, Unternehmenssysteme, Finanzoperationen oder externe APIs gewährt wird, erhält die Fähigkeit, Prozesse in einem Umfang zu beeinflussen, der besondere Aufmerksamkeit und Überwachung erfordert.

Deshalb werden Überwachungs- und Eingrenzungs-Systeme immer wichtiger, nicht nur auf Modell-Ebene, sondern auch auf der Ebene ihres Verhaltens innerhalb der Infrastruktur.

Es ist kein Zufall, dass Initiativen, die darauf abzielen, die Aktivität von Agenten zu beobachten und zu kontrollieren, in den letzten Jahren an Fahrt gewonnen haben. Diese praktischen Lösungen werden bereits von großen Technologie-Unternehmen umgesetzt.

Wie funktioniert ein Agent

Um zu verstehen, wie die Überwachung funktioniert, müssen wir uns zunächst ansehen, woraus ein Agent besteht. In vereinfachter Form kann er als Kombination aus einem kognitiven Kern, dem “Gehirn” und Werkzeugen betrachtet werden.

Werkzeuge sind externe Dienste und Integrationen, auf die der Agent zugreifen kann. Als Beispiel für einen Reiseagenten könnten dies Booking.com oder Airbnb für die Suche nach Hotels, Flugvergleichs-Websites für den Kauf von Tickets und Zahlungssysteme oder Kreditkarten für Zahlungen sein. An sich sind diese Werkzeuge nicht intelligent; sie ermöglichen es dem Agenten lediglich, in der realen Welt zu handeln.

Der kognitive Kern ist ein Sprachmodell (LLM). Es ermöglicht dem Agenten, sinnvoll mit von Menschen formulierte Anfragen umzugehen. Zum Beispiel ist die Anfrage “Ich möchte für drei Tage nach Europa fliegen, wo das Wetter schön ist” zu vage. Der Agent bittet das LLM, die Anfrage “in Kategorien zu unterteilen”. Als Antwort erhält er strukturierte Parameter: wo, wann, wie lange und unter welchen Bedingungen.

Früher generierte ChatGPT nur Textantworten. Jetzt, eingebettet in einen Agenten, wird es zu einer Kombination aus “Gehirn + Werkzeugen”, die nicht nur erklären, sondern auch handeln kann. Das LLM strukturiert die Aufgabe, und die Werkzeuge ermöglichen es, bestimmte Aktionen auszuführen.

Wie funktioniert die Überwachung

An diesem Punkt kommt ein Kontrollsystem ins Spiel. Ich nenne diese Sicherheitslösung einen “Wachhund” (vor einiger Zeit habe ich sogar daran gedacht, ein Startup zu gründen, das sich auf dieses Thema konzentriert), eine Art Wachhund, der in den Agenten integriert ist. Seine Aufgabe ist es, die Aktionen des Agenten zu überwachen und sie mit der ursprünglichen Anfrage zu vergleichen. Das Ziel ist es, sicherzustellen, dass der Agent innerhalb der vorgesehenen Grenzen operiert.

Zurück zum Reise-Beispiel: Nehmen wir an, unser Benutzer möchte eine dreitägige Reise nach Europa buchen. Der Agent interagiert mit Wetterdiensten, Flugtickets und dem Bankkonto für die Zahlung. Alles scheint normal. Aber plötzlich bemerkt der “Wachhund”, dass der Agent Zugriff auf eine Unternehmens-Datenbank oder ein Bankkonto anfordert, das nicht mit der Reisezahlung zusammenhängt. Dies löst eine Sicherheitswarnung aus und signalisiert verdächtiges Verhalten.

Es ist wichtig, das Ausmaß zu verstehen: Ein Agent kann täglich Tausende von Benutzern bedienen, wobei jede Anfrage Hunderte von Operationen auslöst, was zu Millionen von Aktionen führt. Der “Wachhund” analysiert alle Aktionen und generiert Statistiken. Berichte könnten lauten: “13% der Aktionen waren redundant, 7% bezogen sich auf die finanzielle Sicherheit.” Weitere Details erklären, welche spezifischen Aktionen verdächtig erschienen.

Dieses Tool ermöglicht es Entwicklern, das gesamte Bild zu sehen und auf Anomalien zu reagieren, was eine praktische künstliche Intelligenz-Kontrolllösung bildet, die Echtzeit-Überwachung, Anomalie-Erkennung und Rechenschaftspflicht kombiniert.

Wer profitiert vom “Wachhund”: Entwickler oder Benutzer?

In erster Linie ist der “Wachhund” für Entwickler gedacht, um sicherzustellen, dass das System korrekt funktioniert. Es ist jedoch auch vorstellbar, eine externe Version zu haben: einen separaten beobachtenden Agenten, der den Hauptagenten überwacht. Dies fügt eine weitere Ebene der künstlichen Intelligenz-Sicherheit hinzu, die die Überwachung über das interne System hinaus erweitert.

Es gibt eine wichtige Einschränkung: Der interne Prozess des Agenten bleibt “geschlossen”. Wir können nur sein Verhalten beobachten, nicht seine kognitiven Prozesse. Ein Vergleich mit Menschen: Ich kann jemanden sehen, der ein Telefon nimmt, eine Nummer wählt und spricht. Aber ich weiß nicht, welche Nummer gewählt wurde, was die Absicht war oder was gesagt wurde. Ähnlich sieht ein externer Beobachter die Aktionen des Agenten, aber nicht seinen kognitiven Kern.

Eine weitere interessante Überlegung: Agenten könnten in Zukunft versuchen, solche Beobachter zu umgehen oder zu deaktivieren, genau wie Menschen oft gegen ständige Überwachung ankämpfen. Obwohl dies heute wie Science-Fiction klingt, ist es möglich. Die Integration interner künstlicher Intelligenz-Sicherheitslösungen, Anomalie-Erkennung und geschichteter Überwachung kann helfen, diese Risiken zu mindern und die Kontrolle über zunehmend autonome Systeme aufrechtzuerhalten.

Primitive Regeln oder kontextbewusste Analyse?

Heute funktionieren solche “Wachhund”-Systeme nach einem einfachen Prinzip: “erlaubt” oder “nicht erlaubt”. Zum Beispiel, wenn die Regel lautet, “Zugriff auf Amazon ist verboten” und der Agent geht dorthin, wird ein Verstoß aufgezeichnet. Aber dieser Ansatz versteht den Kontext nicht.

Ein fortgeschritteneres System sollte den Verstoß und seinen Grund analysieren. Warum ging der Agent zu Amazon? War es im Hinblick auf die Aufgabe gerechtfertigt? Hier sprechen wir über kontextbewusste Überwachung, ähnlich der Arbeit eines Psychologen.

Bisher existieren solche Lösungen nur als Konzepte. Bestehende Systeme sind auf strikte Schwarz-Weiß-Kontrolle beschränkt. Aber in Zukunft, wenn Agenten komplexer werden, wird ein “Wachhund” entstehen, der den Kontext berücksichtigen kann.

Heute sehen wir ein Wachstum von Initiativen für die Überwachung von Agenten. Sie werden aktiv auf der Ebene der größten Technologie-Unternehmen entwickelt. Zum Beispiel arbeitet ActiveFence mit großen Playern wie NVIDIA und Amazon zusammen.

Es ist auch sicher anzunehmen, dass Google, OpenAI, Anthropic und Amazon bereits ihre eigenen internen “Wachhund”-Systeme, Analytik und Telemetrie verwenden.

Ich habe diese Nachfrage auch bei Keymakr-Unternehmenskunden festgestellt – Überwachung und Überwachung werden zu einem Kernbestandteil der künstlichen Intelligenz-Infrastruktur. Ohne sie wäre die großflächige Agent-Entwicklung unmöglich.