Wenn KI wie Menschen denkt: Die Erforschung des Geistes von LLMs und Agenten

Heute lernen LLMs und Agenten auf eine Weise, die die Grenze zwischen ihrem algorithmischen “Denken” und dem menschlichen Geist verwischt. Die Ansätze, auf denen sie basieren, ahmen bereits unsere kognitiven Prozesse nach, und der Umfang ihrer Ausbildung übertrifft die menschliche Erfahrung um Größenordnungen. Dies wirft die Frage auf: Erstellen wir ein Werkzeug, das unsere Fähigkeiten erweitert, oder geben wir einem neuen Typ von Geist Auftrieb, dessen Folgen noch nicht vorhersehbar sind?

Wie Modelle denken

Es ist wichtig, zwischen den Konzepten von LLMs und Agenten zu unterscheiden. Um eine Analogie mit einem Computer zu ziehen, kann ein LLM mit einem seiner Komponenten, zum Beispiel dem Prozessor, verglichen werden. Ein Agent hingegen ist das gesamte System, eine “Hauptplatine”, an die verschiedene Module angeschlossen sind: Speicher, Grafikkarte und Netzwerk. Ähnlich ist ein Agent ein komplexes System, das ein oder mehrere LLMs umfassen kann, ergänzt mit Entscheidungsmechanismen und Werkzeugen für die Interaktion mit der externen Umgebung.

Wenn wir die Arbeit eines einzelnen LLMs betrachten, läuft alles auf Mustererkennung hinaus. Wenn jedoch ein Agent mehrere LLMs verkettet, können wir sagen, dass es “denkt”, obwohl dieser Prozess immer noch auf Mustern basiert. Der Agent konstruiert die Logik der Interaktion zwischen den Modellen: Zum Beispiel analysiert ein LLM die Aufgabe, und basierend auf dieser Analyse bestimmt der Agent, welche Aktion ein anderes LLM ausführen soll.

Menschliches Denken funktioniert auf ähnliche Weise: Wir verlassen uns auf angehäuftes Wissen und Muster, wählen sie im richtigen Moment aus, verarbeiten sie und formulieren Schlussfolgerungen. Dieser Prozess wird als Argumentation bezeichnet.

ChatGPT hat, wie ein Mensch, zwei Arten von Gedächtnis: Kurzzeit- und Langzeitgedächtnis. Der Unterschied liegt darin, dass der Zugriff auf diese Gedächtnisebenen bei Menschen komplexer und nicht immer linear ist.

Kurzzeitgedächtnis ist die Information, mit der wir gerade arbeiten. Für eine Person könnte es das sein, was sie vor fünf Minuten gesagt hat: Sie könnte es sich merken oder nicht. GPT hingegen berücksichtigt immer alles innerhalb seines “Kontextfensters” – es kann diese Daten nicht überspringen oder ignorieren.

Langzeitgedächtnis bei Menschen besteht aus Erinnerungen, die nicht immer aktiv sind und nur mit bestimmten Auslösern auftauchen: Eine Kindheitserinnerung, ein Trauma oder zum Beispiel die Arbeit mit einem Psychologen. GPT hat eine ähnliche Logik: Es “erinnert” sich nicht an Informationen, es sei denn, es wird speziell aktiviert. Zum Beispiel kann eine Anweisung wie “Stellen Sie mir diese Frage nie wieder” oder “Adresse Sie mich immer formell” im Langzeitgedächtnis gespeichert und während jeder Sitzung angewendet werden.

Ein weiteres Beispiel für Langzeitgedächtnis sind gespeicherte Dokumente. Angenommen, Sie haben GPT eine Anweisung für die Durchführung von Marketingforschung hochgeladen. Das Modell kann es im Gedächtnis speichern, aber das bedeutet nicht, dass es auf dieses Dokument bei jeder Frage Bezug nimmt. Wenn Sie fragen: “Kann ich eine Taschenlampe auf den Mond richten?”, ignoriert GPT die Anweisung. Aber wenn die Anfrage Schlüsselwörter enthält, die dem Text des Dokuments entsprechen, kann das Modell es “wiedererinnern”.

Dieser Mechanismus wird durch RAG (Retrieval-Augmented Generation) implementiert, einem Ansatz, bei dem das Modell durch relevante Hinweise auf gespeicherte Informationen über Vektordatenbanken zugreift.

Somit kann man sagen, dass das Modell tatsächlich ein Gedächtnis hat, aber es funktioniert nach einer anderen, formalisierten Logik, die sich von der menschlichen Erinnerung unterscheidet.

Warum eine Konversation mit KI manchmal therapeutisch und manchmal kalt und roboterhaft wirkt

Moderne Sprachmodelle sind extrem groß: Sie speichern eine enorme Menge an Daten, Wissen und Kontext. All diese Informationen sind in sogenannten “Clustern” organisiert, thematischen und semantischen Bereichen. Das Modell wurde auf diversen Quellen trainiert, von Belletristik und wissenschaftlichen Artikeln bis hin zu YouTube-Kommentaren.

Wenn Sie mit KI interagieren, leitet Ihre Anfrage (Prompt) das Modell effektiv zu einem bestimmten Cluster.

Zum Beispiel, wenn Sie schreiben: “Sie sind ein Immobilienanwalt in New York mit 20 Jahren Erfahrung, helfen Sie mir, eine Wohnung zu kaufen”, aktiviert das Modell mehrere Cluster auf einmal: Anwalt → New York → Immobilien. Als Ergebnis erhalten Sie eine kohärente, relevante und realistische Antwort, als ob Sie tatsächlich einen erfahrenen Fachmann konsultieren würden.

Wenn die Anfrage persönliche oder philosophische Themen betrifft, wie Selbstentwicklung oder Emotionen, “wechselt” das Modell zu anderen Clustern, wie Psychologie, Philosophie oder innere Arbeit. In diesem Fall können seine Antworten überraschend menschlich und sogar therapeutisch wirken.

Jedoch kann das Modell bei zu allgemeiner oder vager Formulierung “verloren gehen” in seiner Clusterstruktur und eine Standardantwort geben, formal, distanziert und ohne emotionale Note.

Der Stil und die Tiefe der Antwort von KI hängen davon ab, zu welchem Cluster Sie es mit Ihrem Prompt leiten.

Die Philosophie der Modellausbildung und RLHF

Künstliche Intelligenz hat verschiedene Ansätze zum Lernen. Es ist nicht so sehr eine Philosophie als eine Strategie.

Die klassische Option ist das überwachte Lernen, bei dem dem Modell eine Frage und die richtige Antwort gegeben werden. Es lernt, indem es beobachtet, was als korrekt gilt, und dann ähnliche Lösungen in der Zukunft reproduziert.

Aber ein anderer Ansatz ist RLHF (Reinforcement Learning from Human Feedback). Dies ist ein anderer Stil: Das Modell versucht etwas, erhält eine “Belohnung” für erfolgreiche Aktionen und passt sein Verhalten an. Allmählich entwickelt es eine effektive Strategie.

RLHF kann mit dem Prozess des Umformens von Rohmaterial in ein Fertigprodukt verglichen werden. Um ein Modell zu erstellen, das benutzerfreundlich ist, ist eine enorme Menge an Arbeit mit menschlichem Feedback erforderlich.

Stellen Sie sich vor, ich zeige Ihnen ein Objekt, ohne es direkt zu benennen. Sie zögern: “Ist es ein Zigarettenetui? Ein Kartenausweis?” Ich gebe nur Hinweise wie: “Näher”, “Weiter”, “60% ja”. Nach hunderten solcher Iterationen erraten Sie: “Ach, es ist ein Geldbeutel”.

LLMs werden auf diese Weise trainiert. Menschen, Annotatoren und Fachleute im Allgemeinen bewerten: Diese Antwort ist gut, diese ist schlecht, und ordnen Punkte zu. Unternehmen wie Keymakr, die sich auf hochwertige Datenannotation und -validierung spezialisieren, spielen eine Schlüsselrolle in diesem Prozess. Feedback kommt auch von gewöhnlichen Benutzern: Likes, Beschwerden und Reaktionen. Das Modell interpretiert diese Signale und bildet Verhaltensmuster.

Wie die Modellausbildung in der Praxis aussieht

Ein lebendiges Beispiel ist OpenAIs Experiment zur Ausbildung von Agenten mit Verstärkungslernen im Spiel “Verstecken und Suchen”.

Zwei Teams nahmen daran teil: die “Sucher” (rot) und die “Verstecker” (blau). Die Regeln waren einfach: Wenn ein Sucher einen Verstecker fängt, erhält er einen Punkt; wenn nicht, verliert er einen. Anfangs hatten die Agenten nur grundlegende physische Fähigkeiten, Laufen und Springen, ohne vordefinierte Strategien.

Am Anfang handelten die Sucher chaotisch, und das Fangen von Gegnern geschah durch Zufall. Aber nach Millionen von Iterationen entwickelte sich ihr Verhalten. Die Verstecker begannen, umliegende Objekte zu verwenden, um Türen zu blockieren und Barrieren zu bauen. Diese Fähigkeiten entstanden ohne direkte Programmierung, rein durch wiederholte Versuche und Belohnungen für Erfolge.

Als Reaktion darauf begannen die Sucher, das Springen zu nutzen, eine Fähigkeit, die von Anfang an verfügbar war, aber bisher ignoriert wurde. Nach einer Reihe von Fehlern enthüllte die zufällige Verwendung des Springens seinen taktischen Wert. Dann komplizierten die Verstecker ihre Verteidigung weiter, indem sie Objekte aus dem Sichtfeld der Sucher entfernten und zuverlässigere Schutzräume bauten.

Das Experiment zeigte, dass durch Milliarden von Zyklen von Versuch, Fehler, Belohnungen und Strafen komplexes kooperatives Verhalten entstehen kann, ohne dass die Entwickler eingreifen müssen. Darüber hinaus begannen die Agenten, koordiniert zu handeln, obwohl Kommunikationsmechanismen nicht programmiert waren, einfach weil Teamarbeit sich als effektiver erwies.

Es ist genauso mit großen Sprachmodellen. Es ist unmöglich, alle Szenarien zu skripten: Es gibt zu viele Situationen und zu viel Variabilität in der Welt. Deshalb unterrichten wir das Modell nicht in festen Regeln; wir unterrichten es, wie es lernen kann.

Dies ist der Wert von RLHF. Ohne es bleiben LLMs und Agenten nur eine Bibliothek von Texten. Mit ihm wird es zu einem Gesprächspartner, der anpassen, sich korrigieren und im Wesentlichen weiterentwickeln kann.

Was kommt als Nächstes?

Viele fragen sich, ob die Entwicklung von LLMs und Agenten zu unerwünschten oder sogar gefährlichen Konsequenzen führen könnte.

Es ist wichtig zu verstehen, dass das, was wir heute sehen, nicht einmal ein MVP, sondern lediglich ein Prototyp ist.

Die wahre Revolution wird nicht darum gehen, uns zu helfen, einen schönen Brief zu schreiben oder ihn ins Französische zu übersetzen. Das sind kleine Dinge. Die Hauptrichtung ist die Automatisierung von Mikroaufgaben und Routineprozessen, sodass den Menschen nur noch wirklich kreative, intellektuelle Aufgaben oder Zeit zur Erholung bleiben.

Die echten Innovationen konzentrieren sich auf Agenten, Systeme, die unabhängig denken, handeln und Entscheidungen treffen können, anstatt eines Menschen. Genau darauf konzentrieren sich Unternehmen wie OpenAI, Google, Meta und andere heute.

Große Sprachmodelle sind nur die Grundlage. Die wahre Zukunft liegt in Agenten, die trainiert sind, in einer dynamischen Welt zu leben, Feedback zu erhalten und sich an Veränderungen anzupassen.