Wenn KI wie Menschen denkt: Erforschung des Geistes von LLMs und Agenten

Heute lernen LLMs und Agenten auf eine Weise, die die Grenze zwischen ihrem algorithmischen “Denken” und dem menschlichen Geist verwischt. Die Ansätze, auf denen sie aufbauen, ahmen bereits unsere kognitiven Prozesse nach, und der Umfang ihrer Ausbildung übertrifft die menschliche Erfahrung um Größenordnungen. Dies wirft die Frage auf: Erstellen wir ein Werkzeug, das unsere Fähigkeiten erweitert, oder geben wir einem neuen Typ von Geist Raum, dessen Konsequenzen noch unmöglich vorherzusagen sind?

Wie denken Modelle

Es ist wichtig, die Konzepte von LLMs und Agenten zu unterscheiden. Um eine Analogie mit einem Computer zu ziehen, kann ein LLM mit einem seiner Komponenten, zum Beispiel dem Prozessor, verglichen werden. Ein Agent hingegen ist das gesamte System, eine “Mainboard”, an die verschiedene Module angeschlossen sind: Speicher, Grafikkarte und Netzwerk. Ähnlich ist ein Agent ein komplexes System, das ein oder mehrere LLMs umfassen kann, ergänzt durch Entscheidungsmechanismen und Werkzeuge zur Interaktion mit der externen Umgebung.

Wenn wir die Arbeit eines einzelnen LLMs betrachten, läuft alles auf Mustererkennung hinaus. Wenn jedoch ein Agent mehrere LLMs verbindet, können wir sagen, dass es “denkt”, obwohl dieser Prozess immer noch auf Mustern basiert. Der Agent konstruiert die Logik der Interaktion zwischen den Modellen: Zum Beispiel analysiert ein LLM die Aufgabe, und basierend auf dieser Analyse bestimmt der Agent, welche Aktion ein anderes LLM ausführen soll.

Menschliches Denken funktioniert auf ähnliche Weise: Wir verlassen uns auf angehäuftes Wissen und Muster, wählen sie im richtigen Moment aus, verarbeiten sie und formulieren Schlussfolgerungen. Dieser Prozess wird als Argumentation bezeichnet.

ChatGPT hat, ähnlich wie ein Mensch, zwei Arten von Gedächtnis: Kurzzeit- und Langzeitgedächtnis. Der Unterschied liegt darin, dass der Zugriff auf diese Gedächtnisebenen bei Menschen komplexer und nicht immer linear ist.

Kurzzeitgedächtnis ist die Information, mit der wir gerade arbeiten. Für eine Person könnte es das sein, was sie vor fünf Minuten gesagt hat: Sie erinnert sich vielleicht daran oder nicht. GPT hingegen berücksichtigt immer alles innerhalb seines “Kontextfensters” – es kann diese Daten nicht überspringen oder ignorieren.

Langzeitgedächtnis bei Menschen besteht aus Erinnerungen, die nicht immer aktiv sind und nur mit bestimmten Auslösern auftauchen: Eine Kindheitserinnerung, ein Trauma oder beispielsweise die Arbeit mit einem Psychologen. GPT hat eine ähnliche Logik: Es “erinnert” sich nicht an Informationen, es sei denn, sie werden speziell aktiviert. Zum Beispiel kann ein Hinweis wie “Stellen Sie mir diese Frage nie wieder” oder “Sprechen Sie mich immer formell an” im Langzeitgedächtnis gespeichert und in jeder Sitzung angewendet werden.

Ein weiteres Beispiel für Langzeitgedächtnis sind gespeicherte Dokumente. Nehmen wir an, Sie haben GPT eine Anleitung für die Durchführung von Marketingforschung hochgeladen. Das Modell kann es im Gedächtnis speichern, aber das bedeutet nicht, dass es auf dieses Dokument bei jeder Frage Bezug nimmt. Wenn Sie fragen: “Kann ich eine Taschenlampe auf den Mond richten?”, wird GPT die Anleitung ignorieren. Wenn jedoch die Anfrage Schlüsselwörter enthält, die dem Text des Dokuments entsprechen, kann das Modell es “wiedererinnern”.

Dieser Mechanismus wird durch RAG (Retrieval-Augmented Generation) implementiert, einem Ansatz, bei dem das Modell durch relevante Hinweise über Vektordatenbanken Zugriff auf gespeicherte Informationen erhält.

Somit kann gesagt werden, dass das Modell tatsächlich ein Gedächtnis hat, aber es funktioniert nach einer anderen, formalisierten Logik, die sich von der menschlichen Erinnerung unterscheidet.

Warum fühlt sich ein Gespräch mit KI manchmal therapeutisch an und manchmal kalt und roboterhaft?

Moderne Sprachmodelle sind extrem groß: Sie speichern eine enorme Menge an Daten, Wissen und Kontext. All diese Informationen sind in sogenannten “Clustern” organisiert, thematischen und semantischen Bereichen. Das Modell wurde auf diversen Quellen trainiert, von Belletristik und wissenschaftlichen Artikeln bis hin zu YouTube-Kommentaren.

Wenn Sie mit KI interagieren, leitet Ihre Anfrage (Prompt) das Modell effektiv zu einem bestimmten Cluster.

Wenn Sie zum Beispiel schreiben: “Sie sind ein Immobilienanwalt in New York mit 20 Jahren Erfahrung, helfen Sie mir, eine Wohnung zu kaufen”, aktiviert das Modell mehrere Cluster auf einmal: Anwalt → New York → Immobilien. Als Ergebnis erhalten Sie eine kohärente, relevante und realistische Antwort, als ob Sie tatsächlich einen erfahrenen Fachmann konsultieren würden.

Wenn die Anfrage persönlichere oder philosophischere Themen wie Selbstentwicklung oder Emotionen betrifft, “wechselt” das Modell zu anderen Clustern, wie Psychologie, Philosophie oder innere Arbeit. In diesem Fall können seine Antworten überraschend menschlich und sogar therapeutisch erscheinen.

Bei zu allgemeiner oder vager Formulierung “verliert sich” das Modell jedoch in seiner Clusterstruktur und gibt eine Standardantwort, formal, distanziert und ohne emotionale Note.

Der Stil und die Tiefe der Antwort der KI hängen von dem Cluster ab, den Sie mit Ihrem Prompt ansteuern.

Die Philosophie der Modellausbildung und RLHF

Künstliche Intelligenz hat verschiedene Ansätze zum Lernen. Es ist nicht so sehr eine Philosophie als eine Strategie.

Die klassische Option ist das überwachte Lernen, bei dem dem Modell eine Frage und die richtige Antwort gegeben wird. Es lernt, indem es beobachtet, was als richtig gilt, und dann ähnliche Lösungen in der Zukunft reproduziert.

Ein anderer Ansatz ist RLHF (Reinforcement Learning from Human Feedback). Dies ist ein anderer Stil: Das Modell versucht etwas, erhält eine “Belohnung” für erfolgreiche Aktionen und passt sein Verhalten an. Allmählich entwickelt es eine effektive Strategie.

RLHF kann mit dem Prozess des Umformens von Rohmaterial in ein Fertigprodukt verglichen werden. Um ein Modell zu erstellen, das benutzerfreundlich ist, ist eine enorme Menge an Arbeit mit menschlichem Feedback erforderlich.

Stellen Sie sich vor, ich zeige Ihnen ein Objekt, ohne es direkt zu benennen. Sie zögern: “Ist es ein Zigarettenetui? Ein Kartenausweis?” Ich gebe nur Hinweise wie: “Näher”, “Weiter”, “60% ja”. Nach hunderten solcher Iterationen erraten Sie: “Ah, es ist ein Geldbeutel.”

LLMs werden auf diese Weise trainiert. Menschen, Annotatoren und Fachleute im Allgemeinen bewerten: Diese Antwort ist gut, diese ist schlecht, und ordnen Punkte zu. Unternehmen wie Keymakr, die sich auf hochwertige Datenannotation und -validierung spezialisieren, spielen eine Schlüsselrolle in diesem Prozess. Feedback kommt auch von gewöhnlichen Benutzern: Likes, Beschwerden und Reaktionen. Das Modell interpretiert diese Signale und bildet Verhaltensmuster.

Wie sieht die Modellausbildung in der Praxis aus

Ein lebendiges Beispiel ist OpenAIs Experiment zur Ausbildung von Agenten mit Verstärkungslernen im Spiel “Versteckspiel”.

Zwei Teams nahmen daran teil: die “Sucher” (rot) und die “Verstecker” (blau). Die Regeln waren einfach: Wenn ein Sucher einen Verstecker fängt, erhält er einen Punkt; wenn nicht, verliert er einen. Anfangs hatten die Agenten nur grundlegende physische Fähigkeiten, Laufen und Springen, ohne vordefinierte Strategien.

Am Anfang handelten die Sucher chaotisch, und das Fangen von Gegnern geschah durch Zufall. Aber nach Millionen von Iterationen entwickelte sich ihr Verhalten. Die Verstecker begannen, umgebende Objekte zu verwenden, um Türen zu blockieren und Barrieren zu bauen. Diese Fähigkeiten entstanden ohne direkte Programmierung, rein durch wiederholte Versuche und Belohnungen für Erfolge.

Als Reaktion darauf begannen die Sucher, das Springen zu nutzen, eine Fähigkeit, die von Anfang an verfügbar war, aber bisher ignoriert wurde. Nach einer Reihe von Fehlern enthüllte die zufällige Verwendung des Springens seinen taktischen Wert. Dann komplizierten die Verstecker ihre Verteidigung weiter, indem sie Objekte aus dem Sichtfeld der Sucher entfernten und sicherere Schutzräume bauten.

Das Experiment zeigte, dass durch Milliarden von Zyklen von Versuch, Fehler, Belohnungen und Strafen komplexes kooperatives Verhalten entstehen kann, ohne dass der Entwickler eingreift. Darüber hinaus begannen die Agenten, koordiniert zu handeln, obwohl Kommunikationsmechanismen nicht programmiert waren, einfach weil Teamarbeit effektiver erwies.

Es ist dasselbe mit großen Sprachmodellen. Es ist unmöglich, alle Szenarien zu skripten: Es gibt zu viele Situationen und zu viel Variabilität in der Welt. Deshalb unterrichten wir das Modell nicht in festen Regeln; wir unterrichten es, wie es lernen kann.

Dies ist der Wert von RLHF. Ohne es bleiben LLMs und Agenten nur eine Bibliothek von Texten. Mit ihm wird es zu einem Gesprächspartner, der anpassen, sich korrigieren und im Wesentlichen evolvieren kann.

Was kommt als Nächstes?

Viele fragen sich, ob die Entwicklung von LLMs und Agenten zu unerwünschten oder sogar gefährlichen Konsequenzen führen könnte.

Es ist wichtig zu verstehen, dass das, was wir heute sehen, nicht einmal ein MVP, sondern nur ein Prototyp ist.

Die wahre Revolution wird nicht darin bestehen, uns zu helfen, einen schönen Brief zu schreiben oder ihn ins Französische zu übersetzen. Das sind Kleinigkeiten. Die Hauptrichtung ist die Automatisierung von Mikroaufgaben und Routineprozessen, sodass den Menschen nur noch wirklich kreative, intellektuelle Aufgaben oder Zeit für Erholung bleiben.

Die echten Innovationen konzentrieren sich auf Agenten, Systeme, die unabhängig denken, handeln und Entscheidungen treffen können, anstatt eines Menschen. Genau hier konzentrieren sich Unternehmen wie OpenAI, Google, Meta und andere heute ihre Bemühungen.

Große Sprachmodelle sind nur die Grundlage. Die wahre Zukunft liegt in Agenten, die in einer dynamischen Welt trainiert sind, Feedback erhalten und sich an Veränderungen anpassen.