Wenn KI wie Menschen denkt: Die Denkweise von LLMs und Agenten erforschen

Heutzutage lernen, analysieren und treffen LLMs und Agenten auf eine Weise, die die Grenze zwischen ihrem algorithmischen „Denken“ und dem menschlichen Verstand verschwimmen lässt. Die Ansätze, auf denen sie basieren, ahmen bereits unsere kognitiven Prozesse nach, und der Umfang ihres Trainings übertrifft die menschliche Erfahrung um ein Vielfaches. Dies wirft die Frage auf: Erschaffen wir ein Werkzeug, das unsere Fähigkeiten erweitert, oder schaffen wir einen neuen Geistestyp, dessen Folgen noch immer unvorhersehbar sind?

Wie denken Models?

Es ist wichtig, zwischen den Konzepten LLMs und Agenten zu unterscheiden. Um eine Analogie zu einem Computer zu ziehen: Ein LLM kann mit einer seiner Komponenten verglichen werden, beispielsweise dem Prozessor. Ein Agent hingegen ist das gesamte System, eine Art „Motherboard“, an das verschiedene Module angeschlossen sind: Speicher, Grafikkarte und Netzwerk. Ebenso ist ein Agent ein komplexes System, das ein oder mehrere LLMs enthalten kann, ergänzt durch Entscheidungsmechanismen und Werkzeuge für die Interaktion mit der externen Umgebung.

Betrachtet man die Arbeit eines einzelnen LLM, läuft alles auf Musterabgleich hinaus. Verkettet ein Agent jedoch mehrere LLMs, kann man sagen, er „denkt“, obwohl dieser Prozess immer noch auf Mustern basiert. Der Agent konstruiert die Logik der Interaktion zwischen Modellen: Beispielsweise analysiert ein LLM die Aufgabe und bestimmt basierend auf dieser Analyse, welche Aktion ein anderes LLM ausführen soll.

Das menschliche Denken funktioniert ähnlich: Wir greifen auf angesammeltes Wissen und Muster zurück, wählen diese im richtigen Moment aus, verarbeiten sie und formulieren daraus Schlussfolgerungen. Diesen Prozess nennt man logisches Denken.

ChatGPT verfügt wie der Mensch über zwei Arten von Gedächtnis: Kurzzeitgedächtnis und Langzeitgedächtnis. Der Unterschied besteht darin, dass der Zugriff auf diese Gedächtnisebenen beim Menschen komplexer und nicht immer linear ist.

Das Kurzzeitgedächtnis umfasst Informationen, mit denen wir gerade arbeiten. Für eine Person kann es sich beispielsweise um das handeln, was Sie vor fünf Minuten gesagt haben: Sie kann sich daran erinnern oder auch nicht. GPT berücksichtigt jedoch immer alles innerhalb seines „Kontextfensters“ – es kann diese Daten nicht überspringen oder ignorieren.

Das menschliche Langzeitgedächtnis besteht aus Erinnerungen, die nicht immer aktiv sind und nur bei bestimmten Auslösern an die Oberfläche kommen: einer Kindheitserinnerung, einem Trauma oder beispielsweise der Zusammenarbeit mit einem Psychologen. Die GPT folgt einer ähnlichen Logik: Sie „ruft“ Informationen nicht von selbst ab, es sei denn, sie werden gezielt aktiviert. Beispielsweise kann eine Anweisung wie „Stellen Sie mir diese Frage nie wieder“ oder „Sprich mich immer förmlich an“ im Langzeitgedächtnis gespeichert und bei jeder Sitzung angewendet werden.

Ein weiteres Beispiel für Langzeitgedächtnis sind gespeicherte Dokumente. Angenommen, Sie haben eine Anweisung zur Durchführung einer Marktforschung in GPT hochgeladen. Das Modell kann sie zwar speichern, das heißt aber nicht, dass es bei jeder Frage auf das Dokument zurückgreift. Wenn Sie fragen: „Können Sie mit einer Taschenlampe auf den Mond leuchten?“, ignoriert GPT die Anweisung. Enthält die Anfrage jedoch Schlüsselwörter, die mit dem Text des Dokuments übereinstimmen, kann das Modell sie „abrufen“.

Dieser Mechanismus wird implementiert durch RAG (Retrieval-Augmented Generation), ein Ansatz, bei dem das Modell über Vektordatenbanken auf gespeicherte Informationen zugreift, die durch relevante Hinweise ausgelöst werden.

Man kann also sagen, dass das Modell tatsächlich über ein Gedächtnis verfügt, es funktioniert jedoch nach einer anderen, formalisierteren Logik, die sich vom menschlichen Gedächtnis unterscheidet.

Warum fühlt sich ein Gespräch mit KI manchmal therapeutisch an und manchmal kalt und roboterhaft?

Moderne Sprachmodelle sind extrem umfangreich: Sie speichern enorme Mengen an Daten, Wissen und Kontext. All diese Informationen sind in sogenannten „Clustern“, thematischen und semantischen Bereichen, organisiert. Das Modell wurde anhand unterschiedlicher Quellen trainiert, von Belletristik und wissenschaftlichen Artikeln bis hin zu YouTube-Kommentaren.

Wenn Sie mit KI interagieren, leitet Ihre Abfrage (Eingabeaufforderung) das Modell effektiv zu einem bestimmten Cluster weiter.

Wenn Sie beispielsweise schreiben: „Sie sind ein Immobilienanwalt in New York mit 20 Jahren Erfahrung, helfen Sie mir beim Kauf einer Wohnung“, aktiviert das Modell mehrere Cluster gleichzeitig: Anwalt → New York → Immobilien. Als Ergebnis erhalten Sie eine schlüssige, relevante und realistische Antwort, als ob Sie tatsächlich einen erfahrenen Fachmann konsultieren würden.

Betrifft die Frage eher persönliche oder philosophische Themen wie Selbstentwicklung oder Emotionen, „verlagert“ sich das Modell auf andere Cluster wie Psychologie, Philosophie oder innere Arbeit. In diesem Fall können die Antworten überraschend menschlich und sogar therapeutisch wirken.

Bei zu allgemeiner oder vager Formulierung kann das Modell jedoch „geht verloren” in seiner Clusterstruktur und gibt eine Standardantwort, formell, distanziert und ohne emotionalen Ton.

Stil und Tiefe der Antwort der KI hängen davon ab, auf welchen Cluster Sie sie mit Ihrer Eingabeaufforderung lenken.

Die Philosophie des Modelltrainings und RLHF

Künstliche Intelligenz verfolgt unterschiedliche Lernansätze. Es handelt sich weniger um eine Philosophie als vielmehr um eine Strategie.

Die klassische Variante ist das überwachte Lernen. Dabei erhält das Modell eine Frage und die richtige Antwort. Es lernt durch Beobachtung, was als richtig erachtet wird und reproduziert in Zukunft ähnliche Lösungen.

Aber ein anderer Ansatz ist RLHF (Verstärkendes Lernen durch menschliches Feedback). Dies ist ein anderer Stil: Das Modell probiert etwas aus, erhält für erfolgreiche Aktionen eine „Belohnung“ und passt sein Verhalten an. Nach und nach entwickelt es eine wirksame Strategie.

RLHF lässt sich mit dem Prozess vergleichen, bei dem aus Rohmaterial ein fertiges Produkt entsteht. Um ein benutzerfreundliches Modell zu erstellen, ist ein enormer Arbeitsaufwand mit menschlichem Feedback erforderlich.

Stellen Sie sich vor, ich zeige Ihnen einen Gegenstand, ohne ihn direkt zu benennen. Sie zögern: „Ist das ein Zigarettenetui? ​​Ein Kartenetui?“ Ich gebe nur Hinweise wie: „Näher“, „Weiter“, „60 % ja“. Nach Hunderten solcher Wiederholungen raten Sie: „Ah, es ist eine Brieftasche.“

LLMs werden auf diese Weise trainiert. Menschen, Kommentatoren und Fachleute im Allgemeinen bewerten: Diese Antwort ist gut, diese ist schlecht und vergeben Punkte. Unternehmen wie Schlüsselmarker, die auf hochwertige Datenannotation und -validierung spezialisiert sind, spielen in diesem Prozess eine Schlüsselrolle. Feedback kommt auch von normalen Benutzern: Likes, Beschwerden und Reaktionen. Das Modell interpretiert diese Signale und bildet Verhaltensmuster.

So sieht Modelltraining in der Praxis aus

A Ein anschauliches Beispiel ist das Experiment von OpenAI Training von Agenten mithilfe von Reinforcement Learning im Spiel „Verstecken“.

Zwei Teams nahmen daran teil: die „Sucher“ (rot) und die „Verstecker“ (blau). Die Regeln waren einfach: Fängt ein Sucher einen Versteckten, erhält er einen Punkt; andernfalls verliert er einen. Anfangs verfügten die Agenten nur über grundlegende körperliche Fähigkeiten wie Laufen und Springen, ohne vordefinierte Strategien.

Zu Beginn agierten die Sucher chaotisch und das Einfangen ihrer Gegner geschah zufällig. Doch nach Millionen von Iterationen entwickelte sich ihr Verhalten weiter. Die Verstecker begannen, umliegende Objekte zu nutzen, um Türen zu blockieren und Barrieren zu errichten. Diese Fähigkeiten entstanden ohne direkte Programmierung, allein durch wiederholte Versuche und Belohnungen für den Erfolg.

Als Reaktion darauf begannen die Sucher, das Springen zu nutzen, eine Fähigkeit, die ihnen von Anfang an zur Verfügung stand, aber zuvor ignoriert worden war. Nach einer Reihe von Fehlschlägen zeigte sich der taktische Wert des zufälligen Springens. Anschließend erschwerten die Versteckten ihre Verteidigung weiter, indem sie Objekte aus dem Blickfeld der Sucher entfernten und zuverlässigere Unterstände bauten.

Das Experiment zeigte, dass sich durch Milliarden von Zyklen aus Versuch, Irrtum, Belohnung und Bestrafung komplexes kooperatives Verhalten ohne Eingriff des Entwicklers entwickeln kann. Darüber hinaus begannen die Agenten, koordiniert zu handeln, obwohl keine Kommunikationsmechanismen programmiert waren – einfach weil sich Teamarbeit als effektiver erwies.

Dasselbe gilt für große Sprachmodelle. Es ist unmöglich, alle Szenarien zu skripten: Es gibt zu viele Situationen und zu viele Variabilitäten in der Welt. Deshalb bringen wir dem Modell keine festen Regeln bei, sondern das Lernen.

Dies ist der Wert von RLHF. Ohne RLHF bleiben ein LLM und seine Agenten lediglich eine Textbibliothek. Mit RLHF werden sie zu einem Gesprächspartner, der sich anpassen, korrigieren und im Wesentlichen weiterentwickeln kann.

Was kommt als nächstes?

Viele fragen sich, ob LLMs und Agentenentwicklungen zu unerwünschten oder sogar gefährlichen Folgen führen könnten.

Es ist wichtig zu verstehen, dass das, was wir heute sehen, nicht einmal ein MVP, sondern lediglich ein Prototyp ist.

Die wahre Revolution wird nicht darin bestehen, beim Schreiben eines schönen Briefes zu helfen oder ihn ins Französische zu übersetzen. Das sind Nebensächlichkeiten. Die Hauptrichtung liegt in der Automatisierung von Mikroaufgaben und Routineprozessen, sodass den Menschen nur noch wirklich kreative, intellektuelle Aufgaben oder Zeit zum Ausruhen bleiben.

Echte Innovationen konzentrieren sich auf Agenten, also Systeme, die anstelle eines Menschen selbstständig denken, handeln und Entscheidungen treffen können. Genau hierauf konzentrieren Unternehmen wie OpenAI, Google, Meta und andere heute ihre Bemühungen.

Große Sprachmodelle sind nur die Grundlage. Die wahre Zukunft liegt in Agenten, die darauf trainiert sind, in einer dynamischen Welt zu leben, Feedback zu erhalten und sich an Veränderungen anzupassen.