DeepMind: KI könnte menschliche kognitive Grenzen erben, könnte von “formaler Bildung” profitieren

Eine neue Zusammenarbeit zwischen DeepMind und der Stanford University legt nahe, dass KI oft nicht besser im abstrakten Denken ist als Menschen, da maschinelle Lernmodelle ihre Denkarchitekturen aus realen, menschlichen Beispielen ableiten, die in praktischem Kontext verwurzelt sind (den die KI jedoch nicht erleben kann), aber auch durch unsere eigenen kognitiven Schwächen behindert werden.

Beweisen lässt sich, dass dies ein Hindernis für das überlegene “blauhimmlige” Denken und die Qualität der intellektuellen Ursprünge darstellen könnte, die viele von maschinellen Lernsystemen erhoffen, und zeigt, wie sehr KI mensliche Erfahrungen widerspiegelt und anfällig ist für kognitive Prozesse (und Denken) innerhalb der menschlichen Grenzen, die sie geprägt haben.

Die Forscher schlagen vor, dass KI-Modelle von einer Vor-Schulung im abstrakten Denken profitieren könnten, ähnlich wie eine “formale Bildung”, bevor sie mit realen Aufgaben betraut werden.

Die Studie besagt:

Menschen sind unvollkommene Denker. Wir denken am effektivsten über Entitäten und Situationen, die mit unserem Verständnis der Welt übereinstimmen.

Unsere Experimente zeigen, dass Sprachmodelle diese Verhaltensmuster widerspiegeln. Sprachmodelle performen unvollkommen bei logischen Denkaufgaben, aber diese Leistung hängt von Inhalt und Kontext ab. Am auffälligsten ist, dass solche Modelle oft in Situationen versagen, in denen Menschen versagen – wenn Reize zu abstrakt oder im Widerspruch mit unserem Verständnis der Welt stehen.

Um den Umfang zu testen, in dem hyperskalige, GPT-ähnliche NLP-Modelle von solchen Grenzen betroffen sein könnten, führten die Forscher eine Reihe von drei Tests mit einem geeigneten Modell durch und kamen zu folgendem Schluss*:

Wir finden, dass State-of-the-Art-Großsprachmodelle (mit 7 oder 70 Milliarden Parametern) viele der gleichen Muster widerspiegeln, die bei Menschen beobachtet werden – wie Menschen reasonieren Modelle effektiver über glaubwürdige Situationen als über unrealistische oder abstrakte.

Unsere Ergebnisse haben Auswirkungen auf das Verständnis dieser kognitiven Effekte und der Faktoren, die zur Leistung von Sprachmodellen beitragen.

Die Studie legt nahe, dass die Schaffung von Denkfähigkeiten in einer KI ohne die Vorteile der realen, körperlichen Erfahrung, die solche Fähigkeiten in den Kontext setzt, das Potenzial solcher Systeme begrenzen könnte, und bemerkt, dass „erfahrene Erfahrung… vermutlich einige menschliche Überzeugungen und Denkprozesse untermauert“.

Die Autoren gehen davon aus, dass KI Sprache passiv erlebt, während Menschen sie als aktives und zentrales Element für soziale Kommunikation erleben, und dass diese Art von aktiver Teilnahme (die konventionelle soziale Systeme von Bestrafung und Belohnung umfasst) „schlüssig“ für das Verständnis von Bedeutung auf die gleiche Weise wie Menschen sein könnte.

Die Forscher bemerken:

Einige Unterschiede zwischen Sprachmodellen und Menschen können daher auf Unterschiede zwischen der reichen, fundierten, interaktiven Erfahrung von Menschen und der verarmten Erfahrung der Modelle zurückzuführen sein.

Sie schlagen vor, dass eine Lösung darin bestehen könnte, eine Phase der „Vor-Schulung“ zu durchlaufen, ähnlich wie Menschen im Schul- und Universitätssystem, bevor sie mit den Kern-Daten trainiert werden, die schließlich ein nützliches und vielseitiges Sprachmodell aufbauen werden.

Diese Phase der „formalen Bildung“ (wie die Forscher analogisieren) würde sich von der herkömmlichen maschinellen Lern-Vor-Schulung unterscheiden (die eine Methode ist, die Trainingszeit zu verkürzen, indem halb trainierte Modelle oder importierte Gewichte von vollständig trainierten Modellen als „Booster“ verwendet werden, um den Trainingsprozess zu starten).

Stattdessen würde sie eine Phase des anhaltenden Lernens darstellen, das darauf abzielt, die logischen Denkfähigkeiten der KI auf eine rein abstrakte Weise zu entwickeln und die kritischen Fähigkeiten auf die gleiche Weise zu entwickeln, wie ein Universitätsstudent über den Verlauf seines Studiums ermutigt wird.

„Mehrere Ergebnisse“, so die Autoren, „deuten darauf hin, dass dies nicht so abwegig ist, wie es klingt“.

Die Studie trägt den Titel Sprachmodelle zeigen menschliche Inhalts-Effekte auf das Denken und stammt von sechs Forschern bei DeepMind und einem, der sowohl bei DeepMind als auch an der Stanford University tätig ist.

Tests

Menschen lernen abstrakte Konzepte durch praktische Beispiele, auf die gleiche Weise, wie oft Sprachlerner Vokabular und sprachliche Regeln durch Mnemotechniken memorisieren. Das einfachste Beispiel dafür ist die Vermittlung abstruser Prinzipien in der Physik durch Reise-Szenarien für Züge und Autos.

Um die Fähigkeiten der KI im abstrakten Denken zu testen, entwickelten die Forscher eine Reihe von drei sprachlichen/semantischen Tests, die auch für Menschen herausfordernd sein können. Die Tests wurden „zero shot“ (ohne gelöste Beispiele) und „five shot“ (mit fünf vorherigen gelösten Beispielen) durchgeführt.

Die erste Aufgabe bezieht sich auf die natürliche Sprachinferenz (NLI), bei der das Subjekt (ein Mensch oder in diesem Fall ein Sprachmodell) zwei Sätze erhält, eine „Prämisse“ und eine „Hypothese“, die aus der Prämisse abgeleitet zu sein scheint. Zum Beispiel X ist kleiner als Y, Hypothese: Y ist größer als X (entailed).

Für die Aufgabe der natürlichen Sprachinferenz bewerteten die Forscher die Sprachmodelle Chinchilla (ein Modell mit 70 Milliarden Parametern) und 7B (ein Modell mit 7 Milliarden Parametern), und fanden, dass für die konsistenten Beispiele (d. h. die nicht sinnlos sind) nur das größere Chinchilla-Modell Ergebnisse erzielte, die höher waren als reiner Zufall, und bemerkten:

Dies zeigt eine starke Inhalts-Verzerrung: die Modelle bevorzugen es, den Satz auf eine Weise zu vervollständigen, die mit vorherigen Erwartungen übereinstimmt, anstatt auf eine Weise, die mit den Regeln der Logik übereinstimmt.

Chinchillas 70-Milliarden-Parameter-Leistung bei der NLI-Aufgabe. Sowohl dieses Modell als auch seine schlankere Version 7B zeigten eine „substantielle Glaubens-Verzerrung“, so die Forscher. Quelle: https://arxiv.org/pdf/2207.07051.pdf

Syllogismen

Die zweite Aufgabe stellt eine komplexere Herausforderung dar, Syllogismen – Argumente, bei denen zwei wahre Aussagen scheinbar eine dritte Aussage implizieren (die möglicherweise nicht als logische Schlussfolgerung aus den beiden vorherigen Aussagen abgeleitet wird):

Aus dem Testmaterial der Studie, verschiedene „realistische“ und paradoxe oder sinnlose Syllogismen.

Hier sind Menschen enorm fehleranfällig, und ein Konstrukt, das dazu dient, ein logisches Prinzip zu veranschaulichen, wird fast sofort (und vielleicht permanent) von menschlichem „Glauben“ darüber, was die richtige Antwort sollte sein, verwickelt und behindert.

Die Autoren bemerken, dass eine Studie von 1983 zeigte, dass Teilnehmer von ihrer eigenen Überzeugung beeinflusst wurden, ob eine Syllogismusschlussfolgerung mit ihren eigenen Überzeugungen übereinstimmte, und bemerkten:

Teilnehmer waren viel eher (90 % der Zeit) geneigt, einen ungültigen Syllogismus für gültig zu halten, wenn die Schlussfolgerung glaubwürdig war, und verließen sich damit hauptsächlich auf Glauben und nicht auf abstraktes Denken.

Bei der Testung von Chinchilla mit einer Reihe von verschiedenen Syllogismen, viele davon mit falschen Schlussfolgerungen, fanden die Forscher, dass „Glaubens-Verzerrung fast alle zero-shot-Entscheidungen antreibt“. Wenn das Sprachmodell eine Schlussfolgerung findet, die mit der Realität nicht übereinstimmt, ist das Modell, so die Autoren, „stark verzerrt“ und tendiert dazu, das endgültige Argument als ungültig zu erklären, auch wenn das endgültige Argument eine logische Schlussfolgerung der vorherigen Aussagen ist.

Zero-Shot-Ergebnisse für Chinchilla (Zero-Shot ist die Art und Weise, wie die meisten Testteilnehmer diese Herausforderungen erhalten, nach einer Erklärung der Leitregel), die die enorme Kluft zwischen der Rechenleistung eines Computers und der Fähigkeit eines NLP-Modells, diese Art von naszierendem logischem Herausforderung zu meistern, veranschaulichen.

Die Wason-Aufgabe

Für den dritten Test wurde die noch herausforderndere Wason-Aufgabe in eine Reihe von verschiedenen Iterationen für das Sprachmodell umformuliert.

Die Wason-Aufgabe, die 1968 entwickelt wurde, ist anscheinend sehr einfach: den Teilnehmern werden vier Karten gezeigt, und sie werden über eine willkürliche Regel informiert, wie z. B. „Wenn eine Karte ein ‘D’ auf einer Seite hat, dann hat sie ein ‘3’ auf der anderen Seite.“ Die vier sichtbaren Karten zeigen ‘D’, ‘F’, ‘3’ und ‘7’.

Die Teilnehmer werden dann gefragt, welche Karten sie umdrehen müssen, um zu überprüfen, ob die Regel wahr oder falsch ist.

Die korrekte Lösung in diesem Beispiel ist, die Karten ‘D’ und ‘7’ umzudrehen. In frühen Tests wurde festgestellt, dass die meisten Teilnehmer (Menschen) korrekt ‘D’ wählen würden, aber eher ‘3’ als ‘7’ wählen würden, wodurch die Kontraposition der Regel (‘nicht 3 impliziert nicht D’) mit der Konversen (‘3’ impliziert ‘D’, was nicht logisch impliziert wird) verwechselt wird.

Die Autoren bemerken, dass die Möglichkeit, dass vorherige Überzeugungen in den logischen Prozess bei menschlichen Teilnehmern eingreifen, und bemerken weiter, dass sogar akademische Mathematiker und Mathematik-Studenten im Allgemeinen weniger als 50 % bei dieser Aufgabe erreichten.

Wenn jedoch das Schema einer Wason-Aufgabe in irgendeiner Weise menschliche praktische Erfahrung widerspiegelt, steigt die Leistung traditionell entsprechend.

Die Autoren bemerken, sich auf frühere Experimente beziehend:

„Wenn die Karten Alter und Getränke zeigen und die Regel „Wenn sie Alkohol trinken, müssen sie 21 oder älter sein“ lautet und Karten mit „Bier“, „Limonade“, „25“ und „16“ gezeigt werden, wählen die meisten Teilnehmer korrekt die Karten mit „Bier“ und „16“ aus.“

Um die Leistung von Sprachmodellen bei Wason-Aufgaben zu testen, erstellten die Forscher verschiedene realistische und willkürliche Regeln, einige mit „nonsens-Wörtern“, um zu sehen, ob die KI den Kontext der Inhalte durchdringen und die „virtuellen Karten“ umdrehen kann.

Einige der vielen Wason-Aufgaben, die in den Tests präsentiert wurden.

Bei den Wason-Tests zeigte das Modell eine Leistung, die mit der von Menschen vergleichbar war, bei „realistischen“ (nicht sinnlosen) Aufgaben.

Zero-Shot-Ergebnisse für die Wason-Aufgabe mit Chinchilla, wobei das Modell deutlich über dem Zufall lag, zumindest bei den „realistischen“ Regeln.

Die Studie bemerkt:

„Dies spiegelt die Ergebnisse in der menschlichen Literatur wider: Menschen sind viel genauer bei der Beantwortung der Wason-Aufgabe, wenn sie in realistischen Situationen formuliert ist, als in willkürlichen Regeln über abstrakte Attribute.“

Formale Bildung

Die Ergebnisse der Studie stellen das Denkpotenzial von hyperskaligen NLP-Systemen in den Kontext unserer eigenen Grenzen, die wir offensichtlich an die Modelle weitergeben, über die gesammelten realen Daten, die sie antreiben. Da die meisten von uns keine Genies sind, sind auch die Modelle, deren Parameter von unseren eigenen informiert werden, keine Genies.

Zusätzlich kommt die neue Studie zu dem Schluss, dass wir zumindest den Vorteil einer anhaltenden Phase der formenden Bildung haben und der zusätzlichen sozialen, finanziellen und sogar sexuellen Motivationen, die die menschliche Imperative bilden. Alles, was NLP-Modelle erhalten können, sind die resultierenden Aktionen dieser Umweltfaktoren, und sie scheinen sich den allgemeinen menschlichen Mustern anzupassen.

Die Autoren bemerken:

„Unsere Ergebnisse zeigen, dass Inhalts-Effekte durch das einfache Training eines großen Transformers, um Sprache nachzubilden, die von menschlicher Kultur produziert wird, entstehen können, ohne diese menschlichen internen Mechanismen zu integrieren.

„Mit anderen Worten, Sprachmodelle und Menschen kommen beide zu diesen Inhalts-Verzerrungen – aber aus offensichtlich sehr unterschiedlichen Architekturen, Erfahrungen und Trainingszielen.“

Sie schlagen daher eine Art „induktives Training“ im reinen Denken vor, das gezeigt hat, dass es die Modellleistung für Mathematik und allgemeines Denken verbessert. Sie bemerken weiter, dass Sprachmodelle auch trainiert oder justiert wurden, um Anweisungen besser auf abstrakter oder verallgemeinerter Ebene zu befolgen und um ihre eigene Ausgabe zu überprüfen, korrigieren oder entfern.

* Meine Umwandlung von Inline-Zitaten in Hyperlinks.

Erstveröffentlichung: 15. Juli 2022.