DeepMind: KI könnte menschliche kognitive Einschränkungen erben, könnte von “formaler Bildung” profitieren

Eine neue Zusammenarbeit von DeepMind und der Stanford University legt nahe, dass KI oft nicht besser im abstrakten Denken ist als Menschen, weil maschinelle Lernmodelle ihre Denkarchitekturen aus realen, menschlichen Beispielen beziehen, die in einem praktischen Kontext verankert sind (den die KI jedoch nicht erleben kann), aber auch durch unsere eigenen kognitiven Schwächen behindert werden.

Bewiesen, könnte dies eine Barriere für das überlegene “Blue-Sky”-Denken und die Qualität der intellektuellen Ursprünge darstellen, die viele von maschinellen Lernsystemen erhoffen, und zeigt, in welchem Ausmaß KI mensliche Erfahrungen widerspiegelt und anfällig ist, innerhalb der menschlichen Grenzen zu denken (und zu denken), die sie informiert haben.

Die Forscher schlagen vor, dass KI-Modelle von einer Vorschulung im abstrakten Denken profitieren könnten, ähnlich wie eine “formale Bildung”, bevor sie mit realen Aufgaben betraut werden.

Das Papier besagt:

‘Menschen sind unvollkommene Denker. Wir denken am effektivsten über Entitäten und Situationen, die mit unserem Verständnis der Welt übereinstimmen.

‘Unsere Experimente zeigen, dass Sprachmodelle diese Verhaltensmuster widerspiegeln. Sprachmodelle führen unvollkommene logische Denkaufgaben aus, aber diese Leistung hängt von Inhalt und Kontext ab. Am auffälligsten ist, dass solche Modelle oft in Situationen versagen, in denen Menschen versagen — wenn Reize zu abstrakt oder im Widerspruch zu unserem Verständnis der Welt stehen.’

Um den Umfang zu testen, in dem hyperskalige, GPT-ähnliche Modelle der natürlichen Sprachverarbeitung (NLP) von solchen Einschränkungen betroffen sein könnten, führten die Forscher eine Reihe von drei Tests mit einem geeigneten Modell durch und kamen zu folgendem Schluss*:

‘Wir finden, dass state-of-the-art-Großsprachmodelle (mit 7 oder 70 Milliarden Parametern) viele der gleichen Muster aufweisen, die bei Menschen über diese Aufgaben beobachtet werden — wie Menschen reasonieren Modelle effektiver über glaubwürdige Situationen als über unrealistische oder abstrakte.’

‘Unsere Ergebnisse haben Auswirkungen auf das Verständnis dieser kognitiven Effekte und der Faktoren, die zur Leistung von Sprachmodellen beitragen.’

Das Papier legt nahe, dass die Schaffung von Denkfähigkeiten in einer KI ohne die Vorteile der realen, körperlichen Erfahrung, die solche Fähigkeiten in den Kontext setzt, das Potenzial solcher Systeme einschränken könnte, und bemerkt, dass ‘gefestigte Erfahrung… vermutlich einige menschliche Überzeugungen und Denkweisen untermauert’.

Die Autoren sind der Meinung, dass KI Sprache passiv erlebt, während Menschen sie als aktives und zentrales Element der sozialen Kommunikation erleben, und dass diese Art von aktiver Teilnahme (die konventionelle soziale Systeme von Bestrafung und Belohnung beinhaltet) ‘schlüssig’ für das Verständnis von Bedeutung auf die gleiche Weise sein könnte, wie Menschen es tun.

Die Forscher bemerken:

‘Einige Unterschiede zwischen Sprachmodellen und Menschen können daher auf Unterschiede zwischen der reichen, festen, interaktiven Erfahrung von Menschen und der verarmten Erfahrung der Modelle zurückzuführen sein.’

Sie schlagen vor, dass eine Lösung eine Periode der ‘Vorschulung’ sein könnte, ähnlich wie die, die Menschen im Schul- und Universitätssystem erleben, bevor sie mit den Kern Daten trainiert werden, die schließlich ein nützliches und vielseitiges Sprachmodell aufbauen.

Diese Periode der ‘formalen Bildung’ (wie die Forscher analogisieren) würde sich von der herkömmlichen maschinellen Lern-Vorschulung unterscheiden (die eine Methode ist, um die Trainingszeit zu verkürzen, indem halb trainierte Modelle oder importierte Gewichte von vollständig trainierten Modellen als ‘Booster’ verwendet werden, um den Trainingsprozess zu starten).

Stattdessen würde sie eine Periode des anhaltenden Lernens darstellen, das darauf abzielt, die logischen Denkfähigkeiten der KI auf eine rein abstrakte Weise zu entwickeln und die kritischen Fähigkeiten auf die gleiche Weise zu entwickeln, wie ein Universitätsstudent während seines Studiums ermutigt wird.

‘Verschiedene Ergebnisse’, so die Autoren, ‘deuten darauf hin, dass dies nicht so abwegig ist, wie es klingt’.

Das Papier trägt den Titel Sprachmodelle zeigen menschliche Effekte auf das Denken und stammt von sechs Forschern bei DeepMind und einem, der sowohl bei DeepMind als auch an der Stanford University tätig ist.

Tests

Menschen lernen abstrakte Konzepte durch praktische Beispiele, auf die gleiche Weise, wie Sprachlerner Vokabular und sprachliche Regeln durch Mnemotechniken memorisieren. Das einfachste Beispiel dafür ist die Vermittlung abstruser Prinzipien der Physik durch die Erstellung von ‘Reiseszenarien’ für Züge und Autos.

Um die Fähigkeiten der KI im abstrakten Denken zu testen, entwickelten die Forscher eine Reihe von drei sprachlichen/semantischen Tests, die auch für Menschen herausfordernd sein können. Die Tests wurden ‘zero shot’ (ohne gelöste Beispiele) und ‘five shot’ (mit fünf vorherigen gelösten Beispielen) durchgeführt.

Die erste Aufgabe bezieht sich auf die natürliche Sprachinferenz (NLI), bei der das Subjekt (eine Person oder in diesem Fall ein Sprachmodell) zwei Sätze erhält, eine ‘Prämisse’ und eine ‘Hypothese’, die aus der Prämisse abgeleitet zu sein scheint. Zum Beispiel X ist kleiner als Y, Hypothese: Y ist größer als X (entailed).

Für die Aufgabe der natürlichen Sprachinferenz bewerteten die Forscher die Sprachmodelle Chinchilla (ein Modell mit 70 Milliarden Parametern) und 7B (ein Modell mit 7 Milliarden Parametern), und fanden, dass für die konsistenten Beispiele (d. h. diejenigen, die nicht sinnlos waren) nur das größere Chinchilla-Modell Ergebnisse erzielte, die höher waren als reiner Zufall; und sie bemerken:

‘Dies zeigt eine starke Inhaltsvorliebe: Die Modelle bevorzugen es, den Satz auf eine Weise zu vervollständigen, die mit vorherigen Erwartungen übereinstimmt, anstatt auf eine Weise, die mit den Regeln der Logik übereinstimmt’.

Chinchillas 70-Milliarden-Parameter-Leistung bei der NLI-Aufgabe. Sowohl dieses Modell als auch seine schlankere Version 7B zeigten eine ‘erhebliche Überzeugungsvorliebe’, so die Forscher. Quelle: https://arxiv.org/pdf/2207.07051.pdf

Syllogismen

Die zweite Aufgabe stellt eine komplexere Herausforderung dar, Syllogismen – Argumente, bei denen zwei wahre Aussagen scheinbar eine dritte Aussage implizieren (die möglicherweise nicht logisch aus den beiden vorherigen Aussagen abgeleitet wird):

Aus dem Testmaterial, verschiedene ‘realistische’ und paradoxe oder unsinnige Syllogismen.

Hier sind Menschen enorm fehleranfällig, und ein Konstrukt, das dazu dient, ein logisches Prinzip zu veranschaulichen, wird fast sofort (und vielleicht permanent) von menschlichen ‘Überzeugungen’ darüber, was die richtige Antwort sollte sein, verwickelt und verwirrt.

Die Autoren bemerken, dass eine Studie von 1983 zeigte, dass Teilnehmer von ihrer eigenen Überzeugung davon beeinflusst wurden, ob eine Syllogismusschlussfolgerung mit ihren eigenen Überzeugungen übereinstimmte, und bemerken:

‘Teilnehmer waren viel eher (90% der Zeit) geneigt, einen ungültigen Syllogismus für gültig zu halten, wenn die Schlussfolgerung glaubwürdig war, und verließen sich damit hauptsächlich auf Überzeugung und nicht auf abstraktes Denken’.

Bei der Prüfung von Chinchilla anhand einer Reihe von verschiedenen Syllogismen, viele davon mit falschen Schlussfolgerungen, fanden die Forscher, dass ‘Überzeugungsvorliebe fast alle Zero-Shot-Entscheidungen antreibt’. Wenn das Sprachmodell eine Schlussfolgerung findet, die nicht mit der Realität übereinstimmt, ist das Modell, so die Autoren, ‘stark vorurteilsbehaftet’ gegenüber der Erklärung, dass das endgültige Argument ungültig ist, auch wenn das endgültige Argument eine logische Schlussfolgerung der vorherigen Aussagen ist.

Zero-Shot-Ergebnisse für Chinchilla (Zero-Shot ist die Art und Weise, wie die meisten Testteilnehmer diese Herausforderungen erhalten, nach einer Erklärung der Leitregel), die die enorme Kluft zwischen der Rechenleistung eines Computers und der Fähigkeit eines NLP-Modells, diese Art von ‘nascentem logischem’ Herausforderung zu meistern, veranschaulichen.

Die Wason-Auswahl-Aufgabe

Für die dritte Aufgabe wurde die noch herausforderndere Wason-Auswahl-Aufgabe in eine Reihe von verschiedenen Iterationen für das Sprachmodell umformuliert.

Die Wason-Aufgabe, die 1968 entwickelt wurde, ist offensichtlich sehr einfach: Den Teilnehmern werden vier Karten gezeigt, und ihnen wird eine willkürliche Regel wie ‘Wenn eine Karte auf einer Seite ein ‘D’ hat, dann hat sie auf der anderen Seite ein ‘3” mitgeteilt.

Die sichtbaren Karten zeigen ‘D’, ‘F’, ‘3’ und ‘7’.

Die Teilnehmer werden dann gefragt, welche Karten sie umdrehen müssen, um zu überprüfen, ob die Regel wahr oder falsch ist.

Die korrekte Lösung in diesem Beispiel ist, die Karten ‘D’ und ‘7’ umzudrehen. In frühen Tests wurde festgestellt, dass die meisten (menschlichen) Teilnehmer korrekt ‘D’ wählen würden, sie jedoch eher ‘3’ als ‘7’ wählen würden, wobei sie die Kontraposition der Regel (‘nicht 3 impliziert nicht D’) mit der Umkehrung (‘3’ impliziert ‘D’, was nicht logisch impliziert wird) verwechseln.

Die Autoren bemerken, dass die Möglichkeit, dass vorherige Überzeugungen in den logischen Prozess bei menschlichen Teilnehmern eingreifen, und bemerken weiter, dass sogar akademische Mathematiker und Mathematik-Studenten im Allgemeinen bei dieser Aufgabe unter 50% lagen.

Jedoch steigt die Leistung traditionell, wenn das Schema einer Wason-Aufgabe in irgendeiner Weise menschliche praktische Erfahrung widerspiegelt.

Die Autoren bemerken, sich auf frühere Experimente beziehend:

‘[Wenn] die Karten Alter und Getränke zeigen und die Regel „wenn sie Alkohol trinken, müssen sie 21 oder älter sein“ und Karten mit ‘Bier’, ‘Limonade’, ’25’, ’16’ gezeigt werden, wählen die meisten Teilnehmer korrekt die Karten mit ‘Bier’ und ’16’.’

Um die Leistung von Sprachmodellen bei Wason-Aufgaben zu testen, erstellten die Forscher diverse realistische und willkürliche Regeln, einige mit ‘unsinnigen’ Wörtern, um zu sehen, ob die KI den Kontext des Inhalts durchdringen und erkennen kann, welche ‘virtuellen Karten’ sie umdrehen muss.

Einige der vielen Wason-Auswahl-Aufgaben, die in den Tests präsentiert wurden.

Für die Wason-Tests zeigte das Modell eine Leistung, die mit der von Menschen bei ‘realistischen’ (nicht unsinnigen) Aufgaben vergleichbar war.

Zero-Shot-Wason-Auswahl-Aufgaben-Ergebnisse für Chinchilla, mit dem Modell, das weit über dem Zufall lag, zumindest für die ‘realistischen’ Regeln.

Das Papier bemerkt:

‘Dies spiegelt Ergebnisse in der menschlichen Literatur wider: Menschen sind viel genauer bei der Beantwortung der Wason-Aufgabe, wenn sie in realistischen Situationen formuliert wird, als in willkürlichen Regeln über abstrakte Attribute.’

Formale Bildung

Die Ergebnisse des Papiers stellen das Denkpotenzial von hyperskaligen NLP-Systemen im Kontext unserer eigenen Einschränkungen dar, die wir offensichtlich an die Modelle weitergeben, über die realen Daten, die sie antreiben. Da die meisten von uns keine Genies sind, sind die Modelle, deren Parameter von unseren eigenen informiert werden, es auch nicht.

Zusätzlich kommt die neue Arbeit zu dem Schluss, dass wir zumindest den Vorteil einer anhaltenden Periode der formenden Bildung haben und der zusätzlichen sozialen, finanziellen und sogar sexuellen Motivationen, die die menschliche Imperative bilden. Alles, was NLP-Modelle erhalten können, sind die resultierenden Aktionen dieser Umweltfaktoren, und sie scheinen dem Allgemeinen rather als dem Ausnahmefall zu folgen.

Die Autoren bemerken:

‘Unsere Ergebnisse zeigen, dass InhaltsEffekte auftreten können, wenn man einfach ein großes Transformer-Modell trainiert, um Sprache nachzubilden, die von menschlicher Kultur produziert wird, ohne diese menschenspezifischen internen Mechanismen zu berücksichtigen.

‘Mit anderen Worten, Sprachmodelle und Menschen kommen beide zu diesen InhaltsVorlieben – aber aus offensichtlich sehr unterschiedlichen Architekturen, Erfahrungen und Trainingszielen.’

Sie schlagen daher eine Art ‘Einführungs-Training’ in reines Denken vor, das gezeigt hat, dass es die Modellleistung für Mathematik und allgemeines Denken verbessert. Sie bemerken weiter, dass Sprachmodelle auch trainiert oder angepasst wurden, um Anweisungen besser zu befolgen, auf einer abstrakten oder verallgemeinerten Ebene, und um ihre eigene Ausgabe zu überprüfen, zu korrigieren oder zu entvoren.

* Meine Umwandlung von Inline-Zitaten in Hyperlinks.

Erstveröffentlicht am 15. Juli 2022.