KI’s analoges Reasoning-Fähigkeiten: Herausforderung für die menschliche Intelligenz?

Analoges Reasoning, die einzigartige Fähigkeit, die Menschen besitzen, um unbekannte Probleme durch das Zeichnen von Parallelen mit bekannten Problemen zu lösen, gilt seit langem als eine charakteristische menschliche kognitive Funktion. Eine bahnbrechende Studie, die von UCLA-Psychologen durchgeführt wurde, präsentiert jedoch überzeugende Ergebnisse, die uns dazu bringen könnten, dies zu überdenken.

GPT-3: Hat es die menschliche Intelligenz eingeholt?

Die UCLA-Studie fand heraus, dass GPT-3, ein von OpenAI entwickeltes KI-Sprachmodell, Reasoning-Fähigkeiten zeigt, die fast auf dem Niveau von College-Studenten liegen, insbesondere wenn es darum geht, Probleme zu lösen, die denen in Intelligenztests und standardisierten Prüfungen wie dem SAT ähneln. Diese Erkenntnis, die im Journal Nature Human Behaviour veröffentlicht wurde, wirft eine interessante Frage auf: Emuliert GPT-3 menschliches Reasoning aufgrund seines umfangreichen Sprachtrainingsdatensatzes oder greift es auf einen völlig neuen kognitiven Prozess zu?

Die genauen Funktionsweisen von GPT-3 bleiben von OpenAI verborgen, was die Forscher an der UCLA neugierig auf den Mechanismus hinter seinen analogischen Reasoning-Fähigkeiten macht. Trotz GPT-3s lobenswerter Leistung bei bestimmten Reasoning-Aufgaben ist das Tool nicht ohne Fehler. Taylor Webb, der Hauptautor der Studie und Postdoktorand an der UCLA, bemerkte: “Während unsere Ergebnisse beeindruckend sind, ist es wichtig zu betonen, dass dieses System erhebliche Einschränkungen hat. GPT-3 kann analoges Reasoning durchführen, aber es hat Schwierigkeiten mit Aufgaben, die für Menschen trivial sind, wie z.B. die Verwendung von Werkzeugen für eine physische Aufgabe.”

GPT-3s Fähigkeiten wurden getestet, indem Probleme verwendet wurden, die von Raven’s Progressive Matrices inspiriert waren – einem Test, der komplexe Formensequenzen beinhaltet. Indem Webb diese in ein Textformat umwandelte, das GPT-3 entschlüsseln konnte, stellte er sicher, dass diese völlig neue Herausforderungen für die KI darstellten. Im Vergleich zu 40 UCLA-Studenten entsprach GPT-3 nicht nur der menschlichen Leistung, sondern spiegelte auch die Fehler wider, die Menschen machten. Das KI-Modell löste 80% der Probleme korrekt, was die durchschnittliche menschliche Punktzahl übertraf und im Bereich der besten menschlichen Leistungen lag.

Das Team testete GPT-3s Fähigkeiten weiter, indem es unveröffentlichte SAT-Analogiefragen verwendete, bei denen die KI die menschliche Durchschnittspunktzahl übertraf. Allerdings hatte sie Schwierigkeiten, wenn sie versuchte, Analogien aus Kurzgeschichten zu ziehen, obwohl das neuere GPT-4-Modell bessere Ergebnisse zeigte.

Überbrückung der Kluft zwischen KI und menschlicher Kognition

Die Forscher an der UCLA hören nicht bei bloßen Vergleichen auf. Sie haben begonnen, ein Computermodell zu entwickeln, das von der menschlichen Kognition inspiriert ist, und vergleichen ständig seine Fähigkeiten mit kommerziellen KI-Modellen. Keith Holyoak, Professor für Psychologie an der UCLA und Co-Autor, bemerkte: “Unser psychologisches KI-Modell übertraf andere bei Analogieproblemen, bis GPT-3s letztes Update erschien, das überlegene oder gleichwertige Fähigkeiten zeigte.”

Allerdings identifizierte das Team bestimmte Bereiche, in denen GPT-3 zurückblieb, insbesondere bei Aufgaben, die das Verständnis von physischem Raum erforderten. Bei Herausforderungen, die die Verwendung von Werkzeugen beinhalteten, waren GPT-3s Lösungen deutlich fehlerhaft.

Hongjing Lu, der Hauptautor der Studie, äußerte seine Verwunderung über die Fortschritte in der Technologie in den letzten zwei Jahren, insbesondere bei der Fähigkeit der KI, zu reasonieren. Aber ob diese Modelle tatsächlich “denken” wie Menschen oder einfach menschliches Denken nachahmen, ist immer noch umstritten. Die Suche nach Erkenntnissen in die kognitiven Prozesse der KI erfordert den Zugang zum Backend der KI-Modelle, ein Schritt, der die zukünftige Entwicklung der KI prägen könnte.

Webb schließt sich dieser Meinung an und sagt: “Der Zugang zum Backend von GPT-Modellen würde AI- und Kognitionsforschern enorm helfen. Derzeit sind wir auf Eingaben und Ausgaben beschränkt, und es fehlt die entscheidende Tiefe, die wir anstreben.”