Ist GPT-4 ein Sprung nach vorne auf dem Weg zur künstlichen allgemeinen Intelligenz?

Microsoft (MSFT ) hat kürzlich ein Forschungspapier mit dem Titel veröffentlicht: Sparks of Artificial General Intelligence: Early experiments with GPT-4. Wie von Microsoft beschrieben:

Dieses Papier berichtet über unsere Untersuchung einer frühen Version von GPT-4, als es noch in aktiver Entwicklung bei OpenAI war. Wir behaupten, dass (diese frühe Version von) GPT-4 Teil einer neuen Kohorte von LLMs (neben ChatGPT und Google’s PaLM zum Beispiel) ist, die eine allgemeinere Intelligenz als vorherige KI-Modelle aufweisen.

In diesem Papier gibt es überzeugende Beweise, die zeigen, dass GPT-4 weit über die bloße Memorierung hinausgeht und dass es ein tiefes und flexibles Verständnis von Konzepten, Fähigkeiten und Domänen hat. Tatsächlich übertrifft seine Fähigkeit, zu generalisieren, die von jedem lebenden Menschen heute.

Während wir zuvor die Vorteile von AGI diskutiert haben, sollten wir schnell zusammenfassen, was allgemein anerkannt ist, was ein AGI-System ist. Im Wesentlichen ist ein AGI eine Art fortschrittlicher KI, die über mehrere Domänen generalisieren und nicht eng gefasst ist. Beispiele für enge KI sind ein autonomes Fahrzeug, ein Chatbot, ein Schachbot oder jede andere KI, die für einen einzigen Zweck entwickelt wurde.

Ein AGI im Vergleich dazu könnte flexibel zwischen all diesen oder anderen Fachgebieten wechseln. Es ist eine KI, die nascente Algorithmen wie Transfer Learning und evolutionäres Lernen nutzen und gleichzeitig legacy-Algorithmen wie tiefes Bestärkungslernen ausnutzen würde.

Die obige Beschreibung von AGI entspricht meiner persönlichen Erfahrung mit der Verwendung von GPT-4 sowie den Beweisen, die in dem Forschungspapier veröffentlicht wurden, das von Microsoft veröffentlicht wurde.

Einer der in dem Papier beschriebenen Prompts ist, dass GPT-4 einen Beweis für die Unendlichkeit der Primzahlen in Form eines Gedichts schreiben soll.

Wenn wir die Anforderungen für die Erstellung eines solchen Gedichts analysieren, stellen wir fest, dass es mathematische Argumentation, poetischen Ausdruck und natürliche Sprachgenerierung erfordert. Dies ist eine Herausforderung, die die Fähigkeiten der meisten Menschen übersteigen würde.

Das Papier wollte verstehen, ob GPT-4 einfach Inhalte auf der Grundlage allgemeiner Memorierung produzierte oder ob es Kontext verstehen und argumentieren konnte. Als es aufgefordert wurde, ein Gedicht im Stil von Shakespeare zu erstellen, konnte es dies tun. Dies erfordert ein mehrfach facettiertes Verständnis, das die Fähigkeiten der allgemeinen Bevölkerung übersteigt und Theorie des Geistes und mathematisches Genie umfasst.

Wie kann man die Intelligenz von GPT-4 berechnen?

Die Frage ist dann, wie man die Intelligenz eines LLMs messen kann? Und zeigt GPT-4 Verhaltensweisen von wahrem Lernen oder nur Memorierung?

Die aktuelle Methode, ein KI-System zu testen, besteht darin, das System auf einer Reihe von Standard-Benchmark-Datensätzen zu bewerten und sicherzustellen, dass sie unabhängig von den Trainingsdaten sind und dass sie eine Reihe von Aufgaben und Domänen abdecken. Diese Art von Test ist fast unmöglich, da GPT-4 auf einer fast unbegrenzten Menge an Daten trainiert wurde.

Das Papier diskutiert die Generierung neuer und schwieriger Aufgaben/Fragen, die überzeugend demonstrieren, dass GPT-4 weit über die Memorierung hinausgeht und dass es ein tiefes und flexibles Verständnis von Konzepten, Fähigkeiten und Domänen hat.

Wenn es um Intelligenz geht, kann GPT-4 Kurzgeschichten, Drehbücher und komplizierte Formeln generieren.

GPT-4 kann auch auf sehr hohem Niveau coden, sowohl bei der Erstellung von Code aus Anweisungen als auch bei der Verständnis von bestehendem Code. GPT-4 kann eine breite Palette von Codierungsaufgaben bewältigen, von Codierungsherausforderungen bis hin zu realen Anwendungen, von niedrigem Assemblage-Code bis hin zu hochentwickelten Frameworks, von einfachen Datenstrukturen bis hin zu komplexen Programmen wie Spielen. GPT-4 kann auch über Code-Ausführung argumentieren, die Auswirkungen von Anweisungen simulieren und die Ergebnisse in natürlicher Sprache erklären. GPT-4 kann sogar Pseudocode ausführen,

GPT-4 kann rationale Antworten auf fast jeden gegebenen Prompt geben. Tatsächlich ist seine Intelligenz fast unbesiegbar in ihrer Komplexität.

GPT-4-Einschränkungen

Das Papier beschreibt dann, wie sie die Antworten und Verhaltensweisen von GPT-4 untersucht haben, um seine Konsistenz, Kohärenz und Richtigkeit zu überprüfen und seine Einschränkungen und Vorurteile aufzudecken.

Die offensichtlichste Einschränkung ist seine Neigung zu Halluzinationen. Hier ist ein Beispiel für eine Halluzination, die in dem Papier gegeben ist, in dem GPT-4 sich seiner Antwort sicher war, die jedoch völlig falsch war.

Es scheint, dass sogar GPT-4 diese aktuelle Einschränkung mit Halluzinationen versteht, da es diese Antwort gab, als ich ihn fragte, was eine GPT-Halluzination ist:
<blockquoteEine GPT-Halluzination bezeichnet ein Phänomen, bei dem ein Generative Pre-trained Transformer (GPT)-Modell, wie das, mit dem Sie derzeit interagieren, eine Antwort produziert, die nicht auf faktischen Informationen basiert oder nicht mit dem Kontext übereinstimmt. Diese Halluzinationen treten auf, wenn das Modell Text generiert, der plausibel erscheint, aber tatsächlich falsch, irreführend oder unsinnig ist.

Mit anderen Worten, wenn man ein LLM-KI-System auf die Welt der Daten trainiert, wie vermeidet man, dass das System falsche Daten lernt? Ein großes Sprachmodell, das falsche Informationen lernt und wiedergibt, könnte tatsächlich eine der größten Fallstricke und Bedrohungen sein, die die Menschheit mit der großflächigen Verbreitung von LLMs zu befürchten hat. Dies könnte tatsächlich eine der größeren Bedrohungen von AGI sein, die überraschend oft übersehen wird, wenn man die Gefahren von AGI diskutiert.

GPT-4-Beweise für Intelligenz

Das Papier zeigt, dass es nicht darauf ankommt, welche Art von komplexen Prompts auf GPT-4 gerichtet werden, GPT-4 würde die Erwartungen übertreffen. Wie im Papier angegeben:

Seine unübertroffene Beherrschung der natürlichen Sprache. Es kann nicht nur flüssigen und kohärenten Text generieren, sondern auch verstehen und manipulieren, auf verschiedene Weise, wie z. B. Zusammenfassung, Übersetzung oder Beantwortung einer extrem breiten Palette von Fragen. Außerdem meinen wir mit Übersetzung nicht nur die Übersetzung zwischen verschiedenen natürlichen Sprachen, sondern auch Übersetzungen in Ton und Stil sowie zwischen Domänen wie Medizin, Recht, Buchhaltung, Computerprogrammierung, Musik und mehr.

Mock-Technik-Reviews wurden GPT-4 gegeben, es bestand leicht, was in diesem Kontext bedeutet, dass, wenn dies ein Mensch auf der anderen Seite wäre, er sofort als Software-Entwickler eingestellt würde. Ein ähnlicher vorläufiger Test von GPT-4s Kompetenz auf dem Multistate Bar Exam zeigte eine Genauigkeit von über 70 %. Dies bedeutet, dass wir in Zukunft viele der Aufgaben automatisieren könnten, die derzeit Anwälten übertragen werden. Tatsächlich gibt es einige Startups, die daran arbeiten, Roboter-Anwälte mit GPT-4 zu erstellen.

Erzeugung neuer Erkenntnisse

Eines der Argumente in dem Papier ist, dass das Einzige, was GPT-4 noch beweisen muss, um wahre Verständnisse zu zeigen, darin besteht, neue Erkenntnisse zu erzeugen, wie z. B. das Beweisen neuer mathematischer Theoreme, was derzeit noch außer Reichweite von LLMs liegt.

Dann wiederum ist dies das Heilige der AGI. Während es Gefahren gibt, wenn ein AGI in den falschen Händen kontrolliert wird, sind die Vorteile eines AGI, das in der Lage ist, alle historischen Daten schnell zu analysieren, um neue Theoreme, Heilungen und Behandlungen zu entdecken, fast unendlich.

Ein AGI könnte der fehlende Link sein, um Heilungen für seltene genetische Krankheiten zu finden, die derzeit keine private Industriefinanzierung haben, um Krebs ein für alle Mal zu heilen und die Effizienz von erneuerbarer Energie zu maximieren, um unsere Abhängigkeit von nicht nachhaltiger Energie zu beseitigen. Tatsächlich könnte es jedes folgenschwere Problem lösen, das in das AGI-System eingegeben wird. Dies ist, was Sam Altman und das Team bei OpenAI verstehen, ein AGI ist tatsächlich die letzte Erfindung, die benötigt wird, um die meisten Probleme zu lösen und der Menschheit zu nützen.

Natürlich löst dies nicht das Problem des Knopfes, wer den AGI kontrolliert und was seine Absichten sind. Unabhängig davon tut dieses Papier einen phänomenalen Job, indem es argumentiert, dass GPT-4 ein Sprung nach vorne auf dem Weg zur Erreichung des Traums ist, den AI-Forscher seit 1956 haben, als das erste Dartmouth Summer Research Project on Artificial Intelligence Sommer-Workshop zum ersten Mal gestartet wurde.

Während es diskutierbar ist, ob GPT-4 ein AGI ist, könnte man leicht argumentieren, dass es zum ersten Mal in der Geschichte der Menschheit ein KI-System ist, das den Turing-Test bestehen kann.