Ist GPT-4 ein Sprung nach vorne, um AGI zu erreichen?

Microsoft hat kürzlich ein Forschungspapier mit dem Titel veröffentlicht: Sparks of Artificial General Intelligence: Early experiments with GPT-4. Wie von Microsoft beschrieben:

Dieses Papier berichtet über unsere Untersuchung einer frühen Version von GPT-4, als es noch in aktiver Entwicklung bei OpenAI war. Wir behaupten, dass (diese frühe Version von) GPT-4 Teil einer neuen Kohorte von LLMs (zusammen mit ChatGPT und Google’s PaLM zum Beispiel) ist, die mehr allgemeine Intelligenz als vorherige KI-Modelle aufweisen.

In diesem Papier gibt es überzeugende Beweise, die zeigen, dass GPT-4 weit über die Memorierung hinausgeht und dass es ein tiefes und flexibles Verständnis von Konzepten, Fähigkeiten und Domänen hat. Tatsächlich übertrifft seine Fähigkeit, zu verallgemeinern, die von jedem Menschen, der heute lebt.
Während wir zuvor die Vorteile von AGI diskutiert haben, sollten wir schnell zusammenfassen, was allgemein anerkannt ist, was ein AGI-System ist. Im Wesentlichen ist ein AGI eine Art fortschrittlicher KI, die über mehrere Domänen verallgemeinern und nicht eng gefasst ist. Beispiele für enge KI umfassen ein autonomes Fahrzeug, einen Chatbot, einen Schachbot oder jede andere KI, die für einen einzigen Zweck entwickelt wurde.
Ein AGI im Vergleich dazu könnte flexibel zwischen all diesen oder anderen Fachgebieten wechseln. Es ist eine KI, die nascente Algorithmen wie Transfer Learning und evolutionäres Lernen nutzt, während sie auch legacy-Algorithmen wie tiefes Reinforcement Learning ausnutzt.
Die obige Beschreibung von AGI entspricht meiner persönlichen Erfahrung mit der Verwendung von GPT-4 sowie den Beweisen, die in dem von Microsoft veröffentlichten Forschungspapier geteilt wurden.
Eine der im Papier beschriebenen Anfragen besteht darin, GPT-4 dazu zu bringen, einen Beweis für die Unendlichkeit der Primzahlen in Form eines Gedichts zu schreiben.

Wenn wir die Anforderungen für die Erstellung eines solchen Gedichts analysieren, werden wir uns bewusst, dass es mathematische Argumentation, poetischen Ausdruck und natürliche Sprachgenerierung erfordert. Dies ist eine Herausforderung, die die Fähigkeiten der meisten Menschen übersteigen würde.
Das Papier wollte verstehen, ob GPT-4 einfach Inhalte auf der Grundlage allgemeiner Memorierung produzierte oder ob es Kontext verstand und argumentieren konnte. Als es aufgefordert wurde, ein Gedicht im Stil von Shakespeare zu erstellen, konnte es dies tun. Dies erfordert ein vielschichtiges Verständnis, das die Fähigkeiten der allgemeinen Bevölkerung übersteigt und Theorie des Geistes und mathematisches Genie umfasst.

Wie kann man die Intelligenz von GPT-4 berechnen?

Die Frage ist dann, wie man die Intelligenz eines LLM-Systems messen kann? Und zeigt GPT-4 Verhaltensweisen des wahren Lernens oder nur der Memorierung?
Die aktuelle Methode, ein KI-System zu testen, besteht darin, das System auf einer Reihe von Standard-Benchmark-Datensätzen zu bewerten und sicherzustellen, dass es unabhängig von den Trainingsdaten ist und dass es eine Reihe von Aufgaben und Domänen abdeckt. Diese Art von Test ist fast unmöglich, da GPT-4 auf einer fast unendlichen Menge an Daten trainiert wurde.
Das Papier diskutiert die Generierung neuer und schwieriger Aufgaben/Fragen, die überzeugend demonstrieren, dass GPT-4 weit über die Memorierung hinausgeht und dass es ein tiefes und flexibles Verständnis von Konzepten, Fähigkeiten und Domänen hat.
Wenn es um Intelligenz geht, kann GPT-4 Kurzgeschichten, Drehbücher und sogar die kompliziertesten Formeln berechnen.
GPT-4 kann auch auf sehr hohem Niveau coden, sowohl bei der Codierung von Anweisungen als auch beim Verständnis von bestehendem Code. GPT-4 kann eine breite Palette von Codierungsaufgaben bewältigen, von Codierungsherausforderungen bis hin zu realen Anwendungen, von niedrigem Assemblage-Code bis hin zu hochentwickelten Frameworks, von einfachen Datenstrukturen bis hin zu komplexen Programmen wie Spielen. GPT-4 kann auch über die Ausführung von Code argumentieren, die Auswirkungen von Anweisungen simulieren und die Ergebnisse in natürlicher Sprache erklären. GPT-4 kann sogar Pseudocode ausführen,
GPT-4 kann rationale Antworten auf fast jede gegebene Anfrage geben. Tatsächlich ist seine Intelligenz fast unbesiegbar in ihrer Komplexität.

Einschränkungen von GPT-4

Das Papier beschreibt dann, wie sie die Antworten und Verhaltensweisen von GPT-4 untersucht haben, um seine Konsistenz, Kohärenz und Richtigkeit zu überprüfen und um seine Einschränkungen und Vorurteile aufzudecken.
Die offensichtlichste Einschränkung ist seine Neigung zu Halluzinationen. Hier ist ein Beispiel für eine Halluzination, die im Papier gegeben ist, bei der GPT-4 sich seiner Antwort sicher war, die jedoch völlig falsch war.

Es scheint, dass sogar GPT-4 diese aktuelle Einschränkung mit Halluzinationen versteht, da dies die Antwort war, die es gab, als ich ihn fragte, was eine GPT-Halluzination ist:

Eine GPT-Halluzination bezeichnet ein Phänomen, bei dem ein Generative Pre-trained Transformer (GPT)-Modell, wie das, mit dem Sie derzeit interagieren, eine Antwort produziert, die nicht auf faktischen Informationen oder nicht kohärent mit dem bereitgestellten Kontext basiert. Diese Halluzinationen treten auf, wenn das Modell Text generiert, der plausibel erscheinen mag, aber tatsächlich falsch, irreführend oder unsinnig ist.

Mit anderen Worten, wenn man ein LLM-KI-System auf die Welt Daten trainiert, wie vermeidet man, dass das System falsche Daten lernt? Ein großes Sprachmodell, das falsche Informationen lernt und wiedergibt, und Verschwörungstheorien könnte tatsächlich eine der größten Fallstricke und Bedrohungen sein, die die Menschheit mit der weit verbreiteten Verwendung von LLMs konfrontiert.

Beweise für die Intelligenz von GPT-4

Das Papier zeigt, dass es nicht wichtig war, welche Art von komplexen Anfragen an GPT-4 gerichtet wurden, GPT-4 würde die Erwartungen übertreffen. Wie im Papier angegeben:

Seine unübertroffene Beherrschung der natürlichen Sprache. Es kann nicht nur flüssigen und kohärenten Text generieren, sondern auch verstehen und manipulieren, auf verschiedene Weise, wie z. B. Zusammenfassung, Übersetzung oder Beantwortung einer extrem breiten Palette von Fragen. Darüber hinaus bedeutet Übersetzung nicht nur die Übersetzung zwischen verschiedenen natürlichen Sprachen, sondern auch Übersetzungen in Ton und Stil sowie über Domänen wie Medizin, Recht, Buchhaltung, Computerprogrammierung, Musik und mehr.

Mock-Technik-Reviews wurden GPT-4 gegeben, es bestand leicht, was in diesem Kontext bedeutet, dass, wenn dies ein Mensch am anderen Ende wäre, er sofort als Software-Ingenieur eingestellt würde. Ein ähnlicher vorläufiger Test der Kompetenz von GPT-4 bei der Multistate Bar Exam zeigte eine Genauigkeit von über 70 %. Dies bedeutet, dass wir in Zukunft viele der Aufgaben automatisieren könnten, die derzeit Anwälten übertragen werden. Tatsächlich gibt es einige Startups, die daran arbeiten, Roboter-Anwälte mit GPT-4 zu erstellen.

Erzeugung neuer Erkenntnisse

Ein Argument in dem Papier ist, dass das Einzige, was GPT-4 noch beweisen muss, um wahre Verständnisebenen zu erreichen, darin besteht, neue Erkenntnisse zu erzeugen, wie z. B. das Beweisen neuer mathematischer Theoreme, eine Leistung, die derzeit für LLMs nicht erreichbar ist.
Dennoch ist dies das Heilige der AGI. Während es Gefahren mit einer AGI gibt, die in den falschen Händen kontrolliert wird, sind die Vorteile einer AGI, die in der Lage ist, alle historischen Daten schnell zu analysieren, um neue Theoreme, Heilungen und Behandlungen zu entdecken, fast unendlich.
Eine AGI könnte der fehlende Link sein, um Heilungen für seltene genetische Krankheiten zu finden, die derzeit keine private Industriefinanzierung haben, um Krebs endgültig zu heilen und um die Effizienz von erneuerbarer Energie zu maximieren, um unsere Abhängigkeit von nicht nachhaltiger Energie zu beseitigen. Tatsächlich könnte es jedes folgenschwere Problem lösen, das in das AGI-System eingegeben wird. Dies ist, was Sam Altman und das Team bei OpenAI verstehen, eine AGI ist wirklich die letzte Erfindung, die benötigt wird, um die meisten Probleme zu lösen und der Menschheit zu nützen.
Natürlich löst dies nicht das Problem des Knopfdrucks, wer die AGI kontrolliert und was ihre Absichten sind. Unabhängig davon macht dieses Papier einen phänomenalen Job darin, zu argumentieren, dass GPT-4 ein Sprung nach vorne ist, um den Traum von KI-Forschern zu erreichen, den sie seit 1956 haben, als das ursprüngliche Dartmouth Summer Research Project on Artificial Intelligence Sommer-Workshop zum ersten Mal gestartet wurde.
Während es debattierbar ist, ob GPT-4 eine AGI ist, könnte man leicht argumentieren, dass es zum ersten Mal in der Geschichte der Menschheit ein KI-System ist, das den Turing-Test besteht.