Ist GPT-4 ein Fortschritt in Richtung AGI?

Microsoft hat kürzlich ein Forschungspapier mit dem Titel veröffentlicht: Funken künstlicher allgemeiner Intelligenz: Frühe Experimente mit GPT-4. Wie von Microsoft beschrieben:

Dieses Papier berichtet über unsere Untersuchung einer frühen Version von GPT-4, als diese sich noch in der aktiven Entwicklung durch OpenAI befand. Wir behaupten, dass (diese frühe Version von) GPT-4 Teil einer neuen Kohorte von LLMs ist (zusammen mit ChatGPT und Googles PaLM zum Beispiel), die eine allgemeinere Intelligenz aufweisen als frühere KI-Modelle.

In diesem Artikel gibt es schlüssige Beweise dafür, dass GPT-4 weit über das Auswendiglernen hinausgeht und über ein tiefes und flexibles Verständnis von Konzepten, Fähigkeiten und Bereichen verfügt. Tatsächlich übersteigt seine Fähigkeit zur Verallgemeinerung die eines jeden heute lebenden Menschen bei weitem.

Während wir zuvor darüber gesprochen haben Vorteile von AGI, sollten wir kurz den allgemeinen Konsens darüber zusammenfassen, was ein AGI-System ist. Im Wesentlichen handelt es sich bei einer AGI um eine Art fortgeschrittener KI, die über mehrere Domänen hinweg verallgemeinert werden kann und keinen engen Anwendungsbereich hat. Beispiele für eine enge KI sind ein autonomes Fahrzeug, ein Chatbot, ein Schachbot oder jede andere KI, die für einen einzigen Zweck entwickelt wurde.

Ein AGI hingegen wäre in der Lage, flexibel zwischen den oben genannten oder jedem anderen Fachgebiet zu wechseln. Es handelt sich um eine KI, die aufkommende Algorithmen wie z. B. ausnutzen würde Transferlernen, und evolutionäres Lernen, während auch ältere Algorithmen genutzt werden, wie z tiefes Lernen der Verstärkung.

Die obige Beschreibung von AGI entspricht meinen persönlichen Erfahrungen mit der Verwendung von GPT-4 sowie den Beweisen, die in einem von Microsoft veröffentlichten Forschungspapier enthalten sind.

Eine der in der Arbeit dargelegten Anregungen für GPT-4 besteht darin, einen Beweis für die Unendlichkeit von Primzahlen in Form eines Gedichts zu verfassen.

Wenn wir die Anforderungen für die Erstellung eines solchen Gedichts analysieren, erkennen wir, dass es mathematisches Denken, poetischen Ausdruck und die Erzeugung natürlicher Sprache erfordert. Dies ist eine Herausforderung, die die durchschnittliche Leistungsfähigkeit der meisten Menschen übersteigen würde.

Das Papier wollte verstehen, ob GPT-4 lediglich Inhalte produziert, die auf allgemeinem Auswendiglernen statt auf dem Verstehen des Kontexts und der Fähigkeit zur Argumentation basieren. Als man ihn bat, ein Gedicht im Stil Shakespeares nachzubilden, gelang ihm dies. Dies erfordert ein vielschichtiges Verständnis, das weit über die Fähigkeiten der Allgemeinbevölkerung hinausgeht und Theorie des Geistes und mathematisches Genie umfasst.

Wie berechnet man die GPT-4-Intelligenz?

Dann stellt sich die Frage: Wie können wir die Intelligenz eines LLM messen? Und zeigt GPT-4 Verhaltensweisen echten Lernens oder bloßen Auswendiglernens?

Die derzeitige Methode zum Testen eines KI-Systems besteht darin, das System anhand einer Reihe von Standard-Benchmark-Datensätzen zu bewerten und sicherzustellen, dass diese unabhängig von den Trainingsdaten sind und eine Reihe von Aufgaben und Bereichen abdecken. Diese Art von Tests ist aufgrund der nahezu unbegrenzten Datenmenge, mit der GPT-4 trainiert wurde, nahezu unmöglich.

In dem Artikel geht es darum, neuartige und schwierige Aufgaben/Fragen zu generieren, die überzeugend zeigen, dass GPT-4 weit über das Auswendiglernen hinausgeht und über ein tiefes und flexibles Verständnis von Konzepten, Fähigkeiten und Bereichen verfügt.

Wenn es um Intelligenz geht, kann GPT-4 Kurzgeschichten und Drehbücher generieren und die kompliziertesten Formeln berechnen.

GPT-4 ist auch in der Lage, auf einem sehr hohen Niveau zu programmieren, sowohl was das Schreiben von Code aus Anweisungen als auch das Verständnis von vorhandenem Code betrifft. GPT-4 kann eine Vielzahl von Codierungsaufgaben bewältigen, von
Codierungsherausforderungen für reale Anwendungen, von Low-Level-Assembly bis hin zu High-Level-Frameworks, von einfachen Datenstrukturen bis hin zu komplexen Programmen wie Spielen. GPT-4 kann auch Überlegungen zur Codeausführung anstellen, die Auswirkungen von Anweisungen simulieren und die Ergebnisse in natürlicher Sprache erklären. GPT-4 kann sogar Pseudocode ausführen,

GPT-4 kann auf fast jede gegebene Aufforderung rationale Antworten bieten. Tatsächlich ist seine Intelligenz in ihrer Komplexität nahezu unbesiegbar.

GPT-4-Einschränkungen

Anschließend wird im Artikel weiter beschrieben, wie sie die Reaktionen und Verhaltensweisen von GPT-4 untersuchten, um dessen Konsistenz, Kohärenz und Richtigkeit zu überprüfen und seine Einschränkungen und Vorurteile aufzudecken.

Die offensichtlichste Einschränkung ist Neigung zu Halluzinationen. Hier ist ein Beispiel für eine Halluzination, die in der Arbeit angeführt wird, bei der GPT-4 von seiner Antwort überzeugt war, die völlig falsch war.

Es scheint, dass sogar GPT-4 diese derzeitige Einschränkung bei Halluzinationen versteht, da es folgende Antwort gab, als ich es fragte, was eine GPT-Halluzination ist:

Eine GPT-Halluzination bezieht sich auf ein Phänomen, bei dem ein Generative Pre-trained Transformer (GPT)-Modell, wie das, mit dem Sie gerade interagieren, eine Reaktion erzeugt, die nicht auf sachlichen Informationen basiert oder nicht mit dem bereitgestellten Kontext übereinstimmt. Diese Halluzinationen treten auf, wenn das Modell Text generiert, der plausibel erscheint, in Wirklichkeit jedoch falsch, irreführend oder unsinnig ist.

Mit anderen Worten: Wenn Sie eine LLM-KI anhand der Daten der Welt trainieren, wie verhindern Sie, dass ein System falsche Daten lernt? Ein großes Sprachmodell, das Fehlinformationen und Verschwörungstheorien lernt und wieder hervorbringt, könnte tatsächlich eine der größten Fallstricke und Bedrohungen sein, mit denen die Menschheit bei der groß angelegten Einführung von LLMs konfrontiert ist. Dies könnte tatsächlich eine der größeren Bedrohungen durch AGI sein, die bei der Erörterung der Gefahren von AGI überraschenderweise übersehen wird.

GPT-4-Intelligenznachweise

Das Papier zeigt, dass GPT-4 die Erwartungen übertreffen würde, unabhängig davon, welche Art komplexer Eingabeaufforderungen darauf gerichtet waren. Wie es in dem Papier heißt:

Seine beispiellose Beherrschung der natürlichen Sprache. Es kann nicht nur flüssige und kohärente Texte erzeugen, sondern diese auch auf verschiedene Weise verstehen und manipulieren, beispielsweise durch Zusammenfassen, Übersetzen oder Beantworten einer äußerst breiten Palette von Fragen. Darüber hinaus meinen wir mit Übersetzen nicht nur zwischen verschiedenen natürlichen Sprachen, sondern auch Übersetzungen in Ton und Stil sowie bereichsübergreifend wie Medizin, Recht, Buchhaltung, Computerprogrammierung, Musik und mehr.

Für GPT-4 wurden vorgetäuschte technische Bewertungen abgegeben. In diesem Zusammenhang wäre es leicht verständlich, wenn es sich am anderen Ende um einen Menschen handelte, der sofort als Software-Ingenieur eingestellt werden würde. Ein ähnlicher vorläufiger Test der GPT-4-Kompetenz beim Multistate Bar Exam ergab eine Genauigkeit von über 70 %. Das bedeutet, dass wir in Zukunft viele der Aufgaben automatisieren könnten, die derzeit Rechtsanwälten übertragen werden. Tatsächlich gibt es einige Startups, die jetzt daran arbeiten, Roboteranwälte zu schaffen mit GPT-4.

Neues Wissen produzieren

Eines der Argumente in der Arbeit ist, dass GPT-4 nur noch die Möglichkeit hat, den wahren Grad des Verständnisses zu beweisen, indem es neues Wissen hervorbringt, beispielsweise den Beweis neuer mathematischer Theoreme, eine Leistung, die derzeit für LLMs unerreichbar bleibt.

Andererseits ist dies der heilige Gral einer AGI. Während es Gefahren birgt, wenn eine AGI in die falschen Hände gerät, sind die Vorteile einer AGI, die in der Lage ist, alle historischen Daten schnell zu analysieren, um neue Theoreme, Heilmittel und Behandlungen zu entdecken, nahezu grenzenlos.

Eine AGI könnte das fehlende Glied sein, um Heilmittel für seltene genetische Krankheiten zu finden, die derzeit nicht von der Privatwirtschaft finanziert werden, um Krebs ein für alle Mal zu heilen und um die Effizienz erneuerbarer Energien zu maximieren, um unsere Abhängigkeit von nicht nachhaltiger Energie zu beseitigen. Tatsächlich könnte es jedes Folgeproblem lösen, das in das AGI-System eingespeist wird. Das verstehen Sam Altman und das Team von OpenAI AGI ist wirklich die letzte Erfindung das ist notwendig, um die meisten Probleme zu lösen und der Menschheit zu nützen.

Natürlich löst das nicht das Atomknopfproblem, wer die AGI kontrolliert und was ihre Absichten sind. Unabhängig davon Krepppapier leistet phänomenale Arbeit und argumentiert, dass GPT-4 ein Schritt vorwärts zur Verwirklichung des Traums ist, den KI-Forscher hatten Seit 1956, als der erste Sommerworkshop des Dartmouth Summer Research Project zum Thema Künstliche Intelligenz erstmals ins Leben gerufen wurde.

Während es fraglich ist, ob GPT-4 ein AGI ist, könnte man leicht argumentieren, dass es sich zum ersten Mal in der Geschichte der Menschheit um ein KI-System handelt, das das bestehen kann Turing-Test.