Wird GPT-4 uns näher an eine wahre KI-Revolution bringen?

Es ist fast drei Jahre her, seit GPT-3 im Mai 2020 vorgestellt wurde. Seitdem hat das AI-Textgenerierungsmodell aufgrund seiner Fähigkeit, Texte zu erstellen, die wie von einem Menschen geschrieben wirken, viel Interesse geweckt. Jetzt sieht es so aus, als ob die nächste Iteration der Software, GPT-4, bald erscheinen wird, mit einem geschätzten Release-Datum im Frühjahr 2023.

Trotz der hohen Erwartungen an diese AI-Nachrichten sind die genauen Details zu GPT-4 ziemlich vage. OpenAI, das Unternehmen hinter GPT-4, hat keine öffentlichen Informationen über das neue Modell bekannt gegeben, wie seine Funktionen oder Fähigkeiten. Dennoch können die jüngsten Fortschritte im Bereich der künstlichen Intelligenz, insbesondere im Bereich der Natural Language Processing (NLP), einige Hinweise darauf geben, was wir von GPT-4 erwarten können.

Was ist GPT?

Bevor wir uns mit den Details beschäftigen, ist es hilfreich, zunächst eine Grundlage für das zu schaffen, was GPT ist. GPT steht für Generative Pre-trained Transformer und bezieht sich auf ein Deep-Learning-Neural-Netz-Modell, das auf Daten aus dem Internet trainiert wird, um große Mengen an maschinengeneriertem Text zu erstellen. GPT-3 ist die dritte Generation dieser Technologie und eines der fortschrittlichsten AI-Textgenerierungsmodelle, die derzeit verfügbar sind.

Denken Sie an GPT-3 als ein bisschen wie Sprachassistenten wie Siri oder Alexa, nur in viel größerem Maßstab. Anstatt Alexa zu bitten, Ihr Lieblingslied abzuspielen oder Siri, Ihren Text zu tippen, können Sie GPT-3 bitten, ein ganzes eBook in nur wenigen Minuten oder 100 Social-Media-Post-Ideen in weniger als einer Minute zu erstellen. Alles, was der Benutzer tun muss, ist, einen Prompt bereitzustellen, wie z.B. “Schreiben Sie mir einen 500-Wörter-Artikel über die Bedeutung von Kreativität.” Solange der Prompt klar und spezifisch ist, kann GPT-3 fast alles schreiben, was Sie ihm sagen.

Seit seiner Veröffentlichung für die breite Öffentlichkeit hat GPT-3 viele Geschäftsanwendungen gefunden. Unternehmen verwenden es für Textzusammenfassung, Sprachübersetzung, Codegenerierung und die groß angelegte Automatisierung fast jeder Schreibaufgabe.

Das gesagt, obwohl GPT-3 zweifellos sehr beeindruckend ist, wenn es darum geht, hoch lesbareren, menschenähnlichen Text zu erstellen, ist es weit davon entfernt, perfekt zu sein. Probleme treten auf, wenn es darum geht, längere Texte zu schreiben, insbesondere wenn es um komplexe Themen geht, die Einsicht erfordern. Zum Beispiel kann ein Prompt, Computercode für eine Website zu generieren, korrekten, aber suboptimalen Code zurückgeben, so dass ein menschlicher Programmierer immer noch hineingehen und Verbesserungen vornehmen muss. Es ist ein ähnliches Problem mit großen Textdokumenten: Je größer die Menge an Text, desto wahrscheinlicher ist es, dass Fehler – manchmal lustige – auftreten, die von einem menschlichen Schriftsteller behoben werden müssen.

Einfach ausgedrückt, GPT-3 ist kein vollständiger Ersatz für menschliche Schriftsteller oder Programmierer und sollte nicht als solcher betrachtet werden. Stattdessen sollte GPT-3 als Schreibassistent betrachtet werden, der Menschen viel Zeit sparen kann, wenn sie Textideen für Blog-Beiträge oder grobe Entwürfe für Werbetexte oder Pressemitteilungen erstellen müssen.

Mehr Parameter = besser?

Ein wichtiger Aspekt von AI-Modellen ist, wie sie Parameter verwenden, um Vorhersagen zu treffen. Die Parameter eines AI-Modells definieren den Lernprozess und bieten Struktur für die Ausgabe. Die Anzahl der Parameter in einem AI-Modell wird im Allgemeinen als Maß für die Leistung verwendet. Je mehr Parameter, desto leistungsfähiger, glatter und vorhersehbarer ist das Modell, zumindest laut der Skalierungshypothese.

Beispielsweise hatte GPT-1, das 2018 veröffentlicht wurde, 117 Millionen Parameter. GPT-2, das ein Jahr später veröffentlicht wurde, hatte 1,2 Milliarden Parameter, während GPT-3 die Zahl noch höher auf 175 Milliarden Parameter anhob. Laut einem Interview mit Wired im August 2021 erwähnte Andrew Feldman, Gründer und CEO von Cerebras, einem Unternehmen, das mit OpenAI zusammenarbeitet, dass GPT-4 etwa 100 Billionen Parameter haben würde. Dies würde GPT-4 100-mal leistungsfähiger machen als GPT-3, ein quantenspringerischer Sprung in der Parametergröße, der verständlicherweise viele Menschen sehr aufgeregt hat.

Dennoch gibt es gute Gründe, anzunehmen, dass GPT-4 tatsächlich nicht 100 Billionen Parameter haben wird. Je größer die Anzahl der Parameter, desto teurer wird das Modell, um es zu trainieren und fein zu tunen, aufgrund der enormen Rechenleistung, die erforderlich ist.

Plus, es gibt mehr Faktoren als nur die Anzahl der Parameter, die die Effektivität eines Modells bestimmen. Nehmen wir beispielsweise Megatron-Turing NLG, ein Textgenerierungsmodell, das von Nvidia und Microsoft entwickelt wurde und über 500 Milliarden Parameter verfügt. Trotz seiner Größe kommt MT-NLG nicht einmal nahe an die Leistung von GPT-3 heran. Kurz gesagt, größer bedeutet nicht unbedingt besser.

Es ist wahrscheinlich, dass GPT-4 tatsächlich mehr Parameter als GPT-3 haben wird, aber es bleibt abzuwarten, ob diese Zahl um ein Vielfaches höher sein wird. Stattdessen gibt es andere interessante Möglichkeiten, die OpenAI wahrscheinlich verfolgt, wie z.B. ein schlankeres Modell, das sich auf qualitative Verbesserungen in der Algorithmus-Design und Ausrichtung konzentriert. Die genaue Wirkung solcher Verbesserungen ist schwer vorherzusagen, aber was bekannt ist, ist, dass ein sparsames Modell die Rechenkosten durch bedingte Berechnung reduzieren kann, d.h. nicht alle Parameter im AI-Modell feuern alle gleichzeitig, was ähnlich ist, wie Neuronen im menschlichen Gehirn funktionieren.

Was kann GPT-4?

Bis OpenAI eine neue Erklärung abgibt oder sogar GPT-4 veröffentlicht, sind wir gezwungen, zu spekulieren, wie es sich von GPT-3 unterscheiden wird. Unabhängig davon können wir einige Vorhersagen treffen

Obwohl die Zukunft der AI-Deep-Learning-Entwicklung multimodal ist, wird GPT-4 wahrscheinlich weiterhin nur Text verarbeiten. Als Menschen leben wir in einer multisensorischen Welt, die mit verschiedenen Audio-, visuellen und textuellen Eingaben gefüllt ist. Daher ist es unvermeidlich, dass die AI-Entwicklung schließlich ein multimodales Modell hervorbringen wird, das verschiedene Eingaben verarbeiten kann.

Ein gutes multimodales Modell ist jedoch wesentlich schwieriger zu entwerfen als ein textbasiertes Modell. Die Technologie ist einfach noch nicht da und basierend auf dem, was wir über die Grenzen der Parametergröße wissen, ist es wahrscheinlich, dass OpenAI sich auf die Erweiterung und Verbesserung eines textbasierten Modells konzentriert.

Es ist auch wahrscheinlich, dass GPT-4 weniger von präzisen Prompts abhängig sein wird. Einer der Nachteile von GPT-3 ist, dass Textprompts sorgfältig geschrieben werden müssen, um das gewünschte Ergebnis zu erzielen. Wenn Prompts nicht sorgfältig geschrieben werden, kann man mit Ausgaben enden, die untruthful, toxisch oder sogar extremistische Ansichten widerspiegeln. Dies ist Teil des sogenannten “Alignment-Problems” und bezieht sich auf die Herausforderungen bei der Erstellung eines AI-Modells, das die Absichten des Benutzers vollständig versteht. Mit anderen Worten, das AI-Modell ist nicht mit den Zielen oder Absichten des Benutzers ausgerichtet. Da AI-Modelle mit Textdaten aus dem Internet trainiert werden, ist es sehr leicht, menschliche Vorurteile, Falschheiten und Vorurteile in die Textausgaben zu übertragen.

Das gesagt, gibt es gute Gründe, anzunehmen, dass die Entwickler Fortschritte bei der Lösung des Alignment-Problems machen. Diese Optimismus kommt von einigen Durchbrüchen in der Entwicklung von InstructGPT, einer weiterentwickelten Version von GPT-3, die auf menschliches Feedback trainiert wurde, um Anweisungen und Benutzerabsichten genauer zu befolgen. Menschliche Richter fanden, dass InstructGPT viel weniger von guten Prompts abhängig war als GPT-3.

Es sollte jedoch beachtet werden, dass diese Tests nur mit OpenAI-Mitarbeitern durchgeführt wurden, einer ziemlich homogenen Gruppe, die sich nicht viel in Geschlecht, Religion oder politischen Ansichten unterscheiden mag. Es ist wahrscheinlich, dass GPT-4 eine vielfältigere Ausbildung durchlaufen wird, die die Ausrichtung für verschiedene Gruppen verbessern wird, obwohl es noch unklar ist, in welchem Umfang.

Wird GPT-4 den Menschen ersetzen?

Trotz des Versprechens von GPT-4 ist es unwahrscheinlich, dass es den Bedarf an menschlichen Schriftstellern und Programmierern vollständig ersetzen wird. Es gibt noch viel Arbeit zu leisten, von der Optimierung von Parametern bis hin zu Multimodalität und Ausrichtung. Es kann viele Jahre dauern, bis wir ein Textgenerierungsmodell sehen, das ein wirklich menschliches Verständnis der Komplexität und Nuancen realer Erfahrungen erreichen kann.

Dennoch gibt es gute Gründe, sich auf die Ankunft von GPT-4 zu freuen. Die Optimierung von Parametern – anstatt nur Parameterwachstum – wird wahrscheinlich zu einem AI-Modell führen, das viel mehr Rechenleistung hat als sein Vorgänger. Und eine verbesserte Ausrichtung wird GPT-4 wahrscheinlich viel benutzerfreundlicher machen.

Darüber hinaus sind wir noch immer nur am Anfang der Entwicklung und des Einsatzes von AI-Tools. Es werden ständig neue Anwendungsfälle für die Technologie gefunden, und wenn Menschen mehr Vertrauen und Komfort bei der Verwendung von AI am Arbeitsplatz gewinnen, ist es fast sicher, dass wir in den kommenden Jahren eine weit verbreitete Verbreitung von AI-Tools in fast allen Geschäftsbereichen sehen werden.