Wird GPT-4 uns näher an eine wahre KI-Revolution bringen?

Es ist fast drei Jahre her, seit GPT-3 im Mai 2020 vorgestellt wurde. Seitdem hat das AI-Textgenerierungsmodell aufgrund seiner Fähigkeit, Texte zu erstellen, die wie von einem Menschen geschrieben wirken, viel Interesse geweckt. Jetzt sieht es so aus, als ob die nächste Iteration der Software, GPT-4, gerade um die Ecke ist, mit einem geschätzten Release-Datum Anfang 2023.

Trotz der hocherwarteten Natur dieser AI-Nachrichten sind die genauen Details zu GPT-4 ziemlich vage. OpenAI, das Unternehmen hinter GPT-4, hat keine öffentlichen Informationen über das neue Modell bekannt gegeben, wie seine Funktionen oder Fähigkeiten. Dennoch können jüngste Fortschritte im Bereich der künstlichen Intelligenz, insbesondere im Bereich der Natural Language Processing (NLP), einige Hinweise darauf geben, was wir von GPT-4 erwarten können.

Was ist GPT?

Bevor wir uns mit den Spezifika auseinandersetzen, ist es hilfreich, zunächst eine Grundlage für das zu schaffen, was GPT ist. GPT steht für Generative Pre-trained Transformer und bezieht sich auf ein Deep-Learning-Neural-Netz-Modell, das auf Daten aus dem Internet trainiert wird, um große Mengen an maschinengeneriertem Text zu erstellen. GPT-3 ist die dritte Generation dieser Technologie und eines der fortschrittlichsten AI-Textgenerierungsmodelle, die derzeit verfügbar sind.

Denken Sie an GPT-3 als ein bisschen wie Sprachassistenten, wie Siri oder Alexa, nur in viel größerem Maßstab. Anstatt Alexa zu bitten, Ihren Lieblingssong abzuspielen oder Siri, Ihren Text zu tippen, können Sie GPT-3 bitten, ein ganzes eBook in nur wenigen Minuten oder 100 Social-Media-Post-Ideen in weniger als einer Minute zu erstellen. Alles, was der Benutzer tun muss, ist, eine Aufforderung zu geben, wie “Schreiben Sie einen 500-Wörter-Artikel über die Bedeutung von Kreativität”. Solange die Aufforderung klar und spezifisch ist, kann GPT-3 fast alles schreiben, worum Sie es bitten.

Seit seiner Veröffentlichung für die Allgemeinheit hat GPT-3 viele Geschäftsanwendungen gefunden. Unternehmen verwenden es für Textzusammenfassung, Sprachübersetzung, Codegenerierung und die Automatisierung fast jeder Schreibaufgabe im großen Maßstab.

Das gesagt, während GPT-3 zweifellos sehr beeindruckend in seiner Fähigkeit ist, hochlesbare, menschenähnliche Texte zu erstellen, ist es weit von perfekt entfernt. Probleme treten auf, wenn es aufgefordert wird, längere Stücke zu schreiben, insbesondere wenn es um komplexe Themen geht, die Einsicht erfordern. Zum Beispiel kann eine Aufforderung, Computercode für eine Website zu generieren, korrekten, aber suboptimalen Code zurückgeben, sodass ein menschlicher Coder immer noch hineingehen und Verbesserungen vornehmen muss. Es ist ein ähnliches Problem mit großen Textdokumenten: Je größer der Textumfang, desto wahrscheinlicher ist es, dass Fehler – manchmal lustige – auftreten, die von einem menschlichen Schriftsteller behoben werden müssen.

Einfach ausgedrückt, GPT-3 ist kein vollständiger Ersatz für menschliche Schriftsteller oder Coder und sollte auch nicht als solcher betrachtet werden. Stattdessen sollte GPT-3 als Schreibassistent betrachtet werden, der Menschen viel Zeit sparen kann, wenn sie Blog-Post-Ideen oder grobe Umrisse für Werbetexte oder Pressemitteilungen erstellen müssen.

Mehr Parameter = besser?

Ein wichtiger Aspekt von AI-Modellen ist, wie sie Parameter verwenden, um Vorhersagen zu treffen. Die Parameter eines AI-Modells definieren den Lernprozess und bieten Struktur für die Ausgabe. Die Anzahl der Parameter in einem AI-Modell wurde im Allgemeinen als Maß für die Leistung verwendet. Je mehr Parameter, desto leistungsfähiger, glatter und vorhersehbarer ist das Modell, zumindest laut der Skalierungshypothese.

Zum Beispiel hatte GPT-1, das 2018 veröffentlicht wurde, 117 Millionen Parameter. GPT-2, das ein Jahr später veröffentlicht wurde, hatte 1,2 Milliarden Parameter, während GPT-3 die Zahl noch höher auf 175 Milliarden Parameter anhob. Laut einem Interview mit Wired im August 2021 erwähnte Andrew Feldman, Gründer und CEO von Cerebras, einem Unternehmen, das mit OpenAI zusammenarbeitet, dass GPT-4 etwa 100 Billionen Parameter haben würde. Dies würde GPT-4 100-mal leistungsfähiger machen als GPT-3, ein quantenspringerischer Sprung in der Parametergröße, der verständlicherweise viele Menschen sehr aufgeregt hat.

Allerdings gibt es gute Gründe, anzunehmen, dass GPT-4 tatsächlich nicht 100 Billionen Parameter haben wird. Je größer die Anzahl der Parameter, desto teurer wird das Modell zu trainieren und fein zu tunen, aufgrund der enormen Rechenleistung, die erforderlich ist.

Plus, es gibt mehr Faktoren als nur die Anzahl der Parameter, die die Effektivität eines Modells bestimmen. Nehmen wir zum Beispiel Megatron-Turing NLG, ein Textgenerierungsmodell, das von Nvidia und Microsoft entwickelt wurde und über 500 Milliarden Parameter verfügt. Trotz seiner Größe kommt MT-NLG nicht einmal nahe an GPT-3 in Bezug auf Leistung heran. Mit anderen Worten, größer bedeutet nicht unbedingt besser.

Es ist wahrscheinlich, dass GPT-4 tatsächlich mehr Parameter als GPT-3 haben wird, aber es bleibt abzuwarten, ob diese Zahl um ein Vielfaches höher sein wird. Stattdessen gibt es andere interessante Möglichkeiten, die OpenAI wahrscheinlich verfolgt, wie ein schlankeres Modell, das sich auf qualitative Verbesserungen in der algorithmischen Gestaltung und Ausrichtung konzentriert. Die genaue Wirkung solcher Verbesserungen ist schwer vorherzusagen, aber was bekannt ist, ist, dass ein sparsames Modell die Rechenkosten durch bedingte Berechnung reduzieren kann, d. h. nicht alle Parameter im AI-Modell feuern immer, was ähnlich ist, wie Neuronen im menschlichen Gehirn funktionieren.

Was kann GPT-4?

Bis OpenAI eine neue Erklärung abgibt oder sogar GPT-4 veröffentlicht, sind wir gezwungen, zu spekulieren, wie es sich von GPT-3 unterscheiden wird. Unabhängig davon können wir einige Vorhersagen treffen

Obwohl die Zukunft der AI-Deep-Learning-Entwicklung multimodal ist, wird GPT-4 wahrscheinlich weiterhin nur Text behandelten. Als Menschen leben wir in einer multisensorischen Welt, die mit verschiedenen Audio-, visuellen und textuellen Eingaben gefüllt ist. Daher ist es unvermeidlich, dass die AI-Entwicklung schließlich ein multimodales Modell hervorbringen wird, das verschiedene Eingaben umfassen kann.

Allerdings ist ein gutes multimodales Modell wesentlich schwieriger zu entwerfen als ein textbasiertes Modell. Die Technologie ist einfach noch nicht da und basierend auf dem, was wir über die Grenzen der Parametergröße wissen, ist es wahrscheinlich, dass OpenAI sich auf die Erweiterung und Verbesserung eines textbasierten Modells konzentriert.

Es ist auch wahrscheinlich, dass GPT-4 weniger von präzisen Aufforderungen abhängig sein wird. Eine der Nachteile von GPT-3 ist, dass Textaufforderungen sorgfältig geschrieben werden müssen, um das gewünschte Ergebnis zu erzielen. Wenn Aufforderungen nicht sorgfältig geschrieben werden, kann man mit Ausgaben enden, die unwahr, giftig oder sogar extremistische Ansichten widerspiegeln. Dies ist Teil des sogenannten “Alignment-Problems” und bezieht sich auf die Herausforderungen bei der Erstellung eines AI-Modells, das die Absichten des Benutzers vollständig versteht. Mit anderen Worten, das AI-Modell ist nicht mit den Zielen oder Absichten des Benutzers ausgerichtet. Da AI-Modelle mit Textdatensätzen aus dem Internet trainiert werden, ist es sehr leicht, menschliche Vorurteile, Falschheiten und Vorurteile in die Textausgaben zu übernehmen.

Das gesagt, gibt es gute Gründe, anzunehmen, dass die Entwickler Fortschritte bei der Lösung des Alignment-Problems machen. Diese Optimismus kommt von einigen Durchbrüchen in der Entwicklung von InstructGPT, einer fortgeschritteneren Version von GPT-3, die auf menschliches Feedback trainiert wird, um Anweisungen und Benutzerabsichten genauer zu befolgen. Menschliche Richter fanden, dass InstructGPT viel weniger von guten Aufforderungen abhängig war als GPT-3.

Allerdings sollte beachtet werden, dass diese Tests nur mit OpenAI-Mitarbeitern durchgeführt wurden, einer ziemlich homogenen Gruppe, die sich nicht viel in Geschlecht, religiösen oder politischen Ansichten unterscheiden mag. Es ist wahrscheinlich ein sicherer Tipp, dass GPT-4 eine vielfältigere Ausbildung durchlaufen wird, die die Ausrichtung für verschiedene Gruppen verbessern wird, obwohl es noch zu sehen bleibt, in welchem Umfang.

Wird GPT-4 Menschen ersetzen?

Trotz der Versprechungen von GPT-4 ist es unwahrscheinlich, dass es den Bedarf an menschlichen Schriftstellern und Codern vollständig ersetzen wird. Es gibt noch viel Arbeit zu leisten, von der Parameteroptimierung bis hin zur Multimodalität und Ausrichtung. Es mag viele Jahre dauern, bis wir einen Textgenerator sehen, der ein wirklich menschliches Verständnis der Komplexitäten und Nuancen der realen Erfahrung erreichen kann.

Trotzdem gibt es gute Gründe, sich auf die Ankunft von GPT-4 zu freuen. Die Parameteroptimierung – anstatt nur das Wachstum der Parameter – wird wahrscheinlich zu einem AI-Modell führen, das viel mehr Rechenleistung als sein Vorgänger hat. Und eine verbesserte Ausrichtung wird GPT-4 wahrscheinlich viel benutzerfreundlicher machen.

Darüber hinaus sind wir noch immer nur am Anfang der Entwicklung und des Einsatzes von AI-Tools. Es werden ständig neue Einsatzmöglichkeiten für die Technologie gefunden, und da Menschen mehr Vertrauen und Komfort beim Einsatz von AI am Arbeitsplatz gewinnen, ist es fast sicher, dass wir in den kommenden Jahren eine weitverbreitete Verbreitung von AI-Tools in fast jedem Geschäftsbereich sehen werden.