Wird uns GPT-4 einer echten KI-Revolution näher bringen?

Es ist fast drei Jahre her, dass GPT-3 im Mai 2020 eingeführt wurde. Seitdem hat das KI-Textgenerierungsmodell aufgrund seiner Fähigkeit, Text zu erstellen, der aussieht und klingt, als wäre er von einem Menschen geschrieben worden, großes Interesse geweckt. Jetzt sieht es so aus, als ob die nächste Iteration der Software, GPT-4, vor der Tür steht, mit einem voraussichtlichen Veröffentlichungsdatum irgendwann Anfang 2023.

Trotz des mit Spannung erwarteten Charakters dieser KI-Neuigkeit waren die genauen Details zu GPT-4 ziemlich lückenhaft. OpenAI, das Unternehmen hinter GPT-4, hat nicht viele Informationen über das neue Modell, etwa seine Funktionen oder Fähigkeiten, öffentlich bekannt gegeben. Dennoch könnten die jüngsten Fortschritte auf dem Gebiet der KI, insbesondere im Hinblick auf die Verarbeitung natürlicher Sprache (NLP), einige Hinweise darauf geben, was wir von GPT-4 erwarten können.

Was ist GPT?

Bevor wir auf die Einzelheiten eingehen, ist es hilfreich, zunächst eine Grundlinie darüber zu erstellen, was GPT ist. GPT steht für Generative Pre-trained Transformer und bezieht sich auf ein Deep-Learning-Modell eines neuronalen Netzwerks, das auf Daten aus dem Internet trainiert wird, um große Mengen maschinengenerierten Textes zu erstellen. GPT-3 ist die dritte Generation dieser Technologie und eines der fortschrittlichsten KI-Modelle zur Textgenerierung, die derzeit verfügbar sind.

Stellen Sie sich vor, dass GPT-3 ein wenig wie Sprachassistenten wie Siri oder Alexa funktioniert, nur in einem viel größeren Maßstab. Anstatt Alexa zu bitten, Ihr Lieblingslied abzuspielen oder Siri Ihren Text eintippen zu lassen, können Sie GPT-3 bitten, in nur wenigen Minuten ein ganzes E-Book zu schreiben oder in weniger als einer Minute 100 Ideen für Social-Media-Beiträge zu generieren. Der Benutzer muss lediglich eine Aufforderung geben, z. B. „Schreiben Sie mir einen Artikel mit 500 Wörtern über die Bedeutung von Kreativität.“ Solange die Eingabeaufforderung klar und spezifisch ist, kann GPT-3 nahezu alles schreiben, was Sie von ihm verlangen.

Seit seiner Veröffentlichung für die breite Öffentlichkeit hat GPT-3 viele geschäftliche Anwendungen gefunden. Unternehmen nutzen es zur Textzusammenfassung, Sprachübersetzung, Codegenerierung und weitgehenden Automatisierung fast aller Schreibaufgaben.

Obwohl GPT-3 zweifellos sehr beeindruckend in seiner Fähigkeit ist, gut lesbaren, menschenähnlichen Text zu erstellen, ist es alles andere als perfekt. Probleme treten tendenziell beim Verfassen längerer Texte auf, insbesondere bei komplexen Themen, die Einsicht erfordern. Beispielsweise kann die Aufforderung, Computercode für eine Website zu generieren, zwar korrekten, aber nicht optimalen Code zurückgeben, sodass ein menschlicher Programmierer dennoch nachbessern muss. Ähnlich verhält es sich mit großen Textdokumenten: Je größer das Textvolumen, desto wahrscheinlicher ist es, dass Fehler – manchmal urkomische – auftreten, die von einem menschlichen Autor behoben werden müssen.

Einfach ausgedrückt ist GPT-3 kein vollständiger Ersatz für menschliche Autoren oder Programmierer und sollte auch nicht als solcher angesehen werden. Stattdessen sollte GPT-3 als Schreibassistent betrachtet werden, der Menschen viel Zeit sparen kann, wenn sie Ideen für Blog-Posts oder grobe Entwürfe für Werbetexte oder Pressemitteilungen generieren müssen.

Mehr Parameter = besser?

Bei KI-Modellen muss man verstehen, wie sie Parameter verwenden, um Vorhersagen zu treffen. Die Parameter eines KI-Modells definieren den Lernprozess und geben der Ausgabe Struktur. Die Anzahl der Parameter in einem KI-Modell wird im Allgemeinen als Maß für die Leistung verwendet. Je mehr Parameter, desto leistungsfähiger, glatter und vorhersehbarer ist das Modell, zumindest laut Skalierungshypothese.

Als GPT-1 beispielsweise im Jahr 2018 veröffentlicht wurde, hatte es 117 Millionen Parameter. GPT-2, das ein Jahr später veröffentlicht wurde, hatte 1.2 Milliarden Parameter, während GPT-3 die Zahl sogar auf 175 Milliarden Parameter erhöhte. Laut einem Interview mit KabelgebundenAndrew Feldman, Gründer und CEO von Cerebras, einem Unternehmen, das mit OpenAI zusammenarbeitet, erwähnte, dass GPT-4 etwa 100 Billionen Parameter haben würde. Dadurch wäre GPT-4 100-mal leistungsfähiger als GPT-3, ein Quantensprung in der Parametergröße, der verständlicherweise viele Menschen sehr aufgeregt hat.

Trotz Feldmans hochtrabender Behauptung gibt es gute Gründe für die Annahme, dass GPT-4 tatsächlich nicht über 100 Billionen Parameter verfügen wird. Je größer die Anzahl der Parameter, desto aufwändiger wird das Training und die Feinabstimmung eines Modells aufgrund der enormen Rechenleistung, die dafür erforderlich ist.

Darüber hinaus gibt es mehr Faktoren als nur die Anzahl der Parameter, die die Wirksamkeit eines Modells bestimmen. Nehmen Sie zum Beispiel Megatron-Turing NLG, ein von Nvidia und Microsoft entwickeltes Textgenerierungsmodell mit mehr als 500 Milliarden Parametern. Trotz seiner Größe kommt MT-NLG hinsichtlich der Leistung nicht annähernd an GPT-3 heran. Kurz gesagt, größer bedeutet nicht unbedingt besser.

GPT-4 wird wahrscheinlich tatsächlich mehr Parameter als GPT-3 haben, aber es bleibt abzuwarten, ob diese Zahl um eine Größenordnung höher sein wird. Stattdessen verfolgt OpenAI wahrscheinlich andere interessante Möglichkeiten, beispielsweise ein schlankeres Modell, das sich auf qualitative Verbesserungen im algorithmischen Design und der Ausrichtung konzentriert. Die genauen Auswirkungen solcher Verbesserungen sind schwer vorherzusagen, aber bekannt ist, dass ein spärliches Modell die Rechenkosten durch sogenannte bedingte Berechnungen senken kann, d. h., nicht alle Parameter im KI-Modell werden ständig aktiviert, ähnlich wie Neuronen im menschlichen Gehirn.

Was wird GPT-4 also können?

Bis OpenAI eine neue Erklärung veröffentlicht oder GPT-4 veröffentlicht, bleibt uns nur zu spekulieren, wie es sich von GPT-3 unterscheiden wird. Unabhängig davon können wir einige Vorhersagen treffen

Obwohl die Zukunft der KI-Deep-Learning-Entwicklung multimodal ist, wird GPT-4 wahrscheinlich weiterhin nur auf Text basieren. Als Menschen leben wir in einer multisensorischen Welt, die mit unterschiedlichen akustischen, visuellen und textlichen Eingaben gefüllt ist. Daher ist es unvermeidlich, dass die KI-Entwicklung irgendwann ein multimodales Modell hervorbringen wird, das eine Vielzahl von Eingaben integrieren kann.

Ein gutes multimodales Modell ist jedoch deutlich schwieriger zu entwerfen als ein Nur-Text-Modell. Die Technologie ist einfach noch nicht so weit, und basierend auf dem, was wir über die Grenzen der Parametergröße wissen, ist es wahrscheinlich, dass sich OpenAI auf die Erweiterung und Verbesserung eines Nur-Text-Modells konzentriert.

Es ist auch wahrscheinlich, dass GPT-4 weniger auf präzise Eingabeaufforderungen angewiesen sein wird. Einer der Nachteile von GPT-3 besteht darin, dass Textaufforderungen sorgfältig geschrieben werden müssen, um das gewünschte Ergebnis zu erzielen. Wenn Eingabeaufforderungen nicht sorgfältig geschrieben werden, kann es zu Ergebnissen kommen, die unwahr oder giftig sind oder sogar extremistische Ansichten widerspiegeln. Dies ist Teil des sogenannten „Ausrichtungsproblems“ und bezieht sich auf Herausforderungen bei der Erstellung eines KI-Modells, das die Absichten des Benutzers vollständig versteht. Mit anderen Worten: Das KI-Modell ist nicht auf die Ziele oder Absichten des Benutzers abgestimmt. Da KI-Modelle anhand von Textdatensätzen aus dem Internet trainiert werden, können menschliche Vorurteile, Unwahrheiten und Vorurteile sehr leicht in die Textausgaben einfließen.

Dennoch gibt es gute Gründe zu der Annahme, dass Entwickler bei der Lösung des Ausrichtungsproblems Fortschritte machen. Dieser Optimismus ist auf einige Durchbrüche bei der Entwicklung von InstructGPT zurückzuführen, einer weiterentwickelten Version von GPT-3, die auf menschlichem Feedback trainiert wird, um Anweisungen und Benutzerabsichten genauer zu befolgen. Menschliche Richter stellten fest, dass InstructGPT weitaus weniger auf gute Eingabeaufforderungen angewiesen war als GPT-3.

Es ist jedoch zu beachten, dass diese Tests nur mit OpenAI-Mitarbeitern durchgeführt wurden, einer relativ homogenen Gruppe, die sich in Bezug auf Geschlecht, Religion oder politische Ansichten kaum unterscheidet. Es ist davon auszugehen, dass GPT-4 ein vielfältigeres Training durchlaufen wird, um die Abstimmung auf verschiedene Gruppen zu verbessern. In welchem ​​Umfang, bleibt jedoch abzuwarten.

Wird GPT-4 den Menschen ersetzen?

Trotz der Versprechen von GPT-4 ist es unwahrscheinlich, dass es den Bedarf an menschlichen Autoren und Programmierern vollständig ersetzen wird. Von der Parameteroptimierung über Multimodalität bis hin zur Ausrichtung gibt es noch viel zu tun. Es kann durchaus viele Jahre dauern, bis wir einen Textgenerator sehen, der ein wirklich menschliches Verständnis der Komplexität und Nuancen realer Erfahrungen ermöglichen kann.

Dennoch gibt es immer noch gute Gründe, sich auf die Veröffentlichung von GPT-4 zu freuen. Parameteroptimierung – und nicht bloßes Parameterwachstum – wird wahrscheinlich zu einem KI-Modell führen, das über weitaus mehr Rechenleistung verfügt als sein Vorgänger. Und eine verbesserte Ausrichtung wird GPT-4 wahrscheinlich weitaus benutzerfreundlicher machen.

Darüber hinaus stehen wir bei der Entwicklung und Einführung von KI-Tools noch am Anfang. Es werden ständig weitere Anwendungsfälle für die Technologie gefunden, und da die Menschen mehr Vertrauen und Komfort beim Einsatz von KI am Arbeitsplatz gewinnen, ist es nahezu sicher, dass wir in den kommenden Jahren eine weit verbreitete Einführung von KI-Tools in fast allen Geschäftsbereichen erleben werden.