Bréngt GPT-4 eis méi no un eng richteg AI Revolutioun?

Et ass bal dräi Joer zënter GPT-3 agefouert gouf, zréck am Mee 2020. Zënterhier huet den AI Textgeneratiounsmodell vill Interesse fir seng Fäegkeet fir Text ze kreéieren deen ausgesäit a kléngt wéi wann et vun engem Mënsch geschriwwe gouf. Elo gesäit et aus wéi wann déi nächst Iteratioun vun der Software, GPT-4, just ronderëm den Eck ass, mat engem geschätzte Verëffentlechungsdatum vun iergendwann am fréien 2023.

Trotz der héich antizipéierter Natur vun dëser AI Neiegkeet, sinn déi exakt Detailer iwwer GPT-4 zimlech sketchy. OpenAI, d'Firma hannert GPT-4, huet net vill Informatioun iwwer den neie Modell ëffentlech verëffentlecht, sou wéi seng Features oder seng Fäegkeeten. Trotzdem, rezent Fortschrëtter am Beräich vun AI, besonnesch betreffend Natural Language Processing (NLP), kënnen e puer Hiweiser ubidden wat mir vum GPT-4 erwaarden kënnen.

Wat ass GPT?

Ier Dir an d'Spezifizitéite gitt, ass et hëllefräich fir d'éischt eng Baseline opzebauen iwwer wat GPT ass. GPT steet fir Generative Pre-trained Transformer a bezitt sech op en Deep-Learning neural Netzwierkmodell deen op Daten verfügbar vum Internet trainéiert gëtt fir grouss Volumen vu Maschinn generéierten Text ze kreéieren. GPT-3 ass déi drëtt Generatioun vun dëser Technologie an ass ee vun de meescht fortgeschratt AI Text-Generatioun Modeller déi aktuell verfügbar sinn.

Denkt un GPT-3 als Betrib e bësse wéi Stëmmassistenten, wéi Siri oder Alexa, nëmmen op vill méi grousser Skala. Amplaz Alexa ze froen Äre Liiblingslidd ze spillen oder Siri Ären Text ze tippen, kënnt Dir GPT-3 froen e ganzt eBook an nëmmen e puer Minutten ze schreiwen oder 100 Social Media Post Iddien a manner wéi enger Minutt generéieren. Alles wat de Benotzer muss maachen ass eng Prompt ze bidden, sou wéi "Schreift mir en 500-Wuert Artikel iwwer d'Wichtegkeet vun der Kreativitéit." Soulaang d'Prompt kloer a spezifesch ass, kann GPT-3 just iwwer alles schreiwen wat Dir et freet.

Zënter senger Verëffentlechung fir d'Allgemengheet huet GPT-3 vill Geschäftsapplikatiounen fonnt. Firmen benotzen et fir Text Zesummefaassung, Sprooch Iwwersetzung, Code Generatioun, a grouss-Skala Automatisatioun vu bal all Schreiwen Aufgab.

Dat gesot, wärend GPT-3 ouni Zweifel ganz beandrockend ass a senger Fäegkeet fir héich liesbar mënschlech-ähnlechen Text ze kreéieren, ass et wäit vu perfekt. Probleemer tendéieren opzebauen wann se gefrot ginn méi laang Stécker ze schreiwen, besonnesch wann et ëm komplex Themen kënnt, déi Asiicht erfuerderen. Zum Beispill, eng Ufro fir Computercode fir eng Websäit ze generéieren kann e korrekten awer suboptimale Code zréckginn, sou datt e mënschleche Coder nach ëmmer muss eran goen a Verbesserunge maachen. Et ass en ähnlecht Thema mat groussen Textdokumenter: Wat méi grouss de Volume vum Text ass, dest méi wahrscheinlech ass et datt Feeler - heiansdo witzeg - wäerten optrieden, déi vun engem mënschleche Schrëftsteller fixéiert ginn.

Einfach gesot, GPT-3 ass net e komplette Ersatz fir mënschlech Schrëftsteller oder Coderen, an et sollt net als een geduecht ginn. Amplaz, GPT-3 soll als Schreifassistent ugesi ginn, een deen d'Leit vill Zäit spuere kann wann se Blog Post Iddien oder graff Konturen fir Reklammkopie oder Pressematdeelungen generéiere mussen.

Méi Parameteren = besser?

Eng Saach fir iwwer AI Modeller ze verstoen ass wéi se Parameter benotze fir Prognosen ze maachen. D'Parameteren vun engem AI Modell definéieren de Léierprozess a bidden Struktur fir d'Ausgab. D'Zuel vun de Parameteren an engem AI Modell gouf allgemeng als Moossnam vun der Leeschtung benotzt. Der méi Parameteren, der méi mächteg, glat, an prévisibel de Modell ass, op d'mannst no der Skalahypothese.

Zum Beispill, wann GPT-1 am Joer 2018 verëffentlecht gouf, hat et 117 Millioune Parameteren. GPT-2, e Joer méi spéit verëffentlecht, hat 1.2 Milliarde Parameteren, während GPT-3 d'Zuel nach méi héich op 175 Milliarden Parameteren erhéicht huet. Laut engem August 2021 Interview mam Diskussioun, Andrew Feldman, Grënner a CEO vu Cerebras, eng Firma déi Partner mat OpenAI huet, erwähnt datt GPT-4 ongeféier 100 Billioun Parameteren hätt. Dëst géif GPT-4 100 Mol méi staark maachen wéi GPT-3, e Quantesprong an der Parametergréisst, déi, verständlech, vill Leit ganz opgereegt huet.

Wéi och ëmmer, trotz dem Feldman seng héich Fuerderung, ginn et gutt Grënn fir ze denken datt GPT-4 tatsächlech net 100 Billioun Parameteren wäert hunn. Wat méi grouss d'Zuel vun de Parameteren ass, dest méi deier gëtt e Modell fir ze trainéieren an ofzestëmmen wéinst de grousse Quantitéiten u Rechenkraaft erfuerderlech.

Plus, et gi méi Faktoren wéi nëmmen d'Zuel vun de Parameteren, déi d'Effizienz vun engem Modell bestëmmen. Huelt zum Beispill Megatron-Turing NLG, en Textgeneratiounsmodell gebaut vun Nvidia a Microsoft, dee méi wéi 500 Milliarde Parameteren huet. Trotz senger Gréisst kënnt MT-NLG net no bei GPT-3 a punkto Leeschtung. Kuerz gesot, méi grouss heescht net onbedéngt besser.

Chancen sinn, GPT-4 wäert wierklech méi Parameteren hunn wéi GPT-3, mee et bleift ze gesinn ob dës Zuel eng Uerdnung vun Magnitude méi héich ass. Amplaz ginn et aner interessant Méiglechkeeten, déi OpenAI méiglecherweis verfollegt, sou wéi e méi schlanke Modell dee sech op qualitativ Verbesserungen am algorithmesche Design an Ausrichtung konzentréiert. De genauen Impakt vun esou Verbesserungen ass schwéier virauszesoen, awer wat bekannt ass, ass datt e sparse Modell Rechenkäschte reduzéiere kann duerch dat wat bedingt Berechnung genannt gëtt, dh net all Parameteren am AI Modell wäerten déi ganzen Zäit brennen, wat ähnlech ass wéi wéi Neuronen am mënschleche Gehir funktionnéieren.

Also, wat wäert GPT-4 fäeg sinn ze maachen?

Bis OpenAI mat enger neier Ausso erauskënnt oder souguer GPT-4 verëffentlecht, bleiwe mir iwwer spekuléiere wéi et vum GPT-3 wäert ënnerscheeden. Egal, mir kënnen e puer Prognosen maachen

Och wann d'Zukunft vun der AI Deep-Learning Entwécklung multimodal ass, bleift GPT-4 méiglecherweis nëmmen Text. Als Mënsch liewen mir an enger multisensorescher Welt déi mat verschiddenen Audio-, visuellen an textuellen Input gefëllt ass. Dofir ass et inévitabel datt d'AI Entwécklung schlussendlech e multimodale Modell produzéiert deen eng Vielfalt vun Inputen integréiere kann.

Wéi och ëmmer, e gudde multimodale Modell ass wesentlech méi schwéier ze designen wéi en Text-nëmmen Modell. Den Tech ass einfach nach net do a baséiert op deem wat mir iwwer d'Limite vun der Parametergréisst wëssen, ass et méiglech datt OpenAI sech fokusséiert op d'Erweiderung an d'Verbesserung vun engem Text-nëmmen Modell.

Et ass och méiglech datt GPT-4 manner ofhängeg vun der präzis Ufro ass. Ee vun den Nodeeler vum GPT-3 ass datt Textprompts suergfälteg geschriwwe musse ginn fir dat Resultat ze kréien dat Dir wëllt. Wann Ufroen net suergfälteg geschriwwe sinn, kënnt Dir mat Ausgänge kommen, déi onwahrhaft, gëfteg sinn oder souguer extremistesch Meenungen reflektéieren. Dëst ass en Deel vun deem wat als "Ausrichtungsproblem" bekannt ass an et bezitt sech op Erausfuerderunge beim Schafe vun engem AI Modell deen d'Intentioune vum Benotzer voll versteet. An anere Wierder, den AI Modell ass net mat den Ziler oder Intentiounen vum Benotzer ausgeriicht. Zënter datt AI Modeller mat Textdatesets aus dem Internet trainéiert ginn, ass et ganz einfach fir mënschlech Biases, Falschheeten a Viruerteeler hire Wee an d'Textausgaben ze fannen.

Dat gesot, et gi gutt Grënn fir ze gleewen datt d'Entwéckler Fortschrëtter maachen am Ausrichtungsproblem. Dësen Optimismus kënnt aus e puer Duerchbréch an der Entwécklung vun InstructGPT, eng méi fortgeschratt Versioun vum GPT-3, déi op mënschleche Feedback trainéiert gëtt fir d'Instruktiounen an d'Benotzerintentioune méi no ze verfollegen. Mënschleche Riichter hu festgestallt datt InstructGPT vill manner ofhängeg war wéi GPT-3 op gutt Ufro.

Wéi och ëmmer, et sollt bemierkt datt dës Tester nëmme mat OpenAI Mataarbechter gemaach goufen, eng zimlech homogen Grupp déi net vill a Geschlecht, reliéis oder politesch Meenungen ënnerscheeden. Et ass méiglecherweis eng sécher Wette datt GPT-4 méi divers Training wäert ënnergoen, déi d'Ausrichtung fir verschidde Gruppen verbesseren, awer a wéi engem Ausmooss bleift ze gesinn.

Wäert GPT-4 Mënschen ersetzen?

Trotz dem Versprieche vum GPT-4 ass et onwahrscheinlech datt et de Besoin fir mënschlech Schrëftsteller a Coderen komplett ersetzt. Et ass nach vill Aarbecht ze maachen iwwer alles vu Parameteroptimiséierung bis Multimodalitéit bis Ausrichtung. Et ka ganz vill Joer daueren ier mer en Textgenerator gesinn deen e wierklech mënschlecht Verständnis vun de Komplexitéiten an Nuancen vun der realer Erfahrung erreeche kann.

Trotzdem sinn et nach ëmmer gutt Grënn fir opgereegt ze sinn iwwer d'Kommen vum GPT-4. Parameteroptimiséierung - anstatt just Parameterwuesstem - wäert méiglecherweis zu engem AI Modell féieren dee vill méi Rechenkraaft huet wéi säi Virgänger. A verbessert Ausriichtung wäert méiglecherweis GPT-4 vill méi userfrëndlech maachen.

Zousätzlech si mir nach ëmmer nëmmen um Ufank vun der Entwécklung an Adoptioun vun AI Tools. Méi Benotzungsfäll fir d'Technologie ginn dauernd fonnt, a wéi d'Leit méi Vertrauen a Komfort kréien mat der Benotzung vun AI op der Aarbechtsplaz, ass et bal sécher datt mir verbreet Adoptioun vun AI Tools iwwer bal all Geschäftssektor an de kommende Joeren gesinn.