Přinese GPT-4 lidstvu skutečnou AI revoluci?

Uplynulo téměř tři roky od doby, kdy byl GPT-3 uveden na trh, a to v květnu 2020. Od té doby si model generování textu AI získal velkou pozornost pro svou schopnost vytvářet texty, které vypadají a zní, jako by je napsal člověk. Nyní se zdá, že další iterace softwaru, GPT-4, je již na dosah, s předpokládaným datem vydání někdy na počátku roku 2023.

Navzdory vysoké očekávání této AI zprávy jsou přesné podrobnosti o GPT-4 poměrně vágní. OpenAI, společnost za GPT-4, nezveřejnila mnoho informací o novém modelu, jako jsou jeho funkce nebo schopnosti. Přesto mohou nedávné pokroky v oblasti AI, zejména v oblasti zpracování přirozeného jazyka (NLP), poskytnout některé nápady na to, co můžeme od GPT-4 očekávat.

Co je GPT?

Než se ponoříme do konkrétních detailů, je užitečné nejprve stanovit základní znalosti o tom, co je GPT. GPT znamená Generativní Předtrénovaný Transformer a odkazuje na model hlubokého učení, který je trénován na datech z internetu pro vytváření velkých objemů strojově generovaného textu. GPT-3 je třetí generace této technologie a je jedním z nej pokročilejších modelů generování textu AI, které jsou目前 dostupné.

Představte si GPT-3 jako něco podobného jako hlasoví asistenti, jako je Siri nebo Alexa, ale v mnohem větším měřítku. Místo toho, abyste požádali Alexu, aby přehrála vaši oblíbenou píseň nebo aby Siri napsala váš text, můžete požádat GPT-3, aby napsal celou e-knihu za několik minut nebo vygeneroval 100 nápadů pro sociální média za méně než minutu. Vše, co uživatel musí udělat, je poskytnout podnět, jako je “Napište mi 500slovný článek o důležitosti kreativity.” Pokud je podnět jasný a specifický, GPT-3 může napsat téměř cokoliv, co jste mu řekli.

Od svého vydání pro veřejnost našel GPT-3 mnoho obchodních aplikací. Společnosti jej používají pro souhrny textu, překlad jazyka, generování kódu a velkou automatizaci téměř jakékoli úkolu psaní.

Rovněž je třeba říci, že zatímco GPT-3 je bezpochyby velmi působivý ve své schopnosti vytvářet velmi čitelné texty podobné těm, které píše člověk, je daleko od dokonalosti. Problémy obvykle vznikají, když je požádán o psaní delších textů, zejména když se jedná o složité téma, které vyžaduje vhled. Například podnět k vygenerování počítačového kódu pro webovou stránku může vrátit správný, ale suboptimální kód, takže lidský kódér musí jít a udělat vylepšení. Je to podobný problém s velkými textovými dokumenty: čím větší je objem textu, tím větší je pravděpodobnost, že se objeví chyby – někdy i směšné – které musí být opraveny lidským spisovatelem.

Jednoduše řečeno, GPT-3 není kompletní náhradou za lidské spisovatele nebo kódéry a neměl by být považován za jednu. Místo toho by se GPT-3 měl považovat za pomocníka pro psaní, který může lidem ušetřit spoustu času, když potřebují generovat nápady pro blogové příspěvky nebo hrubé náčrty pro reklamy nebo tiskové zprávy.

Je více parametrů lepší?

Jedna věc, kterou je třeba pochopit o modelech AI, je to, jak používají parametry k provádění předpovědí. Parametry modelu AI definují proces učení a poskytují strukturu pro výstup. Počet parametrů v modelu AI se obecně používá jako měřítko výkonu. Čím více parametrů, tím je model silnější, hladší a předvídatelnější, alespoň podle hypotézy škálování.

Například když byl GPT-1 uveden na trh v roce 2018, měl 117 milionů parametrů. GPT-2, který byl uveden na trh o rok později, měl 1,2 miliardy parametrů, zatímco GPT-3 zvýšil počet ještě výše na 175 miliard parametrů. Podle rozhovoru z srpna 2021 s Wired Andrew Feldman, zakladatel a generální ředitel Cerebras, společnosti, která spolupracuje s OpenAI, uvedl, že GPT-4 bude mít asi 100 bilionů parametrů. To by činilo GPT-4 100krát silnějším než GPT-3, kvantový skok v parametrech, který pochopitelně mnoho lidí velmi nadchl.

Však existují dobré důvody, proč se domnívat, že GPT-4 nebude mít 100 bilionů parametrů. Čím větší je počet parametrů, tím dražší je model na trénink a jemné doladění kvůli obrovskému množství výpočetního výkonu, které je vyžadováno.

Kromě toho existují další faktory, než jen počet parametrů, které určují účinnost modelu. Například Megatron-Turing NLG, model generování textu postavený společností Nvidia a Microsoft, má více než 500 miliard parametrů. Přesto se MT-NLG ani zdaleka nepřibližuje k GPT-3, pokud jde o výkon. Zkrátka, větší neznamená vždy lepší.

Je pravděpodobné, že GPT-4 bude mít více parametrů než GPT-3, ale zda bude tento počet o řád vyšší, zůstává otázkou. Místo toho existují další zajímavé možnosti, které OpenAI pravděpodobně sleduje, jako je například štíhlý model, který se zaměřuje na kvalitativní zlepšení v algoritmickém designu a zarovnání. Přesný dopad takových zlepšení je těžké předpovědět, ale co je známo, je to, že štíhlý model může snížit výpočetní náklady prostřednictvím podmíněného výpočtu, tj. ne všechny parametry v modelu AI budou fungovat neustále, podobně jako to, jak fungují neurony v lidském mozku.

Co bude GPT-4 schopný dělat?

Dokud OpenAI nevydá novou zprávu nebo nevydá GPT-4, jsme odkázáni na spekulace o tom, jak se bude lišit od GPT-3. Přesto můžeme učinit einige předpovědi

Ačkoli budoucnost vývoje hlubokého učení AI je multimodální, GPT-4 se pravděpodobně bude držet pouze textu. Jako lidé žijeme v multisenzorickém světě, který je plný různých audio, vizuálních a textových vstupů. Proto je nevyhnutelné, že vývoj AI nakonec povede k multimodálnímu modelu, který bude moci zahrnout různé vstupy.

Však dobrý multimodální model je podstatně složitější na navržení než model pouze pro text. Technologie prostě ještě není tam a na základě toho, co víme o omezeních velikosti parametrů, je pravděpodobné, že OpenAI se zaměřuje na rozšíření a vylepšení modelu pouze pro text.

Je také pravděpodobné, že GPT-4 bude méně závislý na přesném podnětu. Jednou z nevýhod GPT-3 je, že textové podněty musí být pečlivě napsány, aby se získaly požadované výsledky. Když podněty nejsou pečlivě napsány, můžete skončit s výstupy, které jsou nepravdivé, toxické nebo dokonce odrážejí extremistické názory. To je část toho, co se nazývá “problém zarovnání” a odkazuje na výzvy spojené s vytvořením modelu AI, který plně rozumí úmyslům uživatele. Jinými slovy, model AI není zarovnán s cíli nebo úmysly uživatele. Protože modely AI jsou trénovány pomocí textových dat z internetu, je velmi snadné, aby se do textových výstupů dostaly lidské předpojatosti, nepravdy a předsudky.

Rovněž existují dobré důvody, proč se domnívat, že vývojáři dělají pokroky v řešení problému zarovnání. Tento optimismus pochází z některých průlomů ve vývoji InstructGPT, pokročilejší verze GPT-3, která je trénována na základě lidské zpětné vazby, aby následovala pokyny a úmysly uživatele blíže. Lidské soudce zjistili, že InstructGPT byl mnohem méně závislý na dobrém podnětu než GPT-3.

Však je třeba poznamenat, že tyto testy byly provedeny pouze s zaměstnanci OpenAI, relativně homogenní skupinou, která se může příliš nelišit v pohlaví, náboženských nebo politických názorech. Je pravděpodobné, že GPT-4 projde více rozmanitým tréninkem, který bude zlepšovat zarovnání pro různé skupiny, i když zůstává otázkou, do jaké míry.

Bude GPT-4 nahrazovat lidi?

Přes slib GPT-4 je nepravděpodobné, že úplně nahradí potřebu lidských spisovatelů a kódérů. Stále existuje mnoho práce, která musí být provedena, od optimalizace parametrů po multimodalitu a zarovnání. Možná to bude trvat mnoho let, než uvidíme generátor textu, který bude schopen dosáhnout真正ného lidského pochopení komplexity a nuancí skutečných zkušeností.

Přesto existují dobré důvody, proč být nadšeni z příchodu GPT-4. Optimalizace parametrů – spíše než pouhý růst parametrů – pravděpodobně povede k modelu AI, který bude mít mnohem více výpočetního výkonu než jeho předchůdce. A zlepšené zarovnání pravděpodobně učiní GPT-4 mnohem uživatelsky přívětivějším.

Kromě toho jsme stále pouze na počátku vývoje a přijetí nástrojů AI. Více případů použití této technologie je neustále objevováno a jakmile lidé získají více důvěry a pohodlí při používání AI na pracovišti, je téměř jisté, že uvidíme široké přijetí nástrojů AI napříč téměř všemi obchodními sektory v nadcházejících letech.