Je GPT-4 skokem vpřed k dosažení AGI?

Microsoft nedávno vydal výzkumný dokument s názvem: Sparks of Artificial General Intelligence: Rané experimenty s GPT-4. Jak popisuje Microsoft:

Tento papír informuje o našem vyšetřování rané verze GPT-4, kdy byla ještě v aktivním vývoji OpenAI. Tvrdíme, že (tato raná verze) GPT-4 je součástí nové kohorty LLM (spolu například s ChatGPT a PaLM od Googlu), které vykazují obecnější inteligenci než předchozí modely AI.

V tomto dokumentu jsou nezvratné důkazy, které prokazují, že GPT-4 jde daleko za memorování a že má hluboké a flexibilní porozumění pojmům, dovednostem a doménám. Ve skutečnosti její schopnost zobecnit daleko převyšuje schopnost jakéhokoli dnešního člověka.

Zatímco jsme dříve diskutovali o výhody AGI, měli bychom rychle shrnout obecný konsensus o tom, co je systém AGI. AGI je v podstatě typ pokročilé umělé inteligence, která může zobecňovat více domén a nemá úzký rozsah. Příklady úzké umělé inteligence zahrnují autonomní vozidlo, chatbota, šachového robota nebo jakoukoli jinou umělou inteligenci, která je navržena pro jediný účel.

AGI ve srovnání by byl schopen flexibilně střídat mezi kteroukoli z výše uvedených nebo jakoukoli jinou odbornou oblastí. Je to AI, která by využívala vznikající algoritmy, jako je např přenos učení, a evoluční učení, přičemž také využívá starší algoritmy, jako je např hluboké posílení učení.

Výše uvedený popis AGI odpovídá mým osobním zkušenostem s používáním GPT-4, stejně jako důkazům sdíleným ve výzkumném dokumentu vydaném společností Microsoft.

Jedním z podnětů nastíněných v článku je, aby GPT-4 napsal důkaz o nekonečnosti prvočísel ve formě básně.

Pokud analyzujeme požadavky na vytvoření takové básně, uvědomíme si, že vyžaduje matematické uvažování, básnické vyjadřování a vytváření přirozeného jazyka. To je výzva, která by přesáhla průměrné schopnosti většiny lidí.

List chtěl porozumět tomu, zda GPT-4 jednoduše produkuje obsah založený na obecném zapamatování versus porozumění kontextu a schopnosti uvažovat. Když byl požádán, aby znovu vytvořil báseň ve stylu Shakespeara, dokázal to udělat. To vyžaduje mnohostrannou úroveň porozumění, která daleko přesahuje schopnosti běžné populace a zahrnuje teorii mysli a matematického génia.

Jak vypočítat inteligenci GPT-4?

Vyvstává otázka, jak můžeme změřit inteligenci LLM? A zobrazuje GPT-4 chování skutečného učení nebo pouhého zapamatování?

Současným způsobem testování systému AI je hodnocení systému na sadě standardních referenčních datových sad a zajištění, že jsou nezávislé na trénovacích datech a že pokrývají řadu úkolů a domén. Tento typ testování je téměř nemožný kvůli téměř neomezenému množství dat, na kterých byl GPT-4 trénován.

Článek pojednává o vytváření nových a obtížných úkolů/otázek, které přesvědčivě demonstrují, že GPT-4 jde daleko za memorování a že má hluboké a flexibilní porozumění konceptům, dovednostem a doménám.

Pokud jde o inteligenci, GPT-4 dokáže generovat krátké příběhy, scénáře a dokáže vypočítat ty nejsložitější vzorce.

GPT-4 je také schopen kódovat na velmi vysoké úrovni, a to jak z hlediska psaní kódu z instrukcí, tak porozumění existujícímu kódu. GPT-4 zvládne širokou škálu úloh kódování, od
výzvy v oblasti kódování aplikací v reálném světě, od nízkoúrovňového sestavení po rámce na vysoké úrovni, od jednoduchých datových struktur po složité programy, jako jsou hry. GPT-4 může také uvažovat o provádění kódu, simulovat účinky instrukcí a vysvětlit výsledky v přirozeném jazyce. GPT-4 může dokonce spustit pseudokód,

GPT-4 může nabídnout racionální reakce na téměř jakoukoli danou výzvu. Ve skutečnosti je jeho inteligence ve své komplexnosti téměř neporazitelná.

Omezení GPT-4

Článek pak pokračuje v popisu toho, jak zkoumali reakce a chování GPT-4, aby ověřili jeho konzistenci, koherenci a správnost a odhalili jeho omezení a předsudky.

Nejviditelnějším omezením je jeho sklon k halucinacím. Zde je příklad halucinace, která je uvedena v novinách, kde si GPT-4 byla jistá svou odpovědí, která byla zcela nepravdivá.

Zdá se, že i GPT-4 rozumí tomuto současnému omezení s halucinacemi, protože to byla odpověď, kterou mi dal, když jsem se ho zeptal, co je to halucinace GPT:

Halucinace GPT se týká jevu, kdy model generativního předtrénovaného transformátoru (GPT), jako je ten, se kterým právě komunikujete, vytváří odpověď, která není založena na faktických informacích nebo není v souladu s poskytnutým kontextem. K těmto halucinacím dochází, když model generuje text, který se může zdát věrohodný, ale ve skutečnosti je nesprávný, zavádějící nebo nesmyslný.

Jinými slovy, když trénujete LLM AI na světových datech, jak zabráníte tomu, aby se systém naučil nesprávná data? Velký jazykový model učení a opakování dezinformací a konspiračních teorií by ve skutečnosti mohly být jedním z největších úskalí a hrozeb, kterým lidstvo čelí při přijímání LLM ve velkém měřítku. Ve skutečnosti by to mohla být jedna z větších hrozeb ze strany AGI, která se při diskusích o nebezpečích AGI překvapivě nepouští.

GPT-4 Důkazy inteligence

Dokument ukazuje, že nezáleží na tom, jaký typ složitých výzev k němu směřoval, GPT-4 by překonal očekávání. Jak je uvedeno v dokumentu:

Jeho bezkonkurenční zvládnutí přirozeného jazyka. Dokáže nejen generovat plynulý a souvislý text, ale také mu porozumět a různými způsoby s ním manipulovat, jako je sumarizace, překlad nebo zodpovězení extrémně širokého souboru otázek. Navíc překládáním rozumíme nejen mezi různými přirozenými jazyky, ale také překlady v tónu a stylu a také napříč doménami, jako je medicína, právo, účetnictví, počítačové programování, hudba a další.

Na GPT-4 byly dány falešné technické recenze, v tomto kontextu snadno přešlo význam, kdyby to byl člověk na druhém konci, že by byl okamžitě najat jako softwarový inženýr. Podobný předběžný test kompetence GPT-4 na Multistate Bar Exam ukázal přesnost nad 70 %. To znamená, že v budoucnu bychom mohli automatizovat řadu úkolů, které jsou v současnosti právníkům svěřeny. Ve skutečnosti existují startupy, které nyní pracují na vytvoření robotických právníků pomocí GPT-4.

Produkce nových znalostí

Jedním z argumentů v článku je, že jediné, co GPT-4 zbývá, aby dokázalo skutečné úrovně porozumění, je produkovat nové znalosti, jako je dokazování nových matematických teorémů, což je výkon, který v současnosti zůstává pro LLM mimo dosah.

Pak je to zase svatý grál AGI. I když existuje nebezpečí, že je AGI ovládáno ve špatných rukou, výhody schopnosti AGI rychle analyzovat všechna historická data za účelem objevování nových teorémů, léků a léčebných postupů jsou téměř nekonečné.

AGI by mohl být chybějícím článkem k nalezení léků na vzácná genetická onemocnění, která v současnosti postrádají financování ze soukromého průmyslu, k vyléčení rakoviny jednou provždy a k maximalizaci účinnosti obnovitelné energie, abychom odstranili naši závislost na neudržitelné energii. Ve skutečnosti by to mohlo vyřešit jakýkoli následný problém, který je vložen do systému AGI. Tomu rozumí Sam Altman a tým v OpenAI, an AGI je skutečně posledním vynálezem který je potřebný k vyřešení většiny problémů a ku prospěchu lidstva.

To samozřejmě neřeší problém jaderného tlačítka, kdo ovládá AGI a jaké jsou jejich záměry. Bez ohledu na toto papír odvádí fenomenální práci a tvrdí, že GPT-4 je skok vpřed k dosažení snu, který měli výzkumníci AI od 1956, kdy byl poprvé zahájen první letní workshop Dartmouth Summer Research Project on Artificial Intelligence.

I když je diskutabilní, zda je GPT-4 AGI, lze snadno namítnout, že poprvé v historii lidstva je to systém AI, který může projít Turingův test.