Je GPT-4 skokem vpřed směrem k dosažení AGI?

Společnost Microsoft (MSFT ) nedávno vydala výzkumnou práci s názvem: Sparks of Artificial General Intelligence: Early experiments with GPT-4. Jak je popsáno společností Microsoft:

Tato práce hlásí o naší zkoumání rané verze GPT-4, když byla stále ve vývoji OpenAI. Tvrdíme, že (tato raná verze) GPT-4 je součástí nové skupiny LLM (společně s ChatGPT a Google’s (GOOGL ) PaLM například), které vykazují obecnější inteligenci než předchozí modely AI.

V této práci je přesvědčivý důkaz, že GPT-4 jde daleko za hranice memorizace a že má hluboké a flexibilní pochopení konceptů, dovedností a domén. Ve skutečnosti jeho schopnost generalizovat daleko přesahuje schopnost jakéhokoli živého člověka dnes.

Zatímco jsme dříve diskutovali o přínosech AGI, měli bychom rychle shrnout obecný konsenzus o tom, co je AGI systém. V podstatě je AGI typ pokročilého AI, který může generalizovat napříč několika doménami a není úzký v rozsahu. Příklady úzkého AI zahrnují autonomní vozidlo, chatbota, šachový bot nebo jakýkoli jiný AI, který je navržen pro jediný účel.

AGI by mohl flexibilně střídat mezi kterékoli z výše uvedených nebo jakýmkoli jiným oborem odbornosti. Je to AI, který by využil nových algoritmů, jako je transfer learning, a evoluční učení, a zároveň by využil i legacy algoritmů, jako je deep reinforcement learning.

Výše uvedená popis AGI odpovídá mé osobní zkušenosti s používáním GPT-4, stejně jako důkazům sdíleným ve výzkumné práci, která byla vydána společností Microsoft.

Jedna z výzev uvedených v práci je, aby GPT-4 napsal důkaz nekonečnosti prvočísel ve formě básně.

Pokud analyzujeme požadavky na vytvoření takové básně, uvědomíme si, že vyžaduje matematické uvažování, poetické vyjádření a generování přirozeného jazyka. Je to výzva, která by překročila průměrnou schopnost většiny lidí.

Práce chtěla zjistit, zda GPT-4 produkuje obsah na základě obecné memorizace nebo zda chápe kontext a může uvažovat. Když byl požádán o vytvoření básně ve stylu Shakespeara, byl schopen to udělat. To vyžaduje mnohostrannou úroveň pochopení, která daleko přesahuje schopnost obecné populace a zahrnuje teorii mysli a matematické génium.

Jak vypočítat inteligenci GPT-4?

Otázka se stává, jak můžeme měřit inteligenci LLM? A zda GPT-4 vykazuje chování skutečného učení nebo pouze memorizace?

Aktuální způsob testování AI systému spočívá v hodnocení systému na sadě standardních benchmark dat, a zajistit, aby byly nezávislé na trénovacích datech a aby pokrývaly řadu úkolů a domén. Tento typ testování je téměř nemožný kvůli téměř neomezenému množství dat, na kterých byl GPT-4 trénován.

Práce diskutuje o generování nových a obtížných úkolů/otázek, které přesvědčivě prokazují, že GPT-4 jde daleko za hranice memorizace a že má hluboké a flexibilní pochopení konceptů, dovedností a domén.

Když jde o inteligenci, GPT-4 může generovat krátké příběhy, scénáře a může vypočítat nejkomplikovanější formule.

GPT-4 je také schopen kódovat na velmi vysoké úrovni, a to jak psaním kódu z instrukcí, tak i porozuměním existujícímu kódu. GPT-4 může zvládnout širokou škálu kódovacích úkolů, od kódovacích výzev až po reálné aplikace, od nízkoúrovňového assembly až po vysoké frameworky, od jednoduchých datových struktur až po komplexní programy, jako jsou hry. GPT-4 může také uvažovat o spuštění kódu, simulovat účinky instrukcí a vysvětlovat výsledky v přirozeném jazyce. GPT-4 může dokonce spustit pseudokód,

GPT-4 může poskytnout racionální odpovědi na téměř jakoukoli výzvu. Ve skutečnosti je jeho inteligence téměř neporazitelná ve své komplexitě.

Omezení GPT-4

Práce poté pokračuje popisem toho, jak zkoumali odpovědi a chování GPT-4, aby ověřili jeho konzistenci, koherenci a správnost, a aby odhalili jeho omezení a předpojatosti.

Nejběžnější omezení je jeho tendence k halucinacím. Zde je příklad halucinace, která je uvedena v práci, kde GPT-4 byl přesvědčen o své odpovědi, která byla zcela falešná.

Zdá se, že i GPT-4 chápe toto současné omezení s halucinacemi, protože tato byla odpověď, kterou poskytl, když jsem se ho zeptal, co je GPT halucinace:

GPT halucinace se týká jevu, kdy model Generative Pre-trained Transformer (GPT), jako je ten, se kterým jste právě komunikovali, produkuje odpověď, která není založena na faktických informacích nebo není koherentní s kontextem. Tyto halucinace nastávají, když model generuje text, který může vypadat přesvědčivě, ale je ve skutečnosti nesprávný, zavádějící nebo nesmyslný.

Jinými slovy, když trénujete LLM AI na světových datech, jak můžete zabránit tomu, aby systém naučil nesprávná data? Velký jazykový model, který učí a reprodukuje nesprávné informace a konspirační teorie, by mohl být jednou z největších pastí a hrozeb, kterým lidstvo čelí s velkým přijetím LLM. To by mohlo být jednou z větších hrozeb z AGI, které jsou překvapivě přehlíženy, když se diskutuje o nebezpečích AGI.

Důkazy inteligence GPT-4

Práce ilustruje, že nezáleželo na tom, jaký komplexní úkol byl GPT-4 zadán, GPT-4 vždy překročil očekávání. Jak je uvedeno v práci:

Jeho bezprecedentní ovládnutí přirozeného jazyka. Může nejen generovat plynulý a koherentní text, ale také chápat a manipulovat jím různými způsoby, jako je shrnutí, překlad nebo odpověď na velmi širokou škálu otázek. Kromě toho překlad znamená nejen překlad mezi různými přirozenými jazyky, ale také překlad tónu a stylu, stejně jako mezi doménami, jako je medicína, právo, účetnictví, počítačové programování, hudba a další.

Falešné technické recenze byly poskytnuty GPT-4, snadno je prošel, což v tomto kontextu znamená, že kdyby to byl člověk na druhé straně, okamžitě by byl přijat jako softwarový inženýr. Podobný předběžný test kompetence GPT-4 na Multistate Bar Exam ukázal přesnost nad 70%. To znamená, že v budoucnu bychom mohli automatizovat mnoho úkolů, které jsou目前 přiděleny právníkům. Ve skutečnosti existují některé startupy, které nyní pracují na vytvoření robotických právníků pomocí GPT-4.

Vytvoření nové znalosti

Jedním z argumentů v práci je, že jediným zbývajícím úkolem pro GPT-4, aby prokázal skutečné úrovni pochopení, je vytvořit novou znalost, jako je prokázání nových matematických teorií, což je čin, který目前 zůstává mimo dosah LLM.

Pak znovu, toto je svatý grál AGI. Zatímco existují nebezpečí spojená s AGI, která jsou ovládána špatnými rukami, výhody AGI, která může rychle analyzovat všechny historické údaje, aby objevila nové teorie, léky a léčby, jsou téměř nekonečné.

AGI by mohl být chybějícím článkem pro nalezení léků na vzácná genetická onemocnění, která目前 postrádají soukromé průmyslové financování, pro vyléčení rakoviny jednou provždy a pro maximalizaci efektivity obnovitelné energie, aby se odstranila naše závislost na neudržitelné energii. Ve skutečnosti by mohl vyřešit jakýkoli důsledný problém, který je vložen do systému AGI. To je to, co Sam Altman a tým v OpenAI chápou, AGI je skutečně poslední vynález, který je potřebný k řešení většiny problémů a k prospěchu lidstva.

Samozřejmě, že to nevyřeší problém jaderného tlačítka, kdo ovládá AGI a jaké jsou jeho úmysly. Přesto tato práce velmi dobře argumentuje, že GPT-4 je skokem vpřed směrem k dosažení snu AI výzkumníků, který měli od roku 1956, kdy byl poprvé spuštěn letní výzkumný projekt Dartmouth na umělou inteligenci.

Zatímco je sporné, zda GPT-4 je AGI, lze snadno argumentovat, že je to poprvé v lidské historii, kdy je to systém AI, který může projít Turingovým testem.