Je GPT-4 skokom vpred k dosiahnutiu AGI?

Spoločnosť Microsoft nedávno vydala výskumnú prácu s názvom: Sparks of Artificial General Intelligence: Rané experimenty s GPT-4. Ako popisuje Microsoft:

Tento papier informuje o našom vyšetrovaní skorej verzie GPT-4, keď bola ešte v aktívnom vývoji OpenAI. Tvrdíme, že (táto skorá verzia) GPT-4 je súčasťou novej kohorty LLM (spolu napríklad s ChatGPT a PaLM od Google), ktoré vykazujú všeobecnejšiu inteligenciu ako predchádzajúce modely AI.

V tomto dokumente existujú presvedčivé dôkazy, ktoré dokazujú, že GPT-4 ďaleko presahuje memorovanie a že má hlboké a flexibilné chápanie pojmov, zručností a domén. V skutočnosti jej schopnosť zovšeobecňovať ďaleko prevyšuje schopnosť akéhokoľvek dnešného človeka.

Zatiaľ čo sme predtým diskutovali o výhody AGI, mali by sme rýchlo zhrnúť všeobecný konsenzus o tom, čo je systém AGI. AGI je v podstate typ pokročilej AI, ktorá sa môže zovšeobecňovať vo viacerých doménach a nemá úzky rozsah. Príklady úzkej AI zahŕňajú autonómne vozidlo, chatbot, šachový robot alebo akúkoľvek inú AI, ktorá je navrhnutá na jeden účel.

V porovnaní s tým by AGI mohol flexibilne striedať ktorúkoľvek z vyššie uvedených oblastí alebo akúkoľvek inú odbornú oblasť. Je to AI, ktorá by využívala vznikajúce algoritmy ako napr prenos učeniaa evolučné učenie, pričom sa využívajú aj staršie algoritmy, ako napr hlboké posilnenie učenia.

Vyššie uvedený popis AGI zodpovedá mojej osobnej skúsenosti s používaním GPT-4, ako aj dôkazom zdieľaným vo výskumnom dokumente, ktorý vydala spoločnosť Microsoft.

Jednou z výziev načrtnutých v článku je, aby GPT-4 napísal dôkaz o nekonečnosti prvočísel vo forme básne.

Ak analyzujeme požiadavky na vytvorenie takejto básne, uvedomíme si, že si vyžaduje matematické uvažovanie, poetické vyjadrovanie a vytváranie prirodzeného jazyka. Toto je výzva, ktorá by prekročila priemerné schopnosti väčšiny ľudí.

Dokument chcel pochopiť, či GPT-4 jednoducho vytvára obsah založený na všeobecnom zapamätaní verzus chápaní kontextu a schopnosti uvažovať. Keď bol požiadaný, aby znovu vytvoril báseň v štýle Shakespeara, dokázal to urobiť. To si vyžaduje mnohostrannú úroveň porozumenia, ktorá ďaleko presahuje schopnosti bežnej populácie a zahŕňa teóriu mysle a matematického génia.

Ako vypočítať inteligenciu GPT-4?

Otázkou potom je, ako môžeme merať inteligenciu LLM? A zobrazuje GPT-4 správanie skutočného učenia alebo jednoduchého zapamätania?

Súčasným spôsobom testovania systému AI je hodnotenie systému na súbore štandardných referenčných súborov údajov a zabezpečenie, aby boli nezávislé od trénovacích údajov a že pokrývajú celý rad úloh a domén. Tento typ testovania je takmer nemožný kvôli takmer neobmedzenému množstvu údajov, na ktorých bol GPT-4 trénovaný.

Článok pojednáva o vytváraní nových a zložitých úloh/otázok, ktoré presvedčivo demonštrujú, že GPT-4 ďaleko presahuje memorovanie a že má hlboké a flexibilné chápanie konceptov, zručností a domén.

Pokiaľ ide o inteligenciu, GPT-4 dokáže generovať poviedky, scenáre a dokáže vypočítať najkomplikovanejšie vzorce.

GPT-4 je tiež schopný kódovať na veľmi vysokej úrovni, a to ako z hľadiska písania kódu z inštrukcií, tak z hľadiska pochopenia existujúceho kódu. GPT-4 zvládne širokú škálu úloh kódovania, od
výzvy v oblasti kódovania pre aplikácie v reálnom svete, od nízkoúrovňového zostavovania po vysokoúrovňové rámce, od jednoduchých dátových štruktúr po zložité programy, ako sú hry. GPT-4 môže tiež uvažovať o vykonávaní kódu, simulovať účinky pokynov a vysvetliť výsledky v prirodzenom jazyku. GPT-4 môže dokonca spustiť pseudokód,

GPT-4 môže ponúknuť racionálne odpovede na takmer akúkoľvek výzvu. V skutočnosti je jeho inteligencia vo svojej komplexnosti takmer neporaziteľná.

Obmedzenia GPT-4

Dokument potom pokračuje v popise toho, ako skúmali reakcie a správanie GPT-4, aby overili jeho konzistentnosť, koherenciu a správnosť a odhalili jeho obmedzenia a zaujatosti.

Najzrejmejším obmedzením je jeho sklon k halucináciám. Tu je príklad halucinácie, ktorá je uvedená v novinách, kde GPT-4 veril vo svoju odpoveď, ktorá bola úplne nepravdivá.

Zdá sa, že dokonca aj GPT-4 rozumie tomuto súčasnému obmedzeniu s halucináciami, pretože to bola odpoveď, ktorú mi dal, keď som sa ho spýtal, čo je to halucinácia GPT:

Halucinácia GPT sa týka javu, keď model generatívneho predtrénovaného transformátora (GPT), ako je ten, s ktorým práve komunikujete, vytvára odpoveď, ktorá nie je založená na faktických informáciách alebo nie je v súlade s poskytnutým kontextom. Tieto halucinácie sa vyskytujú, keď model generuje text, ktorý sa môže zdať hodnoverný, ale v skutočnosti je nesprávny, zavádzajúci alebo nezmyselný.

Inými slovami, keď trénujete LLM AI na svetových dátach, ako sa vyhnete tomu, aby sa systém naučil nesprávne dáta? Rozsiahly jazykový model učenia a opakovania dezinformácií a konšpiračných teórií by v skutočnosti mohli byť jednou z najväčších nástrah a hrozieb, ktorým ľudstvo čelí pri zavádzaní LLM vo veľkom meradle. V skutočnosti by to mohla byť jedna z väčších hrozieb zo strany AGI, ktorá sa pri diskusii o nebezpečenstvách AGI prekvapivo vynecháva.

GPT-4 dôkazy o inteligencii

Dokument ilustruje, že nezáleží na tom, aký typ zložitých výziev naň smeroval, GPT-4 by prekonal očakávania. Ako je uvedené v papieri:

Jeho bezkonkurenčné ovládanie prirodzeného jazyka. Dokáže nielen generovať plynulý a súvislý text, ale aj rozumieť a manipulovať s ním rôznymi spôsobmi, ako je sumarizácia, preklad alebo odpovedanie na extrémne širokú škálu otázok. Navyše, prekladom máme na mysli nielen preklady medzi rôznymi prirodzenými jazykmi, ale aj preklady v tóne a štýle, ako aj naprieč doménami, ako je medicína, právo, účtovníctvo, počítačové programovanie, hudba a ďalšie.

GPT-4 dostali falošné technické recenzie, v tomto kontexte ľahko prešlo významom, ak by to bol človek na druhom konci, že by ho okamžite najali ako softvérového inžiniera. Podobný predbežný test spôsobilosti GPT-4 na viacštátnej barovej skúške ukázal presnosť nad 70 %. To znamená, že v budúcnosti by sme mohli zautomatizovať mnohé z úloh, ktoré v súčasnosti dostávajú právnici. V skutočnosti existujú startupy, ktoré teraz pracujú na vytvorení robotických právnikov pomocou GPT-4.

Vytváranie nových vedomostí

Jedným z argumentov v tomto dokumente je, že jediné, čo GPT-4 zostáva na preukázanie skutočnej úrovne porozumenia, je produkovať nové poznatky, ako je dokazovanie nových matematických teorémov, čo je výkon, ktorý v súčasnosti zostáva pre LLM mimo dosahu.

Potom je to opäť svätý grál AGI. Aj keď existujú nebezpečenstvá, keď je AGI kontrolovaný v nesprávnych rukách, výhody schopnosti AGI rýchlo analyzovať všetky historické údaje na objavenie nových teorémov, liekov a liečebných postupov sú takmer nekonečné.

AGI by mohol byť chýbajúcim článkom pri hľadaní liekov na zriedkavé genetické choroby, ktoré v súčasnosti nemajú financovanie zo súkromného priemyslu, pri vyliečení rakoviny raz a navždy a pri maximalizácii účinnosti obnoviteľnej energie, aby sme odstránili našu závislosť od neudržateľnej energie. V skutočnosti by to mohlo vyriešiť akýkoľvek následný problém, ktorý je vložený do systému AGI. Tomu rozumie Sam Altman a tím v OpenAI, an AGI je skutočne posledný vynález ktorý je potrebný na vyriešenie väčšiny problémov a na prospech ľudstva.

To samozrejme nerieši problém jadrových tlačidiel, kto ovláda AGI a aké sú ich zámery. Bez ohľadu na toto papier odvádza fenomenálnu prácu a tvrdí, že GPT-4 je skok vpred k dosiahnutiu sna, ktorý mali výskumníci AI od 1956, kedy bol prvýkrát spustený počiatočný letný výskumný projekt Dartmouth Summer Research Project o umelej inteligencii.

Aj keď je diskutabilné, či je GPT-4 AGI, dalo by sa ľahko tvrdiť, že po prvýkrát v histórii ľudstva je to systém AI, ktorý dokáže prejsť Turingov test.