A GPT-4 ugrás az AGI elérése felé?

A Microsoft a közelmúltban kiadott egy kutatási tanulmányt, melynek címe: A mesterséges általános intelligencia szikrái: A GPT-4 korai kísérletei. A Microsoft leírása szerint:

Ez a papír beszámol a GPT-4 egy korai verziójával kapcsolatos vizsgálatunkról, amikor az OpenAI még aktív fejlesztés alatt állt. Azt állítjuk, hogy a GPT-4 (a korai verziója) egy új LLM-csoport része (például a ChatGPT-vel és a Google PaLM-mel együtt), amelyek általánosabb intelligenciát mutatnak, mint a korábbi AI-modellek.

Ebben a cikkben meggyőző bizonyítékok állnak rendelkezésre, amelyek azt mutatják, hogy a GPT-4 messze túlmutat a memorizáláson, és mélyen és rugalmasan érti a fogalmakat, készségeket és területeket. Valójában az általánosítási képessége messze meghaladja a ma élő emberekét.

Míg korábban megbeszéltük a Az AGI előnyei, gyorsan össze kell foglalnunk azt az általános konszenzust, hogy mi is az AGI rendszer. Lényegében az AGI egy olyan fejlett mesterséges intelligencia, amely több tartományra is képes általánosítani, és nem szűk a hatóköre. A szűk MI példái közé tartozik az autonóm jármű, a chatbot, a sakkbot vagy bármely más mesterséges intelligencia, amelyet egyetlen célra terveztek.

Ehhez képest egy AGI rugalmasan váltakozhatna a fentiek bármelyike ​​vagy bármely más szakterület között. Ez egy olyan mesterséges intelligencia, amely kihasználná a születőben lévő algoritmusokat, mint pl transzfer tanulás, és az evolúciós tanulás, miközben olyan örökölt algoritmusokat is kihasznál, mint pl mély megerősítő tanulás.

Az AGI fenti leírása megegyezik a GPT-4 használatával kapcsolatos személyes tapasztalataimmal, valamint a Microsoft által kiadott kutatási cikkben megosztott bizonyítékokkal.

A dolgozatban felvázolt egyik felszólítás az, hogy a GPT-4 vers formájában írja meg a prímszámok végtelenségének bizonyítását.

Ha elemezzük egy ilyen vers megalkotásának követelményeit, rájövünk, hogy matematikai érvelést, költői kifejezést és természetes nyelvgenerálást igényel. Ez olyan kihívás, amely meghaladja a legtöbb ember átlagos képességeit.

A cikk azt akarta megérteni, hogy a GPT-4 egyszerűen az általános memorizáláson alapuló tartalmat állít elő, szemben a kontextus megértésével és az érvelési képességgel. Amikor felkérték, hogy alkosson újra egy verset Shakespeare stílusában, képes volt rá. Ehhez sokrétű megértés szükséges, amely messze meghaladja az általános lakosság képességeit, és magában foglalja az elmeelméletet és a matematikai zsenialitást.

Hogyan számítsuk ki a GPT-4 intelligenciát?

Felmerül a kérdés, hogyan mérhetjük egy LLM intelligenciáját? És a GPT-4 valódi tanulási viselkedést mutat, vagy puszta memorizálást?

A mesterséges intelligencia-rendszer tesztelésének jelenlegi módja a rendszer kiértékelése szabványos benchmark adatkészleteken, és annak biztosítása, hogy azok függetlenek legyenek a betanítási adatoktól, és egy sor feladatot és tartományt lefedjenek. Ez a fajta tesztelés szinte lehetetlen, mivel a GPT-4-re betanították a szinte korlátlan mennyiségű adatot.

The paper discusses generating novel and difficult tasks/questions that convincingly demonstrate that GPT-4 goes far beyond memorization, and that it has a deep and flexible understanding of concepts, skills, and domains.

Ha intelligenciáról van szó, a GPT-4 képes novellákat, forgatókönyveket generálni, és ki tudja számítani a legbonyolultabb képleteket is.

A GPT-4 nagyon magas szintű kódolásra is képes, mind az utasításokból való kódírás, mind a meglévő kód megértése szempontjából. A GPT-4 a kódolási feladatok széles skáláját képes kezelni
kódolási kihívások a valós alkalmazások számára, az alacsony szintű összeállítástól a magas szintű keretrendszerekig, az egyszerű adatstruktúráktól az összetett programokig, például játékokig. A GPT-4 képes a kódvégrehajtásról is okoskodni, szimulálni az utasítások hatását, és természetes nyelven magyarázni az eredményeket. A GPT-4 még pszeudokódot is képes végrehajtani,

A GPT-4 racionális válaszokat tud adni szinte minden feltett kérdésre. Valójában az intelligenciája szinte legyőzhetetlen összetettségében.

A GPT-4 korlátozásai

A cikk ezután folytatja annak leírását, hogyan vizsgálták meg a GPT-4 válaszait és viselkedését, hogy ellenőrizzék konzisztenciáját, koherenciáját és helyességét, valamint feltárják korlátait és torzításait.

A legnyilvánvalóbb korlát az hallucinációra való hajlam. Íme egy példa egy hallucinációra, amelyet a cikk közöl, ahol a GPT-4 biztos volt a válaszában, amely teljesen hamis volt.

Úgy tűnik, hogy még a GPT-4 is megérti ezt a jelenlegi korlátozást a hallucinációkkal kapcsolatban, mivel ez volt a válasz, amikor megkérdeztem, mi a GPT hallucináció:

A GPT-hallucináció olyan jelenségre utal, amikor egy generatív előképzett transzformátor (GPT) modell, mint amilyen az Ön jelenleg is interakcióba lép, olyan választ ad, amely nem tényszerű információkon alapul, vagy nem koherens a kontextussal. Ezek a hallucinációk akkor fordulnak elő, amikor a modell olyan szöveget generál, amely hihetőnek tűnik, de valójában helytelen, félrevezető vagy értelmetlen.

Más szóval, amikor egy LLM AI-t a világ adataira tanít, hogyan kerülheti el, hogy a rendszer helytelen adatokat tanuljon meg? A téves információk és összeesküvés-elméletek tanulása, valamint az összeesküvés-elméletek elsajátítása során elterjedt nagy nyelvi modell lehet az egyik legnagyobb buktató és fenyegetés, amellyel az emberiség szembesül az LLM-ek széles körű elfogadásával. Valójában ez lehet az AGI egyik legnagyobb fenyegetése, amely meglepően figyelmen kívül hagyja az AGI veszélyeit.

GPT-4 Az intelligencia bizonyítékai

A cikk azt szemlélteti, hogy nem számít, milyen típusú összetett felszólítások irányulnak rá, a GPT-4 felülmúlja a várakozásokat. Ahogy az újságban írják:

A természetes nyelv páratlan elsajátítása. Nemcsak gördülékeny és koherens szöveget tud generálni, hanem különféle módokon megérti és manipulálja is, például összegez, fordít, vagy megválaszol egy rendkívül széles kérdéskört. Sőt, a fordítás alatt nemcsak a különböző természetes nyelvek közötti, hanem a hangnemben és stílusban történő fordításokat is értjük, valamint olyan területeken, mint az orvostudomány, a jog, a számvitel, a számítógépes programozás, a zene stb.

A GPT-4 ál-technikai áttekintéseket kapott, könnyen átment a jelentésén ebben a kontextusban, ha ez egy ember a másik oldalon, akkor azonnal felveszik szoftvermérnöknek. A GPT-4 kompetenciájának hasonló előzetes tesztje a többállapotú ügyvédi vizsgán 70% feletti pontosságot mutatott. Ez azt jelenti, hogy a jövőben számos olyan feladatot automatizálhatunk, amelyek jelenleg az ügyvédekre hárulnak. Valójában van néhány startup vállalkozások, amelyek most robotjogászok létrehozásán dolgoznak GPT-4 használatával.

Új tudás előállítása

A cikk egyik érve az, hogy a GPT-4 számára az egyetlen dolog maradt a megértés valódi szintjének bizonyítására, hogy új ismereteket hozzon létre, például új matematikai tételeket bizonyítson, amely bravúr jelenleg elérhetetlen az LLM-ek számára.

Ez megint egy AGI szent grálja. Bár fennáll a veszélye annak, ha egy AGI-t rossz kezekben irányítanak, az AGI-nek szinte végtelen előnyei vannak annak, ha egy AGI képes gyorsan elemezni az összes történelmi adatot, hogy új tételeket, gyógymódokat és kezeléseket fedezzen fel.

Az AGI lehet a hiányzó láncszem a ritka genetikai betegségek gyógymódjainak megtalálásához, amelyek jelenleg hiányzik a magánszektorból, a rák egyszer s mindenkorra való gyógyításához, valamint a megújuló energia hatékonyságának maximalizálásához, hogy megszüntessük a fenntarthatatlan energiától való függőségünket. Valójában ez bármilyen, az AGI rendszerbe betáplált ebből következő problémát meg tud oldani. Ezt Sam Altman és az OpenAI csapata érti, an Az AGI valóban az utolsó találmány ez szükséges a legtöbb probléma megoldásához és az emberiség javára.

Természetesen ez nem oldja meg a nukleáris gomb problémáját, hogy ki irányítja az AGI-t, és mi a szándéka. Ettől függetlenül papír fenomenális munkát végez, azzal érvelve, hogy a GPT-4 előrelépés az AI-kutatók álma felé. óta 1956, amikor először indult a Dartmouth Summer Research Project on Artificial Intelligence nyári workshop.

Bár vitatható, hogy a GPT-4 AGI-e, könnyen vitatható, hogy az emberiség történetében először olyan mesterséges intelligencia rendszer, amely képes átmenni a Turing teszt.