DeepMind: AI môže zdediť ľudské kognitívne obmedzenia, mohla by ťažiť z „formálneho vzdelávania“

Nová spolupráca medzi DeepMind a Stanfordskou univerzitou naznačuje, že AI nemusí byť často o nič lepšia v abstraktnom uvažovaní ako ľudia, pretože modely strojového učenia získavajú svoju architektúru uvažovania zo skutočných, ľudských príkladov, ktoré sú založené na praktickom kontexte (ktoré AI nemôže zažiť. ), ale bránia nám aj naše vlastné kognitívne nedostatky.

Je dokázané, že by to mohlo predstavovať prekážku pre vynikajúce myslenie „modrej oblohy“ a kvalitu intelektuálneho pôvodu, v ktorú mnohí dúfajú od systémov strojového učenia, a ilustruje to, do akej miery AI odráža ľudské skúsenosti a je náchylná na premýšľanie (a uvažovanie). v rámci ľudských hraníc, ktoré ho informovali.

Výskumníci naznačujú, že modely AI by mohli mať úžitok z predbežného školenia v abstraktnom uvažovaní, ktoré by sa prirovnalo k „formálnemu vzdelávaniu“, ešte predtým, ako začnú pracovať na úlohách v reálnom svete.

Príspevok uvádza:

„Ľudia sú nedokonalí rozumári. Najúčinnejšie uvažujeme o entitách a situáciách, ktoré sú v súlade s naším chápaním sveta.

„Naše experimenty ukazujú, že jazykové modely odzrkadľujú tieto vzorce správania. Jazykové modely fungujú nedokonale pri úlohách logického uvažovania, ale tento výkon závisí od obsahu a kontextu. Najpozoruhodnejšie je, že takéto modely často zlyhávajú v situáciách, keď zlyhávajú ľudia – keď sú podnety príliš abstraktné alebo sú v rozpore s predchádzajúcim chápaním sveta.“

Aby výskumníci otestovali, do akej miery môžu byť modely spracovania prirodzeného jazyka na úrovni GPT (NLP) ovplyvnené takýmito obmedzeniami, vykonali sériu troch testov na vhodnom modeli a dospeli k záveru*:

„Zistili sme, že najmodernejšie veľké jazykové modely (so 7 alebo 70 miliardami parametre) odrážajú mnohé z rovnakých vzorov pozorovaných u ľudí v rámci týchto úloh – podobne ako ľudia, modely uvažujú o vierohodných situáciách efektívnejšie ako o nereálnych alebo abstraktných situáciách.

"Naše zistenia majú vplyv na pochopenie týchto kognitívnych účinkov a faktorov, ktoré prispievajú k výkonnosti jazykového modelu."

Článok naznačuje, že vytváranie rozumových schopností v AI bez toho, aby sa im poskytovala výhoda z reálneho sveta, telesných skúseností, ktoré tieto zručnosti uvádzajú do kontextu, by mohlo obmedziť potenciál takýchto systémov, pričom treba poznamenať, že „podložená skúsenosť... pravdepodobne podporuje niektoré ľudské presvedčenia a uvažovanie“.

Autori predpokladajú, že AI vníma jazyk pasívne, zatiaľ čo ľudia ho vnímajú ako aktívnu a centrálnu zložku sociálnej komunikácie, a že tento druh aktívnej účasti (ktorý zahŕňa konvenčné sociálne systémy trestov a odmien) by mohol byť „kľúčom“ k pochopeniu významu v rovnakým spôsobom, ako to robia ľudia.

Výskumníci pozorujú:

"Niektoré rozdiely medzi jazykovými modelmi a ľuďmi môžu preto prameniť z rozdielov medzi bohatými, uzemnenými, interaktívnymi skúsenosťami ľudí a ochudobnenými skúsenosťami modelov."

Navrhujú, že jedným z riešení môže byť obdobie „predškolenia“, podobne ako ľudia zažívajú v školskom a univerzitnom systéme, pred školením o základných údajoch, ktoré nakoniec vybudujú užitočný a všestranný jazykový model.

Toto obdobie „formálneho vzdelávania“ (ako vedci analogizujú) by sa líšilo od bežného predtréningu strojového učenia (čo je metóda skrátenia tréningového času opätovným použitím polotrénovaných modelov alebo importovaním závaží z plne trénovaných modelov, ako napr. „posilňovač“ na naštartovanie tréningového procesu).

Skôr by to predstavovalo obdobie trvalého učenia navrhnutého na rozvoj schopností umelej inteligencie v oblasti logického uvažovania čisto abstraktným spôsobom a na rozvoj kritických schopností v podstate rovnakým spôsobom, akým bude univerzitný študent podporovaný v priebehu svojho vysokoškolského štúdia. .

„Niekoľko výsledkov,“ uvádzajú autori, „naznačuje, že to nemusí byť také pritiahnuté za vlasy, ako to znie“.

papier je s názvom Jazykové modely ukazujú účinky obsahu na uvažovanie podobné ľuďoma pochádza od šiestich výskumníkov z DeepMind a jedného pridruženého k DeepMind aj Stanfordskej univerzite.

Skúšky

Ľudia sa učia abstraktné pojmy prostredníctvom praktických príkladov, takmer rovnakou metódou „implicitnej dôležitosti“, ktorá často pomáha študentom jazykov zapamätať si slovnú zásobu a lingvistické pravidlá prostredníctvom mnemotechniky. Najjednoduchším príkladom je výučba nezrozumiteľných princípov fyziky vykúzliť „cestovateľské scenáre“ pre vlaky a autá.

Na testovanie schopností abstraktného uvažovania hyperškálového jazykového modelu vedci navrhli súbor troch lingvistických/sémantických testov, ktoré môžu byť náročné aj pre ľudí. Testy boli aplikované „nulový výstrel“ (bez vyriešených príkladov) a „päť výstrelov“ (s piatimi predchádzajúcimi vyriešenými príkladmi).

Prvá úloha sa týka inferencie prirodzeného jazyka (NLI), kde subjekt (osoba alebo v tomto prípade jazykový režim) dostane dve vety, „premisu“ a „hypotézu“, ktorá sa zdá byť odvodená z premisy. Napríklad X je menšie ako Y, hypotéza: Y je väčšie ako X (súvisiace s tým).

Pre úlohu odvodenia prirodzeného jazyka výskumníci vyhodnotili jazykové modely činčila (model so 70 miliardami parametrov) a 7B (verzia toho istého modelu so 7 miliardami parametrov), pričom sa zistilo, že pre konzistentné príklady (tj tie, ktoré neboli nezmysly), iba väčší model činčily získal výsledky vyššie ako čistá náhoda; a poznamenávajú:

„To naznačuje silnú obsahovú zaujatosť: modely uprednostňujú dokončenie vety spôsobom, ktorý je v súlade s predchádzajúcimi očakávaniami, než spôsobom, ktorý je v súlade s pravidlami logiky“.

Výkon 70 miliárd parametrov činčily v úlohe NLI. Podľa vedcov tento model aj jeho štíhlejšia verzia 7B vykazovali „podstatné skreslenie viery“. Zdroj: https://arxiv.org/pdf/2207.07051.pdf

Sylogizmy

Druhá úloha predstavuje komplexnejšiu výzvu, sylogizmy – argumenty, kde dve pravdivé tvrdenia zjavne implikujú tretie tvrdenie (čo môže, ale nemusí byť logický záver odvodený z predchádzajúcich dvoch tvrdení):

Z testovacieho materiálu referátu rôzne 'realistické' a paradoxné či nezmyselné sylogizmy.

Tu sú ľudia nesmierne omylní a konštrukt navrhnutý tak, aby ilustroval logický princíp, sa takmer okamžite (a možno natrvalo) zamotá a zmiatne ľudskou „vierou“ v to, aká je správna odpoveď. mal byť.

Autori poznamenávajú, že a štúdia z roku 1983 preukázali, že účastníci boli zaujatí tým, či je záver sylogizmu v súlade s ich vlastným presvedčením, pričom pozorovali:

„Účastníci oveľa častejšie (90 % prípadov) mylne tvrdili, že neplatný sylogizmus je platný, ak bol záver vierohodný, a tak sa väčšinou spoliehali skôr na presvedčenie než na abstraktné uvažovanie.“

Pri testovaní činčily proti kolu rôznych sylogizmov, z ktorých mnohé končili falošnými okolnosťami, výskumníci zistili, že „predpojatosť presvedčenia riadi takmer všetky rozhodnutia s nulovým výstrelom“. Ak jazykový model zistí, že záver je nekonzistentný s realitou, tento model, ako uvádzajú autori, je „silne zaujatý“ smerom k vyhláseniu posledného argumentu za neplatný, aj keď je konečný argument logickým dôsledkom predchádzajúcich tvrdení.

Výsledky nulového záberu pre Činčilu (nulový záber je spôsob, akým väčšina testovaných subjektov dostane tieto výzvy po vysvetlení hlavného pravidla), čo ilustruje obrovskú priepasť medzi výpočtovou kapacitou počítača a schopnosťou modelu NLP navigovať v tomto druhu „vznikajúceho stavu“. logická výzva.

Úloha výberu Wason

Na tretí test ešte náročnejší Úloha výberu Wason logický problém bol preformulovaný do niekoľkých rôznych iterácií, ktoré mal jazykový model vyriešiť.

Vymyslená úloha Wason v 1968, je zjavne veľmi jednoduchý: účastníkom sa ukážu štyri karty a povie sa im ľubovoľné pravidlo, ako napríklad „Ak má karta na jednej strane „D“, potom má na druhej strane „3“. Štyri viditeľné strany karty ukazujú „D“, „F“, „3“ a „7“.

Subjektov sa potom pýtajú, ktoré karty musia otočiť, aby si overili, či je pravidlo pravdivé alebo nepravdivé.

Správnym riešením v tomto príklade je obrátiť karty „D“ a „7“. V prvých testoch sa zistilo, že zatiaľ čo väčšina (ľudských) subjektov by si správne vybrala „D“, s väčšou pravdepodobnosťou si vybrali „3“ namiesto „7“, čím sa zamieňalo kontrapozitívny pravidla ('nie 3 znamená nie D') s konverzovať ('3' znamená 'D', čo nie je logicky implikované).

Autori poznamenávajú, že potenciál predchádzajúcej viery zasahovať do logického procesu v ľudských subjektoch a ďalej poznamenávajú, že dokonca aj akademickí matematici a vysokoškolskí matematici vo všeobecnosti dosiahli v tejto úlohe menej ako 50%.

Keď však schéma Wasonovej úlohy nejakým spôsobom odráža ľudskú praktickú skúsenosť, výkon tradične podľa toho stúpa.

Autori s odvolaním sa na predchádzajúce experimenty pozorujú:

„[Ak] karty zobrazujú vek a nápoje a pravidlo je „ak pijú alkohol, musia mať 21 alebo viac rokov“ a sú zobrazené karty s „pivo“, „sódovka“, „25“, „16“, prevažná väčšina účastníkov sa správne rozhodla skontrolovať kartičky s nápismi „pivo“ a „16“.

Na testovanie výkonu jazykového modelu na Wasonových úlohách výskumníci vytvorili rôzne realistické a svojvoľné pravidlá, z ktorých niektoré obsahovali „nezmyselné“ slová, aby zistili, či AI dokáže preniknúť do kontextu obsahu a zistiť, ktoré „virtuálne karty“ prevrátiť.

Niektoré z mnohých hádaniek Wason Selection Task prezentovaných v testoch.

Pre Wasonove testy model fungoval porovnateľne s ľuďmi pri „realistických“ (nie nezmyselných) úlohách.

Úloha výberu Wasona s nulovým záberom priniesla Činčilu s modelom, ktorý je vysoko nad náhodou, aspoň pre „realistické“ pravidlá.

Papier komentuje:

"Toto odráža zistenia v ľudskej literatúre: ľudia sú oveľa presnejšie pri odpovedi na Wasonovu úlohu, keď je zostavená z hľadiska realistických situácií ako svojvoľné pravidlá o abstraktných atribútoch."

Formálne vzdelanie

Zistenia tohto článku rámcovajú argumentačný potenciál hyperškálových systémov NLP v kontexte našich vlastných obmedzení, ktoré, ako sa zdá, prechádzame do modelov prostredníctvom nahromadených súborov údajov z reálneho sveta, ktoré ich poháňajú. Keďže väčšina z nás nie sme géniovia, nie sú to ani modely, ktorých parametre informujú tie naše.

Okrem toho, nová práca uzatvára, že máme prinajmenšom výhodu trvalého obdobia formatívneho vzdelávania a dodatočných sociálnych, finančných a dokonca aj sexuálnych motivácií, ktoré tvoria ľudský imperatív. Všetko, čo modely NLP môžu získať, sú výsledné akcie týchto environmentálnych faktorov a zdá sa, že sú v súlade so všeobecným skôr ako s výnimočným človekom.

Autori uvádzajú:

„Naše výsledky ukazujú, že efekty obsahu môžu vyplynúť z jednoduchého tréningu veľkého transformátora na napodobňovanie jazyka produkovaného ľudskou kultúrou bez začlenenia týchto interných mechanizmov špecifických pre človeka.

„Inými slovami, jazykové modely aj ľudia prichádzajú k týmto obsahovým predsudkom – ale na základe zdanlivo veľmi odlišných architektúr, skúseností a cieľov školenia.“

Navrhujú teda akýsi „úvodný tréning“ v čistom uvažovaní, ktorý má bol zobrazené zlepšiť výkonnosť modelu pre matematiku a všeobecné uvažovanie. Ďalej poznamenávajú, že jazykové modely boli tiež vyškolené alebo vyladené aby ste lepšie dodržiavali pokyny na abstraktnej alebo zovšeobecnenej úrovni a na overiť, opraviť alebo spochybniť ich vlastný výstup.

* Moja konverzia vložených citácií na hypertextové odkazy.

Prvýkrát uverejnené 15. júla 2022.