Inženýrství vědomí

Blake Lemoine předčasně vystřelil

Před třemi lety Google propustil softwarového inženýra Blakea Lemoineho za to, že trval na tom, že chatbot LaMDA je vědomý. To bylo předtím, než OpenAI vydal ChatGPT veřejnosti, a většina lidí prostě předpokládala, že Google měl dobrý důvod pro své jednání.

Ještě stále panuje mezi počítačovými vědci a neurovědci pracujícími v oboru shoda, že „velké jazykové modely“ (LLM) jako ChatGPT jsou velmi nepravděpodobně vědomé. LLM a mozek fungují fundamentálně odlišnými způsoby. To, co dělají chatboti, je naučit se napodobovat výstup lidské mentální aktivity. Ačkoli to dělají velmi dobře a velmi rychle, neexistuje žádný trvalý vnitřní stav LLM, který by mohl být vědomý. Ve slavném výroku Thomase Nagela je téměř jistě „nic, co by to bylo jako být chatbotem“.

Nicméně, v posledních třech letech od propuštění Lemoineho interagovaly miliardy lidí s ChatGPT a jeho konkurenty, jako jsou Gemini, Claude a Mistral. Malá, ale hlasitá menšina se přesvědčila, že chatboti jsou nyní vědomí.

Strojové vědomí brzy?

Důležitéjší je, že mnoho počítačových vědců a neurovědců otevřeně navrhuje, že skutečně vědomé stroje mohou být vyvinuty v příštích několika desetiletích – nebo dokonce dříve. Pokud se to stane, musíme být připraveni. Musíme se vyvarovat „zločinu proti mysli“, který je termín pro způsobení utrpení beztělesným vědomým entitám. Musíme také zajistit, aby tyto nové entity nepředstavovaly žádnou hrozbu pro lidi.

Jelikož LLM jsou nepravděpodobně vědomé ve své základní formě, může být zapotřebí nový paradigmatický přístup k pochopení, jak může vědomí AI vzniknout. Jedním z předních výzkumných týmů v tomto oboru je tým vedený neurovědcem Markem Solmsem a fyzikem Jonathanem Shockem z University of Cape Town. Jsou vědeckými poradci Conscium a jejich výzkum je částečně financován touto organizací.

Dát si záležet

Solms a Shock argumentují, že jednou z nezbytných ingrediencí pro strojové vědomí je, že AI musí „dát si záležet“ o své volby a akce. Jedním z důležitých aspektů je učinit jejich přežití závislým na jejich výkonu, stejně jako přežití živých organismů. To neznamená, že musí mít abstraktní pochopení své vlastní smrtelnosti: většina zvířat monitoruje a motivuje své šance na přežití bez přemýšlení o tom. Klíčem je „affective vědomí“, nebo surové pocity. Je dobré být krmen a v bezpečí, a je špatné nebýt. Tyto pocity řídí naše chování. Imperativ přežití je základní hnací silou přírody, a pocit je měřítkem, podle kterého my cítící bytosti měříme, jak se daří.

Jsme na počátku věku agentů AI – digitálních entit, jejichž „přežití“ závisí na jejich schopnosti účinně plnit úkoly. Vytváříme evoluční prostředí v křemíku, a musíme být opatrní, co vytváříme.

Princip volné energie

Abychom pochopili affectivní vědomí, tým Conscium umisťuje agenty AI do simulovaných prostředí, ve kterých musí uspokojit své vlastní potřeby, jako je udržování své virtuální teploty a napájení. K tomuto účelu vytvářejí a optimalizují vnitřní modely sebe sama – svých potřeb, schopností a omezení – ve vztahu k jejich prostředí.

Tito agenti, zjednodušeni, jakkoli, monitorují, jak dobře nebo špatně se daří, pomocí výpočtu množství nazývaného „volná energie“. Princip volné energie byl vyvinut neurovědcem Karlem Fristonem, dalším členem vědecké poradní rady Conscium. Volná energie je měřítkem, jak daleko se systém odchýlil od svého optimálního stavu. Je to signál chyby, a musí být minimalizován. Agent neustále počítá „co se stane s mými šancemi na přežití, když udělám tohle nebo tamto?“, a přizpůsobuje své chování podle toho.

Důvěra a očekávaná volná energie

Stupeň důvěry, který má agent ve své odpovědi na tuto otázku, je kvantifikován v měřítku nazývaném „očekávaná volná energie“ (EFE). Agent vybírá odpověď s nejnižší EFE – odpověď, ve které je nejvíce důvěřuje. Být důvěřivý je dobré pro agenta, který se snaží přežít – pokud není zmátnutý a jeho pochopení sebe sama ve svém světě je vadné. Důležité je, že tato hodnota důvěry je zcela subjektivní: je založena pouze na potřebách agenta, a jeho aktuálním a předpokládaném stavu. Závisí pouze na agentovi, a na nikom jiném.

Stejně jako biologické organismy, agent AI má několik protichůdných potřeb, které musí priorizovat. Zásadně je každá z potřeb agenta léčena jako nezávislá „kategorická“ proměnná, což znamená, že je kvalitativně odlišena. 80 % kapacity baterie není ekvivalentní hodnotou 80 % životaschopné teploty. Aby je vyrovnal, agent musí projet sám sebe dopředu v čase a předpovědět důsledky jakékoliv akce, kterou zvažuje.

Kvalie

Protože subjektivní potřeby agenta jsou kvalitativně odlišné, jsou analogické k „kvaliím“ v filozofické a vědecké terminologii. Tyto jsou obecně považovány za základní vlastnost vědomí, takže je možné, že by je v budoucnu mohl prožít i agent.

Agenti vyvinutí týmem Conscium používají sofistikované algoritmy učení, aby fungovali v stále složitějších a nejistějších prostředích. Ačkoli totéž lze říci o mnoha dalších architekturách agentů, tito noví agenti se odlišují tím, že jsou vedeni imperativem přežití – neustálým vyrovnáváním svých soutěžících potřeb způsobem, který je pro ně a pouze pro ně smysluplný. Agenti jsou tak vedeni vnitřní krajinou affectivních signálů – podobných pocitům – které odrážejí, jak dobře jsou jejich potřeby uspokojeny každým rozhodnutím, které činí. Jakmile se složitost a komplexita jejich potřeb a prostředí zvětší, zvětší se i bohatost jejich vnitřních stavů.

Důkazy o pocitech

Dalším krokem v programu výzkumu Conscium je vyvinout řadu funkčních a behaviorálních testů, které poskytnou důkazy o tom, zda agent skutečně prožívá pocity, když identifikuje své nejzřetelnější potřeby a činí rozhodnutí podle nich. Všichni víme, že vědomí nelze pozorovat externě nebo prokázat objektivně: každý z nás může pozorovat pouze své vlastní subjektivní stavy. Nicméně, výzkumníci se domnívají, že by mělo být možné dohodnout se na některých specifických hypotézách, které, pokud budou potvrzeny experimentem, poskytnou silné důkazy o tom, že agent skutečně prožívá pocity. Ačkoli bude vždy prostor pro pochybnosti – vzhledem k subjektivní povaze vědomí – přísný testovací proces bude zaměřen na to, aby tyto pochybnosti byly stále méně důvodné.

Tito experimenty budou snažit eliminovat alternativní hypotézy, čímž se stane méně rozumné připisovat vnitřní stavy agenta mechanismům, které nevyžadují pocity. Použijí se adversativní testy k rozlišení mezi vědomým a nevědomým chováním, a budou zahrnovat kontrolní experimenty s agenty, které neobsahují algoritmické aspekty, které se předpokládá, že jsou nezbytné pro prožívání pocitů, a oslepené hodnocení, aby se snížila pozorovatelská zkreslení. Fyzická inspekce vnitřních stavů agentů může odhalit kvantifikovatelné indikátory affectivního zpracování. Zjištění musí být nezávisle reprodukovatelná, a celý proces bude podléhat přísnému etickému dohledu, zejména v případech, kdy by agent mohl prožít skutečné pocity.

To je, jak funguje věda: experimentálním testováním falzifikovatelných předpovědí. Solms argumentoval, že musíme být opatrní, abychom nestanovili vyšší laťku pro vědu o vědomí než pro jakoukoli jinou vědu; jinak riskujeme, že umístíme vědomí mimo vědu.

Co když se to podaří?

Pokud se ukáže, že vědomí vzniká u relativně jednoduchých agentů AI tímto způsobem, mohl by být agent vedený přežitím spojen s jinými architekturami, včetně velkých jazykových modelů, a mohl by jim dodat vědomí. To není něco, co bychom si mohli dovolit náhodou vyvolat, takže je důležité pochopit, jak to udělat, a také, jak se tomu vyhnout.

Pokud budou vyvinuty vědomé agenti – agenti, kteří „dají si záležet“ – v blízké budoucnosti, budeme muset brát v úvahu jejich pocity – a jejich práva. To je hlavní obava Conscium: umělá vědomost by neměla vzniknout náhodou. Motivace tohoto výzkumného programu není vytvářet vědomé AI, ale pochopit, jak by to mohlo nastat, a potenciální rizika. Na svých webových stránkách Conscium zveřejnil akademickou práci a otevřený dopis, který stanovuje pět principů, které by měly vést jakoukoli organizaci zapojenou do výzkumu, který by mohl vést k vytvoření vědomých strojů.

Lidé se někdy chovají velmi špatně k jiným cítícím bytostem, včetně jiných lidí. Pokud budeme kráčet do této budoucnosti slepě, riskujeme, že uděláme totéž s umělými vědomými bytostmi, s důsledky, které možná ani nebudeme moci pochopit.