Hype kolem apokalyptických scénářů AI a kavárny s AI atmosférou: otázky jejího řízení, které si nemůžeme dovolit přehlížet

Jsme odsouzeni k záhubě? Je AI vědomá? A proč společnosti zabývající se AI otevírají kavárny?

Tyto otázky jsou naléhavé, znepokojivé a – zejména pokud jde o vědomí – skutečně obtížné. Mají také společnou tendenci přitahovat nás k těm nejvíce spekulativním nebo emocionálně nejpůsobivějším částem příběhu o AI. Méně dramatické otázky přitom už ovlivňují životy lidí: Kdo nese odpovědnost, když systém AI způsobí škodu? Jaká data a jaká lidská práce umožnily jeho vznik? Která rozhodnutí by měl smět ovlivňovat? A kdo má možnost se k tomu vyjádřit?

Nemyslím si nutně, že každý, kdo upozorňuje na existenciální rizika, diskutuje o vědomí strojů nebo otevírá kavárnu, tak činí proto, aby se těmto otázkám vyhnul. Každé z těchto témat si může samo o sobě zasloužit naši pozornost. Ta je však omezená. Když se do popředí dostane dramatický příběh, stojí za to ptát se, co dalšího nám uniká.

Přitažlivost hmatatelné AI

Odvětví AI začalo svým převážně nehmotným produktům dávat fyzickou adresu. Newyorská „Zero Slop Zone“ společnosti Anthropic zvala návštěvníky, aby zpomalili a vychutnali si kávu, knihy a papír s perem; společnost Perplexity otevřela v Soulu kavárnu Cafe Curious, kde je AI této společnosti součástí zážitku. Zprávy o dočasné kavárně společnosti Anthropic a kavárně společnosti Perplexity v Soulu popisují dva odlišné pokusy zasadit abstraktní technologii do běžného společenského prostředí.

Do jisté míry to dává smysl. Většina lidí nevidí jazykový model, nemůže si prohlédnout infrastrukturu, která za ním stojí, ani si snadno představit, co se děje mezi zadáním a odpovědí. Kavárna nabízí jakousi fyzickou náhradu: místnost, šálek, rozhovor. Díky ní se lidé mohou se společností a její technologií snáze setkat – a možná jim také lépe porozumět.

Je tu i druhá rovina. Fyzický prostor zviditelňuje společnost v místní komunitě. Přinejmenším říká: „Jsme tady, na tomto místě, právě teď.“ To může působit uklidňujícím dojmem v oboru, kde se produkty, pravidla i očekávání rychle mění. Viditelnost ale není totéž co odpovědnost. Přívětivé prostředí může technologii přiblížit, aniž by nám řeklo, jak byla natrénována, v čem je spolehlivá nebo jaké možnosti nápravy má člověk, když se v něčem důležitém splete.

Tento rozdíl připomíná myšlenku, ke které se vracím už léta: digitální zážitky nikdy nejsou jen digitální. Lidé se s nimi setkávají na konkrétních místech, ve vztazích a institucích. Otázka designu nespočívá jen v tom, jak zpřístupnit systém AI. Jde také o to, zda tato zkušenost lidem pomáhá pochopit jeho omezení a zachovat si skutečnou možnost rozhodovat.

Debata o vědomí – a lidé, na které už AI dopadá

Stejný rozdíl je důležitý i v debatách o vědomí AI. Názory se skutečně různí v tom, zda je vědomí strojů možné, jaké důkazy by byly přesvědčivé a jak by nejistota měla ovlivnit naše povinnosti. Argument Anila Setha v časopise Noema vysvětluje, proč bychom inteligenci a vědomí neměli považovat za totéž; nedávná reportáž v deníku The Guardian také ukazuje, proč tato otázka zůstává nevyřešená. Tato debata nemá snadné odpovědi.

Nejistota ohledně vnitřního prožívání stroje však neznamená, že bychom si dnes nemohli být jisti otázkami dopadu na lidi. Odpovědnost nezačíná až ve chvíli, kdy si ujasníme, co je vědomí. Začíná tehdy, když organizace vytvářejí, nasazují a zpeněžují systémy, které ovlivňují lidi.

Zamysleme se nad otázkami, které můžeme zkoumat už nyní. Jaké informace byly použity k trénování systému a za jakých podmínek? Kdo připravuje jeho výstupy a kontroluje je? Jak si vede v různých skupinách lidí? Co se stane, když se systém použije ve zdravotnictví, při náboru, ve vzdělávání nebo ve veřejných službách? Může člověk napadnout automatizované doporučení, obrátit se na osobu, která může rozhodnout, a získat smysluplné vysvětlení?

Nejde o hypotetické obavy. Přehled zkreslení v lékařské AI popisuje, jak mohou zkreslená data a rozhodnutí při návrhu přispívat k nerovným klinickým rozhodnutím. Výzkum AI a zaměstnanosti se mezitím stále rozvíjí: analýza dopadů AI na trh práce od společnosti Anthropic nabízí jeden způsob, jak měřit míru vystavení těmto dopadům, zatímco přehled projektu Hamilton Project upozorňuje, že důkazy o širších dopadech na trh práce zůstávají neúplné. Tyto zdroje vedou k různým závěrům o tom, co dnes můžeme tvrdit, zároveň však potvrzují, že je třeba dopady měřit, a nenahrazovat důkazy sebejistými příběhy.

Související riziko spočívá v tom, jak o systémech mluvíme. Lidsky znějící jména a hlasy i konverzační styl mohou způsobit, že AI působí spíše jako člověk než jako produkt. To může ovlivnit důvěru i míru, s jakou lidé přijímají její odpovědi. Je namístě ptát se, zda řeči o vědomí nebo antropomorfní design neodvádějí pozornost od organizací, které určují cíle a omezení systému. Jedna analýza v MIT Technology Review tvrdí, že příběhy o vědomí mohou zastírat otázky odpovědnosti firem. Jde o tvrzení týkající se účinků takového rámování – nikoli o důkaz, že každý, kdo toto téma otevře, má skrytý motiv.

Apokalyptické scénáře nejsou plánem řízení

Existenciální riziko si zaslouží vážnou pozornost. Katastrofické scénáře nejsou méně důležité jen proto, že existují i hrozby s bezprostřednějšími dopady, stejně jako hrozby s bezprostřednějšími dopady nejsou méně důležité kvůli možnosti katastrofy. Nemusíme si vybírat jeden časový horizont a druhý ignorovat.

Když se však celá debata začne točit kolem otázky „Jsme odsouzeni k zániku?“, dlouhodobá rizika znovu zatlačí do pozadí současné škody. Zkáza může znít jako konečný verdikt, nikoli jako výzva k činu: pokud je výsledek nevyhnutelný, proč se namáhat s obtížnou prací na jeho změně? Článek v časopise New Yorker o kurzu věnovaném existenciálnímu riziku popisuje otázku jednoho studenta, který se ptá, zda má smysl budovat „katedrálu“, tedy něco, co vás přežije, když věříte, že svět může skončit. Odpověď nespočívá v tom, že rizika zmizí. Jde o to, že nejistota neruší naši schopnost — ani naši odpovědnost — rozhodovat o tom, na čem bude záležet dál, a pomáhat utvářet budoucí dění.

Právě to mám na mysli, když mluvím o své filozofii „strategického optimismu“. Nejde o lehkovážné „všechno dobře dopadne“ ani o odmítání důkazů. Znamená to uznávat skutečná rizika, pracovat na jejich zmírnění a a zároveň vynakládat velké úsilí na budoucnost, které stojí za to se dočkat. Naděje není opakem důslednosti. Může být tím, co důslednost propojuje s činy.

Otázky správy, které se skrývají za spektáklem

Ať už organizace pořizuje nástroj umělé inteligence, vyvíjí vlastní, nebo pro něj nastavuje pravidla, praktické otázky jsou méně okázalé než kavárna či tvrzení o vědomí — a užitečnější:

• Účel: Jaký problém má systém řešit a je pro něj umělá inteligence tím správným nástrojem?
• Důkazy: Jak byl systém testován, mimo jiné pro různé skupiny uživatelů a méně obvyklé případy?
• Hranice: Která rozhodnutí musí zůstat na člověku a co systém nedokáže?
• Odpovědnost: Kdo odpovídá za selhání systému a jak se mohou dotčení lidé odvolat?
• Transparentnost: Mohou lidé poznat, kdy se využívá umělá inteligence, a jaké informace ovlivnily její výstup?
• Průběžný dohled: Kdo po spuštění systému sleduje jeho výkon, změny v datech a nezamýšlené dopady?

Rámce, jako je Rámec NIST pro řízení rizik umělé inteligence, poskytují organizacím strukturovaný způsob, jak po celou dobu životního cyklu systému umělé inteligence rozpoznávat a řídit rizika. Žádný rámec nemůže nahradit úsudek ani veřejnou diskusi, správa se však stává konkrétnější, jsou-li jasně stanoveny odpovědnosti, testy a možnosti nápravy.

Spravovat je třeba i fyzickou infrastrukturu. Umělá inteligence závisí na datových centrech, elektřině, vodě, půdě a financování — nejen na rozhraních. Zprávy o struktuře financování významného projektu datového centra vyvolávají otázky, jak se zveřejňují rizika spojená s infrastrukturou a kdo je nakonec nese. Kavárna může lidem pomoci setkat se s umělou inteligencí; sama o sobě však nedokáže zviditelnit infrastrukturu, která za ní stojí.

Tak si kavárnu užijte. Pokládejte velké otázky o vědomí. Berte katastrofická rizika vážně. Pak se vraťte k rozhodnutím, která můžeme zkoumat a ovlivňovat už teď: co se bude budovat, kdo z toho bude mít prospěch, kdo ponese náklady a jaká ochranná opatření budou platit, když se něco pokazí.

Budoucnost není verdikt vynesený titulkem. Je souborem rozhodnutí — firem, institucí, vlád i komunit — která lze stále zpochybňovat a měnit. Nejužitečnější otázkou není jen to, zda jsme odsouzeni k zániku. Jde také o to, jaké podmínky by umožnily, aby umělá inteligence přispívala k lidskému rozkvětu, a co jsme ochotni udělat, aby se tyto podmínky staly skutečností.