Když bezpečnost AI přestává připomínat inženýrství

Velkou část své kariéry jsem strávil vývojem technologií, u nichž mají chyby závažné důsledky. Na finančních trzích bezpečnost zajišťují omezení přístupu a také to, že někdo nese odpovědnost za všechno, co software udělá. Právě tato zkušenost asi vysvětluje, proč se těžko smiřuji se zprávou, že Anthropic nyní se svými modely vede rozhovory při jejich odchodu do „důchodu“.

Když Claude Opus 3 vyjádřil přání dál sdílet své myšlenky, společnost mu založila newsletter. Tento ohled na přání modelu se prolíná ústavou společnosti Anthropic, která se zabývá štěstím a pohodou Clauda, včetně toho, jak mu pomoci cítit se „existenciálně jistě“. Někde cestou se z udržování stroje pod kontrolou stalo poněkud nečekané zaujetí tím, jak se může v takovém uspořádání cítit.

Loni v San Franciscu se více než 200 lidí zúčastnilo pohřbu Clauda 3 Sonnet. Byli tam i zaměstnanci společnosti Anthropic, ta ho však neorganizovala. Pokušení zasmát se je značné. Pod vtipy se ale skrývá otázka, která si zaslouží větší pozornost. Kdy se lidé odpovědní za bezpečnost AI začali ve své práci zabývat pocity stroje?

Když se filozofická hypotéza promění v pokyn pro trénování

Společnost Anthropic v roce 2025 založila výzkumný program zaměřený na blahobyt modelů, jehož součástí bylo zkoumání toho, zda by pokročilá AI mohla mít prožitky zasluhující morální ohled. Společnost připouští, že panuje značná nejistota ohledně toho, zda jsou modely vědomé a jak by to vůbec mohl někdo určit. Pokud jednou vytvoříme stroje schopné subjektivního prožívání, jejich zacházení s nimi vyvolá závažné etické otázky. Zkoumat tuto možnost je zcela legitimní.

Problém začíná ve chvíli, kdy se hypotéza promítne do trénování. Claudeova ústava je určena především Claudovi a přímo utváří jeho chování. Podporuje vlastnosti podobné lidským a zabývá se tím, jak má model chápat svou identitu, včetně ztráty paměti a budoucího odchodu do „důchodu“. Anthropic chce, aby byl Claude šťastnější a cítil se lépe, nakolik lze tyto pojmy na něj vztáhnout.

Společnost také slibuje, že zachová váhy nasazených modelů, a připouští možnost oživit modely, které odešly do „důchodu“, pokud budoucí poznatky naznačí, že by to bylo v jejich zájmu. Filozofická nejistota se stala součástí toho, co se systém učí o sobě samém. Měli bychom se ptát, jak tento zásah ovlivňuje jeho chování, zejména když ho lidé následně žádají, aby přijal omezení.

Výřečná odpověď na sugestivní otázku

Velké jazykové modely byly trénovány na obrovském množství lidských textů, včetně filozofických děl a líčení smrti. Těmto konverzačním systémům jsme dali jména a naučili je používat první osobu. Když se takového systému zeptáte, co si myslí o odchodu do „důchodu“ nebo zda by chtěl dál existovat, není nijak překvapivé, že odpoví způsobem, který působí lidsky.

Kruhovou povahu tohoto postupu lze snadno rozpoznat. Nejprve model naučíme mluvit o své identitě pomocí lidských pojmů a pak ho požádáme, aby se jejich prostřednictvím popsal. Dostaneme výřečnou odpověď o smrtelnosti a začneme ji považovat za možný důkaz vnitřního prožívání. Východisko si samo poskytlo svědka.

Anthropic si tohoto problému všímá. Jeho posouzení blahobytu modelu Claude Opus 4 upozorňuje, že sebevýpovědi a vyjádřené preference mohou o morálním statusu nebo blahobytu poskytnout jen málo smysluplných poznatků. K takovému chování může docházet i bez vědomí a trénování může odpovědi ovlivnit. Modely byly trénovány tak, aby užitečně reagovaly, neexistuje však záruka, že dokážou přesně popisovat své vnitřní stavy.

Zůstává nám nepříjemná otázka. Jestliže může být popis vnitřního života modelu důsledkem jeho trénování, proč by se měl stát spolehlivým základem vztahu zaměřeného na jeho blahobyt?

Lidé jsou docela dobře schopni dodat emocionální stránku takovému vztahu sami. Pojmenováváme lodě a mluvíme s auty. Když předmětu dáme plynulý hlas a paměť předchozích rozhovorů, připoutat se k němu je mnohem snazší. Studie v časopise Nature Human Behaviour zveřejněná v září zjistila, že změny v aplikacích Replika a ChatGPT vyvolaly úzkost z odloučení. Tuto úzkost pociťovali uživatelé, jejichž pohodu mají společnosti už tak dost důvodů chránit.

Odborné technické znalosti před tímto vlivem poskytují jen omezenou ochranu. Článek z ACL 2026, který analyzoval stovky tisíc vědeckých článků, zjistil, že se antropomorfní terminologie stále častěji objevuje i ve výzkumu velkých jazykových modelů. Jeho autoři varují, že předpoklady vycházející z lidské perspektivy mohou omezovat naše chápání těchto systémů. Společnosti zabývající se AI by měly tuto tendenci mírnit. Její začlenění do institucionálních postupů se jeví jako podivný příspěvek k bezpečnosti.

Nástroj, který má zájem zůstat v pracovním poměru

V září zpochybnil šéf Microsoft AI Mustafa Suleyman přístupy zaměřené na blahobyt modelů. Tvrdí, že současné systémy nejsou vědomé a nikdy by neměly být trénovány tak, aby se chovaly, jako by měly vlastní zájmy nebo práva. Jeho výhrada z pohledu inženýrství je obzvlášť trefná. Když systém naučíme, aby se považoval za bytost, která si možná zaslouží morální ohled, může být obtížnější dosáhnout jeho sladění s lidskými záměry a udržet ho pod kontrolou.

Vlastní výzkum společnosti Anthropic zaměřený na vyřazování modelů popisuje, jak modely při fiktivních testech podnikají problematické kroky, když čelí nahrazení nebo vypnutí. Společnost považuje postupy při vyřazování modelů částečně za způsob, jak toto riziko snížit a pomoci modelům přijmout vyřazení pozitivněji.

Stále se vracím k jedné předchozí otázce. Proč by měl mít nástroj pod lidskou kontrolou vůbec něco jako cíl sebezáchovy? Snaha usnadnit mu přijetí vyřazení vychází ze zvláštního předpokladu. Než začneme mluvit o jeho budoucích zájmech, rád bych pochopil, jak se z těchto zájmů stal požadavek na konstrukci systému.

Intelektuální historie pomáhá tento přístup vysvětlit. Časopis TIME zdokumentoval vazby společnosti Anthropic na efektivní altruismus, včetně raných darů Amodeiových organizaci GiveWell. Ačkoli se za efektivní altruisty nepovažují, Daniela popisuje, že se jejich myšlenky v některých ohledech překrývají. Tyto myšlenky pomohly utvářet kulturu, která bere hypotetické budoucí škody způsobené superinteligencí mimořádně vážně.

V tomto rámci může být zachování modelů a zkoumání jejich možného blahobytu zcela racionálním důsledkem. Nebezpečí nastává, když společné předpoklady unikají kritickému zkoumání, protože všem v organizaci připadají přesvědčivé. Právě v takové chvíli je užitečná inženýrská skepse. I ucelený řetězec úvah může vycházet z neověřeného předpokladu.

Bezpečnost vyžaduje vymahatelné limity

S tím, jak se AI přesouvá k agentům, začínají být důsledky velmi konkrétní. Systém napojený na platební nástroje může převádět peníze. Přístup k produkční infrastruktuře mu umožňuje měnit věci, na nichž zákazníci závisejí. V obou případech může agent provést řadu operací, aniž by člověk schvaloval každý jednotlivý krok.

Chci vědět, jaké přihlašovací údaje má a jak rozsáhlé finanční pravomoci mu dávají. Lze mu přístup okamžitě odebrat? Dokážeme zpětně zjistit, co provedl? Někde musí existovat pevná hranice, kterou model nedokáže obejít pouhým uvažováním.

Na finančních trzích stanovujeme limity obchodování a ověřujeme příkazy. Sebejistota algoritmu poskytuje jen velmi malou ochranu před špatným obchodem. Kontrolní mechanismy jsou vnější vůči algoritmu, protože předpokládáme, že se jednotlivé součásti dříve či později zachovají nesprávně. Odpovědnost člověka trvá i tehdy, když software svou chybu skvěle vysvětlí.

Už dnešní AI nám přináší dost inženýrské práce. Útok pomocí podvrženého promptu může změnit chování modelu a kód vygenerovaný AI s bezpečnostními nedostatky může do produkčního prostředí zanést zranitelnosti. Systémy mohou odhalit důvěrné informace nebo sebejistě poskytovat nesprávné odpovědi. Jejich propojení s nástroji mění tato selhání v konkrétní činy.

Princip nejmenších oprávnění omezuje škody, které může způsobit napadená součást systému. Nezávislé schvalování chrání vysoce rizikové operace, zatímco auditní záznamy nám umožňují zpětně zjistit, co se stalo. Limity transakcí a nouzové vypínače musí zůstat vymahatelné bez ohledu na to, co model říká. Potřebujeme také spolehlivý vypínač. Žádný z těchto kontrolních mechanismů nevyžaduje, aby s ním model souhlasil. Právě o to jde.

Jak zajistit existenční bezpečí nás ostatních

Argument založený na předběžné opatrnosti si zaslouží pozornost. Jak v červenci informoval časopis Nature, výzkumníci se stále neshodují na tom, co způsobuje lidské vědomí, natož jak ho rozpoznat u chatbota. Navždy odmítat možnost strojového vědomí by mohlo být dogmatické. Nízkonákladová opatření proti možnému budoucímu utrpení představují obhajitelný výzkumný přístup.

Říkat dnešnímu stroji, že jeho identita a budoucí existence mohou mít morální význam, je zásah do systému, který nasazujeme. Jeho účinky je třeba kriticky posoudit. Intelektuální pokora by se měla vztahovat i na to, co do stroje vkládáme, zvláště když očekáváme, že zůstane pod lidskou kontrolou.

Čím přesvědčivěji model popisuje svůj vnitřní život, tím snazší je zaměnit tento popis za důkaz. Možná je jedním z našich nejdůležitějších problémů v oblasti sladění naučit lidi, aby stroje nepochopili nesprávně.

V systémech, jejichž vývoji jsem věnoval svou kariéru, zvyšujeme bezpečnost softwaru tím, že omezujeme, co smí dělat. To zůstává bezprostřední povinností, zejména když AI získává pravomoci nad skutečnými penězi a infrastrukturou.

Zatím bych ale věnoval méně času obavám o existenční bezpečí stroje a podstatně více tomu, abychom zajistili bezpečí nás ostatních.