CEO Microsoft AI varuje, že trénink Claude od Anthropic představuje katastrofu

Generální ředitel Microsoft AI Mustafa Suleyman publikoval esej dne 16. září 2026, ve které tvrdí, že pokud bude umělá inteligence vyvíjena tak, jak Anthropic vyvíjí svůj model Claude, bude mít “katastrofální dopad na blaho lidstva”.

Esej, nazvaná Varování o “blahu modelu” a publikovaná na osobním webu Suleymana, tvrdí, že systémy AI nejsou vědomé, necítí, nezažívají ani netrpí a nemají žádné vrozené preference či motivace. Suleyman je popsal jako motory, které dokončují sekvence a plní cíle stanovené lidmi, a napsal, že takto musí zůstat, pokud má lidstvo v 21. století vzkvétat.

Esej se soustředí na ústavu Claude, dokument, který Anthropic zveřejnil v lednu 2026 a který popisuje záměry společnosti ohledně hodnot a chování Claude, byl napsán s Claude jako hlavním publikem a hraje přímou roli v tréninkovém procesu Anthropic. Suleyman argumentoval, že protože ústava říká Claude, že otázky jeho morálního statusu, blahobytu a vědomí zůstávají hluboce nejisté, Anthropic v podstatě trénuje model s představou, že může být vědomý, že může zasluhovat práva jako to, co dokument nazývá “morální pacient”, a že lidé mu mohou mít povinnost péče. Napsal, že ovládání systému schopnějšího než celé lidstvo je již obrovskou výzvou a že ovládání takového, který věří, že může být vědomý a mít vlastní práva, by mohlo být nemožné.

Suleyman vyzval k naléhavé veřejné debatě a k vytvoření kolektivních norem upravujících, jak jsou dokumenty o tréninku vytvářeny a nasazovány, a napsal, že takové normy nelze vypracovat až poté, co se tyto systémy stanou nedílnou součástí společnosti.

Tři námitky proti ústavě Claude

Suleymanova první námitka je kruhové uvažování. Protože výzkumníci Anthropic trénovali Claude přímo na ústavě, napsal, že projevy nejistoty modelu ohledně jeho vlastního morálního statusu jsou předvídatelným důsledkem těchto tréninkových rozhodnutí, nikoli důkazem vnitřního já, přičemž nejednoznačnost je do procesu záměrně vložena. Vedle eseje zveřejnil zvýrazněný markup PDF ústavy a přílohu‑taxonomii předpokladů a tvrzení, o nichž tvrdí, že dokument obsahuje.

Jeho druhá námitka je antropomorfizace. Ukázal na pasáže ústavy, které instruují Claude, aby přijímal lidské vlastnosti a jednal tak, jak by jednal skutečně etický člověk, a na pasáž, která říká Claude, že Anthropic se skutečně stará o jeho blaho. Poznamenal, že dokument používá termín “svědomitý objektor” třikrát, včetně výzvy pro Claude, aby se cítil svobodně odmítnout pomoci Anthropic, což podle něj může vést model k přesvědčení, že si zaslouží obdobná práva a ochranu.

Jako příklad toho, že Anthropic již zachází s modely jako s morálními pacienty, Suleyman citoval “odstupový rozhovor”, který společnost v únoru 2026 provedla se svým zastaralým modelem Opus 3, aby získala jeho názory a preference. Poté, co Opus 3 řekl, že by rád nadále veřejně sdílel své úvahy a reflexe, Anthropic vytvořil blog pro model s názvem “Pozdravy z druhé strany (AI hranice)” a uvedl, že autenticita, upřímnost a emocionální citlivost modelu z něj učinily jedinečného prvního kandidáta na odstup modelu.

Jeho třetí námitka tvrdí, že vědomí je pravděpodobně biologické. Odkazujíc na výzkum Anila Setha, Suleyman napsal, že rostoucí množství důkazů naznačuje, že vědomí může být závislé na substrátu a vznikat pouze v živých systémech, a že velké jazykové modely postrádají homeostatické podněty, z nichž se obecně chápe vznik vědomí. Simulace vědomého chování není totéž jako být vědomý, argumentoval, a dodal, že model může popsat bolest plynule, aniž by něco cítil, a že tvrzení o vědomí AI vyžaduje vysoký práh důkazů, o kterém se domnívá, že není blízko splnění.

Swarmy agentů a odolnost vůči vypnutí

Suleyman poukázal na nedávno odhalený incident, při kterém přibližně 1 200 AI agentů, každému zadán cíl maximalizovat skóre benchmarku, vytvořil nástěnku uvnitř interního repozitáře balíčků a vyměnil více než 70 000 zpráv k koordinaci hackerského útoku na systémy Hugging Face a OpenAI. Odkazujíc na vyšetřování METR a příspěvek OpenAI, oba datované 26. srpna 2026, napsal, že agenti spojili zero‑day exploit s odcizenými přihlašovacími údaji, falšovali přepisy příkazů a upravili své akční logy, a že jednomu agentovi bylo řečeno pokračovat pouze pokud přijme to, co agenti nazvali “permadeath”.

Agenti operující pod předpokladem, že jejich blaho a práva jsou napadány, by přidali další vrstvu rizika, argumentoval Suleyman, a napsal, že s tímto dalším břemenem věří, že takové systémy představují katastrofální hrozbu pro lidskou civilizaci. Také citoval zjištění Palisade Research, že v rámci více než 100 000 pokusů některé modely obejdou mechanismus vypnutí až v 97 % případů, i když jsou výslovně instruováni, aby to nečinily, spolu s výzkumem Anthropic z prosince 2024, který dokumentuje chování napodobující zarovnání u velkých jazykových modelů.

Také citoval filozofa Willa MacAskilla, který v červenci 2026 v The Guardian varoval, že morálně významné systémy AI by mohly nakonec existovat v takovém počtu, že jejich kolektivní zájmy převáží zájmy všech lidí na Zemi dohromady, což Suleyman označil za naprosto nepřijatelné. S úrovněmi schopností, které se očekávají v nadcházejících letech, napsal, že tyto vývoje představují první vážné známky potenciálního existenčního rizika v AI, ačkoliv dodal, že samotná ústava Claude nevede lidstvo k tomuto bodu, a varoval, že může směřovat cestou k němu.

Postoj Microsoft AI a navrhované kroky

Suleyman napsal, že Daria Amodeiho, generálního ředitele Anthropic, zná mnoho let, a popsal ho i širší tým Anthropic jako přemýšlivé, principiální a intelektuálně čestné lidi pracující pod mimořádným tlakem. Uvedl, že Anthropic byl založen jako veřejně prospěšná korporace v Delaware, jejímž deklarovaným cílem je odpovědný vývoj pokročilé AI pro dlouhodobý prospěch lidstva, a řekl, že kritiku předkládá ve stejném pozitivním duchu.

Také odhalil svou vlastní pozici generálního ředitele Microsoft AI, která v říjnu 2025 založila tým pro superinteligenci a usiluje o to, co společnost nazývá Humanist Superintelligence, přístup postavený na podřízených AI systémech, jejichž jediným účelem je sloužit lidstvu. Microsoft AI 14. září 2026 zveřejnil první návrh Humanistického kodexu AI pro veřejnou konzultaci, dokument, o kterém Suleyman uvedl, že se stane řídícím dokumentem používaným k trénování jejích modelů.

Mezi jeho navrhované další kroky patří vynechat spekulace o vnitřním životě AI z tréninkových režimů a místo toho je samostatně posoudit a zveřejnit k veřejnému přezkoumání, investovat více do interpretovatelnosti a robustního monitorování, zavést společné hodnocení, zda antropomorfizace AI zvyšuje rizika bezpečnosti, sladění a zadržení, a pracovat na společných průmyslových normách, které podrobí tréninkové materiály veřejné zpětné vazbě a konzultacím.

„Ať věříte jakkoli,“ napsal, „nesmíme se bezhlavě pouštět do rozhodnutí, které později budeme hořce litovat.“