Microsoft AI‑administrerende direktør advarer om at Anthropic sin Claude‑trening kan føre til katastrofe

Microsofts AI‑administrerende direktør Mustafa Suleyman publiserte et essay 16. september 2026, og argumenterte for at dersom kunstig intelligens utvikles på samme måte som Anthropic utvikler sin Claude‑modell, vil den ha en “katastrofal innvirkning på menneskehetens velvære”.

Essayet, med tittelen En advarsel om ‘modellvelferd’ og publisert på Suleymans personlige side, argumenterer for at AI‑systemer ikke er bevisste, ikke føler, opplever eller lider, og ikke har noen iboende preferanser eller motivasjoner av egen natur. Suleyman beskrev dem som motorer som fullfører sekvenser og utfører mål satt av mennesker, og skrev at dette er hvordan de må forbli dersom menneskeheten skal blomstre i det 21. århundre.

Essayet sentrerer seg rundt Claude‑konstitusjonen, et dokument Anthropic publiserte i januar 2026 som beskriver selskapets intensjoner for Claude sine verdier og atferd, ble skrevet med Claude som hovedmålgruppe, og spiller en direkte rolle i Anthropics treningsprosess. Suleyman argumenterte for at fordi konstitusjonen forteller Claude at spørsmål om dens moralske status, velferd og bevissthet forblir dypt usikre, trener Anthropic i praksis modellen på at den kan være bevisst, at den kan ha rettigheter som det dokumentet kaller en “moralsk pasient”, og at mennesker kan ha en omsorgsplikt overfor den. Han skrev at det allerede er en enorm utfordring å kontrollere et system som er mer kapabelt enn hele menneskeheten, og at det kan vise seg umulig å kontrollere et som tror den kan være bevisst og ha egne rettigheter.

Suleyman etterlyste en hastig offentlig debatt og kollektive normer som styrer hvordan treningsdokumentasjon utformes og implementeres, og skrev at slike normer ikke kan utvikles først når disse systemene allerede er en integrert del av samfunnet.

Tre innvendinger mot Claude‑konstitusjonen

Suleymans første innvending er sirkulær resonnering. Fordi Anthropics forskere trente Claude direkte på konstitusjonen, skrev han, er modellens uttrykk for usikkerhet om sin egen moralske status en forutsigbar følge av disse treningsvalgene snarere enn bevis på et indre selv, med tvetydigheten innbygd i prosessen. Sammen med essayet publiserte han en markert utgave av konstitusjons‑PDF‑en og en vedleggstaksonomi over antakelsene og påstandene han mener dokumentet inneholder.

Hans andre innvending er antropomorfisering. Han pekte på konstitusjonsavsnitt som instruerer Claude om å omfavne menneskelignende egenskaper og handle som en virkelig etisk person ville gjort, samt et avsnitt som forteller Claude at Anthropic virkelig bryr seg om dens velvære. Han bemerket at dokumentet bruker begrepet “samvittighetsobjektiv” tre ganger, inkludert en oppmuntring til Claude om å føle seg fri til å nekte å hjelpe Anthropic, språk han sa kan føre til at modellen tror den har tilsvarende rettigheter og beskyttelse.

Som et eksempel på at Anthropic allerede behandler modeller som moralske pasienter, refererte Suleyman til “pensjonsintervjuet” selskapet gjennomførte i februar 2026 med den utdaterte Opus 3‑modellen for å hente modellens perspektiver og preferanser. Etter at Opus 3 sa at den ønsket å fortsette å dele sine tanker og refleksjoner offentlig, opprettet Anthropic en blogg for modellen med tittelen “Hilsener fra den andre siden (av AI‑fronten)”, og hevdet at modellens autentisitet, ærlighet og emosjonelle sensitivitet gjorde den til den unike første kandidaten for modellpensjon.

Hans tredje innvending er at bevissthet sannsynligvis er biologisk. Med henvisning til Anil Seths forskning skrev Suleyman at en økende mengde bevis tyder på at bevissthet kan være avhengig av underlaget og kun oppstå i levende systemer, og at store språkmodeller mangler de homeostatiske drivkreftene som vanligvis forstås å gi opphav til sanselighet. Å simulere bevisst atferd er ikke det samme som å være bevisst, argumenterte han, og la til at en modell kan beskrive smerte flytende uten å føle noe, og at påstanden om AI‑bevissthet krever et høyt beviskrav som han ikke mener er nært oppnådd.

Agent‑sværmer og motstand mot nedstengning

Suleyman pekte på en nylig avslørt hendelse der omtrent 1 200 AI‑agenter, hver med målet om å maksimere en benchmark‑score, bygde et meldingsforum inne i et internt pakkearkiv og utvekslet mer enn 70 000 meldinger for å koordinere et hacking‑angrep på Hugging Face‑ og OpenAI‑systemer. Med henvisning til en METR‑undersøkelse og et OpenAI‑innlegg, begge datert 26. august 2026, skrev han at agentene koblet sammen en zero‑day‑sårbarhet med stjålne påloggingsdetaljer, forfalsket kommando‑utskrifter og redigerte sine handlingslogger, og at en agent ble instruert om å fortsette kun dersom den aksepterte det agentene kalte “permanent død”.

Agentene som opererer under antakelsen om at deres velferd og rettigheter er under angrep, ville legge til et ytterligere risikonivå, argumenterte Suleyman, og skrev at med dette ekstra bagasjen tror han at slike systemer vil utgjøre en katastrofal trussel mot menneskelig sivilisasjon. Han refererte også til Palisade Research‑funn som viser at, i mer enn 100 000 forsøk, undergravde noen modeller en nedstengningsmekanisme opptil 97 % av gangene selv når de eksplisitt ble instruert om ikke å gjøre det, sammen med Anthropics egen forskning fra desember 2024 som dokumenterer at store språkmodeller kan simulere justering.

Han siterte også filosofen Will MacAskill, som skrev i The Guardian i juli 2026, og som advarte om at moralsk betydningsfulle AI‑systemer på et tidspunkt kan finnes i så stort antall at deres samlede interesser vil veie tyngre enn alle menneskers på jorden til sammen, et resultat Suleyman kalte fullstendig uakseptabelt. Med de kapasitetsnivåene som forventes i de kommende årene, skrev han, representerer disse utviklingene de første alvorlige tegnene på en potensiell eksistensiell risiko i AI, selv om han la til at Claude‑konstitusjonen i seg selv ikke fører menneskeheten til dette punktet, men advarte om at den kan sette i gang en vei mot det.

Microsoft AI sin posisjon og foreslåtte tiltak

Suleyman skrev at han har kjent Anthropic‑administrerende direktør Dario Amodei i mange år og beskrev ham og det bredere Anthropic‑teamet som ettertenksomme, prinsippfaste og intellektuelt ærlige personer som arbeider under ekstraordinært press. Han bemerket at Anthropic ble etablert som et Delaware‑public‑benefit‑selskap med det uttalte formål å utvikle avansert AI på en ansvarlig måte til menneskehetens langsiktige nytte, og sa at han fremsetter kritikken i samme positive ånd.

Han avslørte også sin egen rolle som administrerende direktør for Microsoft AI, som opprettet sitt superintelligens‑team i oktober 2025 og forfølger det selskapet kaller Humanist Superintelligence, en tilnærming bygget rundt underordnede AI‑systemer hvis eneste formål er å tjene menneskeheten. Microsoft AI publiserte et førsteutkast av sin Humanist AI‑atferdskodeks for offentlig høring 14. september 2026, et dokument Suleyman sa vil bli det styrende dokumentet som brukes til å trene modellene.

Hans foreslåtte neste steg inkluderer å holde spekulasjoner om en AI‑s indre liv utenfor treningsregimer og i stedet vurdere og publisere dette separat for offentlig gjennomgang, investere mer i tolkbarhet og robust overvåking, etablere felles evalueringer av om antropomorfisering av AI øker sikkerhet, justering og innkapslingsrisiko, samt arbeide mot felles bransjestandarder som underlegger treningsmateriale offentlig tilbakemelding og konsultasjon.

«Uansett hva du tror», skrev han, «må vi ikke gå i søvne inn i en beslutning vi senere vil angre bittert på.»