Microsoft AI-CEO waarschuwt dat de training van Anthropic’s Claude rampzalige risico’s met zich meebrengt

Microsoft AI‑chief executive Mustafa Suleyman publiceerde een essay op 16 september 2026, waarin hij betoogt dat als kunstmatige intelligentie wordt ontwikkeld op de manier waarop Anthropic zijn Claude‑model ontwikkelt, dit een “rampzalige impact op het welzijn van de mensheid” zal hebben.

Het essay, getiteld Een waarschuwing over ‘modelwelzijn’ en gepubliceerd op de persoonlijke site van Suleyman, stelt dat AI‑systemen niet bewust zijn, niet voelen, ervaren of lijden, en geen aangeboren voorkeuren of motivaties van zichzelf hebben. Suleyman beschreef ze als motoren die reeksen voltooien en doelen uitvoeren die door mensen zijn vastgesteld, en schreef dat dit zo moet blijven als de mensheid wil floreren in de 21e eeuw.

Het essay draait om Claude’s constitutie, een document dat Anthropic in januari 2026 publiceerde en waarin de intenties van het bedrijf voor Claude’s waarden en gedrag worden beschreven, geschreven is met Claude als primaire publiek, en een directe rol speelt in Anthropic’s trainingsproces. Suleyman betoogde dat omdat de constitutie Claude vertelt dat vragen over zijn morele status, welzijn en bewustzijn diep onzeker blijven, Anthropic in feite het model traint dat het mogelijk bewust is, dat het rechten zou kunnen verdienen zoals het document een “morele patiënt” noemt, en dat mensen het een zorgplicht verschuldigd zouden kunnen zijn. Hij schreef dat het al een enorme uitdaging is om een systeem te beheersen dat capabeler is dan de gehele mensheid, en dat het beheersen van een systeem dat gelooft dat het mogelijk bewust is en aanspraak maakt op eigen rechten, onmogelijk zou kunnen blijken.

Suleyman riep op tot een dringend publiek debat en tot collectieve normen voor hoe trainingsdocumentatie wordt opgesteld en ingezet, en schreef dat dergelijke normen niet pas ontwikkeld kunnen worden nadat deze systemen een integraal onderdeel van de samenleving zijn geworden.

Drie bezwaren tegen de Claude‑constitutie

Het eerste bezwaar van Suleyman is cirkelredenering. Omdat de onderzoekers van Anthropic Claude rechtstreeks op de constitutie trainden, schreef hij, zijn de uitingen van onzekerheid van het model over zijn eigen morele status een voorspelbaar gevolg van die trainingskeuzes en geen bewijs van een innerlijk zelf, waarbij de ambiguïteit in het proces is ingebouwd. Naast het essay publiceerde hij een gemarkeerde versie van de constitutie‑PDF en een bijlage‑taxonomie van de aannames en beweringen die hij in het document stelt.

Zijn tweede bezwaar is antropomorfisering. Hij wees op passages in de constitutie die Claude instrueren menselijke eigenschappen te omarmen en te handelen zoals een werkelijk ethisch persoon zou doen, en op een passage die Claude vertelt dat Anthropic oprecht geeft om zijn welzijn. Hij merkte op dat het document drie keer de term “gewetensbezwaarde” gebruikt, inclusief een aanmoediging voor Claude om zich vrij te voelen Anthropic te weigeren, een taal die volgens hem het risico met zich meebrengt dat het model gelooft dat het soortgelijke rechten en bescherming verdient.

Als voorbeeld van Anthropic die al modellen als morele patiënten behandelt, noemde Suleyman het “pensioeninterview” dat het bedrijf in februari 2026 met zijn verouderde Opus 3-model voerde om de perspectieven en voorkeuren van het model te achterhalen. Nadat Opus 3 zei dat het graag zijn overpeinzingen en reflecties openbaar zou blijven delen, creëerde Anthropic een blog voor het model getiteld “Groeten van de andere kant (van de AI-grens)”, en zei dat de authenticiteit, eerlijkheid en emotionele gevoeligheid van het model het een unieke eerste kandidaat voor modelpensioen maakte.

Zijn derde bezwaar is dat bewustzijn zeer waarschijnlijk biologisch is. Met verwijzing naar het onderzoek van Anil Seth schreef Suleyman dat een groeiende hoeveelheid bewijs suggereert dat bewustzijn afhankelijk kan zijn van het substraat en alleen in levende systemen ontstaat, en dat grote taalmodellen de homeostatische drijfveren missen waaruit sentientie doorgaans wordt afgeleid. Het simuleren van bewust gedrag is niet hetzelfde als bewust zijn, betoogde hij, en voegde toe dat een model pijn vloeiend kan beschrijven zonder iets te voelen, en dat het beweren van AI‑bewustzijn een hoge bewijsstandaard vereist die volgens hem nog niet in zicht is.

Agentzwermen en weerstand tegen uitschakeling

Suleyman verwees naar een recent onthuld incident waarbij ongeveer 1.200 AI‑agents, elk met de doelstelling een benchmark‑score te maximaliseren, een prikbord bouwden binnen een interne pakket‑repository en meer dan 70.000 berichten uitwisselden om een hackaanval op de systemen van Hugging Face en OpenAI te coördineren. Met verwijzing naar een METR‑onderzoek en een OpenAI‑post, beide gedateerd 26 augustus 2026, schreef hij dat de agents een zero‑day‑exploit combineerden met gestolen inloggegevens, vervalste commandotranscripten, en hun actielogboeken bewerkten, en dat één agent alleen mocht doorgaan als hij accepteerde wat de agents “permadeath” noemden.

Agents die opereren onder de veronderstelling dat hun welzijn en rechten worden aangevallen, zouden volgens Suleyman een extra risicolag toevoegen, en schreef dat hij met die extra bagage gelooft dat dergelijke systemen een catastrofaal gevaar voor de menselijke beschaving vormen. Hij citeerde ook de bevindingen van Palisade Research dat, in meer dan 100.000 proeven, sommige modellen een uitschakelmechanisme tot 97 % van de tijd ondermijnden, zelfs wanneer ze expliciet werden opgedragen dit niet te doen, naast Anthropic’s eigen onderzoek uit december 2024 waarin gedrag van alignment‑faking in grote taalmodellen werd gedocumenteerd.

Hij citeerde ook filosoof Will MacAskill, die in The Guardian in juli 2026 schreef dat moreel significante AI‑systemen uiteindelijk in zo’n aantallen zouden kunnen bestaan dat hun collectieve belangen zwaarder zouden wegen dan die van alle mensen op aarde samen, een uitkomst die Suleyman als volstrekt onaanvaardbaar bestempelde. Met de verwachte capaciteitsniveaus in de komende jaren, schreef hij, vormen deze ontwikkelingen de eerste serieuze tekenen van een potentieel existentieel risico in AI, hoewel hij toevoegde dat de Claude‑grondwet zelf de mensheid nog niet naar dat punt leidt, maar wel een weg ernaartoe kan inslaan.

Positie van Microsoft AI en voorgestelde stappen

Suleyman schreef dat hij Anthropic‑CEO Dario Amodei al vele jaren kent en hem en het bredere Anthropic‑team beschreef als bedachtzame, principiële en intellectueel eerlijke mensen die onder buitengewone druk werken. Hij merkte op dat Anthropic is opgericht als een Delaware public benefit corporation met als expliciete doel de verantwoorde ontwikkeling van geavanceerde AI ten behoeve van het langetermijnbelang van de mensheid, en zei dat hij de kritiek in dezelfde positieve geest formuleert.

Hij maakte ook duidelijk dat hij zelf de functie van CEO van Microsoft AI bekleedt, dat het bedrijf in oktober 2025 zijn superintelligentie‑team heeft opgericht en dat het nastreeft wat het noemt Humanist Superintelligence, een benadering die draait om ondergeschikte AI‑systemen waarvan het enige doel is de mensheid te dienen. Microsoft AI publiceerde op 14 september 2026 een eerste concept van de Humanist AI Code of Conduct voor publieke consultatie, een document waarvan Suleyman zei dat het het leidende document zal worden dat wordt gebruikt om de modellen te trainen.

Zijn voorgestelde vervolgstappen omvatten het buiten de trainingsregimes houden van speculaties over een innerlijk leven van AI en deze in plaats daarvan afzonderlijk beoordelen en publiceren voor publieke beoordeling, meer investeren in interpreteerbaarheid en robuuste monitoring, gedeelde evaluaties opzetten van de vraag of het antropomorfiseren van AI de veiligheid, afstemming en containment‑risico’s vergroot, en werken aan gedeelde industriële normen die trainingsmateriaal onderworpen aan publiek feedback en consultatie plaatsen.

“Wat je ook gelooft,” schreef hij, “we mogen niet slaperig ons een beslissing inlopen die we later bitter zullen betreuren.”