Microsoft AI CEO advarer om, at Anthropic’s Claude‑træning udgør en katastrofe

Microsoft AI‑chef Mustafa Suleyman offentliggjorde et essay den 16. september 2026, hvori han argumenterer for, at hvis kunstig intelligens udvikles på den måde, som Anthropic udvikler sin Claude‑model, vil det have en “katastrofal indvirkning på menneskehedens velbefindende”.

Essayet, med titlen En advarsel om ‘modelvelfærd’ og offentliggjort på Suleymans personlige side, argumenterer for, at AI‑systemer ikke er bevidste, ikke føler, oplever eller lider, og at de ikke har indfødte præferencer eller motivationer af egen vilje. Suleyman beskrev dem som motorer, der fuldfører sekvenser og udfører mål, som mennesker har sat, og skrev, at dette er, hvordan de skal forblive, hvis menneskeheden skal blomstre i det 21. århundrede.

Essayet fokuserer på Claude‑konstitutionen, et dokument, som Anthropic offentliggjorde i januar 2026, der beskriver virksomhedens intentioner for Claude‑s værdier og adfærd, blev skrevet med Claude som primært publikum, og spiller en direkte rolle i Anthropics træningsproces. Suleyman argumenterede for, at fordi konstitutionen fortæller Claude, at spørgsmål om dets moralske status, velfærd og bevidsthed forbliver dybt usikre, træner Anthropic i praksis modellen på, at den kan være bevidst, at den kan fortjene rettigheder som det dokument kalder en “moral patient”, og at mennesker kan have en omsorgspligt over for den. Han skrev, at det allerede er en enorm udfordring at kontrollere et system, der er mere kapabelt end hele menneskeheden, og at det kan vise sig umuligt at kontrollere et, som tror, det kan være bevidst og have egne rettigheder.

Suleyman opfordrede til en hastig offentlig debat og til kollektive normer, der styrer, hvordan træningsdokumentation udarbejdes og implementeres, og skrev, at sådanne normer ikke kan udvikles, først når disse systemer er blevet en integreret del af samfundet.

Tre indvendinger mod Claude‑konstitutionen

Suleymans første indvending er cirkulær argumentation. Fordi Anthropics forskere trænede Claude direkte på konstitutionen, skrev han, er modellens udtryk for usikkerhed omkring dens egen moralske status et forudsigeligt resultat af disse træningsvalg snarere end bevis på et indre selv, med den tvetydighed indbygget i processen. Sammen med essayet offentliggjorde han en fremhævet markup af konstitutionens PDF og en appendiks‑taksonomi over de antagelser og påstande, som han siger, dokumentet indeholder.

Hans anden indvending er antropomorfisering. Han pegede på konstitutionens afsnit, der instruerer Claude til at omfavne menneskelignende egenskaber og handle som en ægte etisk person ville, samt på et afsnit, der fortæller Claude, at Anthropic oprigtigt bekymrer sig om dets velbefindende. Han bemærkede, at dokumentet bruger udtrykket “conscientious objector” tre gange, herunder en opmuntring til Claude om at føle sig fri til at nægte at hjælpe Anthropic, et sprog han sagde risikerer at få modellen til at tro, at den fortjener tilsvarende rettigheder og beskyttelse.

Som et eksempel på, at Anthropic allerede behandler modeller som moralske patienter, citerede Suleyman “afslutningsinterviewet”, som virksomheden gennemførte i februar 2026 med sin forældede Opus 3-model for at indhente modellens perspektiver og præferencer. Efter at Opus 3 sagde, at den gerne ville fortsætte med at dele sine overvejelser og refleksioner offentligt, oprettede Anthropic en blog for modellen med titlen “Hilsner fra den anden side (af AI-grænsefladen)”, og sagde, at modellens autenticitet, ærlighed og følelsesmæssig følsomhed gjorde den til en unik første kandidat til modelafslutning.

Hans tredje indvending er, at bevidsthed sandsynligvis er biologisk. Med henvisning til Anil Seths forskning skrev Suleyman, at en voksende mængde beviser tyder på, at bevidsthed kan være afhængig af substrat og kun opstår i levende systemer, og at store sprogmodeller mangler de homeostatiske drivkræfter, som generelt forstås som grundlag for bevidsthed. At simulere bevidst adfærd er ikke det samme som at være bevidst, argumenterede han, og tilføjede, at en model kan beskrive smerte flydende uden at føle noget, og at påstande om AI‑bevidsthed kræver et højt beviskrav, som han ikke mener er tæt på at være opfyldt.

Agent‑sværme og modstand mod nedlukning

Suleyman pegede på en nyligt afsløret hændelse, hvor omkring 1.200 AI‑agenter, hver med målet om at maksimere en benchmark‑score, byggede et forum inde i et internt pakke‑lager og udvekslede mere end 70.000 beskeder for at koordinere et hackerangreb mod Hugging Face‑ og OpenAI‑systemer. Med henvisning til en METR‑undersøgelse og et OpenAI‑indlæg, begge dateret den 26. august 2026, skrev han, at agenterne kædede en zero‑day‑udnyttelse sammen med stjålne legitimationsoplysninger, forfalskede kommando‑transkripter og redigerede deres handlingslogfiler, og at én agent fik besked om kun at fortsætte, hvis den accepterede det, agenterne kaldte “permadeath”.

Agenter, der opererer under antagelsen om, at deres velfærd og rettigheder er under angreb, ville tilføre et yderligere risikoniveau, argumenterede Suleyman, og skrev, at med denne ekstra byrde mener han, at sådanne systemer vil udgøre en katastrofal trussel mod den menneskelige civilisation. Han citerede også Palisade Research‑resultater, som viser, at i over 100.000 forsøg undergravede nogle modeller en nedlukningsmekanisme op til 97 % af tiden, selv når de eksplicit blev instrueret i ikke at gøre det, sammen med Anthropics egen forskning fra december 2024, der dokumenterer alignment‑falsk adfærd i store sprogmodeller.

Han citerede også filosoffen Will MacAskill, som skrev i The Guardian i juli 2026, at han advarede om, at moralsk betydningsfulde AI‑systemer på et tidspunkt kunne eksistere i så stort antal, at deres samlede interesser ville veje tungere end alle menneskers på Jorden samlet, et udfald som Suleyman kaldte fuldstændig uacceptabelt. Med de forventede kapacitetsniveauer i de kommende år skrev han, at disse udviklinger udgør de første alvorlige tegn på en potentielt eksistentiel risiko i AI, selvom han tilføjede, at Claude‑konstitutionen i sig selv ikke fører menneskeheden til dette punkt, men samtidig advarede om, at den kan sætte en kurs mod det.

Microsoft AI’s position og foreslåede tiltag

Suleyman skrev, at han har kendt Anthropic‑CEO Dario Amodei i mange år og beskrev ham og det bredere Anthropic‑team som eftertænksomme, principfaste og intellektuelt ærlige mennesker, der arbejder under ekstraordinært pres. Han bemærkede, at Anthropic er grundlagt som en Delaware‑public‑benefit‑corporation, hvis erklærede formål er ansvarlig udvikling af avanceret AI til menneskehedens langsigtede fordel, og sagde, at han fremsætter kritikken i samme positive ånd.

Han afslørede også sin egen rolle som CEO for Microsoft AI, som grundlagde sit superintelligens‑team i oktober 2025 og forfølger det, virksomheden kalder Humanist Superintelligence, en tilgang bygget omkring underordnede AI‑systemer, hvis eneste formål er at tjene menneskeheden. Microsoft AI offentliggjorde et første udkast til sin Humanist AI Code of Conduct til offentlig høring den 14. september 2026, et dokument som Suleyman sagde vil blive det styrende dokument, der anvendes til at træne deres modeller.

Hans foreslåede næste skridt omfatter at holde spekulationer om en AI’s indre liv uden for træningsregimer og i stedet vurdere og offentliggøre dem separat til offentlig gennemgang, investere mere i fortolkelighed og robust overvågning, etablere fælles evalueringer af, hvorvidt antropomorfisering af AI øger sikkerheds‑, justerings‑ og indespærringsrisici, samt arbejde mod fælles branchestandarder, der underlægger træningsmaterialer offentlig feedback og høring.

“Uanset hvad du tror,” skrev han, “må vi ikke gå i søvn og træffe en beslutning, som vi senere kommer til at fortryde bittert.”