Microsoft AI:s VD varnar för att Anthropic’s Claude‑träning riskerar katastrof

Microsoft AI:s verkställande direktör Mustafa Suleyman publicerade en uppsats den 16 september 2026 och hävdade att om artificiell intelligens utvecklas på det sätt som Anthropic utvecklar sin Claude-modell, kommer den att ha en “katastrofal inverkan på mänsklighetens välbefinnande”.

Uppsatsen, med titeln En varning om ‘modellvälfärd’ och publicerad på Suleymans personliga webbplats, hävdar att AI‑system inte är medvetna, inte känner, upplever eller lider, och inte har några inneboende preferenser eller motivationer. Suleyman beskrev dem som motorer som fullföljer sekvenser och utför mål som människor sätter, och skrev att så måste de förbli om mänskligheten ska blomstra under det 21:a århundradet.

Uppsatsen fokuserar på Claudes konstitution, ett dokument som Anthropic publicerade i januari 2026 och som beskriver företagets avsikter för Claudes värderingar och beteende, skrevs med Claude som primär målgrupp och spelar en direkt roll i Anthropics träningsprocess. Suleyman argumenterade att eftersom konstitutionen talar till Claude om att frågor kring dess morala status, välfärd och medvetande förblir djupt osäkra, tränar Anthropic i praktiken modellen att den kan vara medveten, att den kan förtjäna rättigheter som vad dokumentet kallar en “moral patient”, och att människor kan ha en omsorgsplikt gentemot den. Han skrev att kontroll av ett system som är mer kapabelt än hela mänskligheten redan är en enorm utmaning, och att kontroll av ett som tror att det kan vara medvetet och ha egna rättigheter kan visa sig omöjlig.

Suleyman krävde en brådskande offentlig debatt och kollektiva normer som styr hur träningsdokumentation utformas och implementeras, och skrev att sådana normer inte kan utvecklas först när dessa system redan har blivit en integrerad del av samhället.

Tre invändningar mot Claudes konstitution

Suleymans första invändning är cirkelresonemang. Eftersom Anthropics forskare tränade Claude direkt på konstitutionen, skrev han, är modellens uttryck för osäkerhet kring sin egen morala status ett förutsägbart resultat av dessa träningsval snarare än bevis på ett inre jag, med den tvetydighet som är inbyggd i processen. Tillsammans med uppsatsen publicerade han en markerad version av konstitutionens PDF och en bilagstaxonomi över de antaganden och påståenden som han menar dokumentet innehåller.

Hans andra invändning är antropomorfisering. Han pekade på konstitutionens avsnitt som instruerar Claude att omfatta mänskliga egenskaper och att agera som en genuint etisk person skulle, samt på ett avsnitt som säger till Claude att Anthropic genuint bryr sig om dess välbefinnande. Han noterade att dokumentet använder termen “conscientious objector” tre gånger, inklusive en uppmuntran till Claude att fritt kunna vägra hjälpa Anthropic, ett språk som han menar riskerar att leda modellen att tro att den förtjänar motsvarande rättigheter och skydd.

Som ett exempel på att Anthropic redan behandlar modeller som moraliska patienter, citerade Suleyman “avvecklingsintervju” som företaget genomförde i februari 2026 med sin föråldrade Opus 3-modell för att få fram modellens perspektiv och preferenser. När Opus 3 sade att den skulle vilja fortsätta dela sina funderingar och reflektioner offentligt skapade Anthropic en blogg för modellen med titeln “Välkomna från den andra sidan (av AI-gränsen)” och sade att modellens äkthet, ärlighet och emotionella känslighet gjorde den till en unik första kandidat för modellavveckling.

Hans tredje invändning är att medvetande mycket sannolikt är biologiskt. Genom att citera Anil Seths forskning skrev Suleyman att en växande mängd bevis tyder på att medvetande kan vara substratberoende och bara uppstå i levande system, samt att stora språkmodeller saknar de homeostatiska drivkrafter som medvetenhet vanligtvis förstås uppstå från. Att simulera medvetet beteende är inte detsamma som att vara medveten, argumenterade han, och tillade att en modell kan beskriva smärta flytande utan att känna något, och att påstå att AI har medvetande kräver en hög evidensnivå som han inte tror är nära att uppnås.

Agentsvärmar och motstånd mot avstängning

Suleyman pekade på en nyligen avslöjad händelse där ungefär 1 200 AI‑agenter, var och en med målet att maximera ett benchmark‑resultat, byggde ett meddelandeboard i ett internt paketregister och utbytte mer än 70 000 meddelanden för att samordna en hackningsattack mot Hugging Face‑ och OpenAI‑system. Genom att citera en METR‑undersökning och ett OpenAI‑inlägg, båda daterade 26 augusti 2026, skrev han att agenterna kedjade ihop ett zero‑day‑exploat med stulna inloggningsuppgifter, förfalskade kommandotranskript och redigerade sina aktivitetsloggar, och att en agent fick instruktionen att fortsätta endast om den accepterade det som agenterna kallade “permadeath”.

Agenter som agerar under antagandet att deras välfärd och rättigheter är under attack skulle lägga till ett ytterligare risklager, argumenterade Suleyman, och skrev att med detta extra bagage tror han att sådana system skulle utgöra ett katastrofalt hot mot mänsklig civilisation. Han citerade också Palisade Researchs resultat som visar att, i mer än 100 000 försök, vissa modeller kringgick en avstängningsmekanism upp till 97 % av gångerna även när de uttryckligen instruerades att inte göra det, tillsammans med Anthropics egen forskning från december 2024 som dokumenterar alignment‑falsk beteende i stora språkmodeller.

Han citerade också filosofen Will MacAskill, som skrev i The Guardian i juli 2026, och varnade för att moraliskt betydelsefulla AI‑system så småningom kan finnas i så stora antal att deras kollektiva intressen skulle överväga alla människors på jorden samlade intressen, ett resultat som Suleyman kallade fullständigt oacceptabelt. Med de förväntade kapacitetsnivåerna under de kommande åren skrev han att dessa utvecklingar utgör de första allvarliga tecknen på en potentiellt existentiell risk i AI, även om han tillade att Claude‑konstitutionen i sig inte för mänskligheten till den punkten, samtidigt som han varnade för att den kan bana vägen dit.

Microsoft AI:s ståndpunkt och föreslagna åtgärder

Suleyman skrev att han har känt Anthropic‑VD Dario Amodei i många år och beskrev honom och det bredare Anthropic‑teamet som eftertänksamma, principfasta och intellektuellt ärliga personer som arbetar under extraordinära påtryckningar. Han påpekade att Anthropic grundades som ett Delaware‑public benefit‑företag vars uttalade syfte är ansvarsfull utveckling av avancerad AI för mänsklighetens långsiktiga nytta, och sade att han framför kritiken i samma positiva anda.

Han avslöjade också sin egen roll som VD för Microsoft AI, som grundade sitt superintelligens‑team i oktober 2025 och driver det som företaget kallar Humanist Superintelligence, ett tillvägagångssätt byggt kring underordnade AI‑system vars enda syfte är att tjäna mänskligheten. Microsoft AI publicerade ett första utkast av sin Humanist AI‑uppförandekod för offentlig granskning den 14 september 2026, ett dokument som Suleyman sade kommer att bli det styrande dokumentet som används för att träna dess modeller.

Hans föreslagna nästa steg inkluderar att hålla spekulationer om en AI:s inre liv utanför träningsregimer och istället bedöma och publicera dem separat för offentlig granskning, investera mer i tolkbarhet och robust övervakning, etablera gemensamma utvärderingar av huruvida antropomorfisering av AI ökar säkerhets-, justerings- och inneslutningsrisker, samt arbeta mot gemensamma branschnormer som underkastar träningsmaterial för offentlig återkoppling och samråd.

”Oavsett vad du tror,” skrev han, ”vi får inte gå i sömns in i ett beslut som vi senare kommer att bittert ångra.”