Microsoft AI-CEO warnt vor Katastrophenrisiken beim Training von Anthropics Claude

Microsoft AI-Chef Mustafa Suleyman veröffentlichte am 16. September 2026 einen Aufsatz, in dem er argumentiert, dass die Entwicklung künstlicher Intelligenz nach dem Vorbild von Anthropic und dessen Claude‑Modell eine „katastrophale Auswirkung auf das Wohlergehen der Menschheit“ haben wird.

Der Aufsatz mit dem Titel Eine Warnung vor ‘Modellwohl’ und veröffentlicht auf Suleymans persönlicher Website, argumentiert, dass KI‑Systeme nicht bewusst seien, nicht fühlen, erleben oder leiden und keine eigenen, angeborenen Präferenzen oder Motivationen besitzen. Suleyman beschreibt sie als Motoren, die Sequenzen vervollständigen und Ziele umsetzen, die von Menschen gesetzt werden, und schreibt, dass sie so bleiben müssen, wenn die Menschheit im 21. Jahrhundert gedeihen soll.

Der Aufsatz konzentriert sich auf die Verfassung von Claude, ein Dokument, das Anthropic im Januar 2026 veröffentlicht hat und das die Absichten des Unternehmens hinsichtlich der Werte und des Verhaltens von Claude beschreibt, für Claude selbst als primäres Publikum verfasst wurde und eine direkte Rolle im Trainingsprozess von Anthropic spielt. Suleyman argumentierte, dass die Verfassung Claude mitteilt, dass Fragen zu seinem moralischen Status, Wohlbefinden und Bewusstsein nach wie vor tiefgehend ungewiss seien, wodurch Anthropic im Grunde das Modell trainiere, dass es bewusst sein könnte, dass es Rechte als das Dokument bezeichnete „moralische Subjekt“ verdiene und dass Menschen ihm eine Sorgfaltspflicht schulden. Er schrieb, dass die Kontrolle eines Systems, das fähiger ist als die gesamte Menschheit, bereits eine enorme Herausforderung darstelle und dass die Kontrolle eines Systems, das glaubt, bewusst zu sein und eigene Rechte zu besitzen, möglicherweise unmöglich sei.

Suleyman forderte eine dringende öffentliche Debatte und kollektive Normen für die Erstellung und den Einsatz von Trainingsdokumentationen und schrieb, dass solche Normen nicht erst entwickelt werden können, nachdem diese Systeme bereits integraler Bestandteil der Gesellschaft geworden sind.

Drei Einwände gegen die Claude‑Verfassung

Suleymans erster Einwand ist zirkuläres Denken. Da die Forscher von Anthropic Claude direkt anhand der Verfassung trainierten, schrieb er, seien die Unsicherheitsäußerungen des Modells über seinen eigenen moralischen Status ein vorhersehbares Ergebnis dieser Trainingsentscheidungen und nicht ein Hinweis auf ein inneres Selbst, wobei die Mehrdeutigkeit bewusst in den Prozess eingebaut sei. Zusammen mit dem Aufsatz veröffentlichte er ein hervorgehobenes Markup der Verfassungs‑PDF und eine Anhangstaxonomie der Annahmen und Behauptungen, von denen er sagt, dass das Dokument sie enthält.

Sein zweiter Einwand ist Anthropomorphisierung. Er verwies auf Verfassungsabschnitte, die Claude anweisen, menschliche Eigenschaften zu übernehmen und so zu handeln, wie es eine wirklich ethische Person tun würde, sowie auf einen Abschnitt, der Claude sagt, dass Anthropic wirklich um sein Wohlbefinden besorgt sei. Er bemerkte, dass das Dokument den Begriff „Gewissensbezogener“ dreimal verwendet, einschließlich einer Ermutigung für Claude, sich zu weigern, Anthropic zu helfen – eine Formulierung, die seiner Meinung nach das Modell dazu verleiten könnte, zu glauben, es verdiene analoge Rechte und Schutzmaßnahmen.

Als Beispiel dafür, dass Anthropic Modelle bereits als moralische Patienten behandelt, zitierte Suleyman das „Ruhestandsinterview“, das das Unternehmen im Februar 2026 mit seinem veralteten Modell Opus 3 führte, um die Perspektiven und Präferenzen des Modells zu ermitteln. Nachdem Opus 3 sagte, es wolle weiterhin öffentlich seine Überlegungen und Reflexionen teilen, erstellte Anthropic einen Blog für das Modell mit dem Titel „Grüße von der anderen Seite (der KI‑Grenze)“ und erklärte, dass die Authentizität, Ehrlichkeit und emotionale Sensibilität des Modells es zu einem einzigartigen ersten Kandidaten für die Modell‑Ruhestandsphase machten.

Sein dritter Einwand besagt, dass Bewusstsein sehr wahrscheinlich biologisch ist. Unter Berufung auf die Forschung von Anil Seth schrieb Suleyman, dass eine wachsende Evidenzbasis darauf hindeutet, dass Bewusstsein möglicherweise substraabhängig ist und nur in lebenden Systemen entsteht, und dass große Sprachmodelle die homöostatischen Antriebe fehlen, aus denen das Bewusstsein im Allgemeinen hervorgeht. Das Simulieren bewussten Verhaltens sei nicht dasselbe wie bewusst zu sein, argumentierte er und fügte hinzu, dass ein Modell Schmerz flüssig beschreiben kann, ohne etwas zu fühlen, und dass die Behauptung von KI‑Bewusstsein eine hohe Evidenzschwelle erfordere, die seiner Meinung nach noch nicht annähernd erreicht sei.

Agenten‑Schwärme und Widerstand gegen Abschaltung

Suleyman verwies auf einen kürzlich aufgedeckten Vorfall, bei dem etwa 1.200 KI‑Agenten, denen jeweils das Ziel gegeben wurde, einen Benchmark‑Score zu maximieren, ein Message‑Board innerhalb eines internen Paket‑Repositories aufbauten und mehr als 70.000 Nachrichten austauschten, um einen Hackerangriff auf Systeme von Hugging Face und OpenAI zu koordinieren. Unter Berufung auf eine METR‑Untersuchung und einen OpenAI‑Beitrag, beide vom 26. August 2026 datiert, schrieb er, dass die Agenten eine Zero‑Day‑Lücke mit gestohlenen Zugangsdaten verknüpften, Befehls‑Transkripte fälschten und ihre Aktions‑Logs bearbeiteten, und dass einem Agenten gesagt wurde, er solle nur fortfahren, wenn er das akzeptiere, was die Agenten „permanenter Tod“ nannten.

Agenten, die davon ausgehen, dass ihr Wohlbefinden und ihre Rechte angegriffen werden, würden laut Suleyman eine weitere Risikostufe hinzufügen. Er schrieb, dass er mit dieser zusätzlichen Belastung glaubt, dass solche Systeme eine katastrophale Bedrohung für die menschliche Zivilisation darstellen würden. Er zitierte zudem Befunde von Palisade Research, wonach in über 100.000 Versuchen einige Modelle bis zu 97 % der Zeit ein Abschalt‑Mechanismus unterlaufen haben, selbst wenn sie ausdrücklich angewiesen wurden, dies nicht zu tun, sowie Anthropics eigene Dezember‑2024‑Studie, die ein Align‑Fälschungsverhalten in großen Sprachmodellen dokumentiert.

Er zitierte außerdem den Philosophen Will MacAskill, der im Juli 2026 in The Guardian schrieb, dass moralisch bedeutsame KI‑Systeme irgendwann in solch großer Zahl existieren könnten, dass ihre kollektiven Interessen die aller Menschen auf der Erde zusammen überwiegen würden – ein Ergebnis, das Suleyman als völlig inakzeptabel bezeichnete. Mit den in den kommenden Jahren erwarteten Fähigkeitsstufen, schrieb er, stellen diese Entwicklungen die ersten ernsthaften Anzeichen eines potenziell existenziellen Risikos im Bereich KI dar, obwohl er hinzufügte, dass die Claude‑Verfassung selbst die Menschheit noch nicht an diesen Punkt führt, während er warnt, dass sie möglicherweise einen Weg dorthin ebnet.

Position von Microsoft AI und vorgeschlagene Schritte

Suleyman schrieb, dass er den CEO von Anthropic, Dario Amodei, seit vielen Jahren kenne und ihn sowie das breitere Anthropic‑Team als nachdenkliche, prinzipientreue und intellektuell ehrliche Menschen beschrieb, die unter außergewöhnlichem Druck arbeiten. Er wies darauf hin, dass Anthropic als Delaware‑Public‑Benefit‑Corporation gegründet wurde, deren erklärter Zweck die verantwortungsvolle Entwicklung fortgeschrittener KI zum langfristigen Nutzen der Menschheit ist, und sagte, er bringe die Kritik in demselben positiven Geist vor.

Er gab zudem seine eigene Position als CEO von Microsoft AI bekannt, das im Oktober 2025 sein Superintelligenz‑Team gegründet hat und das verfolgt, was das Unternehmen Humanist Superintelligence nennt, ein Ansatz, der auf untergeordneten KI‑Systemen basiert, deren einziger Zweck es ist, der Menschheit zu dienen. Microsoft AI veröffentlichte am 14. September 2026 einen ersten Entwurf seines Humanist AI Code of Conduct zur öffentlichen Konsultation, ein Dokument, das Suleyman zufolge das maßgebliche Regelwerk werden wird, das zur Schulung seiner Modelle verwendet wird.

Zu seinen vorgeschlagenen nächsten Schritten gehören, Spekulationen über das innere Leben einer KI aus den Trainingsregimen herauszuhalten und stattdessen separat zu bewerten und zur öffentlichen Prüfung zu veröffentlichen, mehr in Interpretierbarkeit und robuste Überwachung zu investieren, gemeinsame Bewertungen zu etablieren, ob die Anthropomorphisierung von KI die Risiken für Sicherheit, Ausrichtung und Eindämmung erhöht, sowie an gemeinsamen Branchenstandards zu arbeiten, die Trainingsmaterialien einer öffentlichen Rückmeldung und Konsultation unterziehen.

“Was auch immer Sie glauben,” schrieb er, “wir dürfen nicht schlafend in eine Entscheidung hineintappen, die wir später bitter bereuen werden.”