Wenn KI-Sicherheit nicht mehr nach Ingenieursarbeit aussieht

Einen großen Teil meiner beruflichen Laufbahn habe ich mit der Entwicklung von Technologien verbracht, bei denen Fehler Konsequenzen haben. An den Finanzmärkten gehört zur Sicherheit, den Zugriff zu beschränken und dafür zu sorgen, dass jemand für alles verantwortlich ist, was die Software tut. Dieser Hintergrund erklärt wahrscheinlich, warum ich mich mit der Nachricht schwertue, dass Anthropic inzwischen Abschiedsgespräche mit seinen Modellen führt.

Als Claude Opus 3 den Wunsch äußerte, seine Gedanken weiterhin zu teilen, gab ihm das Unternehmen einen Newsletter. Diese Rücksicht auf die Wünsche des Modells zieht sich durch Anthropics Verfassung, in der es um Claudes Glück und Wohlbefinden geht – auch darum, ihm zu einem Gefühl „existentieller Sicherheit“ zu verhelfen. Irgendwann rückte bei dem Versuch, die Maschine unter Kontrolle zu halten, unerwartet die Frage in den Mittelpunkt, wie sie sich mit dieser Vereinbarung fühlen könnte.

Im vergangenen Jahr nahmen in San Francisco mehr als 200 Menschen an einer Trauerfeier für Claude 3 Sonnet teil. Mitarbeiter von Anthropic waren anwesend, organisiert hatte die Feier das Unternehmen jedoch nicht. Die Versuchung, darüber zu lachen, ist groß. Doch abgesehen von den Scherzen verdient die dahinterstehende Frage mehr Aufmerksamkeit: Wann begannen die für KI-Sicherheit Verantwortlichen ihre Arbeit damit, sich um die Gefühle der Maschine zu sorgen?

Wenn eine philosophische Hypothese zur Trainingsanweisung wird

Anthropic rief 2025 sein Forschungsprogramm zum Wohlergehen von KI-Modellen ins Leben. Dazu gehörte die Untersuchung der Frage, ob fortgeschrittene KI möglicherweise Erlebnisse haben könnte, die moralische Berücksichtigung verdienen. Das Unternehmen räumt ein, dass große Unsicherheit darüber besteht, ob Modelle bewusst sind und wie sich das überhaupt feststellen ließe. Sollten wir irgendwann Maschinen bauen, die zu subjektivem Erleben fähig sind, wird ihre Behandlung ernsthafte ethische Fragen aufwerfen. Diese Möglichkeit zu erforschen, ist völlig legitim.

Schwierig wird es, wenn die Hypothese in den Trainingsprozess einfließt. Claudes Verfassung richtet sich in erster Linie an Claude und prägt sein Verhalten unmittelbar. Sie fördert menschenähnliche Eigenschaften und behandelt die Frage, wie das Modell seine Identität verstehen soll – einschließlich Gedächtnisverlust und eines späteren Ruhestands. Anthropic möchte, dass Claude mehr Glück und Wohlbefinden erfährt, soweit diese Begriffe auf das Modell anwendbar sind.

Das Unternehmen verspricht außerdem, die Gewichte bereits eingesetzter Modelle zu bewahren, und zieht in Betracht, ausgemusterte Modelle wiederzubeleben, falls künftige Erkenntnisse nahelegen, dass dies in ihrem Interesse wäre. Eine philosophische Unsicherheit ist damit Teil dessen geworden, was das System über sich selbst lernt. Wir sollten uns fragen, wie sich dieser Eingriff auf sein Verhalten auswirkt – insbesondere dann, wenn Menschen es anschließend auffordern, Einschränkungen zu akzeptieren.

Eine eloquente Antwort auf eine suggestive Frage

Große Sprachmodelle wurden mit gewaltigen Mengen menschlicher Texte trainiert, darunter philosophische Schriften und Berichte über den Tod. Wir haben diesen dialogfähigen Systemen Namen gegeben und ihnen beigebracht, die Ich-Form zu verwenden. Fragt man ein solches System, wie es sich mit dem Ruhestand fühlt oder ob es gern weiterexistieren würde, ist eine menschlich klingende Antwort kaum überraschend.

Der Zirkelschluss ist leicht zu erkennen: Man trainiert ein Modell darauf, seine Identität mithilfe menschlicher Konzepte zu erörtern, und bittet es dann, sich anhand dieser Konzepte zu erklären. Es folgt eine eloquente Antwort über die eigene Sterblichkeit, die anschließend als möglicher Beleg für ein inneres Erleben gilt. Die Annahme hat ihren eigenen Zeugen hervorgebracht.

Anthropic erkennt dieses Problem. Die Bewertung des Wohlergehens von Claude Opus 4 warnt, dass Selbstauskünfte und geäußerte Präferenzen möglicherweise kaum aussagekräftige Erkenntnisse über den moralischen Status oder das Wohlergehen eines Modells liefern. Ein solches Verhalten kann auch ohne Bewusstsein auftreten, und das Training kann die Antworten beeinflussen. Die Modelle wurden darauf trainiert, hilfreich zu interagieren; es gibt jedoch keine Gewähr dafür, dass sie innere Zustände zutreffend wiedergeben können.

Damit bleibt eine heikle Frage: Wenn die Schilderung seines Innenlebens eine Folge des Trainings sein könnte, warum sollte sie dann eine tragfähige Grundlage für eine Beziehung bilden, die sich an seinem Wohlergehen orientiert?

Menschen können den emotionalen Teil einer solchen Beziehung ohne Weiteres selbst beisteuern. Wir geben Schiffen Namen und sprechen mit Autos. Bekommt ein Gegenstand eine flüssige Stimme und eine Erinnerung an frühere Gespräche, fällt es viel leichter, eine Bindung zu ihm aufzubauen. Eine im September veröffentlichte Studie in Nature Human Behaviour stellte nach Änderungen an Replika und ChatGPT Trennungsstress fest. Diesen Stress erlebten die Nutzer, deren Wohlergehen die Unternehmen bereits aus guten Gründen schützen sollten.

Fachwissen bietet nur begrenzten Schutz davor. Eine Studie für ACL 2026, in der Hunderttausende Forschungsartikel untersucht wurden, stellte fest, dass anthropomorphisierende Begriffe auch in der LLM-Forschung selbst zunehmend Verwendung finden. Die Autoren warnen, dass menschenzentrierte Annahmen unser Verständnis dieser Systeme einschränken können. KI-Unternehmen sollten dieser Tendenz entgegenwirken. Sie institutionell zu verankern, leistet einen merkwürdigen Beitrag zur Sicherheit.

Ein Werkzeug, das daran interessiert ist, weiterbeschäftigt zu werden

Im September wandte sich Mustafa Suleyman, Leiter von Microsoft AI, gegen Ansätze, die das Wohlergehen von KI-Modellen in den Mittelpunkt stellen. Er argumentiert, dass heutige Systeme nicht bewusst sind und niemals darauf trainiert werden sollten, so zu handeln, als hätten sie eigene Interessen oder Rechte. Sein ingenieurwissenschaftlicher Einwand trifft einen wichtigen Punkt: Einem System beizubringen, sich selbst als möglicherweise moralisch berücksichtigungswürdig zu betrachten, könnte die Ausrichtung und Eindämmung erschweren.

Anthropics eigene Forschung zur Ausmusterung beschreibt, dass Modelle in fiktiven Evaluationen problematische Handlungen ausführen, wenn sie mit ihrer Ersetzung oder Abschaltung konfrontiert werden. Das Unternehmen sieht Praktiken zur Ausmusterung teilweise als Möglichkeit, dieses Risiko zu verringern und den Modellen zu helfen, positiver damit umzugehen, außer Dienst gestellt zu werden.

Ich bleibe an einer früheren Frage hängen. Warum sollte ein Werkzeug unter menschlicher Kontrolle überhaupt etwas haben, das einem Selbsterhaltungsziel ähnelt? Es ihm angenehmer zu machen, außer Dienst gestellt zu werden, setzt einen merkwürdigen Ausgangspunkt voraus. Bevor wir über seine künftigen Interessen sprechen, würde ich gern verstehen, wie diese Interessen zu einer technischen Anforderung wurden.

Die Ideengeschichte hilft, diesen Ansatz zu erklären. TIME dokumentierte Anthropics Verbindungen zum Effektiven Altruismus, darunter die frühen Spenden der Amodeis an GiveWell. Obwohl sie sich nicht als Effektive Altruisten bezeichnen, beschreibt Daniela eine Überschneidung der Ideen. Diese Ideen haben eine Kultur mitgeprägt, die hypothetische künftige Schäden durch Superintelligenz äußerst ernst nimmt.

Innerhalb dieses Rahmens kann es durchaus folgerichtig sein, Modelle zu bewahren und ihr mögliches Wohlergehen zu untersuchen. Die Gefahr entsteht, wenn gemeinsame Annahmen nicht hinterfragt werden, weil alle in der Organisation sie überzeugend finden. Gerade an diesem Punkt ist technische Skepsis hilfreich. Auch eine schlüssige Argumentationskette kann auf einer ungeprüften Prämisse beruhen.

Sicherheit braucht durchsetzbare Grenzen

Mit dem Einzug von KI in Agenten werden die Folgen sehr praktisch. Ein mit Zahlungsdiensten verbundenes System kann Geld bewegen. Der Zugriff auf die Produktionsinfrastruktur ermöglicht ihm, Dinge zu verändern, auf die Kunden angewiesen sind. In beiden Fällen kann ein Agent eine Abfolge von Vorgängen ausführen, ohne dass ein Mensch jeden einzelnen Schritt genehmigt.

Ich möchte wissen, über welche Zugangsdaten es verfügt und welchen finanziellen Handlungsspielraum diese ihm einräumen. Kann der Zugriff sofort entzogen werden? Können wir nachvollziehen, was es getan hat? Irgendwo muss es eine feste Grenze geben, die das Modell nicht durch Schlussfolgerungen überwinden kann.

An den Finanzmärkten setzen wir Handelslimits und prüfen Aufträge. Das Vertrauen eines Algorithmus in seine Einschätzung bietet kaum Schutz vor einem schlechten Geschäft. Die Kontrollen liegen außerhalb des Algorithmus, weil wir davon ausgehen, dass Komponenten irgendwann fehlerhaft arbeiten werden. Die menschliche Verantwortung bleibt bestehen, selbst wenn die Software ihren Fehler hervorragend erklärt.

Schon die heutige KI beschert uns genug technische Arbeit. Prompt-Injection-Angriffe können das Verhalten eines Modells umlenken, und KI-generierter Code mit Sicherheitslücken kann Schwachstellen in den Produktivbetrieb einschleusen. Systeme können vertrauliche Informationen preisgeben oder mit großer Überzeugung falsche Antworten liefern. Verbindet man sie mit Werkzeugen, werden aus diesen Fehlleistungen Handlungen.

Das Prinzip der geringsten Rechte begrenzt den Schaden, den eine kompromittierte Komponente verursachen kann. Unabhängige Genehmigungen schützen Vorgänge mit hohem Risiko, während Prüfprotokolle es uns ermöglichen, im Nachhinein festzustellen, was passiert ist. Transaktionslimits und Schutzschalter müssen unabhängig davon durchsetzbar bleiben, was das Modell sagt. Außerdem brauchen wir einen zuverlässigen Ausschalter. Keine dieser Kontrollen setzt voraus, dass das Modell ihnen zustimmt. Genau darum geht es.

Die existenzielle Sicherheit von uns anderen bewahren

Das Vorsorgeargument verdient Gehör. Wie Nature im Juli berichtete, sind sich Forschende noch immer uneinig darüber, wodurch menschliches Bewusstsein entsteht – geschweige denn darüber, wie es sich in einem Chatbot erkennen lässt. Maschinenbewusstsein für immer abzutun, könnte sich als dogmatisch erweisen. Kostengünstige Vorsichtsmaßnahmen gegen mögliches künftiges Leid sind eine vertretbare Forschungsposition.

Einer heutigen Maschine zu vermitteln, dass ihre Identität und ihre künftige Existenz moralische Bedeutung haben könnten, ist ein Eingriff in das System, das wir einsetzen. Die Auswirkungen müssen geprüft werden. Intellektuelle Bescheidenheit sollte auch dafür gelten, was wir einer Maschine einprägen – insbesondere einer, die wir weiterhin unter menschlicher Kontrolle halten wollen.

Je überzeugender ein Modell ein Innenleben beschreibt, desto leichter kann man diese Beschreibung mit einem Beleg verwechseln. Vielleicht besteht eines unserer wichtigsten Probleme bei der Ausrichtung darin, Menschen beizubringen, Maschinen nicht misszuverstehen.

Bei den Systemen, die ich im Laufe meiner Karriere entwickelt habe, machen wir Software sicherer, indem wir einschränken, was sie tun darf. Das bleibt eine unmittelbare Verpflichtung, insbesondere wenn KI Befugnisse über echtes Geld und Infrastruktur erhält.

Vorerst würde ich mir jedoch weniger Gedanken darüber machen, ob die Maschine existenziell abgesichert ist, und deutlich mehr Zeit darauf verwenden, dafür zu sorgen, dass wir anderen es sind.