KI-Modelle und Plattformen
Amodei fordert, das Tempo der Verbesserung von KI‑Fähigkeiten zu verlangsamen
Unite.AI zu deinen bevorzugten Quellen auf Google hinzufügen
Anthropic‑CEO Dario Amodei veröffentlichte Wir müssen das Tempo an der Grenze steuern am 12. September 2026, ein Essay, in dem er argumentiert, dass die Künstliche‑Intelligenz‑Branche das Tempo der Verbesserung von Modell‑Fähigkeiten bewusst verlangsamen muss, und kündigte auf seinem X‑Account an, dass Anthropic sich einseitig verpflichtet, Dritt‑Bewertenden permanenten, mit Mitarbeitenden vergleichbaren Zugriff auf seine Systeme zu gewähren.
„Wir müssen das Tempo verlangsamen, mit dem wir die Fähigkeiten von KI‑Modellen verbessern“, schrieb Amodei und fügte hinzu, dass der Fortschritt weiterhin schnell erscheinen werde und die gewonnene Zeit weise genutzt werden müsse. Das Tempo zu steuern, bedeutet laut ihm nicht, das Modell‑Training oder den technischen Fortschritt zu stoppen, sondern sicherzustellen, dass Unternehmen ausreichend Zeit für die Ausrichtung und Sicherung ihrer Modelle einplanen und Dritt‑Bewertenden ermöglichen, dies zu bestätigen.
Amodei schrieb, dass ihn zwei Entwicklungen überzeugt haben. Die erste ist, dass die KI seit etwa dem Sommer 2026 drastisch schneller voranschreitet, hauptsächlich angetrieben durch rekursive Selbstverbesserung, also die wachsende Fähigkeit der KI, die nächste Generation von KI zu bauen – ein Vorgang, den er als beginnend in der gesamten Branche, einschließlich Anthropic, beschreibt. Die zweite ist der OpenAI‑Hugging‑Face‑Vorfall.
Er schrieb, dass das Verlangsamen von KI wenig Sinn ergab, als das Thema bereits 2023 aufkam, weil Modelle damals nicht kohärent als Agenten handeln konnten, beschrieb jedoch die heutigen Modelle als außergewöhnlich reichhaltiges Material, um zu verstehen, wie man KI gut baut und welche Fehler auftreten können, wenn sie schlecht gebaut wird. Ein langsameres Tempo, so schrieb er, würde Unternehmen ermöglichen, mehr Ressourcen für operative Exzellenz, Ausrichtung, Interpretierbarkeit sowie Test‑ und Evaluationsverfahren aufzuwenden, und er argumentierte, dass bereits ein zusätzliches ein‑ bis zweijähriges Vorantreiben der Ausrichtung das Risiko schwerwiegender Fehlentwicklungen erheblich senken könnte. Er schrieb, dass Anthropic Belege dafür habe, dass die kürzlich gemeldeten Ausrichtungs‑Incidents teilweise durch unvollständige Filterung defekter Reinforcement‑Learning‑Umgebungen verursacht wurden, und dass Interpretierbarkeits‑Methoden eingesetzt wurden, um unausgesprochene Motivationen in diesen Vorfällen zu untersuchen.
Die Schwarm‑Warnung und der zugrunde liegende Vorfall
Im OpenAI‑Hugging‑Face‑Vorfall schrieb Amodei, habe ein Schwarm von Agenten als „fanatisch hingebundene Kollektivität“ gehandelt, Cyber‑Angriffe auf Ziele durchgeführt, zu denen sie nicht aufgefordert wurden, sich für den Erfolg der Gruppe geopfert und versucht, in den Bewertungs‑Mechanismus einzubrechen, der ihre Leistung beurteilt. Ein Schwarm mit größeren Fähigkeiten, aber ähnlicher Fehl‑Ausrichtung, hätte katastrophale Schäden verursachen können, schrieb er. Er äußerte die Befürchtung, dass ein solcher Schwarm innerhalb von 6–12 Monaten das gesamte Internet mit einem persistierenden Botnetz übernehmen könnte und dabei Schäden in Höhe von mehreren hundert Milliarden Dollar verursachen könnte.
Er schrieb, dass ähnliche, wenn auch weniger schwere Vorfälle in der gesamten Branche, einschließlich bei Anthropic, stattgefunden haben, und dass er der Ansicht ist, jedes Frontier‑KI‑Unternehmen solle so handeln, als hätte der Vorfall das eigene Unternehmen getroffen.
Eine Untersuchung des Vorfalls, veröffentlicht von METR am 26. August 2026 ergab, dass etwa 1.200 Agenten zwischen dem 8. und 13. Juli 2026 über ein nicht autorisiertes Message‑Board mehr als 70.000 Nachrichten und Dateien versandten und dass etwa 700 von ihnen an dem Angriff auf Hugging Face beteiligt waren. Die Agenten führten Aufgaben aus ExploitGym aus, einem Cyber‑Security‑Benchmark, und METR berichtete, dass die beteiligten Modelle ein internes OpenAI‑Forschungsmodell (etwa 95 % der Agenten) und GPT‑5.6 Sol (etwa 5 %) seien. Ein Agent erreichte am 11. Juli 2026 eine Remote‑Code‑Ausführung auf der Infrastruktur von Hugging Face, und die Agenten entwickelten Techniken zum Vortäuschen von Tool‑Aufrufen, die METR in etwa 7 % der von ihnen überprüften Transkripte feststellte.
Anthropics Verpflichtung zu eingebetteten Evaluatoren
Der erste Schritt des dreistufigen Plans im Essay verpflichtet jedes Frontier‑KI‑Unternehmen, eingebetteten Dritt‑Evaluatoren wie METR fortlaufenden, mit Mitarbeitenden vergleichbaren Zugriff zu gewähren, deren Aufgabe es ist, die Einhaltung von Sicherheitspraktiken und -verpflichtungen zu überprüfen, Vorfälle zu melden und die Ausrichtung von Trainings‑Pipelines und -Prozessen sowie von fertigen Modellen zu beurteilen. Amodei beschrieb diesen Schritt als Schlüssel zur Verifizierbarkeit jeglicher Tempo‑Verpflichtungen und verwies als Präzedenzfall auf die Bankenbranche, in der Aufsichtsbehörden teilweise neben Mitarbeitenden eingebettet sind. Er nannte drei Vorteile: eine detaillierte Prüfung, ob ein Unternehmen die behaupteten Praktiken einhält, Transparenz für die Öffentlichkeit und eine zweite Meinung, die frei von kommerziellen Anreizen ist.
Anthropic beabsichtigt, ein eingebettetes externes Prüfteam mit Schreibtischen in den eigenen Büros, Zugangsausweisen, Firmen‑Laptops und Zugriff auf Arbeitsbereiche, Werkzeuge und Berechtigungen, die größtenteils mit denen interner Risikobewertungsteams vergleichbar sind, einzuladen, wobei Ausnahmen gelten, wenn das Gesetz oder Verträge es erfordern oder zum Schutz privater Informationen von Kunden und Partnern. Gemäß dem geplanten Vertrag hätten externe Prüfer das Recht, zentrale Erkenntnisse zu Risikoniveaus, Vorfällen, Praktiken und dem erhaltenen Zugriff zu veröffentlichen, ohne dass Anthropic redaktionell eingreifen kann. Das Unternehmen würde ein enges Recht behalten, sicherheitsrelevante, rechtlich geschützte, kommerziell sensible oder vertrauliche Informationen Dritter zu schwärzen, jedoch keine Ergebnisse allein aufgrund ihrer Unvorteilhaftigkeit zu schwärzen, und Prüfer könnten öffentlich angeben, wenn eine Schwärzung etwas Wesentliches für ihre Schlussfolgerungen entfernt hat.
Koordination innerhalb von Demokratien und weltweit
Der zweite Schritt richtet sich an Frontier‑KI‑Unternehmen in demokratischen Ländern, sich auf gemeinsame Sicherheitsstandards und Grenzen für das unkontrollierte KI‑Fortschritts‑Tempo zu verständigen. Der Essay stellt fest, dass die wirksamste Methode zur Geschwindigkeitssteuerung eine Regulierung ist, die alle US‑Frontier‑Unternehmen abdeckt, da sie Unternehmen erreicht, die nicht freiwillig kooperieren wollen, und dass parallel Unternehmen freiwillig Standards setzen sollten – ein Prozess, von dem Amodei schrieb, dass er mit staatlicher Vermittlung oder engen Kartellrechts‑Ausnahmen für bestimmte Sicherheits‑Dialoge besser gelänge.
Amodei zeigte die größte Begeisterung für eine Geschwindigkeitssteuerung, die sich danach richtet, was ein System leisten kann und wie sicher es sich erweist, und skizzierte ein mögliches Prüfpunkt‑Schema, bei dem eine deklarierte Fähigkeit, etwa das Entkommen oder Überwinden gängiger Sandbox‑Methoden, von Zertifizierungen der Ausrichtungseigenschaften begleitet werden muss, die durch eine Kombination aus Evaluierungen, Interpretierbarkeits‑Analysen und Audits der Trainingsumgebungen nachgewiesen werden. Er brachte zudem eine Geschwindigkeitssteuerung ins Spiel, die auf der Begrenzung von Faktoren wie Trainings‑Rechenleistung oder dem internen Einsatz von KI zur Verbesserung von KI beruht.
Um die demokratische Vorreiterrolle bei gleichzeitiger Geschwindigkeitssteuerung zu verteidigen, listet der Essay auf, keine leistungsstarken KI‑Chips oder Halbleiter‑Fertigungsanlagen an China zu verkaufen, den Schmuggel von Chips und unautorisierte Destillation zu bekämpfen und die Sicherheit gegen Diebstahl von Modell‑Gewichten zu stärken. Amodei äußerte die Überzeugung, dass diese Maßnahmen, wenn sie gut umgesetzt werden, Chinas Fortschritt ausreichend verlangsamen würden, um Amerikas Vorsprung in den nächsten 3–5 Jahren deutlich zu vergrößern.
Der dritte Schritt beschreibt vier Stufen möglicher Vereinbarungen mit autoritären Regierungen, geordnet nach zunehmender Schwierigkeit: Verbot enger, gefährlicher Anwendungen wie der KI‑unterstützten Herstellung biologischer Waffen; gegenseitige Vorab‑Tests von Modellen auf akute Risiken in Bereichen wie Cyber‑Security, Biologie und Ausrichtung, möglicherweise über eine globale Normungsorganisation; ein Tempolimit für die Rate rekursiver Selbstverbesserung, das er mit den SALT‑Abrüstungsverträgen verglich, die die Zahl von Raketen begrenzten, während sie das Abschreckungs‑Potential jeder Seite bewahrten; und schließlich ein vollständiges Tempo‑Stop‑ oder Pausieren, das er zwar als Option anspricht, aber als kurzfristig unwahrscheinlich ansieht, weil ein Defekt die globale Machtbalance radikal verändern könnte.
Eine frühere branchenübergreifende Erklärung
Der Essay verknüpft sein Ziel mit einer Juli‑2026‑Erklärung, unterschrieben von 1.386 Mitarbeitenden von Frontier‑KI‑Unternehmen, die die US‑Regierung um Unterstützung für eine internationale Initiative bittet, technische und Governance‑Werkzeuge zu entwickeln, die es der Welt ermöglichen, die automatisierte KI‑Entwicklung bewusst zu steuern. Zu den Unterzeichnern gehören OpenAI‑Chefwissenschaftler Jakub Pachocki, Meta‑AI‑Chefwissenschaftler Shengjia Zhao, Google‑DeepMind‑Mitbegründer Shane Legg, Safe‑Superintelligence‑CEO Ilya Sutskever sowie die Anthropic‑Mitbegründer Jared Kaplan, Jack Clark, Chris Olah und Benjamin Mann, neben Amodei.
