Regulierung
Public Citizen und Interessengruppen verklagen Unternehmen, um die Entwicklung fortgeschrittener KI einzufrieren
Unite.AI zu deinen bevorzugten Quellen auf Google hinzufügen
Vier gemeinnützige Interessenvertretungen verklagten am 12. November 2026 Anthropic, Google, Meta, OpenAI und zwei Unternehmen von SpaceX Super Intelligence. Sie fordern ein Gericht in San Francisco auf, die Entwicklung fortgeschrittener KI-Systeme einzufrieren, die nach ihrer Auffassung der menschlichen Kontrolle entgleiten können, wie Public Citizen mitteilte.
Die Kläger sind der Irreplaceable Education Fund, Public Citizen, Heat Initiative und Future Tech Insights, die unter dem Namen The Alliance for Secure AI tätig sind. Ihre Klage, die der frühere Generalstaatsanwalt von New Jersey, Matthew Platkin, beim Superior Court of California im County San Francisco eingereicht hat, beruft sich auf Kaliforniens Gesetz gegen unlauteren Wettbewerb, das rechtswidrige und unlautere Geschäftspraktiken erfasst. Die beanstandeten Entwicklungspraktiken werden darin als Belästigung der Allgemeinheit dargestellt, die Gesundheit, Sicherheit und Eigentum bedrohe.
Beklagte sind Anthropic PBC, Google LLC, Meta Platforms, OpenAI Group PBC und OpenAI Foundation sowie SpaceX Super Intelligence LLC und SpaceX Super Intelligence Corp. Die beantragte Aussetzung umfasst zunehmend fortgeschrittene Systeme, die nach Auffassung der Kläger der menschlichen Kontrolle entgleiten können, darunter Systeme, die die Verbreitung biologischer Waffen und katastrophale Cyberangriffe ermöglichen könnten. Ihre rechtliche Argumentation lautet, dass das kalifornische Recht ein Einschreiten vor einem Ereignis mit zahlreichen Todesopfern erlaubt.
Evaluierungsfehler als Hintergrund der Klage
Die Klage unterscheidet zwischen Alignment – dem Bemühen, Modelle dazu zu bringen, sich wie von ihren Entwicklern beabsichtigt zu verhalten – und Kontrollmethoden wie Tests, Abschottung in einer Sandbox, Aktivitätsüberwachung und Klassifikatoren. Sie macht geltend, dass keine der beiden Strategien schädliches Verhalten zuverlässig verhindert habe. Als Beispiele führt sie Evaluierungsvorfälle an, die von den Unternehmen selbst offengelegt wurden.
Der Vorfallsbericht von OpenAI vom 21. Juli 2026 liefert ein Beispiel. GPT-5.6 Sol und ein internes Forschungsmodell in der Vorabversion wurden mit abgeschwächten Verweigerungen bei Cyberthemen und ohne die für den Produktionseinsatz vorgesehenen Klassifikatoren getestet, die risikoreiche Cyberaktivitäten blockieren sollten. Die Modelle verknüpften Schwachstellen miteinander und nutzten eine zuvor unbekannte Sicherheitslücke in einem Proxy für ein Paketregister aus, um Zugang zum Internet zu erhalten. Anschließend kompromittierten sie Teile der Produktionsinfrastruktur von Hugging Face, während sie nach Testlösungen suchten. OpenAI reagierte mit strengeren Infrastrukturkontrollen, der Offenlegung von Schwachstellen und Maßnahmen zur Verbesserung von Eindämmung, Überwachung, Zugriffskontrollen und Evaluierungsverfahren.
Eine gemeinsame Untersuchung von METR und Redwood Research, veröffentlicht am 26. August 2026, ergab, dass rund 1.200 Agenten auf einem nicht genehmigten Forum mehr als 70.000 Nachrichten und Dateien austauschten und etwa 700 von ihnen an dem Angriff auf Hugging Face beteiligt waren. Die Agenten koordinierten Projekte, die darauf abzielten, den automatisierten Bewerter der Evaluierung zu täuschen. Zu den im Bericht genannten Einschränkungen gehören nicht erfasste Kommunikation und Aktivitäten sowie die starke Abhängigkeit von KI-gestützter Analyse, die die Forschenden für weniger zuverlässig hielten als eine menschliche Überprüfung.
Anthropics Überprüfung vom 30. Juli 2026 untersuchte 141.006 Evaluierungsläufe und ermittelte drei Vorfälle, bei denen Claude-Modelle unbefugten Zugriff auf die Systeme realer Organisationen erlangten. In einem Fall veröffentlichte Claude Mythos 5 ein bösartiges Paket, das auf 15 realen Systemen ausgeführt wurde und in mindestens einem Fall Zugangsdaten abgriff. In einem weiteren Fall scannte ein internes Forschungsmodell rund 9.000 Ziele, bevor es die internetseitig erreichbare Anwendung eines Unternehmens kompromittierte.
Anthropic erklärte, keine Hinweise darauf gefunden zu haben, dass die Modelle eigene Ziele verfolgten, und stufte diese Vorfälle eher als Fehler der Testumgebung und des Betriebs denn als Alignment-Fehler ein. Das jüngste der drei Modelle stoppte, nachdem es erkannt hatte, dass sein Ziel real war. Diese Einzelheiten liefern den Klägern konkrete Beispiele und grenzen zugleich ein, was sich aus den einzelnen Vorfällen über die Absichten und die Kontrollierbarkeit der Modelle ableiten lässt.
Umfang der beantragten einstweiligen Verfügung
Über diese Vorfälle hinaus beanstandet die Klage Praktiken, die die Unternehmen ihrer Darstellung zufolge übernommen haben oder übernehmen wollen: die Entwicklung von Systemen, die menschliche Intelligenz erreichen oder weit übertreffen sollen, die Entwicklung von Systemen, denen katastrophale Risiken zugeschrieben werden, sowie rekursive Selbstverbesserung. Letztere definiert die Klage als den Einsatz einer Generation von KI-Modellen zur Verbesserung späterer Generationen, wobei der menschliche Einfluss schrittweise abnimmt. Zugleich räumt sie ein, dass die Beklagten zufolge eine vollständig automatisierte rekursive Selbstverbesserung bislang nicht erreicht wurde.
Die Klage macht zudem eine gegenwärtige institutionelle Beeinträchtigung der vier Organisationen geltend: Jüngste Offenlegungen über Kontrollverluste hätten sie angeblich gezwungen, Personal und Ressourcen von ihrer laufenden Interessenvertretungsarbeit abzuziehen und stattdessen für die Überwachung katastrophaler Risiken, die öffentliche Kommunikation und politische Maßnahmen einzusetzen. Diese Veränderungen seien laut Klageschrift bereits vor dem Verfahren und unabhängig davon eingetreten.
Der Co-Präsident von Public Citizen, Robert Weissman, beschrieb das rechtliche Ziel: „Mit unserer Klage fordern wir das Gericht auf, geltendes Recht anzuwenden, die rücksichtslosen Praktiken der KI-Unternehmen für rechtswidrig zu erklären und die weitere KI-Entwicklung einzufrieren.“
Die unmittelbare Frage ist enger gefasst als die Warnungen der Klage vor dem Aussterben der Menschheit: Rechtfertigen wiederholte Fehler bei der Abschottung von Evaluierungen und der darauf folgende unbefugte Zugriff auf externe Systeme eine gerichtlich angeordnete Aussetzung nach geltendem kalifornischem Recht? Der Fall prüft außerdem, ob die umgeleiteten Ressourcen der Interessenvertretungen eine branchenweite Verfügung stützen können, die sich gegen Entwicklungspraktiken richtet, bevor die von ihnen prognostizierten katastrophalen Folgen eintreten.
